System for web resources content structuring and recognizing with the machine learning elements

Abstract

EN: A large number of web resources of different organizations requires checking of relevance and correctness of the content, in particular, concerning characteristics of the organization, staff, etc. For this, it is necessary to develop a system of the automated content analysis. This task causes the need to develop a method and software for structuring and recognizing of web resources content. Existing parsing systems do not provide solving of the specified task, since they do not contain elements of machine learning. The object of the research is the process of automated analysis of the web resources content. Objective. The goal of the work is the creation of the system for web resources content structuring and recognizing. Method. The system of structuring and recognizing of text content of web resources with elements of machine learning is considered. Models of the system functioning are proposed. The architecture for realizing of software system for structuring and recognizing of text content of web resources is developed. Example of implementation of the model of developed system for structuring, recognizing and revealing of outdated and incorrect information about personnel on the web resource of educational institution is given. Results. The developed software may be used by support services in order to update and correct the information content. Conclusions. The system of structuring and recognizing of content of web resources with the machine learning elements has been considered. The proposed system compared with the known ones, ensures automated content structuring, recognizing of outdated, non-relevant or wrong information. Represented example of the structuring and recognizing of outdated and incorrect information on the website of educational institution confirms the effectiveness of the proposed system. UK: Актуальність. Наявність великої кількості веб-ресурсів різних організацій вимагає перевірки актуальності та достовірності контенту, зокрема, який стосується характеристик організації, персоналу і т.д. Для цього необхідно розробити систему автоматизованого аналізу контенту. Зазначена задача породжує потребу у розробці методу та програмного забезпечення для структурування та розпізнавання вмісту веб-ресурсів. Існуючі системи парсингу не забезпечують розв’язування зазначеного завдання, оскільки не містять елементів машинного навчання. Об’єктом дослідження є процес автоматизованого аналізу вмісту веб-ресурсів. Мета роботи – створення системи структурування та розпізнавання вмісту веб-ресурсів з елементами машинного навчання. Метод. Розглянута система структурування та розпізнавання текстового вмісту веб-ресурсів із елементами машинного навчання. Запропоновані моделі функціонування системи. Розроблено архітектуру для реалізації програмної системи для структурування та розпізнавання текстового вмісту веб-ресурсів. Наведено приклад реалізації моделі розробленої системи для структурування, визнання та виявлення застарілих та невірних відомостей про персонал на веб-ресурсі навчального закладу. Результати. Розроблений формалізований опис елементів машинного навчання та на його основі програмне забезпечення може використовуватися службою підтримки для оновлення та виправлення контенту веб-ресурсів різних організацій. Висновки. Розглянута система структурування та розпізнавання вмісту веб-ресурсів із елементами машинного навчання. Пропонована система в порівнянні з відомими, забезпечує автоматичне структурування вмісту, визнання застарілої, недостовірної або неправильної інформації. Представлений приклад структурування та визнання застарілої та некоректної інформації на веб-сайті навчального закладу підтверджує ефективність запропонованої системи.