Технологія аналізу україномовних твітів для прогнозування зміни динаміки громадської думки на основі машинного навчання

Abstract

UK: Актуальність. Автоматизація дослідження громадської думки дозволить не тільки зменшити кількість ручної праці, а й отримувати часові зрізи результатів без додаткових зусиль. Оскільки потрібно уникнути прямої взаємодії з респондентами, громадську думку необхідно аналізувати на основі джерел її вільного вираження. Соціальні мережі чудово підходять на цю роль, так як там люди вільно публікують свої думки або емоційно правдиво реагують на опубліковану інформації щодо певних подій. Статистика показує, що даних із соціальних мереж недостатньо для отримання повноцінного результату, бо чималий відсоток людей не користуються соціальними мережами. Проте автоматизація дослідження навіть такого прошарку населення уже є хорошим результатом для аналізу динаміки змін громадської думки відповідно подій в країні/світі та відповідно для корегування в подальшому процесів державного управління. Мета дослідження – розроблення технології аналізу україномовного потоку контенту в соціальних мережах для дослідження громадської думки на основі знаходження кластеризованих тематичних груп твітів. Метод. В статті розроблено технолгію пошуку трендів твітів на основі кластеризації, що формує потік даних у вигляді коротких репрезентацій кластерів та їхньої популярності для подальшого дослідження громадської думки. Описано ефективний підхід збору твітів, їх фільтрації, очищення та попереднього опрацювання на основі порівняльного аналізу алгоритмів Bag of Words, TF-IDF та BERT. Визначено вплив стемінгу та лематизації на якість отриманих кластерів. А також знайдено оптимальні поєднання методів кластеризації (ції K-Means, Agglomerative Hierarchical Clustering та HDBSCAN) та векторизації твітів на основі аналізу 27 кластеризацій однієї вибірки даних. Обрано спосіб подання кластерів твітів у короткому форматі. Результати. Найкращі результати показали алгоритми, що використовують Відстань Левенштейна, тобто fuzz sort, fuzz set та levenshtein. Дані алгоритми швидко здійснюють перевірки, мають більшу різницю подібностей, тож можна точніше визначити межу подібності. Згідно з результатами проведених кластеризацій, оптимальними рішеннями є використання алгоритму кластеризації HDBSCAN та алгоритму векторизації BERT для досягнення найточніших результатів, та використання K-Means разом із TF-IDF для досягнення найкращої швидкодії із оптимальним результатом. Для зменшення часу виконання можна застосовувати стемінг. Висновки. В даному дослідженні експериментально знайдено оптимальні варіанти для порівняння відбитків кластерів серед таких методів пошуку подібності: Fuzz Sort, Fuzz Set, Levenshtein, Jaro Winkler, Jaccard, Sorensen, Cosine, Sift4. У деяких алгоритмів середня подібність відбитків сягає вище 70%. Знайдено 3 ефективні інструменти для порівняння їхньої подібності, так як вони показують достатню відмінність між порівняннями подібних та різних кластерів (> 20%). На основі обраних ефективних методів, успішно проведено аналіз трендів для 90 000 твітів за 7 днів для 5 тем тижня за допомогою K-Means та TF-IDF для кластеризації та векторизації, а також fuzz sort для порівняння відбитків кластерів із межою подібності 55%. EN: Context. Automation of public opinion research will allow not only to reduce the amount of manual work, but also to obtain time slices of the results without additional efforts. Since direct interaction with respondents should be avoided, public opinion should be analyzed based on the sources of its free expression. Social networks are great for this role, as their people freely publish their thoughts or emotionally truthfully react to published information about certain events. Statistics show that data from social networks is not enough to obtain a full-fledged result, because a significant percentage of people do not use social networks. However, the automation of the study of even such a stratum of the population is already a good result for analyzing the dynamics of changes in public opinion in accordance with events in the country/world and, accordingly, for correcting the processes of public administration in the future. Objective of the study is to develop a technology for analyzing the flow of Ukrainian-language content in social networks for public opinion research based on finding clustered thematic groups of tweets. Method. The article develops a technology for finding tweet trends based on clustering, which forms a data stream in the form of short representations of clusters and their popularity for further research of public opinion. An effective approach to tweet collection, filtering, cleaning and pre-processing based on a comparative analysis of Bag of Words, TF-IDF and BERT algorithms is described. The impact of stemming and lemmatization on the quality of the obtained clusters was determined. And optimal combinations of clustering methods (K-Means, Agglomerative Hierarchical Clustering and HDBSCAN) and vectorization of tweets were found based on the analysis of 27 clusterings of one data sample. The method of presenting clusters of tweets in a short format is selected. Results. Algorithms using the Levenstein Distance, i.e. fuzz sort, fuzz set and levenshtein, showed the best results. These algorithms quickly perform checks, have a greater difference in similarities, so it is possible to more accurately determine the limit of similarity. According to the results of the clustering, the optimal solutions are to use the HDBSCAN clustering algorithm and the BERT vectorization algorithm to achieve the most accurate results, and to use K-Means together with TF-IDF to achieve the best speed with the optimal result. Stemming can be used to reduce execution time. Conclusions. In this study, the optimal options for comparing cluster fingerprints among the following similarity search methods were experimentally found: Fuzz Sort, Fuzz Set, Levenshtein, Jaro Winkler, Jaccard, Sorensen, Cosine, Sift4. In some algorithms, the average fingerprint similarity reaches above 70%. 3 effective tools were found to compare their similarity, as they show a sufficient difference between comparisons of similar and different clusters (> 20%). Based on the selected effective methods, trend analysis was successfully performed on 90,000 tweets over 7 days for 5 topics of the week using K-Means and TF-IDF for clustering and vectorization, as well as fuzz sort for cluster fingerprint comparison with a 55% similarity threshold.