Research on a hybrid LSTM-CNN-Attention model for text-based web content classification

Abstract

EN: Context. Text-based web content classification plays a pivotal role in various natural language processing (NLP) tasks, including fake news detection, spam filtering, content categorization, and automated moderation. As the scale and complexity of textual data on the web continue to grow, traditional classification approaches – especially those relying on manual feature engineering or shallow learning techniques – struggle to capture the nuanced semantic relationships and structural variability of modern web content. These limitations result in reduced adaptability and poor generalization performance on real-world data. Therefore, there is a clear need for advanced models that can simultaneously learn local linguistic patterns and understand the broader contextual meaning of web text. Method. This study presents a hybrid deep learning architecture that integrates Long Short-Term Memory (LSTM) networks, Convolutional Neural Networks (CNN), and an Attention mechanism to enhance the classification of web content based on text. Pre-trained GloVe embeddings are used to represent words as dense vectors that preserve semantic similarity. The CNN layer extracts local n-gram patterns and lexical features, while the LSTM layer models long-range dependencies and sequential structure. The integrated Attention mechanism enables the model to focus selectively on the most informative parts of the input sequence. The model was evaluated using the dataset, which consists of over 10,000 HTML-based web pages annotated as legitimate or fake. A 5-fold cross-validation setup was used to assess the robustness and generalizability of the proposed solution. Results. Experimental results show that the hybrid LSTM-CNN-Attention model achieved outstanding performance, with an accuracy of 0.98, precision of 0.94, recall of 0.92, and F1-score of 0.93. These results surpass the performance of baseline models based solely on CNNs, LSTMs, or transformer-based classifiers such as BERT. The combination of neural network components enabled the model to effectively capture both fine-grained text structures and broader semantic context. Furthermore, the use of GloVe embeddings provided an efficient and effective representation of textual data, making the model suitable for integration into systems with real-time or near-real-time requirements. Conclusions. The proposed hybrid architecture demonstrates high effectiveness in text-based web content classification, particularly in tasks requiring both syntactic feature extraction and semantic interpretation. By combining convolutional, recurrent, and attention-based mechanisms, the model addresses the limitations of individual architectures and achieves improved generalization. These findings support the broader use of hybrid deep learning approaches in NLP applications, especially where complex, unstructured textual data must be processed and classified with high reliability. UK: Актуальність. Класифікація веб-контенту на основі тексту відіграє ключову роль у різних завданнях обробки природної мови (NLP), включаючи виявлення фейкових новин, фільтрацію спаму, категоризацію контенту та автоматизовану модерацію. Оскільки обсяг і складність текстових даних в Інтернеті продовжують зростати, традиційні підходи до класифікації – особливо ті, що спираються на ручне створення ознак або поверхневі методи навчання – мають труднощі в уловлюванні тонких семантичних зв’язків і структурної мінливості сучасного веб-контенту. Ці обмеження призводять до зниження адаптивності та поганої здатності до узагальнення на реальних даних. Тому існує чітка потреба в удосконалених моделях, які можуть одночасно навчатися локальним мовним патернам і розуміти ширший контекстуальний зміст веб-тексту. Мета роботи – підвищення точності та узагальнювальних властивостей моделей класифікації веб-контенту на основі тексту шляхом використання передових технік глибинного навчання. Завданням є покращення витягування локальних та глобальних ознак тексту та навчання послідовностей, що дозволить створити більш ефективну та точну модель для класифікації веб-сторінок з урахуванням їх змісту та контексту. Метод. Це дослідження представляє гібридну архітектуру глибокого навчання, яка інтегрує мережі Long Short-Term Memory (LSTM), згорткові нейронні мережі (CNN) та механізм уваги для покращення класифікації веб-контенту на основі тексту. Для подання слів використовуються попередньо навчений вектор GloVe, який зберігає семантичну подібність. Згорткова мережа (CNN) видобуває локальні патерни n-грам і лексичні ознаки, в той час як LSTM моделює довготривалі залежності та послідовну структуру. Інтегрований механізм уваги дозволяє моделі вибірково фокусуватися на найважливіших частинах вхідної послідовності. Модель була оцінена за допомогою датасету, що складається з понад 10 000 веб-сторінок на основі HTML, позначених як легітимні або фейкові. Для оцінки стійкості та узагальненості запропонованого рішення використовувалася 5-кратна крос-валідація. Результати. Експериментальні результати показують, що гібридна модель LSTM-CNN-Attention досягла відмінних результатів, з точністю 0,98, точністю (precision) 0,94, відзивом (recall) 0,92 і F1-мірою 0,93. Ці результати перевершують ефективність базових моделей, що спираються лише на CNN, LSTM або трансформерні класифікатори, такі як BERT. Поєднання компонентів нейронних мереж дозволило моделі ефективно захоплювати як дрібні текстові структури, так і ширший семантичний контекст. Крім того, використання векторів GloVe надало ефективне та дієве подання текстових даних, роблячи модель придатною для інтеграції в системи з вимогами до реального часу або майже реального часу. Висновки. Запропонована гібридна архітектура демонструє високу ефективність у класифікації веб-контенту на основі тексту, особливо в завданнях, що вимагають одночасного видобутку синтаксичних ознак та семантичної інтерпретації. Поєднуючи згорткові, рекурентні та засновані на увазі механізми, модель долає обмеження окремих архітектур і досягає покращеного узагальнення. Ці висновки підтримують більш широке використання гібридних підходів глибокого навчання в додатках NLP, особливо там, де потрібно обробляти та класифікувати складні, неструктуровані текстові дані з високою надійністю.