Simple, fast and scalable recommendation systems via external knowledge distillation

Abstract

EN: Context. Recommendation systems are important tools for modern businesses to generate more income via proposing relevant goods to clients and achieve more loyal attendees. With deep learning emergence and hardware capabilities evolution it became possible to grasp customer behavioral patterns in data-driven way. However, accuracy of prediction is dependent on complexity of system, and these factors lead to increased delay in model’s output. The object of the study is the task of issuing sequential recommendations, namely the next most relevant product, subject to restrictions on system response time. Objective. The goal of the research is the synthesis of a deep neural network that can retrieve relevant items for a large portion of users with minimal delay. Method. The proposed method of obtaining recommendation systems that leverages a mixture of Attention-based deep learning model architectures with application of knowledge graphs for prediction quality enhancement via explicit enrichment of recommendation candidate pool, demonstrates the benefits of decoder-only models and distillation learning framework. The latter approach was proven to demonstrate outstanding performance in solving recommendation retrieval task while responding fast for large user batch processing. Results. A model of a recommender system and a method for its training are proposed, combining the knowledge distillation paradigm and learning on knowledge graphs. The proposed method was implemented via two-tower deep neural network to solve recommendation retrieval problem. A system for predicting the most relevant proposals for the user has been built, which includes the proposed model and its training method, as well as ranking indicators MAP@k and NDCG@k to assess the quality of the models. A program has been developed that implements the proposed architecture of the recommendation system, with the help of which the problem of issuing the most relevant proposals has been studied. When conducting experiments on a large amount of real data from user visits to an online retail store, it was found that the proposed method for designing recommender systems guarantees high relevance of the recommendations issued, is fast and unpretentious to computing resources at the stage of receiving responses from the system. Conclusions. Series of conducted experiments confirmed that the proposed system effectively solves the problem in a short period of time, which is a strong argument in favor of its use in real conditions for large businesses that operate millions of visits per month and thousands of products. Prospects for further research within the given research topic include the use of other knowledge distillation methods, such as internal or self-distillation, the use of deep learning architectures other than the attention mechanism, and optimization of embedding vector storage.

UK: Актуальність. Системи рекомендацій – важливі інструменти для сучасного бізнесу, які дають змогу отримувати більший дохід за рахунок пропозиції клієнтам відповідних товарів та залучення більш лояльних відвідувачів. З появою глибокого навчання та розвитком апаратних можливостей стало можливим уловлювати моделі поведінки клієнтів на основі даних. Однак точність прогнозу залежить від складності системи, і ці фактори призводять до збільшення затримки виведення на основі моделі. Об’єктом дослідження є задача видачі послідовних рекомендацій, а саме – наступного найбільш релевантного товару в умовах наявності обмежень по часу відповіді системи. Ціль. Метою дослідження є синтез глибокої нейронної мережі, яка з мінімальною затримкою може отримувати релевантні елементи для більшості користувачів. Метод. Пропонований метод отримання систем рекомендацій, який використовує поєднання архітектур моделей глибокого навчання на основі уваги із застосуванням графів знань для підвищення якості прогнозування за допомогою явного збагачення пулу кандидатів для рекомендацій, демонструє переваги моделей декодування та структури дистиляційного навчання. Було доведено, що підхід дистиляції знань є надзвичайно продуктивним під час вирішення завдань пошуку рекомендацій, одночасно швидко реагуючи на пакетну обробку великих обсягів даних користувачів. Результати. Запропоновано модель рекомендаційної системи та метод її навчання, що поєднує парадигму дистиляції знань та навчання на графах знань. Запропонований метод був реалізований через двобаштову глибоку нейронну мережу для вирішення проблеми пошуку рекомендацій. Побудовано систему прогнозування найбільш релевантних наступних пропозицій для користувача, яка включає пропоновану модель та метод її навчання, а також показники ранжування MAP@k та NDCG@k для оцінки якості роботи моделей. Розроблено програму, яка реалізує пропоновану архітектуру рекомендаційної системи, за допомогою якої досліджена проблема видачі найрелевантніших наступних пропозицій. Під час проведення експериментів на великій кількості реальних даних візитів користувачів до онлайн магазину роздрібної торгівлі було встановлено, що пропонований метод конструкції рекомендаційних систем гарантує високу релевантність виданих рекомендацій, є швидким та невибагливим до обчислювальних ресурсів на етапі отримання відповідей від системи. Висновки. Проведені експерименти підтвердили, що запропонована система ефективно вирішує поставлену задачу за малий проміжок часу, що є вагомим аргументом на користь її застосування в реальних умовах для великих бізнесів, що оперують мільйонами візитів на місяць та тисячами товарів. Перспективи подальших досліджень в рамках заданої теми дослідження включають в себе використання інших методів дистиляції знань, таких як внутрішня або само-дистиляція, використання відмінних від механізму уваги архітектур глибинного навчання, а також оптимізація сховища векторів вкладень.