Ensemble of simple spiking neural networks as a concept drift detector

Abstract

EN: Context. This paper provides a new approach in concept drift detection using an ensemble of simple spiking neural networks. Such approach utilizes an event-based nature and built-in ability to learn spatio-temporal patterns of spiking neurons, while ensemble provides additional robustness and scalability. This can help solve an active problem of limited time and processing resources in tasks of online machine learning, especially in very strict environments like IoT which also benefit in other ways from the use of spiking computations. Objective. The aim of the work is the creation of an ensemble of simple spiking neural networks to act as a concept drift detector in the tasks of online data stream mining. Method. The proposed approach is primary based on the accumulative nature of spiking neural networks, especially Leaky Integrate-and-Fire neurons can be viewed as gated memory units, where membrane time constant is a balance constant between remembering and forgetting information. A training algorithm is implemented that utilizes a shallow two-layer SNN, which takes features and labels of the data as an input layer and the second layer consists of a single neuron. This neuron’s activation implies that an abrupt drift has occurred. In addition to that, such model is used as a base model within the ensemble to improve robustness, accuracy and scalability. Results. An ensemble of shallow two-layer SNNs was implemented and trained to detect abrupt concept drift in the SEA data stream. The ensemble managed to improve accuracy significantly compared to a base model and achieved competitive results to modern state-of-the-art models. Conclusions. Results showcased the viability of the proposed solution, which not only provides a cheap and competitive solution for resource-restricted environments, but also open doors for further research of SNN’s ability to learn spatio-temporal patters in the data streams and other fields. UK: Актуальність. У цій статті запропоновано новий підхід до виявлення дрейфу концепцій з використанням ансамблю простих спайкових нейронних мереж. Такий підхід використовує подієву природу та вбудовану здатність нейронів вивчати просторово-часові патерни, а ансамбль забезпечує додаткову робастність та масштабованість. Це може допомогти вирішити актуальну проблему обмеженості часових та обчислювальних ресурсів у задачах онлайн машинного навчання, особливо в дуже суворих середовищах, таких як IoT, які також мають інші переваги від використання шипінг-обчислень. Мета роботи. Метою роботи є створення ансамблю простих спайкових нейронних мереж для роботи в якості детектора концептуального дрейфу в задачах інтелектуального аналізу потоків даних в Інтернеті. Метод. Запропонований підхід в першу чергу базується на накопичувальній природі спайкових нейронних мереж, особливо негерметичних нейронів інтеграції-та-пострілу, які можна розглядати як одиниці пам’яті із затворами, де мембранна постійна часу є константою балансу між запам’ятовуванням та забуванням інформації. Реалізовано алгоритм навчання, який використовує неглибоку двошарову SNN, що використовує ознаки та мітки даних як вхідний шар, а другий шар складається з одного нейрона. Активація цього нейрона означає, що відбувся різкий дрейф. Крім того, така модель використовується як базова модель в ансамблі для покращення робастності, точності та масштабованості. Результати. Ансамбль неглибоких двошарових SNN було реалізовано та навчено для виявлення різкого дрейфу концепції в потоці даних SEA. Ансамблю вдалося значно підвищити точність порівняно з базовою моделлю та досягти конкурентних результатів із сучасними передовими моделями. Висновки. Результати показали життєздатність запропонованого рішення, яке не тільки забезпечує дешеве і конкурентоспроможне рішення для середовищ з обмеженими ресурсами, але і відкриває двері для подальших досліджень здатності спайкових нейромереж вивчати просторово-часові патерни в потоках даних та інших областях.