An intelligent model based on deep transfer learning for detecting anomalies in cyber-physical systems

Abstract

EN: Context. The problem of detecting anomalies from signals of cyber-physical systems based on spectrogram and scalogram images is considered. The object of the research is complex industrial equipment with heterogeneous sensory systems of different nature. Objective. The goal of the work is the development of a method for signal anomalies detection based on transfer learning with the extreme gradient boosting algorithm. Method. An approach based on transfer learning and the extreme gradient boosting algorithm, developed for detecting anomalies in acoustic signals of cyber-physical systems, is proposed. Little research has been done in this area, and therefore various pre-trained deep neural model architectures have been studied to improve anomaly detection. Transfer learning uses weights from a deep neural model, pre-trained on a large dataset, and can be applied to a small dataset to provide convergence without overfitting. The classic approach to this problem usually involves signal processing techniques that extract valuable information from sensor data. This paper performs an anomaly detection task using a deep learning architecture to work with acoustic signals that are preprocessed to produce a spectrogram and scalogram. The SPOCU activation function was considered to improve the accuracy of the proposed approach. The extreme gradient boosting algorithm was used because it has high performance and requires little computational resources during the training phase. This algorithm can significantly improve the detection of anomalies in industrial equipment signals. Results. The developed approach is implemented in software and evaluated for the anomaly detection task in acoustic signals of cyber-physical systems on the MIMII dataset. Conclusions. The conducted experiments have confirmed the efficiency of the proposed approach and allow recommending it for practical use in diagnosing the state of industrial equipment. Prospects for further research may lie in the application of ensemble approaches based on transfer learning to various real datasets to improve the performance and fault-tolerance of cyber-physical systems. UK: Актуальність. Розглянуто задачу виявлення аномалій сигналів кіберфізичних систем на основі зображень спектрограм і скалограм. Об’єктом дослідження є складне промислове устаткування, яке має неоднорідні сенсорні системи різної природи. Мета роботи. Розробка методу виявлення аномалій сигналів на основі трансферного навчання у поєднанні з алгоритмом екстремального градієнтного бустінгу. Метод. Запропоновано підхід на основі трансферного навчання і екстремального градієентного бустінгу, розроблений для виявлення аномалій в акустичних сигналах кіберфізичних систем. У цій області було проведено мало досліджень, і тому вивчалися різні архітектури заздалегідь навчених глибоких нейронних моделей, щоб поліпшити виявлення аномалій. Трансферне навчання використовує ваги з глибокої нейронної моделі, попередньо навченої на великому наборі даних, і може бути застосоване до невеликого набору навчальних даних, що забезпечує збіжність без перенавчання. Класичний підхід до такого роду проблем зазвичай включає в себе методи обробки сигналів, які дозволяють отримувати корисну інформацію з даних сенсорів. У цій статті виконується завдання виявлення аномалій з використанням архітектури глибокого навчання для роботи з акустичними сигналами, з яких попередньо витягуються спектрограми і скалограми. Функція активації SPOCU була розглянута для поліпшення точності запропонованого підходу. Алгоритм екстремального градієнтного бустінгу був використаний, оскільки він має високу продуктивність і вимагає мало обчислювальних ресурсів на етапі навчання. Застосування даного алгоритму дозволяє домогтися значного поліпшення виявлення аномалій в сигналах промислового обладнання. Результати. Розроблений підхід реалізований програмно і досліджений під час вирішення завдання виявлення аномалій в акустичних сигналах кіберфізичних систем на наборі даних MIMII. Висновки. Проведені експерименти підтвердили працездатність запропонованого підходу і дозволяють рекомендувати його для використання на практиці при вирішенні завдань діагностування стану промислового устаткування. Перспективи подальших досліджень можуть полягати в застосуванні ансамблевих підходів на основі трансферного навчання до різних реальних наборів даних для підвищення продуктивності та відмовостійкості кіберфізичних систем.