Lightweight multi-scale convolutional transformer for aircraft fault diagnosis using vibration analysis

Abstract

EN: Context. Fault diagnosis in rotating machinery, especially in aircraft, plays an important role in health monitoring systems. Early and accurate fault detection can significantly reduce the cost of repair and increase the lifetime of the mechanism. To detect the fault efficiently, intelligent methods based on traditional machine learning and deep learning techniques are used. The object of the research is the process of detecting faults in aircraft based on vibration analysis. Objective of the work is the development of a deep learning method for fault diagnosis in rotating machinery with a high accuracy rate. Method. The proposed method employs Transformer architecture. The first stage of processing the vibration signal is the multi-scale feature extractor. This stage allows the model to examine input signals in different scales and reduce the impact of the noise. The second stage is the Convolutional Transformer neural network. The convolution was introduced to the Transformer to combine locality and long-range dependencies feature extraction. The Self-attention mechanism of the Transformer was changed to Channel Attention, which reduces the number of parameters but maintains the strength of the attention. To maintain this idea, similar changes were made in the position-wise feed-forward network. Results. The proposed method is tested on the aircraft vibration dataset. Two conditions were chosen for testing: limited data and noisy environment. The limited data condition is simulated by selecting a small number of samples into the training set (a maximum of 10 per class). The noisy environment condition is simulated by adding Gaussian noise to the raw signal. According to the obtained results, the proposed method achieves a high average precision metric rate with a small number of parameters. The experiments also show the importance of the proposed modules and changes, confirming the assumptions about the process of feature extraction. Conclusion. The results of the conducted experiments show that the proposed model can detect faults with almost perfect accuracy, even with a small number of parameters. The proposed lightweight model is robust in limited data conditions and noisy environment conditions. The prospects for further research are the development of fast and accurate neural networks for fault diagnosis and the development of limited data training techniques. UK: Актуальність. Діагностика несправностей обертових механізмів, особливо в авіації, відіграє важливу роль в системах моніторингу стану. Своєчасне і точне виявлення несправностей може значно знизити вартість ремонту і збільшити термін служби механізму. Для ефективного виявлення несправностей використовуються інтелектуальні методи, які базуються на традиційних методах машинного та глибинного навчання. Об'єктом дослідження є процес виявлення несправностей в авіаційних апаратах на основі аналізу вібрацій. Метою роботи є розробка методу глибинног навчання для діагностики несправностей обертових машин з високою точністю. Метод. Запропонований метод використовує архітектуру трансформера. Першим етапом обробки сигналу вібрації є багатомасштабне вилучення ознак. Цей етап дозволяє моделі розглядати вхідні сигнали в різних масштабах і зменшити впливи шуму. Другий етап – згорткова нейронна мережа з трансормером. Згортка була додана до трансформеру, щоб поєднати локальність і вилучення ознак далеких залежностей. Механізм самоуваги трансормеру було змінено на механізм канальної уваги, що зменшує кількість параметрів, але зберігає силу уваги. Щоб підсилити цю ідею, аналогічні зміни були зроблені в позиційній мережі прямого поширення. Результати. Запропонований метод протестовано на наборі даних з вібраціями авіаційного апарату. Для тестування було обрано дві умови: обмеженість обсягу даних та зашумлене середовище. Обмеженість обсягу даних імітується шляхом використання невелої кількості вибірок до навчального набору даних (максимум 10 на клас). Умова зашумленого середовища імітується шляхом додавання гауссівського шуму до вихідного сигналу. Згідно з отриманими результатами, запропонований метод досягає високої середньої точності при невеликій кількості параметрів. Експерименти також показують важливість запропонованих модулів і змін, підтверджуючи припущення про процес вилучення ознак. Висновки. Результати проведених експериментів показують, що запропонована модель може виявляти несправності з майже ідеальною точністю, навіть при невеликій кількості параметрів. Запропонована легковісна модель є стійкою в умовах обмеженого обсягу даних та зашумленого середовища. Перспективами подальших досліджень є розробка швидких і точних нейронних мереж для діагностики несправностей та розробка методів навчання на обмежених обсягах даних.