Швидка нейронна мережа та її адаптивне навчання в задачах класифікації

Abstract

UK: Актуальність. Для вирішення широкого класу задач обробки інформації і, перш за все, розпізнавання образів за умов суттєвої нелінійності широке розповсюдження одержали штучні нейронні мережі, завдяки своїм універсальним апроксимуючим властивостям та здатності до навчання на основі тренувальних навчальних вибірок. Найбільшого розповсюдження отримали глибокі нейронні мережі, які дійсно демонструють дуже високу якість розпізнавання, але потребують надвеликих обсягів навчальних даних, які не завжди є доступними. За цих умов ефективними можуть бути, так звані, машини опорних векторів найменших квадратів, які не потребують великих обсягів навчальних вибірок, однак можуть навчатися лише у пакетному режимі і є достатньо громіздкими у чисельній реалізації. Тому достатньо актуальною є задача навчання LS-SVM у послідовному режимі за умов суттєвої нестаціонарності даних, що послідовно у онлайн режимі надходять на опрацювання у нейронну мережу. Мета. Мета роботи полягає у запровадженні підходу до адаптивного навчання LS-SVM, що дозволяє відмовитися від перетворення зображень у векторні сигнали. Метод. Запропоновано підхід для розпізнавання образів-зображень за допомогою машини опорних векторів найменших квадратів (LS-SVM) за умов, коли дані на обробку надходять у послідовному онлайн режимі. Перевагою запропонованого підходу є скорочення часу вирішення задачі розпізнавання образів-зображень, а також дозволяє реалізувати процес навчання на нестаціонарних тренувальних вибірках. Особливістю запропонованого методу є обчислювальна простота і висока швидкодія, пов’язана з тим, що кількість нейронів у мережі не змінюється з часом, тобто архітектура залишається фіксованою у процесі налаштування. Результати. Запропонований підхід до адаптивного навчання LS-SVM спрощує чисельну реалізацію нейронної мережі та дозволяє підвищити швидкість обробки інформації і, перш за все, налаштування її синаптичних ваг. Висновки. Розглянута задача розпізнавання образів-зображень за допомогою машини опорних векторів найменших квадратів (LS-SVM) за умов, коли дані на обробку надходять у послідовному онлайн режимі. Процес навчання реалізується на ковзному вікні, що веде до того, що кількість нейронів у мережі не змінюється з часом, тобто архітектура залишається фіксованою у процесі налаштування. Такий підхід спрощує чисельну реалізацію системи та дозволяє реалізувати процес навчання на нестаціонарних тренувальних вибірках. Розглянута можливість навчання у ситуаціях, коли навчальні образи задані не лише у векторній формі, а й матричній, що дозволяє відмовитися від перетворення зображень у векторні сигнали.

EN: To solve a wide class of information processing tasks and, above all, pattern recognition under conditions of significant nonlinearity, artificial neural networks have become widely used, due to their universal approximating properties and ability to learn based on training training samples. Deep neural networks have become the most widespread, which indeed demonstrate very high recognition quality, but require extremely large amounts of training data, which are not always available. Under these conditions, the so-called least squares support vector machines can be effective. They do not require large amounts of training samples but can be trained only in batch mode and are quite cumbersome in numerical implementation. Therefore, the problem of training LS-SVM in sequential mode under conditions of significant non-stationarity of data that are sequentially fed online to the neural network for processing is quite relevant. Objective. The aim of the work is to introduce an approach to adaptive learning of LS-SVM, which allows us to abandon the conversion of images into vector signals. Method. An approach for image recognition using a least squares support vector machine (LS-SVM) is proposed under conditions when data for processing is received in a sequential online mode. The advantage of the proposed approach is that reduces the time to solve the image recognition problem and allows the implementation of the learning process on non-stationary training samples. A feature of the proposed method is computational simplicity and high speed since the number of neurons in the network does not change over time, i.e., the architecture remains fixed during the tuning process. Results. The proposed approach to adaptive learning of LS-SVM simplifies the numerical implementation of the neural network and allows for an increase in the speed of information processing and, above all, the tuning of its synaptic weights. Conclusions. The problem of pattern recognition using the least squares support vector machine (LS-SVM) is considered under conditions when data for processing is received in a sequential online mode. The training process is implemented on a sliding window, which leads to the fact that the number of neurons in the network does not change over time, i.e. the architecture remains fixed during the tuning process. This approach simplifies the numerical implementation of the system and allows the training process to be implemented on non-stationary training samples. The possibility of training in situations where training images are given not only in vector form but also in matrix form allows us to abandon the conversion of images into vector signals.