Метод структурного доналаштування нейромережевих моделей для забезпечення інтерпретабельності

Abstract

UK: Актуальність. Розглянуто задачу структурного доналаштування попередньо синтезованих моделей на базі штучних нейронних мереж для забезпечення властивості інтерпретабельності при роботі із великими об’ємами даних. Об’єктом дослідження є процес структурного доналаштування штучних нейронних мереж з використанням адаптивних механізмів. Мета роботи полягає у розробці методу структурного доналаштування нейронних мереж для підвищення швидкості їх роботи та зменшенні ресурсоємності при обробці великих даних. Метод. Запропоновано метод структурного доналаштування нейронних мереж на основі адаптивних механізмів запозичених із нейроеволюційних методів синтезу. На початку метод використовує систему індикаторів для оцінки існуючої структури штучної нейронної мережі. Оцінка ґрунтується на структурних особливостях нейромоделі. Потім отримані індикаторні оцінки порівнюються із критеріальними значеннями для вибору типу структурного доналаштування. У якості варіантів структурного доналаштування використовується варіанти мутаційних змін із групи методів нейроеволюціонної модифікації топології і ваг нейромережі. Метод дозволяє знизити ресурсоємність під час роботи нейромоделі, за рахунок пришвидшення обробки великих даних, що розширює поле практичного застосування штучних нейронних мереж. Результати. Розроблений метод реалізовано та досліджено на прикладі використання рекурентної штучної мережі типу Довга короткочасна пам’ять при вирішенні задачі класифікації. Використання розробленого методу дозволило збільшити швидкість роботи нейромоделі з тестовою вибіркою на 25,05%, в залежності від використовуваних обчислювальних ресурсів. Висновки. Проведені експерименти підтвердили працездатність запропонованого математичного забезпечення і дозволяють рекомендувати його для використання на практиці при структурному доналаштуванні попередньо синтезованих нейромоделей для подальшого вирішення задач діагностування, прогнозування, оцінювання та розпізнавання образів з використанням великих даних. Перспективи подальших досліджень можуть полягати в більш тонкому налаштуванні системи індикаторів для визначення зв’язків, що кодують зачумлені дані з метою додаткового підвищення точності роботи моделей на основі нейронних мереж. EN: Context. The problem of structural modification of pre-synthesized models based on artificial neural networks to ensure the property of interpretation when working with big data is considered. The object of the study is the process of structural modification of artificial neural networks using adaptive mechanisms. Objective of the work is to develop a method for structural modification of neural networks to increase their speed and reduce resource consumption when processing big data. Method. A method of structural adjustment of neural networks based on adaptive mechanisms borrowed from neuroevolutionary synthesis methods is proposed. At the beginning, the method uses a system of indicators to evaluate the existing structure of an artificial neural network. The assessment is based on the structural features of neuromodels. Then the obtained indicator estimates are compared with the criteria values for choosing the type of structural changes. Variants of mutational changes from the group of methods of neuroevolutionary modification of the topology and weights of the neural network are used as variants of structural change. The method allows to reduce the resource intensity during the operation of neuromodels, by accelerating the processing of big data, which expands the field of practical application of artificial neural networks. Results. The developed method is implemented and investigated by the example of using a recurrent artificial network of the long short-term memory type when solving the classification problem. The use of the developed method allowed speed up of the neuromodel with a test sample by 25.05%, depending on the computing resources used. Conclusions. The conducted experiments confirmed the operability of the proposed mathematical software and allow us to recommend it for use in practice in the structural adjustment of pre-synthesized neuromodels for further solving problems of diagnosis, forecasting, evaluation and pattern recognition using big data. The prospects for further research may consist in a more fine-tuning of the indicator system to determine the connections encoding noisy data in order to further improve the accuracy of models based on neural networks.