Modification and parallelization of genetic algorithm for synthesis of artificial neural networks

Abstract

EN: Context. The problem of automation synthesis of artificial neural networks for further use in diagnosing, forecasting and pattern recognition is solved. The object of the study was the process of synthesis of ANN using a modified genetic algorithm. Objective. The goals of the work are the reducing the synthesis time and improve the accuracy of the resulting neural network. Method. The method of synthesis of artificial neural networks on the basis of the modified genetic algorithm which can be implementing sequentially and parallel using MIMD – and SIMD-systems is proposed. The use of a high probability of mutation can increase diversity within the population and prevent premature convergence of the method. The choice of a new best specimen, as opposed to a complete restart of the algorithm, significantly saves system resources and ensures the exit from the area of local extrema. The use of new criteria for adaptive selection of mutations, firstly, does not limit the number of hidden neurons, and, secondly, prevents the immeasurable increase in the network. The use of uniform crossover significantly increases the efficiency, as well as allows emulating other crossover operators without problems. Moreover, the use of uniform crossover increases the flexibility of the genetic algorithm. The parallel approach significantly reduces the number of iterations and significantly speedup the synthesis of artificial neural networks. Results. The software which implements the proposed method of synthesis of artificial neural networks and allows to perform the synthesis of networks in sequentially and in parallel on the cores of the CPU or GPU. Conclusions. The experiments have confirmed the efficiency of the proposed method of synthesis of artificial neural networks and allow us to recommend it for use in practice in the processing of data sets for further diagnosis, prediction or pattern recognition. Prospects for further research may consist in the introduction of the possibility of using genetic information of several parents to form a new individual and modification of synthesis methods for recurrent network architectures for big data processing. UK: Актуальність. Вирішено задачу автоматизації синтезу штучних нейронних мереж для подальшого використання при діагностуванні, прогнозуванні та розпізнаванні образів. Об’єкт дослідження – процес синтезу штучних нейронних мереж за допомогою генетичного алгоритму. Предмет дослідження – послідовий та паралельний методи синтезу штучних нейронних мереж. Мета роботи – зменшити час синтезу та підвищити точність отриманої нейронної мережі. Метод. Запропоновано метод синтезу штучних нейронних мереж на основі модифікованого генетичного алгоритму, який може бути реалізовано послідовно та паралельно використвуючі MIMD- та SIMD-системи. Введення великої ймовірності мутації дозволяє збільшити різноманітність всередині популяції та перешкодити завчасній збіжності методу. Вибір нової кращої особини, на відміну від повного перезапуску методу, значно економить ресурси системи та гарантує вихід із області локальних екстремумів. Використання нових критеріїв для адаптивного вибору мутації, по-перше, не обмежує кількість прихованих нейронів, а, по-друге, перешкоджає безмірному збільшенню мережі. Використання рівномірного схрещування істотно підвищує ефективність, а також без проблем дозволяє емулювати інші оператори схрещування. Більш того, саме використання рівномірного схрещування підвищує гнучкість генетичного алгоритму. Паралельний підхід значно скорочує кількість ітерацій та істотно прискорює виконання синтезу штучних нейронних мереж. Результати. Розроблено програмне забезпечення, яке реалізує запропонований метод синтезу штучних нейронних мереж і дозволяє виконувати синтез мереж послідовно та паралельно на ядрах центрального процесору або графічного процесору. Висновки. Проведені експерименти підтвердили працездатність запропонованого методу синтезу штучних нейронних мереж і дозволяють рекомендувати його для використання на практиці при обробці масивів даних для подальшого діагностування, прогнозування або розпізнавання образів. Перспективи подальших досліджень можуть полягати у введені можливості використання генетичної інформації декількох батьків для формування нової особини та модифікуванні методів синтезу для мереж рекурентних архітектур для обробки великих даних.