Moskalenko, V. V.Москаленко, В. В.2026-01-222026-01-222023https://eir.zp.edu.ua/handle/123456789/26487Moskalenko V. V. Model-agnostic meta-learning for resilience optimization of artificial intelligence system / V. V. Moskalenko // Радіоелектроніка, інформатика, управління. – 2023. – № 2 (65). – C. 79-90.EN: Context. The problem of optimizing the resilience of artificial intelligence systems to destructive disturbances has not yet been fully solved and is quite relevant for safety-critical applications. The task of optimizing the resilience of an artificial intelligence system to disturbing influences is a high-level task in relation to efficiency optimization, which determines the prospects of using the ideas and methods of meta-learning to solve it. The object of current research is the process of meta-learning aimed at optimizing the resilience of an artificial intelligence system to destructive disturbances. The subjects of the study are architectural add-ons and the meta-learning method which optimize resilience to adversarial attacks, fault injection, and task changes. Objective. Stated research goal is to develop an effective meta-learning method for optimizing the resilience of an artificial intelligence system to destructive disturbances. Method. The resilience optimization is implemented by combining the ideas and methods of adversarial learning, fault-tolerant learning, model-agnostic meta-learning, few-shot learning, gradient optimization methods, and probabilistic gradient approximation strategies. The choice of architectural add-ons is based on parameter-efficient knowledge transfer designed to save resources and avoid the problem of catastrophic forgetting. Results. A model-agnostic meta-learning method for optimizing the resilience of artificial intelligence systems based on gradient meta-updates or meta-updates using an evolutionary strategy has been developed. This method involves the use of tuner and meta-tuner blocks that perform parallel correction of the building blocks of a original deep neural network. The ability of the proposed approach to increase the efficiency of perturbation absorption and increase the integral resilience indicator of the artificial intelligence system is experimentally tested on the example of the image classification task. The experiments were conducted on a model with the ResNet-18 architecture, with an add-on in the form of tuners and meta-tuners with the Conv-Adapter architecture. In this case, CIFAR-10 is used as a base set on which the model was trained, and CIFAR-100 is used as a set for generating samples on which adaptation is performed using a few-shot learning scenarios. We compare the resilience of the artificial intelligence system after pre-training tuners and meta-tuners using the adversarial learning algorithm, the fault-tolerant learning algorithm, the conventional model-agnostic meta-learning algorithm, and the proposed meta-learning method for optimizing resilience. Also, the meta-learning algorithms with meta-gradient updating and meta-updating based on the evolutionary strategy are compared on the basis of the integral resilience indicator. Conclusions. It has been experimentally confirmed that the proposed method provides a better resilience to random bit-flip injection compared to fault injection training by an average of 5%. Also, the proposed method provides a better resilience to -adversarial evasion attacks compared to adversarial training by an average of 4.8%. In addition, an average 4.8% increase in the resilience to task changes is demonstrated compared to conventional fine-tuning of tuners. Moreover, meta-learning with an evolutionary strategy provides, on average, higher values of the resilience indicator. On the downside, this meta-learning method requires more iterations. UK: Актуальність. Задача оптимізації резільєнтності систем штучного інтелекту до деструктивних збурень досі не була повністю вирішена і є досить актуальною для критичних до безпеки застосувань. Задача оптимізації резільєнтності системи штучного інтелекту до збурюючих впливів є високорівневою по відношенню до оптимізації ефективності, що обумовлює перспективність використання ідей і методів мета-навчання для її вирішення. Тому об’єктом дослідження є процес мета-навчання для оптимізації резільєнтності системи штучного інтелекту до деструктивних збурень. Предметом дослідження є архітектурні надстройки та метод мета-навчання, що забезпечують оптимізацію резільєнтності до протиборчих атак, інжекції несправностей і зміни задач. Мета дослідження – розроблення ефективного методу мета-навчання для оптимізації резільєнтності системи штучного інтелекту до деструктивних збурень. Методи дослідження. Оптимізація резільєнтності реалізується шляхом поєднання ідей і методів протиборчого навчання, навчання з ін’єкцією несправностей, незалежного від моделі мета-навчання, навчання за обмеженою кількістю зразків, методів градієнтної оптимізації та ймовірнісних стратегій апроксимації градієнту. При цьому вибір архітектурних надстройок базується на ефективному щодо параметрів трансфері знань для для економії ресурсів та уникнення проблеми катастрофічного забування. Результати. Розроблено незалежний від моделі метод мета-навчання для оптимізації резільєнтності систем штучного інтелекту на основі градієнтних мета-оновлень, або мета-оновлень за еволюційною стратегією. При цьому метод передбачає використання тюнерів і мета-тюнерів, що здійснюють паралельну корекцію будівельних модулів (блоків) глибокої нейромережі. На прикладі задачі класифікації зображень експериментально протестовано здатність запропонованого підходу підвищувати ефективність поглинання збурень та підвищувати інтегральний показник резільєнтності системи штучного інтелекту. Експерименти проводились на моделі з архітектурою ResNet-18, з надстройкою у вигляді тюнерів і мета-тюнерів з архітектурою Conv-Adapter. При цьому CІFAR-10 використовується як базовий набір, на якому була навчена модель, а CІFAR-100 використовується як набір для формування вибірок, на яких здійснюють адаптацію за обмеженою кількістю зразків. Порівнюється показники резільєнтності системи штучного інтелекту після попереднього навчання тюнерів і мета-тюнерів за алгоритмом протиборчого навчання, алгоритмом навчання з ін’єкцією несправностей, традиційним алгоритмом незалежного від моделі мета-навчання та за запропонованим метод мета-навчання для оптимізації резільєнтності. Також порівнюються за інтегральним показником резільєнтності алгоритм мета-навчання з мета-градієнтним оновленням та мета-оновленням на основі еволюційної стратегії. Висновки. Еспериментально підтверджено, що запропонований метод забезпечує кращий показник резільєнтності до ін’єкції випадкових інверсій біт порівняно з навчанням з ін’єкцією несправностей в середньому на 5%. Також запропонований метод забезпечує кращий показник резільєнтності до протиборчих атак ухилення порівняно з протиборчим навчання всередньому на 4.8%. Так само продемонстровано підвищення всередньому на 4.8% резільєнтності до зміни задач порівняно зі звичайною точною настройкою тюнерів. При цьому мета-навчання з еволюційною стратегією забезпечує всередньому більші значення показника резільєнтності, однак попереднє мета-навчання потребує більше ітерацій.enmeta-learningevolutionary strategiesparameter-efficient transfer learningrobustnessresilienceadversarial attacksfaults injectionfew-shot learningмета-навчанняеволюційна стратегіяефективний стосовно параметрів трансфер знаньробастністьрезільєнтністьпротиборчі атакиінжекція несправностейнавчання з декількох зразківArticle