Scoping adversarial attack for improving its quality

Abstract

EN: Context. The subject of this paper is adversarial attacks, their types, reasons for the emergence. A simplified fast and effective logistic regression attack algorithm has been presented. The work’s relevance is explained by the fact that neural network’s critical vulnerability the so-called adversarial examples is yet to be deeply explored. By exploiting such a mechanism, it is possible to get a deliberate result from it breaking defenses of neural-network-based safety systems. Objective. The purpose of the work is to develop algorithms for different kinds of attacks of a trained neural network with respect to preliminary the network’s weights analysis, to estimate attacked image quality loss, to perform a comparison of the developed algorithms and other adversarial attacks of a similar type. Method. A fast and fairly efficient attack algorithm that can use either whole image or its certain regions is presented. Using the SSIM image structural similarity metric, an analysis of the algorithm and its modifications was carried out, as well as a comparison with previous methods using gradient for the attack. Results. Simplified targeted and non-targeted attack algorithms have been built for a single-layer neural network trained to perform handwritten digit classification on the MNIST dataset. A visual and semantic interpretation of weights as pixel “importance” for recognizing an image as one class or another is given. Based on structural image similarity index SSIM an image quality loss analysis has been performed for images attacked by the proposed algorithms on the whole test dataset. Such an analysis has revealed the classes the most vulnerable to an adversarial attack as well as images, whose class can be changed by adding noise imperceptible by a human being. Adversarial examples built with the developed algorithm has been transferred to a 5-layered network of an unknown architecture. In many cases images that were difficult to attack for the original network have seen a higher transfer rates, then the ones needed only minor image changes. Conclusions. Adversarial examples built upon the adversarial attack scoping idea and the methodic of the input data analysis can be easily generalized to other image recognition problems which makes it applicable to a wide range of practical tasks. This way, another way of analyzing neural network safety (logistic regression included) against input data attacks is presented. UK: Актуальність. Предметом дослідження даної роботи є змагальні атаки, види, причини виникнення, а також алгоритми атак. Представлений швидкий спрощений і більш ефективний (порівняно з існуючими аналогами) алгоритм атаки на модель логістичної регресії. Актуальність роботи пояснюється малою дослідженістю критичної уразливості нейронних мереж – так званих змагальних прикладів, які дозволяють зламувати механізм передбачення і отримувати довільний результат, роблячи системи безпеки, засновані на нейронних мережах, малоефективними. Мета. Розробка алгоритмів різних типів атаки на навчену одношарову нейронну мережу з урахуванням результатів попереднього аналізу параметрів самої мережі, а також оцінка втрат якості зображень, що були піддані модифікації, порівняння результатів проведення атак за допомогою розроблених алгоритмів і змагальних атак подібного роду. Методи. На основі результатів аналізу матриць ваг навченої нейронної мережі сформульована ідея побудови алгоритмів атаки на нейронну мережу, виділяючи для атаки певні області на зображенні з урахуванням різниці вагових матриць цільового і вихідного класів. Представлений швидкий і досить ефективний алгоритм атаки, який здатний використовувати для атаки як все зображення повністю, так і окремі його регіони, що робить алгоритм більш гнучким. Використовуючи метрику структурної схожості зображень SSIM, проведений аналіз алгоритму і його модифікацій, а також порівняння його з попередніми методами, які використовують для атаки звичайний градієнт. Результати. Побудовано спрощені алгоритми націленої і ненаціленої атак на одношарову нейронну мережу, яка застосовується для класифікації рукописних цифр з набору даних MNIST. Дана візуальна і змістовна інтерпретація налаштованих ваг мережі як «важливостей» точок зображення для розпізнавання його як представника того чи іншого класу. На основі порівняння структурної схожості зображень алгоритмом SSIM був проведений аналіз втрат якості зображень для задач націленої і ненаціленої атак наведеними спрощеними алгоритмами на всій тестової вибірці. Подібний аналіз дозволив визначити класи, що найбільш піддаються атакам, а також зображення, для яких клас, передбачений нейронною мережею, може бути змінений непомітно для людини. Змагальні приклади, побудовані за допомогою розробленого в статті алгоритму, перенесені на мережу з 5-ю шарами невідомої архітектури. У ряді випадків зображення для класів, які було складно атакувати для вихідної мережі, вдалося перенести з більшим успіхом, ніж ті, для зміни класу яких було досить мінімальних змін. Висновки. Побудовані на основі ідеї обмеження області атаки змагальні приклади, а також система (методика) аналізу вхідних даних легко узагальнюється і на інші задачі розпізнавання, що робить представлену методику придатною для аналізу ряду практичних задач. Отже, представлений ще один підхід до аналізу безпеки нейронних мереж (зокрема, логістичної регресії) проти атак на вхідні дані.