Методы количественного решения проблемы несбалансированности классов

Abstract

RU: Актуальность. Решена задача восстановления баланса классов в несбалансированных выборках для повышения эффективности диагностических и распознающих моделей. Цель работы – модификация существующего метода восстановления баланса классов и сравнительный анализ показателей его производительности с некоторыми современными методами. Метод. Предложен метод предварительной обработки несбалансированной выборки, который базируется на объединении стратегии undersampling и технологии кластерного анализа. Метод позволил восстановить баланс классов и сократить объем выборки, при этом были сохранены важные топологические свойства выборки, высокий показатель точности и приемлемое время работы. Результаты. Разработано программное обеспечение, реализующее предложенный метод, которое было использовано при проведении вычислительных экспериментов по исследованию свойств метода и сравнительному анализу с другими методами восстановления баланса классов. Выводы. Проведенные эксперименты подтвердили работоспособность, предложенного метода и реализующего его программного обеспечения. Метод позволил уменьшить мажоритарный класс до размеров миноритарного класса, соответственно уменьшив обучающую выборку (выборка считается несбалансированной, если размер миноритарного класса составляет менее 10% от размера исходной выборки), при этом продемонстрировал самые лучшие среди исследуемых методов показатели точности модели и сравнимую скорость формирования выборки. Это позволяет рекомендовать их для применения на практике при решении задач формирования обучающих выборок в условиях несбалансированности классов для диагностических и распознающих моделей. UK: Актуальність. Вирішено завдання відновлення балансу класів в незбалансованих вибірках для підвищення ефективності діагностичних та розпізнавальних моделей. Мета роботи – модифікація існуючого методу відновлення балансу класів та порівняльний аналіз показників його продуктивності з деякими сучасними методами. Метод. Запропоновано метод попередньої обробки незбалансованої вибірки, який базується на об’єднанні стратегії undersampling та технології кластер-аналізу. Метод дозволив відновити баланс класів та зменшити об’єм вибірки, при цьому було збережено важливі топологічні властивості, високі показники точності та прийнятний час роботи. Результати. Розроблено програмне забезпечення, що реалізує запропонований метод, яке було використано при виконанні обчислювальних експериментів властивостей методу та порівняльному аналізу з іншими методами відновлення балансу класів. Висновки. Проведені експерименти підтвердили працездатність запропонованого методу та програмного забезпечення, що його реалізує. Метод дозволив зменшити мажоритарний клас до розмірів міноритарного класу, зменшивши таким чином навчальну вибірку (вибірка вважається незбалансованою, коли розмір міноритарного класу становить менш ніж 10% від розміру вихідної вибірки), при цьому продемонстрував найкращі серед досліджених методів показники точності моделі та прийнятний час формування вибірки. Результати експериментів дозволяють рекомендувати їх для використання на практиці при вирішенні задач формування навчальних вибірок в умовах незбалансованості класів для діагностичних та розпізнавальних моделей. EN: Context. The problem of recovery the classes’ balance in imbalanced samples is solved to increase the efficiency of diagnostic and recognition models. Objective. The purpose of the work is to modify the existing method of recovery classes’ balance and to conduct comparative analysis of performance indicators with some modern methods. Method. The proposed data preprocessing method is based on combining the undersampling and cluster-analysis technologies. The method has allowed restoring the balance and reducing the sample while maintaining important topological properties of the sample, high accuracy and acceptable operating time. Results. The software that implements in proposed method has been developed and used in the computational experiments on the study of method’s properties and comparative analysis with other methods of restoring classes’ balance. Conclusions. The experiments confirmed the efficiency of the proposed method and its implemented software. The method has allowed reducing the majority class to the size of the minority class, thus reducing the training sample (the sample is considered imbalanced if the size of the minority class is less than 10% of the original sample size), while demonstrating the best indicators of model accuracy and comparable sampling speed. It can be recommended for the practical application in solving problems of imbalance data for diagnostic and recognition models.