The system of criteria for feature informativeness estimation in pattern recognition

Abstract

EN: Context. The task of automation of feature informativeness estimation process in diagnostics and pattern recognition problems is solved. The object of the research is the process of informative feature selection. The subject of the research are the criteria of feature informativeness estimation. Objective. The research objective is to develop the system of criteria for feature informativeness estimation which enables to compute informativeness of interdependent feature sets. Method. The system of criteria for feature informativeness estimation is proposed. The proposed system is based on the idea that feature significance is computed according to spatial location of observations of different classes (size of changing of output parameter). The developed criteria system enables to estimate individual and group feature informativeness in classification and regression problems in situations when initial data samples contain redundant and interdependent features as well as observations with missing values. The proposed criteria don’t require to construct models based on the estimated feature combinations, in such a way considerably reducing time and computing costs for informative feature selection. Application of the proposed criteria for estimation and selection of informative features allows to reduce structural complexity of synthesized diagnosis and recognition models, to raise its interpretability and generalization ability due to removing of insignificant, interdependent and redundant features in diagnostics and pattern recognition problems. Results. The software which implements the proposed system of criteria for feature informativeness estimation and allows to select informative features for synthesis of recognition models based on the given data samples has been developed. Conclusions. The conducted experiments have confirmed operability of the proposed system of criteria for feature informativeness estimation and allow to recommend it for processing of data sets for pattern recognition in practice. The prospects for further researches may include the modification of the known feature selection methods and the development of new ones based on the proposed system of criteria for individual and group feature informativeness estimation. UK: Актуальність. Вирішено задачу автоматизації процесу оцінювання інформативності ознак при розв’язанні завдань діагностування та розпізнавання образів. Об’єкт дослідження – процес відбору інформативних ознак. Предмет дослідження – критерії оцінювання інформативності ознак. Мета роботи полягає в створенні системи критеріїв оцінювання інформативності ознак, що дозволяє обчислювати інформативність наборів взаємозалежних ознак. Метод. Запропоновано систему критеріїв оцінювання інформативності ознак. Запропонована система передбачає визначення значущості ознак виходячи з просторового розташування екземплярів різних класів (діапазонів зміни значень вихідного параметра). Розроблена система критеріїв дозволяє оцінювати індивідуальну і групову інформативність ознак при вирішенні задач класифікації і регресії в умовах, коли вихідні вибірки даних містять надлишкові і взаємозалежні ознаки, а також екземпляри з пропущеними значеннями. Запропоновані критерії не вимагають побудови моделей на основі оцінюваних комбінацій ознак, що істотно знижує часові і обчислювальні витрати в процесі відбору ознак. Використання запропонованих критеріїв для оцінювання та відбору інформативних ознак дозволяє при вирішенні завдань діагностування та розпізнавання образів знижувати структурну складність синтезованих діагностичних і розпізнавальних моделей, підвищувати їх інтепретовність і узагальнюючі властивості за рахунок виключення малозначущих, взаємозалежних і надлишкових ознак. Результати. Розроблено програмне забезпечення, що реалізує запропоновану систему критеріїв оцінювання інформативності ознак і дозволяє виконувати відбір ознак для синтезу розпізнавальних моделей на основі заданих наборів даних. Висновки. Проведені експерименти підтвердили працездатність запропонованої системи критеріїв оцінювання інформативності ознак і дозволяють рекомендувати її для використання на практиці при обробці масивів даних для розпізнавання образів. Перспективи подальших досліджень можуть полягати в модифікації існуючих і розробці нових методів відбору ознак на основі запропонованої системи критеріїв оцінювання індивідуальної і групової інформативності ознак.