Parallel method of big data reduction based on stochastic programming approach

Abstract

EN: The task of automation of big data reduction in diagnostics and pattern recognition problems is solved. The object of the research is the process of big data reduction. The subject of the research are the methods of big data reduction. Objective. The research objective is to develop parallel method of big data reduction based on stochastic calculations. Method. The parallel method of big data reduction is proposed. This method is based on the proposed criteria system, which allows to estimate concentration of control points around local extrema. Calculation of solution concentration estimates in the developed criteria system is based on the spatial location of control points in the current solution set. The proposed criteria system can be used in stochastic search methods to monitor situations of excessive solution concentration in the areas of local optima and, as a consequence, to increase the diversity of the solution set in the current population and to cover the search space by control points in a more uniform way during optimization process. Results. The software which implements the proposed parallel method of big data reduction and allows to select informative features and to reduce the big data for synthesis of recognition models based on the given data samples has been developed. Conclusions. The conducted experiments have confirmed operability of the proposed parallel method of big data reduction and allow to recommend it for processing of data sets for pattern recognition in practice. The prospects for further researches may include the modification of the known feature selection methods and the development of new ones based on the proposed system of criteria for control points concentration estimation. UK: Актуальність. Вирішено задачу автоматизації задача автоматизації процесу редукції великих даних при діагностуванні та роз-пізнаванні образів. Об’єкт дослідження – процес редукції великих даних. Предмет дослідження – методи редукції великих даних. Мета роботи полягає в створенні паралельного методу редукції даних на основі стохастичних обчислень.. Метод. Запропоновано паралельний метод редукції великих даних. Даний метод ґрунтується на запропонованій системі критеріїв, що дозволяють оцінювати концентрованість контрольних точок близько локальних екстремумів. Обчислення оцінок концентрованості рішень в розробленій системі критеріїв засноване на просторовому розташуванні контрольних точок в поточній множині рішень. Запропонована система критеріїв може використовуватися в методах стохастичного пошуку для відстеження ситуацій надмірної концентрації рішень в областях локальних оптимумів, і, як наслідок, для підвищення різноманітності множини рішень в поточній популяції і більш рівномірного покриття простору пошуку контрольними точками в процесі оптимізації. Результати. Розроблено програмне забезпечення, яке реалізує запропонований паралельний метод редукції великих даних і дозволяє виконувати відбір інформативних ознак і скорочення великих вибірок даних при синтезі розпізнавальних моделей. Висновки. Проведені експерименти підтвердили працездатність запропонованого паралельного методу редукції великих даних і дозволяють рекомендувати його для використання на практиці при обробці масивів великих даних для розпізнавання образів. Перспективи подальших досліджень можуть полягати в модифікації існуючих і розробки нових методів відбору ознак на основі розробленої системи критеріїв оцінювання концентрованості контрольних точок близько локальних екстремумів.