Integrated method of extraction, formalization and aggregation of competitive agents expert evaluations in a group

Abstract

EN: Context. The problem of extraction, formalization and aggregation of expert evaluations performed during selection of the best solution from possible alternatives set was considered. The problem actuality is defined by different application areas, additional analysis necessity and group evaluation under uncertainty. Objective. The research objective was to raise quality of the decisions made by group of experts due to increase of individual expert evaluation process efficiency and improvement of evaluation aggregation process. Method. The integrated method which consists of individual and group evaluation was proposed for the problem solution. The modified method of extraction and formalization of individual expert evaluations which is based on the analytic hierarchy process modification and includes absolute and relative evaluation phases was proposed. It evaluates expert competence based on confidence coefficient for expert judgments. The modified method of agent group evaluation based on summation of individual expert evaluations of every alternative was proposed. It makes total evaluation based on relative quantitative importance of the agents and confidence coefficients for judgments of every group participant. It gives preference to judgments of qualified experts to increase solution quality. Results. The experimental investigation of the proposed methods confirmed availability of the developed mathematical support. The proposed methods are able to detect and control nontrivial issues in tasks which are solved. Conclusions. Scientific novelty of the paper consists in the proposed integrated method of extraction, formalization and aggregation of expert evaluations in group which enables to define integrated assessment of competitive agents as well as to evaluate confidence coefficient for expert judgments directly during individual evaluation process and to use it in the following group decision-making phase. Practical significance of the paper results consists in the developed information technology which made it possible to put the method into practice for solving of the tender support tasks and experiment results. UK: Актуальність. Розглянуто проблему видобування, формалізації та агрегації експертних оцінок під час пошуку найкращого рішення з множини можливих. Актуальність даної проблеми визначається різноманіттям галузей застосування, необхідністю додаткового аналізу та груповим оцінюванням за умов невизначеності. Мета. Мета даного дослідження полягала в підвищенні якості рішень, що приймаються групою експертів, за рахунок підвищення ефективності процесу отримання індивідуальних експертних оцінок та вдосконалення процесу їх подальшої агрегації. Метод. Запропоновано комплексний метод, що складається з індивідуального та групового оцінювання, для розв’язання даної проблеми. Удосконалено метод видобування та формалізації індивідуальних експертних оцінок. Запропонований метод ґрунтується на модифікації методу аналізу ієрархій, містить етапи абсолютного та відносного оцінювання, дозволяє визначити компетентність експерта шляхом обчислення коефіцієнта довіри до його суджень. Удосконалено метод визначення групових оцінок агентів на основі підсумовування індивідуальних експертних оцінок за кожним рішенням. Даний метод враховує під час обчислення сумарної оцінки кількісну перевагу агентів один над одним та коефіцієнти довіри до суджень кожного учасника групи. Це дозволяє вважати судження компетентних експертів більш значущими з метою підвищення якості отримуваного рішення. Результати. Проведене експериментальне дослідження підтверджує працездатність розробленого математичного забезпечення. Розроблені методи продемонстрували здатність визначати і усувати неочевидні проблеми в задачах, що розв’язуються. Висновки. Наукова новизна роботи полягає в тому, що запропоновано комплексний метод видобування, формалізації та агрегації експертних оцінок у групі, який дозволяє визначати комплексну оцінку конкуруючих агентів, а також обчислювати кількісне значення коефіцієнту довіри до суджень експерта безпосередньо в процесі отримання індивідуальної оцінки і в подальшому використовувати її для прийняття групових рішень. Практична значимість результатів роботи полягає в тому, що розроблено інформаційну технологію, яка реалізує запропонований комплексний метод, що дозволило застосувати на практиці даний метод для розв’язання задачі проведення тендерів, та проведено експерименти.