Evaluation of component algorithms in an algorithm selection approach for semantic segmentation based on high-level information feedback

Abstract

EN: In this paper we discuss certain theoretical properties of the algorithm selection approach to the problem of semantic segmentation in computer vision. High quality algorithm selection is possible only if each algorithm’s suitability is well known because only then the algorithm selection result can improve the best possible result given by a single algorithm. We show that an algorithm’s evaluation score depends on final task; i.e. to properly evaluate an algorithm and to determine its suitability, only well formulated tasks must be used. When algorithm suitability is well known, the algorithm can be efficiently used for a task by applying it in the most favorable environmental conditions determined during the evaluation. The task dependent evaluation is demonstrated on segmentation and object recognition. Additionally, we also discuss the importance of high level symbolic knowledge in the selection process. The importance of this symbolic hypothesis is demonstrated on a set of learning experiments with a Bayesian Network, a SVM and with statistics obtained during algorithm selector training. We show that task dependent evaluation is required to allow efficient algorithm selection. We show that using symbolic preferences of algorithms, the accuracy of algorithm selection can be improved by 10 to 15% and the symbolic segmentation quality can be improved by up to 5% when compared with the best available algorithm. UK: Показано, що оцінка алгоритму залежить від кінцевого завдання; тобто для того щоб правильно оцінювати алгоритм і визначити його придатність, необхідно використовувати тільки добре сформульовані завдання. Коли придатність алгоритму відома, алгоритм може бути ефективно використаний для завдання, застосовуючись у найбільш сприятливих умовах, обумовлених у ході оцінювання. Оцінювання, залежне від завдання, продемонстровано на сегментації і розпізнаванні об’єктів. Крім того, обговорюється важливість символічного знання високого рівня у процесі відбору. Важливість цієї символічної гіпотези продемонстровано на наборі експериментів з навчання байєсівської мережі та SVM, а також за допомогою статистичних даних, отриманих під час навчання селектора алгоритму. Показано, що для вибору ефективного алгоритму потрібно оцінювання, залежне від завдання. Показано, що використовуючи символічні переваги алгоритмів, точність вибору алгоритму може бути поліпшена на 10–15%, а якість символічної сегментації може бути покращена до 5% у порівнянні з найкращим доступним алгоритмом.