Ensemble method based on averaging shapes of objects using the pyramid method

Abstract

EN: Context. Image segmentation plays a key role in computer vision. The quality of segmentation is affected by many factors: noise, artifacts, complex shapes of objects. Classical methods cannot always guarantee good success, depending on the quality of the image and the existing noise, they cannot always achieve the desired result. The proposed method uses an ensemble of neural networks, which makes it possible to increase the accuracy and stability of segmentation. Objective. The goal of the work is to develop a new method of combining predictions of neural network ensembles, which can improve segmentation accuracy by combining images of different image sizes. Method. A method is proposed that averages the shapes of objects depicted on prediction masks. A pyramid of images is used to improve segmentation quality, each level of the pyramid corresponds to an increased size of the original image. This approach allows obtaining image characteristics at different levels. For a test image, a prediction is obtained from each neural network in the ensemble, after which a pyramid is built for the image. All pyramid levels are combined into the final image using SAAMC. All obtained final images for each neural network are also combined at the end using SAAMC. The use of an ensemble of neural networks combined with the pyramid method allows for reducing the impact of noise and artifacts on the segmentation results. Results. The use of this method was compared with the usual use of individual neural networks and the ensemble averaging method. The obtained results show that the proposed method outperforms its competitors. Application of the proposed method improved the accuracy and quality of segmentation. Conclusions. The conducted research confirmed the sense of using an ensemble of neural networks and creating a new method of combining predictions. The use of an ensemble of neural networks makes it possible to compensate for the errors and shortcomings of individual neural networks. Using the proposed method can significantly reduce the impact of noise and artifacts on segmentation. Further study and modification of this method will make it possible to further improve the quality of segmentation. UK: Актуальність. Сегментація зображень відіграє ключову роль в комп’ютерному зорі. На якість сегментації впливає багато факторів: шум, артефакти, складні форми об’єктів. Класичні методи не завжди можуть гарантувати гарний успіх, в залежності від якості зображення та наявного шуму, вони не завжди можуть досягти бажаного результату. Запропонований метод використовує ансамбль нейронних мереж, що дає змогу підвищити точність та стабільність сегментації. Мета роботи – розробити новий метод комбінування передбачень ансамблю нейронних мереж, який зможе покращити точність сегментації за рахунок комбінування зображень різного розміру зображень. Метод. Запропоновано метод який виконує усереднення форм об’єктів зображених на масках-передбаченнях. Для досягнення покращення якості сегментації використовується піраміда зображень, кожен рівень піраміди відповідає збільшеному розміру початкового зображення. Такий підхід дозволяє отримувати характеристики зображення на різних рівнях. Для тестового зображення отримується передбачення від кожної нейронної мережі в ансамблі, після чого для зображення будується піраміда. Всі рівні піраміди комбінуються в фінальне зображення за допомогою метода усереднення форм об’єктів. Всі отримані фінальні зображення для кожної нейронної мережі в кінці також комбінуються за допомогою метода усереднення форм об’єктів. Використання ансамблю нейронних мереж та пірамідного методу дають змогу зменшити вплив шумів та артефактів на результат сегментації. Результати. Використання даного методу було порівняно зі звичайним використанням окремих нейронних мереж та ансамблевим методом усереднення. Отримані результати показують, що запропонований метод перевершує своїх конкурентів. Застосування запропонованого методу покращило точність та якість сегментації. Висновки. Проведене дослідження підтвердило сенс використання ансамблю нейронних мереж та створення нового методу комбінування передбачень. Використання ансамблю нейронних мереж дає можливість компенсувати помилки та недоліки окремих нейронних мереж. Використання запропонованого методу може знизити вплив шумів та артефактів на сегментацію. Подальше вивчення та модифікація цього методу дадуть змогу покращити ще більше якість сегментації.