A neural network approach to semantic segmentation of vehicles in very high resolution images

Abstract

EN: Context. The semantic segmentation of vehicles in very high resolution aerial images is essential in developing intelligent transportation systems. It allows for the automation of real-time traffic management and the detection of congestion and emergencies. Objective. This work aims to develop and evaluate the effectiveness of a neural network approach to semantic segmentation in very high resolution aerial images, which provides high detail and correct reproduction of object boundaries. Method. The DeepLab architecture with ResNet-101 as a backbone is used for gradient preservation and multiscale feature analysis. We trained on DOTA data and retrained on specialized sets with classes: vehicles, green areas, buildings, and roads. A loss function based on the Dice coefficient was applied to reduce the imbalance of classes. It effectively solves the class imbalance problem and improves the accuracy of segmenting objects of different sizes. Using ResNet-101 instead of Xception in the backbone network allows us to maintain the gradient as the network depth increases. Results. Experimental studies have confirmed the effectiveness of the proposed approach, which achieves a segmentation accuracy of more than 90%, outperforming existing analogs. The use of multiscale feature analysis allows for preserving the texture features of objects, reducing false classifications. A comparative study with U-Net, SegNet, FCN8s, and other methods confirms the higher performance of the proposed approach in terms of mIoU (82.3%) and Pixel Accuracy (95.1%). Conclusions. The experiments confirm the effectiveness of the proposed method of semantic segmentation of vehicles in ultra-high spatial resolution images. Using DeepLab v3+ResNet-101 significantly improves the quality of vehicle segmentation in an urbanized environment. Excellent metric performance makes it promising for infrastructure monitoring and traffic planning tasks. Further research will focus on adapting the model to new datasets. UK: Актуальність. Семантична сегментація транспортних засобів на аерокосмічних зображеннях надвисокого просторового розрізнення є важливим завданням для розвитку інтелектуальних транспортних систем, дозволяє автоматизувати управління дорожнім рухом у реальному часі, виявляти затори та аварійні ситуації. Мета роботи – розробка та оцінка ефективності нейромережевого підходу для сегментації транспортних засобів на аерокосмічних зображеннях надвисокого розрізнення, що забезпечує високу деталізацію та коректне відтворення границь об’єктів. Метод. Використано архітектуру DeepLab із ResNet-101 як Backbone для збереження градієнтів і багатомасштабного аналізу ознак. Проведено навчання на даних DOTA та донавчання на спеціалізованих наборах із класами: транспортні засоби, зелені зони, будівлі, дороги. Для зменшення дисбалансу класів застосовано функцію втрат на основі коефіцієнта Dice. Це дозволяє ефективно вирішити проблему дисбалансу класів та покращити точність сегментації об’єктів різних розмірів. Використання ResNet-101 замість Xception у магістральній мережі дозволяє зберегти градієнт при збільшенні глибини мережі. Результати. Експериментальні дослідження підтвердили ефективність запропонованого підходу, що досягає точності сегментації понад 90%, перевершуючи існуючі аналоги. Використання багатомасштабного аналізу ознак дозволяє зберігати текстурні особливості об’єктів, зменшуючи хибні класифікації. Порівняльний аналіз із методами U-Net, SegNet, FCN8s та іншими підтверджує вищу продуктивність запропонованого підходу за метриками mIoU (82.3%) та Pixel Accuracy (95.1%). Висновки. Експерименти підтверджують ефективність запропонованого методу семантичної сегментації транспортних засобів на зображеннях надвисокого просторового розрізнення. Використання DeepLab v3+ ResNet-101 значно покращує якість сегментації транспортних засобів в урбанізованому середовищі. Високі метричні показники роблять його перспективним для застосування у задачах інфраструктурного моніторингу та планування дорожнього руху. Подальші дослідження будуть зосереджені на адаптації моделі до нових наборів даних.