Convolutional neural network scaling methods in semantic segmentation

Abstract

EN: Context. Designing a new architecture is difficult and time-consuming process, that in some cases can be replaced by scaling existing model. In this paper we examine convolutional neural network scaling methods and aiming on the development of the method that allows to scale original network that solves segmentation task into more accurate network. Objective. The goal of the work is to develop a method of scaling a convolutional neural network, that achieve or outperform existing scaling methods, and to verify its effectiveness in solving semantic segmentation task. Method. The proposed asymmetric method combines advantages of other methods and provides same high accuracy network in the result as combined method and even outperform other methods. The method is developed to be appliable for convolutional neural networks which follows encoder-decoder architecture designed to solve semantic segmentation task. The method is enhancing feature extraction potential of the encoder part, meanwhile preserving decoder part of architecture. Because of its asymmetric nature, proposed method more efficient, since it results in smaller increase of parameters amount. Results. The proposed method was implemented on U-net architecture that was applied to solve semantic segmentation task. The evaluation of the method as well as other methods was performed on the semantic dataset. The asymmetric scaling method showed its efficiency outperformed or achieved other scaling methods results, meanwhile it has fewer parameters. Conclusions. Scaling techniques could be beneficial in cases where some extra computational resources are available. The proposed method was evaluated on the solving semantic segmentation task, on which method showed its efficiency. Even though scaling methods improves original network accuracy they highly increase network requirements, which proposed asymmetric method dedicated to decrease. The prospects for further research may include the optimization process and investigation of tradeoff between accuracy gain and resources requirements, as well as a conducting experiment that includes several different architectures. UK: Актуальність. Розробка нової архітектури нейронної мережі є складним і трудомістким процесом, який у деяких випадках може бути замінений масштабуванням існуючої моделі. У цій статті ми розглядаємо методи масштабування згорткової нейронної мережі та прагнемо розробити метод, який дозволяє масштабувати оригінальну мережу, яка вирішує завдання сегментації, у більш точну мережу. Мета роботи. Метою роботи є розробка методу масштабування згорткової нейронної мережі, який досягає або перевершує існуючі методи масштабування, і перевірити його ефективність у вирішенні задачі семантичної сегментації. Метод. Запропонований асиметричний метод поєднує в собі переваги інших методів і забезпечує таку ж високу точність мережі в результаті, як і комбінований метод, і навіть перевершує інші методи. Метод розроблено для застосування до згорткових нейронних мереж, які слідують архітектурі кодера-декодера, призначеної для вирішення завдання семантичної сегментації. Метод посилює потенціал виділення ознак що відбувається в частині кодера, водночас зберігає початкову архітектуру частини декодера. Через свою асиметричність запропонований метод більш ефективний, оскільки призводить до меншого приросту кількості параметрів. Результати. Запропонований метод реалізовано на архітектурі U-net, яка застосовувалася для вирішення задачі семантичної сегментації. Оцінка методу, а також інших методів була виконана на семантичному наборі даних. Метод асиметричного масштабування показав, що його ефективність перевершує або досягає результатів інших методів масштабування, при цьому він є більш ефективний за кількістю параметрів. Висновки. Методи масштабування можуть бути корисними у випадках, коли доступні додаткові обчислювальні ресурси. Запропонований метод був застосований до згорткової нейронної мережі та оцінювався при вирішенні завдання семантичної сегментації, на якому метод показав свою ефективність. Незважаючи на те, що методи масштабування покращують початкову точність мережі, вони значно підвищують вимоги до мережі, для зменшення яких пропонується асиметричний метод. Перспективи подальших досліджень можуть включати процес оптимізації та дослідження оптимального компромісу між підвищенням точності та вимогами до ресурсів, а також проведення експерименту, який включає кілька різних архітектур.