LaMa-Wavelet: image impainting with high quality of fine details and object edges

Abstract

EN: Context. The problem of the image impainting in computer graphic and computer vision systems is considered. The subject of the research is deep learning convolutional neural networks for image inpainting. Objective. The objective of the research is to improve the image inpainting performance in computer vision and computer graphics systems by applying wavelet transform in the LaMa-Fourier network architecture. Method. The basic LaMa-Fourier network decomposes the image into global and local texture. Then it is proposed to improve the network block, processing the global context of the image, namely, the spectral transform block. To improve the block of spectral transform, instead of Fourier Unit Structure the Simple Wavelet Convolution Block elaborated by the authors is used. In this block, 3D wavelet transform of the image on two levels was initially performed using the Daubechies wavelet db4. The obtained coefficients of 3D wavelet transform are splitted so that each subband represents a separate feature of the image. Convolutional layer, batch normalization and ReLU activation function are sequentially applied to the results of splitting of coefficients on each level of wavelet transform. The obtained subbands of wavelet coefficients are concatenated and the inverse wavelet transform is applied to them, the result of which is the output of the block. Note that the wavelet coefficients at different levels were processed separately. This reduces the computational complexity of calculating the network outputs while preserving the influence of the context of each level on image inpainting. The obtained neural network is named LaMa-Wavelet. The FID, PSNR, SSIM indexes and visual analysis were used to estimate the quality of images inpainted with LaMa-Wavelet network. Results. The proposed LaMa-Wavelet network has been implemented in software and researched for solving the problem of image inpainting. The PSNR of images inpainted using the LaMa-Wavelet exceeds the results obtained using the LaMa-Fourier network for narrow and medium masks in average by 4.5%, for large masks in average by 6%. The LaMa-Wavelet applying can enhance SSIM by 2–4% depending on a mask size. But it takes 3 times longer to inpaint one image with LaMa-Wavelet than with LaMa-Fourier network. Analysis of specific images demonstrates that both networks show similar results of inpainting of a homogeneous background. On complex backgrounds with repeating elements the LaMa-Wavelet is often more effective in restoring textures. Conclusions. The obtained LaMa-Wavelet network allows to improve the image inpainting with large masks due to applying wavelet transform in the LaMa network architecture. Namely, the quality of reconstruction of image edges and fine details is increased. UK: Актуальність. Розглянуто проблему реконструкції зображень в системах комп’ютерної графіки та комп’ютерного зору. Предметом дослідження є згорткові нейронні мережi глибокого навчання для реконструкції зображень. Мета роботи. Покращення якості реконструйованих зображень в системах комп’ютерного зору та комп’ютерної графіки шляхом застосування вейвлет-перетворення в архітектурі нейронної мережі LaMa-Fourier. Метод. Базова мережа LaMa-Fourier окремо обробляє глобальний та локальний контекст зображення. Пропонується вдосконалити для цієї мережі блок обробки глобального контексту зображення, а саме блок спектрального перетворення. Для цього замість Fourier Unit Structure використовується розроблений авторами Simple Wavelet Convolution Block, у якому спочатку виконується тривимірне вейвлет-перетворення зображення на двох рівнях. Отримані коефіцієнти розбиваються так, що кожна субполоса представляє окрему ознаку зображення. Згортковий шар, пакетна нормалізація та функція активації ReLU послідовно застосовуються до субполос коефіцієнтів на кожному рівні вейвлет-перетворення. Отримані субполоси вейвлет-коефіцієнтів конкатенуються і до них застосовується зворотне вейвлет-перетворення, результат якого передається на вихід блоку. Окрема обробка вейвлет-коефіцієнтів на різних рівнях зменшує обчислювальну складність, зберігаючи при цьому вплив контексту кожного рівня на реконструкцію зображення. Отриману нейронну мережу названо LaMa-Wavelet. Показники FID, PSNR, SSIM та візуальний аналіз були використані для оцінки якості зображень, реконструйованих мережею LaMa-Wavelet. Результати. Запропоновану мережу LaMa-Wavelet програмно реалізовано та досліджено для вирішення проблеми реконструкції зображень. PSNR зображень, відновлених за допомогою мережі LaMa-Wavelet, перевищує результати, отримані за допомогою мережі LaMa-Fourier для малих і середніх масок у середньому на 4,5%, для великих масок – у середньому на 6%. Застосування LaMa-Wavelet може збільшити SSIM на 2–4% залежно від розміру маски. Але реконструкція одного зображення за допомогою LaMa-Wavelet займає в 3 рази більше часу, ніж за допомогою мережі LaMa-Fourier. Аналіз конкретних зображень демонструє, що обидві мережі показують схожі результати реконструкції однорідного фону. На складних фонах із повторюваними елементами LaMa-Wavelet часто ефективніше відновлює текстури. Висновки. Отримана мережа LaMa-Wavelet дозволяє покращити відновлення великих областей зображень за рахунок застосування вейвлет-перетворення в архітектурі мережі LaMa. А саме, підвищується якість реконструкції країв зображення та дрібних деталей.