Multi-scale temporal gan-based method for high-resolution and motion stable video enhancement

Abstract

EN: Context. The problem of improving the quality of video images is relevant in many areas, including video analytics, film production, telemedicine and surveillance systems. Traditional video processing methods often lead to loss of details, blurring and artifacts, especially when working with fast movements. The use of generative neural networks allows you to preserve textural features and improve the consistency between frames, however, existing methods have shortcomings in maintaining temporal stability and the quality of detail restoration. Objective. The goal of the study is the process of generating and improving video images using deep generative neural networks. The purpose of the work is to develop and study MST-GAN (Multi-Scale Temporal GAN), which allows you to preserve both spatial and temporal consistency of the video, using multi-scale feature alignment, optical flow regularization and a temporal discriminator. Method. A new method based on the GAN architecture is proposed, which includes: multi-scale feature alignment (MSFA), which corrects shifts between neighboring frames at different levels of detail; a residual feature boosting module to restore lost details after alignment; optical flow regularization, which minimizes sudden changes in motion and prevents artifacts; a temporal discriminator that learns to evaluate the sequence of frames, providing a consistent video without flickering and distortion. Results. An experimental study of the proposed method was conducted on a set of different data and compared with other modern analogues by the metrics SSIM, PSNR and LPIPS. As a result, values were obtained that show that the proposed method outperforms existing methods, providing better frame detail and more stable transitions between them. Conclusions. The proposed method provides improved video quality by combining detail recovery accuracy and temporal frame consistency.

UK: Актуальність. Проблема покращення якості відеозображень є актуальною у багатьох сферах, включаючи відеоаналітику, кіновиробництво, телемедицину та системи спостереження. Традиційні методи відеообробки часто призводять до втрати деталей, розмиття та артефактів, особливо при роботі зі швидкими рухами. Використання генеративних нейромереж дозволяє зберігати текстурні особливості та покращувати узгодженість між кадрами, проте існуючі методи, такі як EDVR, RBPN та TecoGAN, мають недоліки у збереженні часової стабільності та якості відновлення деталей. Об’єкт дослідження є процес генерації та покращення відеозображень за допомогою глибоких генеративних нейромереж. Мета роботи – розробка та дослідження MST-GAN (Multi-Scale Temporal GAN), що дозволяє зберігати як просторову, так і часову узгодженість відео, використовуючи багатомасштабне вирівнювання ознак, регуляризацію оптичного потоку та часовий дискримінатор. Метод. Запропоновано новий метод на основі архітектури GAN, який включає: багатомасштабне вирівнювання ознак (MSFA), що коригує зсуви між сусідніми кадрами на різних рівнях деталізації; модуль резидуального підсилення (Residual Feature Boosting) для відновлення втрачених деталей після вирівнювання; регуляризацію оптичного потоку (Optical Flow Regularization), що мінімізує різкі зміни руху та запобігає артефактам; часовий дискримінатор (Temporal Discriminator), який навчається оцінювати послідовність кадрів, забезпечуючи узгоджене відео без миготінь і спотворень. Результати. Проведено експериментальне дослідження запропонованого методу на наборі різних даних та порівняно з іншими сучасними аналогами за метриками SSIM, PSNR та LPIPS . В результаті отримали значення, що показують, що запропонований метод перевершує існуючі методи, забезпечуючи кращу деталізацію кадрів та стабільніші переходи між ними. Висновки. Запропонований метод забезпечує покращену якість відео, поєднуючи точність відновлення деталей та часову узгодженість кадрів.