Method of defining free places in video content for imposition typhlocomments

Abstract

EN: Context. The problem of accessibility of video content is one of the most pressing problem for people with visual impairments. To solve this problem, the methods and means of construction, editing and adaptation of video content for visually impaired persons are development. Objective. The goal of the work is to develop the method of searching silent areas in the scale for the imposition of typhlocomments and improve the search modules in the software-algorithmic complex of adaptation of video content for visually impaired persons. Method. The method of searching for places that free from dialogues and other important sounds in video content is implemented. These places of video content are used for inserting typhlocomments. The algorithms of scanning and filtration modules for arrays and searching places available for the imposition of the typhlocomments are developed. This will allow for additional smoothing of the spectrum. Smoothing runs in the forward direction, then in reverse. After calculating the correlation of these two smoothed arrays, we see that almost all the short signals are deleted. For the useful signal, the values that smoothed in the forward and reverse direction overlap and therefore remain in the array. Next, the correlation between the smoothed arrays is compared with the set threshold, and if it does not match the set value, then this element of the array is 0. As a result of the algorithm, we have a list of places. For each item in the list, the beginning of the silence place and its length are specified. Results. On the basis of the developed method of finding places to insert typhlocomments and improved modules, the testing of software-algorithmic complex was performed in standard configuration, and with the additional smoothing module. The first version of the software-algorithmic complex gave the next result: 120 useful pauses. Version with the additional module found 140 useful pauses. Conclusions. The results of the experiment make it possible to evaluate the developed method and improved modules of scanning, filtration and smoothing. These modules giving a significant gain of results (about 13%), searching for the places for the imposition of typhlocomments, which improves the adapted video content for people with visual impairments. UK: Актуальність. Проблема доступності відеоконтенту є однією з найактуальніших проблем для людей із вадами зору. Для вирішення цієї проблеми, розроблено методи та засоби побудови, редагування та адаптації відеоконтенту для осіб з вадами зору. Мета роботи. Метою роботи є розроблення методу пошуку вільних від діалогів ділянок у звукоряді для вставки тифлокоментарів та вдосконалення модулів пошуку цих ділянок у програмно-алгоритмічному комплексі адаптації відеоконтенту для осіб з вадами зору. Метод. Реалізовано метод пошуку вільних від діалогів та інших важливих звуків місць у відеоконтенті. Ці знайдені ділянки відеоконтенту використовуються для вставки тифлокоментарів. Розроблено алгоритми модулів сканування та фільтрації масивів та пошуку у них ділянок, доступних для накладання тифлокоментарів. Це дало змогу провести додаткове згладжування спектру. Виконується згладжування в прямому напрямку, далі у зворотньому. Розрахувавши кореляцію цих двох згладжених масивів ми побачимо, що короткі сигнали практично всі видаляються, а для корисного сигналу, згладжені в прямому і протилежному напрямку значення перекриваються, і тому залишаються в масиві. Далі кореляція між згладженими масивами порівнюється з встановленим порогом, і якщо він не відповідає встановленому значенню, то цей елемент масиву дорівнює 0. В результаті роботи алгоритму отримано список ділянок для вставки тифлокоментарів. Для кожного елемента списку задається початок ділянки тиші та її довжина. Результати. На основі розробленого методу пошуку місць для вставки тифлокоментарів та вдосконалених модулів, було проведено тестування програмно-алгоритмічного комплексу у стандартній комплектації, та з модулем додаткового згладжування. Перша версія програмно-алгоритмічного комплексу дала результат у 120 корисних пауз. Версія з додатковим модулем – 140 корисних пауз. Висновки. Результати експерименту дають змогу оцінити, що розроблений метод та вдосконалені модулі сканування, фільтрації масивів та згладжування, дають суттєвий приріст результатів (близько 13%) пошуку ділянок для накладання тифлокоментарів, що у свою чергу покращує створюваний адаптований відеоконтент для осіб з порушеннями зору.