Адаптивные матричные модели в задаче контроля потоков видео

Abstract

RU: Актуальность. В настоящее время анализ многомерных данных является одним из приоритетных направлений научных исследований. Это связано с практически не контролируемым ростом объемов информации и возникновением необходимости получения/поиска различного рода полезных данных из нее. При этом анализ видеоданных является одним из наиболее сложных с вычислительной точки зрения не только из-за больших объемов обрабатываемых данных, но и, учитывая слабую структурированность видео, а также тот факт, что в целом ряде задач обработки видео существуют ограничения на время обработки. Одним из направлений решения этих проблем анализа видео является предварительная обработка видеоданных с целью получения их разбиения на однородные сегменты (сцены), что значительно сокращает временные и вычислительные затраты при дальнейшем контекстном анализе больших объемов видео информации. И, несмотря, на имеющиеся результаты в этом направлении, задача кластеризации/сегментации видеопоследовательностей остается чрезвычайно актуальной. Цель. В работе рассмотрена проблема кластеризации многомерных потоковых данных на примере временной сегментации видеопоследовательностей. Метод. Предложен метод контроля изменений в потоковых данных, что позволяет отслеживать моменты, существенного изменения характеристик входных многомерных данных, на основе адаптивных матричных моделей с введением специализированного алгоритма настройки прогнозирующей модели. Результаты. Проведенный эксперимент на видеопоследовательностях произвольной природы продемонстрировал возможность обнаружения границ сегментов в видео. При этом следует отметить, что предложенный подход существенно зависит от результатов пространственной сегментации исходных данных, которая необходима для получения множества характеристик, описывающих каждый видеокадр последовательности. Выводы. Предложенный в работе метод позволяет проводить кластеризацию-сегментацию многомерных входных данных при помощи адаптивных матричных моделей. В качестве исходных данных в экспериментальной части использовались видеопоследовательности. UK: Актуальність. В даний час аналіз багатовимірних даних є одним з пріоритетних напрямків наукових досліджень. Це пов’язано з практично не контрольованим зростанням обсягів інформації і виникненням необхідності отримання/пошуку різного роду корисних даних з неї. При цьому аналіз відеоданих є одним з найбільш складних з обчислювальної точки зору не тільки через великі обсяги оброблюваних даних, а й з огляду на слабку структурованість відео, а також той факт, що в цілому ряді задач обробки відео існують обмеження на час обробки. Одним з напрямків вирішення цих проблем аналізу відео є попередня обробка відеоданих з метою отримання їх розбиття на однорідні сегменти (сцени), що значно скорочує часові і обчислювальні витрати при подальшому контекстному аналізі великих обсягів відеоінформації. І, не дивлячись, на наявні результати в цьому напрямку, задача кластеризації/сегментації відеопослідовностей залишається надзвичайно актуальною. Мета. У роботі розглянута проблема кластеризації багатовимірних потокових даних на прикладі часової сегментації відеопослідовностей. Метод. Запропоновано метод контролю змін потокових даних, що дозволяє відстежувати моменти, істотної зміни характеристик вхідних багатовимірних даних, на основі адаптивних матричних моделей з введенням спеціалізованого алгоритму налаштування прогнозуючої моделі. Результати. Проведений експеримент на відеопослідовність довільної природи продемонстрував можливість виявлення границь сегментів в відео. При цьому слід зазначити, що запропонований підхід суттєво залежить від результатів просторової сегментації вихідних даних, яка необхідна для отримання множини характеристик, що описують кожен видеокадр послідовності. Висновки: Запропонований в роботі метод дозволяє проводити кластеризацію-сегментацію багатовимірних вхідних даних за допомогою адаптивних матричних моделей. В якості вихідних даних в експериментальній частині використовувалися відеопослідовності. EN: Context. At present, the multidimensional data analysis is one of the priority scientific research areas. This is due to the almost uncontrollable growth in the information size and the need to obtain/search for various kinds of useful data from it. At the same time, video data analysis is one of the most difficult from a computational point of view, not only because of BigData being processed, but also due to the video unstructuredness, and also the fact that in a bunch of video processing applications exist limitations on the processing time. One of the ways to solve these video analysis problems is to pre-process the initial data in order to get them split into homogeneous segments (shots), which significantly reduces the time and computational costs for further content-based video analysis in video database. And, despite the existing results in this direction, the video sequences clustering/segmentation problem remains extremely relevant. Objective. The paper considers the problem of clustering multidimensional streaming data as example of temporal video segmentation. Method. A method for controlling changes in streaming data is proposed, which allows you to detect the moments of a significant change in the input multidimensional data characteristics, based on adaptive matrix models with the specialized tuning algorithm for the predictive model introduction. Results. The conducted experiment on an arbitrary video sequences demonstrated the video shot detection possibility. It should be noted that the proposed approach essentially depends on the input data spatial segmentation results, which is necessary to obtain a characteristics set describing each frame of the video sequence. Conclusions. The proposed method allows multidimensional input data clustering/segmentation by adaptive matrix models. As initial data in the experimental part, video sequences were used.