Multimodal data processing based on algebraic system of aggregates relations

Abstract

EN: Context. In many engineering tasks where the monitoring of changes in the characteristics of an observation object, subject, or process is required, it is necessary to process multimodal data recorded with respect to time moments when these characteristics are registered. In this paper, the author presents a new approach to solving the problem of multimodal data structures timewise processing, which allows to simplify the processing of such data by using the mathematical apparatus of an algebraic system of aggregates and thereby reduce the requirements to computing resources. The algebraic system of aggregates operates with such specific data structures as aggregates and multi-images. These complex data structures can be obtained as a result of data measuring, generating, recording, etc. The processing of such multimodal data can also require discrete intervals processing. Objective. The goal of the work is to formalise the relations between basic mathematical objects defined in the algebraic system of aggregates, such as elements, tuples and aggregates, as well as the data structures based on these mathematical objects, namely, discreet intervals and multi-images. Method. The research presented in this paper is based on both the algebraic system of aggregates and the concept of multi-image which enable multimodal data timewise processing. A carrier of the algebraic system of aggregates is an arbitrary set of specific structures – aggregates. An aggregate is a tuple of arbitrary tuples, elements of which belong to predefined sets. Aggregates can be processed by using logical, ordering, and arithmetical operations defined in the algebraic system of aggregates. A multi-image is a non-empty aggregate, the first tuple of which is a tuple of time values. Such tuple of time values represents a certain discrete interval. To process discrete intervals and multi-images, a set of relations is defined in the algebraic system of aggregates. This set includes relations between tuple elements, relations between tuples, and relations between aggregates. The relations between tuples enable arithmetical comparison, frequency comparison, and interval comparison. This mathematical apparatus can be used for both complex representation of object (process) multimodal characteristics and further timewise processing of data represented as multi-images. Results. The approach to discrete intervals and multi-images processing based on relations, which are defined in the algebraic system of aggregates, has been developed and presented in the paper. The author provides examples of the developed approach practical implementation. Conclusions. The results obtained in the research presented in this paper has shown that the relations defined in algebraic system of aggregates enable processing of complex data structures named multi-images in data modelling, prediction and other tasks. To allow data processing with respect to time scale, discrete intervals can be employed. A discrete interval is a tuple of time values. In the paper, the author shows how relations for discrete intervals comparison can be used for solving practical tasks. Besides, the author presents the software tools which can be used for practical implementation of the given theoretical approach by employing the domain-specific language ASAMPL. UK: Актуальність. В багатьох інженерних задачах, пов’язаних з необхідністю моніторингу змін характеристик об’єкта, суб’єкта або процесу спостереження, є потреба у обробленні мультимодальних даних, що реєструються зі встановленням моменту часу їх вимірювання. У цій статті автор представляє новий підхід до вирішення задачі часового оброблення структур мультимодальних даних, який дозволяє спростити оброблення таких даних за рахунок використання математичного апарата алгебраїчної системи агрегатів й тим самим зменшити вимоги, що висуваються до обчислювальних ресурсів. Алгебраїчна система агрегатів оперує такими специфічними структурами даних як агрегати, мультиобрази та дискретні інтервали. Метою цієї роботи є формалізація відношень меж базовими математичними об’єктами, що визначені в алгебраїчній системі агрегатів, а саме, елементами, кортежами та агрегатами, а також структурами даних, які ґрунтуються на цих математичних об’єктах, а саме, дискретними інтервалами та мультиобразами, що дозволить виконувати ефективне оброблення мультимодальних даних, що визначені з урахуванням часу їх реєстрації. Метод. Дослідження, результати якого представлені у цій статті, ґрунтується на використанні основних положень алгебраїчної системи агрегатів та концепції мультиобразу, які дозволяють спростити оброблення структур мультимодальних даних, що визначені у часі. Носієм алгебраїчної системи агрегатів є множина структур даних, що називають агрегатами. Агрегат являє собою кортеж кортежів, елементи яких належать наперед визначеним множинам. В алгебраїчній системі агрегатів визначені логічні операції, операції впорядкування та арифметичні операції над агрегатами. Мультиобразом називають непорожній агрегат, перший кортеж якого є кортежом значень часу. Такий кортеж часових міток являє собою дискретний інтервал. Для оброблення дискретних інтервалів та мультиобразів в алгебраїчній системі агрегатів визначено множину відношень. Ця множина включає відношення між елементами кортежів, відношення між кортежами та відношення між агрегатами. Зокрема, відношення між кортежами дозволяють виконувати арифметичне порівняння, частотне порівняння та інтервальне порівняння. Математичний апарат алгебраїчної системи агрегатів може використовуватись як для комплексного подання мультимодальних характеристик об’єкта (суб’єкта, процесу) дослідження, так і для подальшого оброблення цих даних, зв’язаних з часовими мітками і поданих у вигляді мультиобразу. Результати. У статті розроблено та представлено новий підхід до оброблення мультимодальних даних, зокрема, дискретних інтервалів та мультиобразів, який ґрунтується на відношеннях, що визначені в алгебраїчній системі агрегатів. Наведено приклади практичного застосування розробленого підходу. Висновки. Результати, що отримані у цьому досліджені, дозволяють зробити висновок про те, що відношення, які визначені в алгебраїчній системі агрегатів, можуть бути застосовані для оброблення складних структур даних, що мають назву мультиобрази, в задачах аналізу даних, моделювання, прогнозування тощо. Для оброблення даних, що визначені у прив’язці до деякої шкали часу, можуть застосовуватись цифрові інтервали. У статте автор демонструє, як відношення для порівняння цифрових інтервалів можуть використовуватись для вирішення практичних задач. Крім того, автор представляє програмні інструменти, які можуть бути застосовані для практичної реалізації запропонованого теоретичного підходу з використанням спеціалізованої мови програмування ASAMPL.