Neural ordinary differential equations for time series reconstruction

Abstract

EN: Context. Neural Ordinary Differential Equations is a deep neural networks family that leverage numerical methods approaches for solving the problem of time series reconstruction, given small amount of unevenly distributed samples. Objective. The goal of the following research is the synthesis of a deep neural network that is able to solve input signal reconstruction and time series extrapolation task. Method. The proposed method exhibits the benefits of solving time series extrapolation task over forecasting one. A model that implements encoder-decoder architecture with differential equation solving in latent space, is proposed. The latter approach was proven to demonstrate outstanding performance in solving time series reconstruction task given a small percentage of noisy and uneven distributed input signals. The proposed Latent Ordinary Differential Equations Variational Autoencoder (LODE-VAE) model was benchmarked on synthetic non-stationary data with added white noise and randomly sampled with random intervals between each signal. Results. The proposed method was implemented via deep neural network to solve time series extrapolation task. Conclusions. The conducted experiments have confirmed that proposed model solves the given task effectively and is recommended to apply it to solving real-world problems that require reconstructing dynamics of non-stationary processes. The prospects for further research may include the process of computational optimization of proposed models, as well as conducting additional experiments involving different baselines, e. g. Generative Adversarial Networks or attention Networks. UK: Актуальність. Розглянуто задачу реконструкції нестаціонарних часових рядів на основі моделей кодувальник-декодувальник за допомогою нейронних звичайних диференціальних рівнянь. Об’єктом дослідження є задача відновлення та прогнозування нестаціонарних часовиї рядів та процесів в неперевному часі. Мета роботи – синтез моделі на основі архітектури кодувальник-декодувальник та з використанням моделей типу нейронних звичайних диференційних рівнянь для реконструкції часових рядів по зашумленими, нерівномірно розподіленими у час, вхідними сигналами. Метод. Запропоновано метод, що реалізує архітектуру кодувальника-декодувальника та аппарат штучних нейронних мереж з розв’язанням диференціальних рівнянь у латентному просторі. Було встановлено, що даний підхід демонструє високу ефективність та якість прогнозів при вирішенні задачі реконструкції часових рядів по зашумленим вхідним сигналам з випадковими інтервалами між сигналами. Запропонована модель варіаційного автокодувальника на з використанням апарату нейронних мереж була протестована на синтетичних нестаціонарних даних з додаваням білим шумом і семплінгом з випадковими інтервалами між кожним сигналом. Результати. Розроблені показники реалізовані програмно і досліджені при вирішенні задачі реконструкції нестацонарного ряду з сезонністю. Висновки. Проведені експерименти підтвердили, що запропонована модель ефективно вирішує задану задачу і рекомендується застосовувати її для вирішення реальних завдань, що вимагають реконструкції динаміки нестаціонарних процесів. Перспективи включають в себе подальші дослідження різних архітектур нейронних мереж, окрім рекурентних нейронних мереж та архітектур автокодувальників. Зокрема пропонується використовувати інші підходи генеративного нейромережевого моделювання, як генеративно-змагальні мережі у контексті відновлення структури часового ряду