Ensemble of adaptive predictors for multivariate nonstationary sequences and its online learning

Abstract

EN: Context. In this research, we explore an ensemble of metamodels that utilizes multivariate signals to generate forecasts. The ensemble includes various traditional forecasting models such as multivariate regression, exponential smoothing, ARIMAX, as well as nonlinear structures based on artificial neural networks, ranging from simple feedforward networks to deep architectures like LSTM and transformers. Objective. A goal of this research is to develop an effective method for combining forecasts from multiple models forming metamodels to create a unified forecast that surpasses the accuracy of individual models. We are aimed to investigate the effectiveness of the proposed ensemble in the context of forecasting tasks with nonstationary signals. Method. The proposed ensemble of metamodels employs the method of Lagrange multipliers to estimate the parameters of the metamodel. The Kuhn-Tucker system of equations is solved to obtain unbiased estimates using the least squares method. Additionally, we introduce a recurrent form of the least squares algorithm for adaptive processing of nonstationary signals. Results. The evaluation of the proposed ensemble method is conducted on a dataset of time series. Metamodels formed by combining various individual models demonstrate improved forecast accuracy compared to individual models. The approach shows effectiveness in capturing nonstationary patterns and enhancing overall forecasting accuracy. Conclusions. The ensemble of metamodels, which utilizes multivariate signals for forecast generation, offers a promising approach to achieve better forecasting accuracy. By combining diverse models, the ensemble exhibits robustness to nonstationarity and improves the reliability of forecasts. UK: Актуальність. У даному дослідженні ми розглядаємо ансамбль метамоделей, який використовує багатовимірні сигнали для генерації прогнозів. Ансамбль включає різні традиційні моделі прогнозування, такі як багатовимірна регресія, експоненційне згладжування, ARIMAX, а також нелінійні структури на основі штучних нейронних мереж, від простих поверхневих рекурентних мереж до глибоких архітектур, таких як LSTM і трансформери. Мета роботи. Основною метою цього дослідження є розробка ефективного методу поєднання прогнозів декількох моделей, що утворюють метамоделі, для створення єдиного прогнозу, який перевищує точність окремих моделей. Ми прагнемо дослідити ефективність запропонованого ансамблю в контексті задач прогнозування з нестаціонарними сигналами. Метод. Запропонований ансамбль метамоделей використовує метод множників Лагранжа для оцінки параметрів метамоделі. Система рівнянь Куна-Таккера розв’язується для отримання незміщених оцінок за допомогою методу найменших квадратів. Крім того, ми вводимо рекурентну форму алгоритму найменших квадратів для адаптивної обробки нестаціонарних сигналів. Результати. Оцінка запропонованого ансамблю методу здійснюється на наборі даних часових рядів. Метамоделі, утворені шляхом поєднання різних окремих моделей, демонструють покращену точність прогнозу порівняно з індивідуальними моделями. Підхід проявляє ефективність в утриманні нестаціонарних шаблонів та покращенні загальної точності прогнозування. Висновки. Ансамбль метамоделей, який використовує багатовимірні сигнали для формування прогнозів, пропонує перспективний підхід для досягнення кращої точності прогнозування. Шляхом поєднання різноманітних моделей, ансамбль проявляє стійкість до нестаціонарності та покращує надійність прогнозів.