Hybrid machine learning technologies for predicting comprehensive activities of industrial personnel using smartwatch data

Abstract

EN: Context. In today’s industrial development, significant attention is paid to systems for recognizing and predicting human activity in real time. Such technologies are key to the transition from the concept of Industry 4.0 to Industry 5.0, as they allow for improved interaction between man and machine, as well as to ensure a higher level of safety, adaptability and efficiency of production processes. These approaches are particularly relevant in the field of internal logistics, where cooperation with autonomous vehicles requires a high level of coordination and adaptability. Objective. To create a technological solution for the prompt detection and prediction of complex human activity in the internal logistics environment by using sensor data from smart watches. The main goal is to improve cooperation between employees and automated systems, increase occupational safety and efficiency of logistics processes. Method. A decentralized data collection system using smart watches has been developed. A mobile application in Kotlin was created to capture sensor readings during a series of logistics actions performed by five workers. To process incomplete or distorted data, anomaly detection algorithms were applied, including STD, logarithmic transformation of STD, DBSCAN, and IQR, as well as smoothing methods such as moving average, weighted moving average, exponential smoothing, local regression, and Savitsky-Goley filter. The processed data were used to train models, with the employment of such advanced techniques as transfer learning, continuous wavelet transform, and classifier stacking. Results. The pre-trained deep model with the DenseNet121 architecture was chosen as the base classifier, which showed an F1-metric of 91.01% in recognizing simple actions. Five neural network architectures (single- and multi-layer) with two data distribution strategies were tested to analyze complex activity. The highest accuracy – F1-metric 87.44% – was demonstrated by the convolutional neural network when using a joint approach to data distribution. Conclusions. The results of the study indicate the possibility of applying the proposed technology for real-time recognition of complex human activities in intra-logistics systems based on data from smart-watch sensors, which will improve human-machine interaction and increase the efficiency of industrial logistics processes. UK: Актуальність. У сучасному промисловому виробництві значна увага приділяється системам розпізнавання та прогнозування людської активності в реальному часі. Такі технології є ключовими для переходу від Індустрії 4.0 до Індустрії 5.0, оскільки вони забезпечують покращену взаємодію між людиною і машиною, а також вищий рівень безпеки, адаптивності та ефективності виробничих процесів. Ці підходи особливо актуальні в галузі внутрішньої логістики, де співпраця з автоматизованими транспортними засобами вимагає високого рівня координації та гнучкості. Мета. Створити технологічне рішення для оперативного виявлення та прогнозування складної поведінки людини у системах внутрішньої логістики шляхом використання сенсорних даних зі розумних годинників. Основна ціль – підвищити рівень взаємодії між працівниками та автоматизованими системами, збільшити безпеку праці й ефективність логістичних процесів. Метод. Розроблено децентралізовану систему збору даних із використанням розумних годинників. У мобільному додатку, написаному мовою Kotlin, фіксувалися показники сенсорів під час виконання серії логістичних активностей п’ятьма працівниками. Для обробки неповних або спотворених даних застосовано алгоритми виявлення аномалій, зокрема STD, логарифмічне перетворення STD, DBSCAN та IQR, а також методи згладжування, такі як ковзне середнє, зважене ковзне середнє, експоненційне згладжування, локальна регресія й фільтр Савіцького-Голея. Оброблені дані використовувалися для навчання моделей із застосуванням таких сучасних підходів, як передавальне навчання, неперервне вейвлет-перетворення та стекінг класифікаторів. Результати. У ролі базового класифікатора обрано попередньо натреновану глибоку модель з архітектурою DenseNet121, яка показала F1-метрику 91,01 % при розпізнаванні простих дій. Для аналізу складних активностей випробувано п’ять архітектур нейронних мереж (однашарових і багатошарових) з двома стратегіями розподілу даних. Найвищу точність – F1-метрику 87,44 % – продемонструвала згорткова нейронна мережа при використанні об’єднаного підходу до розподілу даних. Висновки. Результати дослідження свідчать про можливість застосування запропонованої технології розпізнавання складної людської діяльності в режимі реального часу в інтралогістичних системах на основі даних з сенсорів смартгодинника яка покращить взаємодію людини та машини та підвищить ефективність промислових логістичних процесів.