Бесстрессовый алгоритм управления беговыми платформами на основе нейросетевых технологий
Ключевые слова:
беговые платформы, нейросетевые технологии, бесстрессовый алгоритм управления, машинное обучениеАннотация
В статье рассматривается задача прогнозирования скорости человека с использованием нейросетевых технологий и компьютерного зрения для минимизации запаздывания в системах управления беговыми платформами, приводящего к риску для здоровья пользователя. Для ее решения разработан бесстрессовый алгоритм, включающий прогнозирование положения и скорости пользователя на беговой платформе, включающий процедуру расчета скорости беговой платформы на основе анализа положения и характера движения пользователя, схему сбора и обработки данных для обучения нейросетевых методов, процедуру определения необходимого количества прогнозируемых кадров для устранения запаздывания. Научная новизна исследования состоит в разработке алгоритма управления беговыми платформами, объединяющего технологии компьютерного зрения для распознавания модели тела пользователя платформы, нейронные сети и методы машинного обучения для определения итоговой скорости человека на основе объединения данных о положении человека в кадре, текущей и прогнозируемой скорости человека. Предложенный алгоритм реализован с использованием библиотек Python, проведена его апробация в ходе экспериментальных исследований при анализе предшествующих 10 и 15 кадров для прогнозирования 10 и 15 следующих кадров. В результате сравнения алгоритмов машинного обучения (линейная регрессия, дерево решений, случайный лес, многослойные, сверточные и рекуррентные нейронные сети) при различных величинах длин анализируемых и прогнозируемых кадров наилучшую точность при прогнозировании положения показал алгоритм RandomForestRegressor, а при определении текущей скорости – плотные многослойные нейронные сети. Проведены экспериментальные исследования по применению разработанного алгоритма и моделей для определения скорости человека (при прогнозе в диапазоне 10-15 кадров получена точность более 90%), а также по их интеграции в систему управления беговой платформой. Испытания показали работоспособность предложенного подхода и корректность работы системы в реальных условиях. Разработанный алгоритм позволяет не использовать чувствительные к помехам датчики, требующие закрепления на теле человека, а прогнозировать действия пользователя за счет анализа всех точек тела человека для снижения запаздывания в различных человеко-машинных системах.
Литература
2. Kempski K.M., Ray N.T., Knarr B.A., Higginson J.S. Dynamic structure of variability in joint angles and center of mass position during user-driven treadmill walking // Gait & posture. 2019. vol. 71. pp. 241–244.
3. Donlin M.C., Ray N.T., Higginson J.S. User-driven treadmill walking promotes healthy step width after stroke // Gait & posture. 2021. vol. 86. pp. 256–259.
4. Wehden L.O., Reer F., Janzik R., Tang W.Y., Quandt T. The slippery path to total presence: How omnidirectional virtual reality treadmills influence the gaming experience // Media and Communication. 2021. vol. 9. no. 1. pp. 5–16.
5. Nath A.S. Eustress and distress-a stimulant and deterrent to health and performance // Journal of Research Administration. 2023. vol. 5. no. 2. pp. 5106–5121.
6. Hedjazi N., Benali A., Bouzit M., Dibi Z. An omnidirectional platform design: application to posture analysis // XIV Mediterranean Conference on Medical and Biological Engineering and Computing (IFMBE’2016). 2016. pp. 602–607.
7. Lichtenstein L., Barabas J., Woods R.L., Peli E.A feedback-controlled interface for treadmill locomotion in virtual environments // ACM Transactions on Applied Perception (TAP). 2007. vol. 4. no. 1.
8. De Luca A., Mattone R., Giordano P.R., Ulbrich H., Schwaiger M., Van den Bergh M., Koller-Meier E., Van Gool L. Motion control of the cybercarpet platform // IEEE Transactions on Control Systems Technology. 2012. рp. 410–427. DOI: 10.1109/TCST.2012.2185051.
9. Pyo S.H., Lee H., Yoon J. Development of a novel omnidirectional treadmill-based locomotion interface device with running capability // Applied Sciences. 2021. vol. 11(9). no. 4223.
10. Pyo S., Lee H., Yoon J. A Sensitive and Accurate Walking Speed Prediction Method Using Ankle Torque Estimation for a User-Driven Treadmill Interface // IEEE Access. 2022. vol. 10. pp. 102440–102450.
11. Lam W.W., Tang Y.M., Fong K.N. A systematic review of the applications of markerless motion capture (MMC) technology for clinical measurement in rehabilitation // Journal of NeuroEngineering and Rehabilitation. 2023. vol. 20. no. 1. pp. 1–26.
12. Souman J.L., Giordano P.R., Frissen I., Luca A.D., Ernst M.O. Making virtual walking real: Perceptual evaluation of a new treadmill control algorithm // ACM Transactions on Applied Perception (TAP). 2010. vol. 7. no. 2. pp. 1–14.
13. Kikuchi T., Sakai K., Ishiya K. Gait Analysis with Automatic Speed-Controlled Treadmill // Journal of Robotics and Mechatronics. 2015. vol. 27. no. 5. pp. 528–534.
14. Auralius M., Yoon J.W. An automatic speed control system of a treadmill with ultrasonic sensors // Journal of Institute of Control, Robotics and Systems. 2011. vol. 17. no. 5. pp. 505–511.
15. Borges M., Symington A., Coltin B., Smith T., Ventura, R. Analysis and accuracy improvement // IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS’2018). 2018. pp. 2610–2615.
16. Obukhov A., Dedov D., Volkov A., Teselkin D. Modeling of Nonlinear Dynamic Processes of Human Movement in Virtual Reality Based on Digital Shadows // Computation. 2023. vol. 11(5). no. 85.
17. Obukhov A., Volkov A., Pchelintsev A., Nazarova A., Teselkin D., Surkova E., Fedorchuk I. Examination of the Accuracy of Movement Tracking Systems for Monitoring Exercise for Musculoskeletal Rehabilitation // Sensors. 2023. vol. 23(19). no. 8058.
18. Chung J.L., Ong L.Y., Leow M.C. Comparative analysis of skeleton-based human pose estimation // Future Internet. 2022. vol. 14(12). no. 380.
19. Singhal R., Modi H., Srihari S., Gandhi A., Prakash C.O., Eswaran S. Body Posture Correction and Hand Gesture Detection Using Federated Learning and Mediapipe // 2nd International Conference for Innovation in Technology (INOCON’2023). 2023. pp. 1–6.
20. Obukhov A.D., Krasnyanskiy M.N., Dedov D.L., Vostrikova V.V., Teselkin D.V., Surkova E.O. Control of adaptive running platform based on machine vision technologies and neural networks // Neural Computing and Applications. 2022. vol. 34. no. 15. pp. 12919–12946.
21. Обухов А.Д., Назарова А.О. Метод управления на основе технологий компьютерного зрения и машинного обучения для адаптивных систем // Мехатроника, автоматизация, управление. 2023. Т. 24. № 1. С. 14–23.
22. Surkova E., Teselkin D., Nazarova A., Arkhipov A. Structural and functional models of adaptive motion control system in virtual reality // AIP Conference Proceedings. 2023. vol. 2910. no. 1.
23. Su B., Smith C., Gutierrez Farewik E. Gait phase recognition using deep convolutional neural network with inertial measurement units // Biosensors. 2020. vol. 10(9). no. 109.
24. Li Y., Zhang S., Wang Z., Yang S., Yang W., Xia S.T., Zhou E. Tokenpose: Learning keypoint tokens for human pose estimation // Proceedings of the IEEE/CVF International conference on computer vision (ICCVW’2021). 2021. pp. 11313–11322.
25. Yacchirema D., de Puga J.S., Palau C., Esteve M. Fall detection system for elderly people using IoT and ensemble machine learning algorithm // Personal and Ubiquitous Computing. 2019. vol. 23. pp. 801–817.
26. Bartol K., Bojanic D., Petkovic T., Peharec S., Pribanicc T. Linear regression vs. deep learning: A simple yet effective baseline for human body measurement // Sensors. 2022. vol. 22(5). no. 1885.
27. Turgeon S., Lanovaz M.J. Tutorial: Applying machine learning in behavioral research // Perspectives on Behavior Science. 2020. vol. 43. no. 4. pp. 697–723.
28. Gupta A., Gupta K., Gupta K., Gupta K. Human Activity Recognition Using Pose Estimation and Machine Learning Algorithm // ISIC. 2021. vol. 21. pp. 25–27.
29. Pham H.H., Salmane H., Khoudour L., Crouzil A., Velastin S.A., Zegers P. A unified deep framework for joint 3d pose estimation and action recognition from a single RGB camera // Sensors. 2020. vol. 20(7). no. 1825.
Development of a Stress-Free Algorithm for Control of Running Platforms Based on Neural Network Technologies
Abstract
The article discusses the task of predicting human speed using neural network technologies and computer vision to minimize lags in treadmill control systems, which pose a health risk to the user. To solve this problem, a stress-free algorithm has been developed, including: predicting the position and speed of the user on the treadmill; calculating the treadmill speed based on the analysis of the user's position and movement characteristics; data collection and processing schemes for training neural network methods; and determining the necessary number of predicted frames to eliminate lags. The scientific novelty of the research lies in the development of a treadmill control algorithm that combines: computer vision technologies for recognizing the user's body model on the platform; neural networks; and machine learning methods to determine the final human speed based on combining data on the person's position in the frame and the current and predicted speed of the person. The proposed algorithm is implemented using Python libraries, and its validation was conducted during experimental studies analyzing the preceding 10 and 15 frames to predict the next 10 and 15 frames. Comparing machine learning algorithms (linear regression, decision tree, random forest, multilayer, convolutional, and recurrent neural networks) at different lengths of analyzed and predicted frames, the RandomForestRegressor algorithm showed the best accuracy in predicting position, while dense multilayer neural networks performed best in determining current speed. Experimental research has been conducted on applying the developed algorithm and models to determine human speed (achieving accuracy when forecasting in the range of 10-15 frames) as well as integrating them into treadmill control systems. Trials have shown the effectiveness of the proposed approach and the correctness of system operation under real conditions. The developed algorithm allows for not using noise-sensitive sensors that require attachment to the user's body but rather forecasting user actions through analyzing all points of the person's body to reduce lags in various human-machine systems.
Опубликован
Как цитировать
Раздел
Copyright (c) Артем Дмитриевич Обухов, Денис Леонидович Дедов, Даниил Вячеславович Теселкин, Андрей Андреевич Волков, Александра Олеговна Назарова
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).