Метод формирования цифровой тени процесса перемещения человека на основе объединения систем захвата движений
Ключевые слова:
цифровые тени, процесс перемещения человека, системы захвата движений, математическая модель, виртуальная реальностьАннотация
В статье рассматривается задача формирования цифровой тени процесса перемещения человека. Проведен анализ предметной области, который показал необходимость формализации процесса создания цифровых теней для имитации движений человека в виртуальном пространстве, тестировании программно-аппаратных комплексов, функционирующих на основе действий человека, а также в различных системах опорно-двигательной реабилитации. Выявлено, что среди существующих подходов к захвату движений человека нельзя выделить универсальный и стабильно работающий при различных условиях внешней среды. Разработан метод формирования цифровой тени на основе комбинирования и синхронизации данных из трех систем захвата движений (трекеры виртуальной реальности, костюм motion capture и камеры с использованием технологий компьютерного зрения). Объединение перечисленных систем позволяет получить комплексную оценку положения и состояния человека независимо от условий внешней среды (электромагнитные помехи, освещенность). Для реализации предложенного метода проведена формализация цифровой тени процесса перемещения человека, включающая описание механизмов сбора и обработки данных от различных систем захвата движений, а также этапы объединения, фильтрации и синхронизации данных. Научная новизна метода заключается в формализации процесса сбора данных о перемещении человека, объединении и синхронизации аппаратного обеспечения используемых систем захвата движений для создания цифровых теней процесса перемещения человека. Полученные теоретические результаты будут использоваться в качестве основы для программной абстракции цифровой тени в информационных системах для решения задач тестирования, имитации человека и моделирования его реакции на внешние раздражители за счет обобщения собранных массивов данных о его перемещении.
Литература
2. Царев М.В., Андреев Ю.С. Цифровые двойники в промышленности: история развития, классификация, технологии, сценарии использования // Известия высших учебных заведений. Приборостроение. 2021. Т. 64. №. 7. С. 517-531.
3. Kritzinger W. et al. Digital Twin in manufacturing: A categorical literature review and classification // IFAC-PapersOnLine. 2018. vol. 51. no. 11. pp. 1016-1022.
4. Krüger J. et al. Innovative control of assembly systems and lines // CIRP annals. 2017. vol. 66. no. 2. pp. 707-730.
5. Botín-Sanabria D.M. et al. Digital twin technology challenges and applications: A comprehensive review // Remote Sensing. 2022. vol. 14. no. 6. p. 1335.
6. Pause D., Blum M. Conceptual Design of a Digital Shadow for the Procurement of Stocked Products // IFIP International Conference on Advances in Production Management Systems (APMS). IEEE, 2018. pp. 288-295.
7. Srinivasan V. et al. Digital Shadow Model for automated Cabin assembly process. 2021.
8. Lee S. et al. Scalable muscle-actuated human simulation and control // ACM Transactions on Graphics (TOG). 2019. vol. 38. no. 4. pp. 1-13.
9. Park S. et al. Learning predict-and-simulate policies from unorganized human motion data // ACM Transactions on Graphics (TOG). 2019. vol. 38. no. 6. pp. 1-11.
10. Mourot L. et al. A Survey on Deep Learning for Skeleton‐Based Human Animation // Computer Graphics Forum. 2022. vol. 41 (1). pp. 122-157.
11. Nikolakis N. et al. The digital twin implementation for linking the virtual representation of human-based production tasks to their physical counterpart in the factory-floor // International Journal of Computer Integrated Manufacturing. 2019. vol. 32. no. 1. pp. 1-12.
12. Gagneré G., Ternova A. A CAstelet in Virtual reality for shadOw AVatar (CAVOV) // ConVRgence (VRIC) Virtual Reality International Conference Proceedings. Simon Richir (dir.). International Journal of Virtual Reality. 2020. vol. 3316.
13. Liu S., Zhang J., Zhang Y., Zhu R. A wearable motion capture device able to detect dynamic motion of human limbs // Nature communications. 2020. vol. 11. no. 1. pp. 1-12.
14. Богомолов А.В. Информационные технологии цифровой адаптационной медицины // Информатика и автоматизация. 2021. Т. 20. №. 5. С. 1154-1182.
15. Wu Y. et al. A Comprehensive Analysis of the Validity and Reliability of the Perception Neuron Studio for Upper-Body Motion Capture // Sensors. 2022. vol. 22. no. 18. pp. 6954.
16. Niehorster D.C., Li L., Lappe M. The accuracy and precision of position and orientation tracking in the HTC vive virtual reality system for scientific research // i-Perception. 2017. vol. 8. no. 3. pp. 2041669517708205.
17. Ikbal M.S., Ramadoss V., Zoppi M. Dynamic pose tracking performance evaluation of HTC Vive virtual reality system // IEEE Access, 2020. vol. 9. pp. 3798-3815.
18. Cherkasov K.V. et al. The use of open and machine vision technologies for development of gesture recognition intelligent systems // Journal of Physics: Conference Series, IOP Publishing. 2018. vol. 1015. no. 3. pp. 032166.
19. Moeslund T.B., Hilton A., Krüger V. A survey of advances in vision-based human motion capture and analysis // Computer vision and image understanding. 2006. vol. 104. no. 2-3. pp. 90-126.
20. Hellsten T. et al. The Potential of Computer Vision-Based Marker-Less Human Motion Analysis for Rehabilitation // Rehabilitation Process and Outcome. 2021. vol. 10. pp. 11795727211022330.
21. Mekruksavanich S., Hnoohom N., Jitpattanakul A. A Deep Residual-based Model on Multi-Branch Aggregation for Stress and Emotion Recognition through Biosignals // 2022 19th International Conference on Electrical Engineering / Electronics, Computer, Telecommunications and Information Technology (ECTI-CON). IEEE, 2022. pp. 1-4.
22. Zielinski E. Live Perception and Real Time Motion Prediction with Deep Neural Networks and Machine Learning // Diss. Harvard University. 2021.
23. Ohri A., Agrawal S., Chaudhary G.S. On-device Realtime Pose Estimation & Correction // International Journal of Advances in Engineering and Management (IJAEM). 2021.
24. Choo C.Z.Y., Chow J.Y., Komar J. Validation of the Perception Neuron system for full-body motion capture // PloS one. 2022. vol. 17. no. 1. pp. e0262730.
25. Obukhov A. et al. Organization of Three-Dimensional Gesture Control Based on Machine Vision and Learning Technologies // Computer Science On-line Conference. Springer, Cham, 2022. pp. 70-81.
26. Bazarevsky V. et al. Blazepose: On-device real-time body pose tracking // arXiv preprint arXiv: 2006.10204. 2020.
27. Chen Y. et al. Adversarial posenet: A structure-aware convolutional network for human pose estimation // Proceedings of the IEEE International Conference on Computer Vision, 2017. pp. 1212-1221.
The Method of Forming a Digital Shadow of the Human Movement Process Based on the Combination of Motion Capture Systems
Abstract
The article deals with the problem of forming a digital shadow of the process of moving a person. An analysis of the subject area was carried out, which showed the need to formalize the process of creating digital shadows to simulate human movements in virtual space, testing software and hardware systems that operate on the basis of human actions, as well as in various systems of musculoskeletal rehabilitation. It was revealed that among the existing approaches to the capture of human movements, it is impossible to single out a universal and stable method under various environmental conditions. A method for forming a digital shadow has been developed based on combining and synchronizing data from three motion capture systems (virtual reality trackers, a motion capture suit, and cameras using computer vision technologies). Combining the above systems makes it possible to obtain a comprehensive assessment of the position and condition of a person regardless of environmental conditions (electromagnetic interference, illumination). To implement the proposed method, a formalization of the digital shadow of the human movement process was carried out, including a description of the mechanisms for collecting and processing data from various motion capture systems, as well as the stages of combining, filtering, and synchronizing data. The scientific novelty of the method lies in the formalization of the process of collecting data on the movement of a person, combining and synchronizing the hardware of the motion capture systems to create digital shadows of the process of moving a person. The obtained theoretical results will be used as a basis for software abstraction of a digital shadow in information systems to solve the problems of testing, simulating a person, and modeling his reaction to external stimuli by generalizing the collected data arrays about his movement.
Опубликован
Как цитировать
Раздел
Copyright (c) Артем Дмитриевич Обухов, Андрей Андреевич Волков, Надежда Андреевна Вехтева, Кирилл Игоревич Патутин, Александра Олеговна Назарова, Денис Леонидович Дедов
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).