Идентификация личности по кинематике ходьбы в трёхмерном пространстве на основе инвариантных признаков
Ключевые слова:
машинное обучение, компьютерное зрение, биометрия, нейронные сети, кинематика, 3D-видеобработка, инвариантные признакиАннотация
Предлагается система сбора, предварительной обработки и анализа данных для идентификации личности по походке с использованием методов машинного обучения и анализа изображений. Система включает механизм предварительной обработки для нормализации биометрических данных движения человека и этап постобработки для выделения признаков, инвариантных относительно ортогональных преобразований пространства и изменения положения камеры, к перспективе. Реализован вычислительно эффективный метод распознавания походки с использованием одной стереокамеры. Проведен анализ пространства признаков для определения значимых характеристик, а также сравнительный анализ используемого набора признаков. Протестированы несколько архитектур машинного обучения, включая модели глубокого обучения, с анализом их точности и вычислительной эффективности. Экспериментально исследована производительность системы на различных вычислительных устройствах, измерены временные характеристики обработки данных. Результаты позволяют сравнить применимость и эффективность в зависимости от доступных вычислительных мощностей. Исходные данные формируются как временные ряды 3D-координат ключевых точек, реконструируемых по глубине на основе 2D-детекций позы (COCO, 17 точек), при этом пропуски детекций кодируются нулевым вектором. Для идентификации по походке точки головы исключаются как неинформативные, а пропуски восстанавливаются с последующим сглаживанием координат. Инвариантное признаковое пространство строится по геометрии скелета (длины сегментов, углы и их производные). Далее признаки агрегируются в единый вектор по скользящему окну, то есть каждый вектор описывает движение на интервале из нескольких последовательных кадров. На этапе идентификации личности используется фильтрация по порогу и агрегирование предсказаний на уровне кадров. Показано, что качество и скорость работы зависят от выбранной модели машинного обучения и доступных вычислительных ресурсов.
Литература
2. Moro M., Marchesi G., Hesse F., Odone F., Casadio M. Markerless vs. Marker-Based Gait Analysis: A Proof of Concept Study // Sensors. 2022. vol. 22. pp. 1–15. DOI: 10.3390/s22052011.
3. Han X., Guffanti D., Brunete M.A. A Comprehensive Review of Vision-Based Sensor Systems for Human Gait Analysis // Sensors. 2025. vol. 25. pp. 1–33. DOI: 10.3390/s25020498.
4. Sapkota R., Karkee M. YOLO11 and Vision Transformers Based 3D Pose Estimation of Immature Green Fruits in Commercial Apple Orchards for Robotic Thinning // arXiv preprint arXiv:2410.19846. 2024. pp. 1–18.
5. Luo J., Xu B., Tjahjadi T., Yi J. A Novel 3D Gait Model for Subject Identification Robust against Carrying and Dressing Variations // Computers, Materials & Continua. 2024. vol. 82. no. 1. pp. 194–215. DOI: 10.32604/cmc.2024.050018.
6. Sokolova A., Konushin A. Gait Recognition Based on Convolutional Neural Networks~// The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2017. vol. XLII-2/W4. pp. 207–212. DOI: 10.5194/isprs-archives-XLII-2-W4-207-2017.
7. Natraj S., Messmer T., Fujii Y., Suzuki K., Riener R., Eriks-Hoogland I., Paez-Granados D. 3D Pose Estimation for Scalable Remote Gait Kinematics Assessment // npj Digital Medicine. 2026. vol. 9. no. 37. DOI: 10.1038/s41746-025-02211-y.
8. Bari A.S.M.H., Gavrilova M.L. KinectGaitNet: Kinect-Based Gait Recognition Using Deep Convolutional Neural Network // Sensors. 2022. vol. 22. pp. 1–15. DOI: 10.3390/s22072631.
9. Cai S., Xu H., Cai W., et al. A human pose estimation network based on YOLOv8 with efficient multi-scale receptive field and expanded feature pyramid network // Scientific Reports. 2025. vol. 15. DOI: 10.1038/s41598-025-00259-0.
10. Kwon J., Lee Y., Lee J. Comparative Study of Markerless Vision-Based Gait Analyses for Person Re-Identification // Sensors. 2021. vol. 21. pp. 1–25. DOI: 10.3390/s21248208.
11. Ultralytics YOLO11 // GitHub. URL: www.github.com/ultralytics/ultralytics (дата обращения: 10.11.2024).
12. Intel RealSense SDK 2.0 (librealsense) // GitHub. URL: www.github.com/IntelRealSense/librealsense.
13. Yoon H., Jo E., Ryu S., Yoo J.-I., Kim M., Kim J.H. Noise-robust markerless video gait anomaly detection via two-stage acquisition and LSTM autoencoders // Scientific Reports. 2025. vol. 15. DOI: 10.1038/s41598-025-26169-9.
14. Huo Z., Ji T., et al. DynImp: Dynamic Imputation for Wearable Sensing Data Through Sensory and Temporal Relatedness // arXiv preprint arXiv:2209.15415. 2022. pp. 1–25.
15. Jun K., Lee K., Lee S., Lee H., Kim M.-K. Hybrid Deep Neural Network Framework Combining Skeleton and Gait Features for Pathological Gait Recognition // Bioengineering. 2023. vol. 10. 1133 p. DOI: 10.3390/bioengineering10101133.
16. Mao M., Song Y. Gait Recognition Based on 3D Skeleton Data and Graph Convolutional Network // IEEE International Joint Conference on Biometrics (IJCB). 2020. DOI: 10.1109/IJCB48548.2020.9304916.
17. Rao H., Miao C. A Survey on 3D Skeleton-Based Person Re-Identification: Approaches, Designs, Challenges, and Future Directions // arXiv preprint arXiv:2401.15296. 2024.
18. Khaliluzzaman M., Uddin A., et al. Person Recognition Based on Deep Gait: A Survey // Sensors. 2023. vol. 23. pp. 1–36. DOI: 10.3390/s23104875.
19. Lin T.-Y., Goyal P., Girshick R., He K., Dollar P. Focal Loss for Dense Object Detection // arXiv preprint arXiv:1708.02002. 2017. pp. 1–10.
20. Yun S., Jeong M., Kim R., Kang J., Kim H.J. Graph Transformer Networks // arXiv preprint arXiv:1911.06455. 2019. pp. 1–11.
21. Shi L.-F., Liu Z.-Y., Zhou K.-J., Shi Y., Jing X. Novel Deep Learning Network for Gait Recognition Using Multimodal Inertial Sensors // Sensors. 2023. vol. 23. pp. 1–17. DOI: 10.3390/s23020849.
22. Maji D., Nagori S., Mathew M., Poddar D. YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss // arXiv preprint arXiv:2204.06806. 2022. pp. 1–10.
23. Netay I.V. Series of quasi-uniform scatterings with fast search, root systems and neural network classifications // arXiv preprint arXiv:2512.04865. 2025. pp. 1–13.
Опубликован
Как цитировать
Раздел
Copyright (c) Евгений Павлович Панкратов, Игорь Витальевич Нетай, Константин Игоревич Корнилов, Андрей Николаевич Голубинский
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).