Построение модели онлайн-обучения с помощью видео по распознаванию танцев, основанного на глубоком обучении
Ключевые слова:
онлайн-обучение, глубокое обучение, LSTM, GRU, RNN, ВьетнамАннотация
Распознавание движений при прыжках с помощью видео является значительным вкладом, поскольку оно значительно влияет на интеллектуальные приложения и будет широко применяться в жизни. Этот метод может быть использован для обучения будущих танцоров с использованием инновационных технологий. Сложные позы будут повторяться и совершенствоваться с течением времени, что снизит нагрузку на инструктора при многократном выполнении. Танцоров также можно воссоздать, удалив элементы из их изображений. Распознавать движения танцоров, проверять и корректировать их позы, и еще одним важным аспектом является то, что наша модель может извлекать когнитивные функции для эффективной оценки и классификации, а глубокое обучение в настоящее время является одним из лучших способов сделать это для возможностей коротких видеороликов. Кроме того, при оценке качества видеозаписи выступления точность выполнения каждого танцевального шага является сложной проблемой, когда глаза судей не могут на 100% сфокусироваться на танце на сцене. Более того, танцы на видео сегодня представляют большой интерес для ученых, поскольку технологии все больше развиваются и становятся полезными для замены людей. Основываясь на реальных условиях и потребностях Вьетнама. В этой статье мы предлагаем метод, заменяющий ручную оценку, и наш подход используется для оценки танца с помощью коротких видеороликов. Кроме того, мы проводим танцевальный анализ с помощью коротких видеороликов, применяя таким образом такие методы, как глубокое обучение, для оценки и сбора данных, на основе которых можно делать точные выводы. Эксперименты показывают, что наша оценка является относительно точной, когда рассчитываются значения точности и F1-балла. Точность составляет более 92,38% и 91,18% F1-балла соответственно. Это демонстрирует, что наш метод хорошо и точно работает при анализе оценки танца.
Литература
2. Krishna V.B. Ballroom dance movement recognition using a smart watch. arXiv preprint. 2020. arXiv:2008.10122.
3. Sun Y., Chen J. Human movement recognition in dancesport video images based on chaotic system equations. Advances in Mathematical Physics. 2021. vol. 2021. pp. 1–12.
4. Zhang J., Sun J., Wang J., Yue X.-G. Visual object tracking based on residual network and cascaded correlation filters. Journal of ambient intelligence and humanized computing. 2021. vol. 12. pp. 8427–8440.
5. Zhou Q., Wang J., Wu P., Qi Y. Application development of dance pose recognition based on embedded artificial intelligence equipment. Journal of Physics: Conference Series. 2021. vol. 1757(1). no. 012011.
6. Nguyen H., Dao T.N., Pham N.S., Dang T.L., Nguyen T.D., Truong T.H. An accurate viewport estimation method for 360 video streaming using deep learning. EAI Endorsed Transactions on Industrial Networks and Intelligent Systems. 2022. vol. 9. no. 4. DOI: 10.4108/eetinis.v9i4.2218.
7. Wang S., Li J., Cao T., Wang H., Tu P., Li Y. Dance emotion recognition based on laban motion analysis using convolutional neural network and long short-term memory. IEEE Access. 2020. vol. 8. pp. 124928–124938.
8. Ding Y., Zhang Z., Zhao X., Cai Y., Li S., Deng B., Cai W. Self-supervised locality preserving low-pass graph convolutional embedding for large-scale hyperspectral image clustering. IEEE Transactions on Geoscience and Remote Sensing. 2022. vol. 60. pp. 1–16.
9. Hung N., Loi T., Huong N., Hang T.T., Huong T. Aafndl – an accurate fake information recognition model using deep learning for the vietnamese language. Informatics and Automation. 2023. vol. 22. no. 4. pp. 795–825.
10. Hao S., Zhou Y., Guo Y. A brief survey on semantic segmentation with deep learning. Neurocomputing. 2020. vol. 406. pp. 302–321.
11. Cai W., Song Y., Duan H., Xia Z., Wei Z. Multi-feature fusion-guided multiscale bidirectional attention networks for logistics pallet segmentation. Computer Modeling in Engineering and Sciences. 2022. vol. 131. no. 3. pp. 1539–1555.
12. Zhao M., Chang C.H., Xie W., Xie Z., Hu J. Cloud shape classification system based on multi-channel cnn and improved fdm. IEEE Access. 2020. vol. 8. pp. 44111–44124.
13. Bakalos N., Rallis I., Doulamis N., Doulamis A., Protopapadakis E., Voulodimos A. Choreographic pose identification using convolutional neural networks. 11th International Conference on Virtual Worlds and Games for Serious Applications (VS-Games). IEEE, 2019. pp. 1–7.
14. Rani C.J., Devarakonda N. An effectual classical dance pose estimation and classification system employing convolution neural network–long shortterm memory (CNN-LSTM) network for video sequences. Microprocessors and Microsystems. 2022. vol. 95. no. 104651.
15. Yang Y., Yu D., Yang C. Video transaction algorithm considering fisco alliance chain and improved trusted computing. PeerJ Computer Science. 2021. vol. 7. no. e594.
16. Hu K., Jin J., Zheng F., Weng L., Ding Y. Overview of behavior recognition based on deep learning. Artificial Intelligence Review. 2023. vol. 56. no. 3. pp. 1833–1865.
17. Matsuyama H., Aoki S., Yonezawa T., Hiroi K., Kaji K., Kawaguchi N. Deep learning for ballroom dance recognition: A temporal and trajectory-aware classification model with three-dimensional pose estimation and wearable sensing. IEEE Sensors Journal. 2021. vol. 21. no. 22. pp. 25437–25448.
18. Ng L.H.X., Tan J.Y.H., Tan D.J.H., Lee R.K.-W. Will you dance to the challenge? predicting user participation of TikTok challenges. Proceedings of the IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. 2021. pp. 356–360.
19. He H., Luo Q. Online teaching mode of college sports dance course under the background of internet plus. International Conference on Information Technology and Contemporary Sports (TCS). 2021. pp. 160–164.
20. Zhu X. Research on the application of digital media technology in sports dance teaching. International Conference on Education, Information Management and Service Science (EIMSS). 2021. pp. 22–26.
21. Hu Z. Research on the application of virtual reality technology in the teaching of sports dance in colleges and universities. 2nd International Conference on Artificial Intelligence and Education (ICAIE). 2021. pp. 414–418.
22. Kritsis K., Gkiokas A., Pikrakis A., Katsouros V. Danceconv: Dance motion generation with convolutional networks. IEEE Access. 2022. vol. 10. pp. 44982–45000.
23. Chen Y., Li X. Research on the application of flipped classroom model in college sports dance teaching. International Conference on Information Technology and Contemporary Sports (TCS). 2021. pp. 508–511.
24. Li Y., Xu K. Online sports dance body contour extraction and training algorithm based on dsp chip intelligent high-definition camera image processing. 7th International Conference on Communication and Electronics Systems (ICCES). 2022. pp. 908–911.
25. Kaur M., Mohta A. A review of deep learning with recurrent neural network. International Conference on Smart Systems and Inventive Technology (ICSSIT). 2019. pp. 460–465.
26. Rallis I., Voulodimos A., Bakalos N., Protopapadakis E., Doulamis N., Doulamis A. Machine learning for intangible cultural heritage: a review of techniques on dance analysis. Visual Computing for Cultural Heritage. 2020. pp. 103–119.
27. Biswal A. Recurrent neural network (RNN) tutorial: Types, examples, LSTM and more. Simplilearn. Com. Retrieved. 2022. Available at: https://www.simplilearn.com/tutorials/deep-learning-tutorial/rnn (accessed: 05.10.2023).
28. Zargar S. Introduction to sequence learning models: RNN, LSTM, GRU. Department of Mechanical and Aerospace Engineering, North Carolina State University. 2021. DOI: 10.13140/RG.2.2.36370.99522.
29. Zhang W., Li H., Tang L., Gu X., Wang L., Wang L. Displacement prediction of jiuxianping landslide using gated recurrent unit (gru) networks. Acta Geotechnica. 2022. vol. 17. no. 4. pp. 1367–1382.
30. Li W., Wei Y., An D., Jiao Y., Wei Q. LSTM-TCN: Dissolved oxygen prediction in aquaculture, based on combined model of long short-term memory network and temporal convolutional network. Environmental Science and Pollution Research. 2022. vol. 29. no. 26. pp. 39545–39556.
Опубликован
Как цитировать
Раздел
Copyright (c) Hung Viet Nguyen
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).