Определение вовлеченности учащихся с помощью сетей пирамидальных признаков, улучшенных трансформером, с канально-пространственным вниманием
Ключевые слова:
сеть пирамидальных признаков (FPN), канально-пространственное внимание (CSA), определение вовлеченности учащихся, трансформерАннотация
Одним из важнейших аспектов современных образовательных систем является определение вовлеченности учащихся, которое включает выявление того, насколько вовлечены, внимательны и активны учащиеся на занятиях в классе. Для преподавателей этот подход имеет важное значение, поскольку он дает представление об опыте обучения учащихся, позволяя адаптировать подходы в обучении и улучшать качество обучения. Традиционные методы оценки вовлеченности учащихся часто являются трудоемкими и субъективными. В этом исследовании предлагается новая система определения степени вовлеченности учащихся в реальном времени, которая использует сети пирамидальных признаков (FPN), улучшенные с помощью архитектуры Трансформера, с канально-пространственным вниманием (CSA), называемая BiusFPN_CSA. Предлагаемый подход автоматически анализирует модели вовлеченности учащихся, такие как поза тела, зрительный контакт и положение головы, из визуальных потоков данных путем интеграции передовых методов глубокого обучения и компьютерного зрения. За счет интеграции механизма внимания CSA с возможностями иерархического представления признаков FPN, модель может точно определять уровни вовлеченности учащихся, улавливая контекстную и пространственную информацию во входных данных. Кроме того, благодаря внедрению архитектуры Трансформера, модель достигает лучшей общей производительности за счет эффективного учета долгосрочных зависимостей и семантических связей во входных последовательностях. Оценка с использованием набора данных WACV показывает, что предлагаемая модель превосходит базовые методы с точки зрения точности. В частности, вариант FPN_CSA_Trans_EH предлагаемой модели превосходит FPN_CSA на 3,28% и 4,98% соответственно. Эти результаты подчеркивают эффективность структуры BiusFPN_CSA в определении вовлеченности учащихся в реальном времени, предлагая преподавателям ценный инструмент для повышения качества обучения, создания активной среды обучения и, в конечном итоге, улучшения результатов учащихся.
Литература
1. Marks H.M. Student engagement in instructional activity: Patterns in the elementary, middle, and high school years. American Educational Research Journal. 2000. vol. 37. pp. 153–184. DOI: 10.3102/00028312037001153.
2. Nomura K., Iwata M., Augereau O., Kise K. Estimation of student’s engagement based on the posture. Proceedings of the ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the ACM International Symposium on Wearable Computers. ACM, 2019. pp. 164–167. DOI: 10.1145/3341162.3343767.
3. Kaur A., Mustafa A., Mehta L., Dhall A. Prediction and Localization of Student Engagement in the Wild. Digital Image Computing: Techniques and Applications (DICTA). Australia, Canberra: ACT, 2018. pp. 1–8. DOI: 10.1109/DICTA.2018.8615851.
4. Hatori Y., Nakajima T., Watabe S. Body Posture Analysis for the Classification of Classroom Scenes. Interdisciplinary Information Sciences. 2022. vol. 28(1). pp. 55–62. DOI: 10.4036/iis.2022.a.05.
5. Liu Y., Chen J., Zhang M., Rao C. Student engagement study based on multi-cue detection and recognition in an intelligent learning environment. Multimedia Tools Appl. 2018. vol. 77(21). pp. 28749–28775.
6. Sharma P., Joshi S., Gautam S., Maharjan S., Khanal S.R., Reis M.C., Barroso J., de Jesus Filipe V.M. Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning. Technology and Innovation in Learning, Teaching and Education. TECH-EDU 2022. Communications in Computer and Information Science. vol. 1720. pp. 52–68. DOI: 10.1007/978-3-031-22918-3_5.
7. Bourel F., Chibelushi C. Low A. Recognition of Facial Expressions in the Presence of Occlusion. 2001. vol. 1. DOI: 10.5244/C.15.23.
8. Mao X., Xue Y., Li Z., Huang K., Lv S. Robust facial expression recognition based on RPCA and AdaBoost. 10th Workshop on Image Analysis for Multimedia Interactive Services. 2009. pp. 113–116. DOI: 10.1109/WIAMIS.2009.5031445.
9. Jiang B., Jia Kb. Research of Robust Facial Expression Recognition under Facial Occlusion Condition. Active Media Technology, 2011. pp. 92–100. DOI: 10.1007/978-3-642-23620-4_13.
10. Hammal Z., Arguin M., Gosselin F. Comparing a novel model based on the transferable belief model with humans during the recognition of partially occluded facial expressions. Journal of vision. 2009. vol. 9. DOI: 10.1167/9.2.22.
11. Zhang F., Zhang T., Mao Q., Xu C. Joint Pose and Expression Modeling for Facial Expression Recognition. IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. pp. 3359–3368. DOI: 10.1109/CVPR.2018.00354.
12. Wang C., Wang S., Liang G. Identity- and Pose-Robust Facial Expression Recognition through Adversarial Feature Learning. 2019. pp. 238–246. DOI: 10.1145/3343031.3350872.
13. Moubayed A., Injadat M., Shami A., Lutfiyya H. Student Engagement Level in e-Learning Environment: Clustering Using K-means. American Journal of Distance Education. 2020. vol. 34(2). pp. 137–156. DOI: 10.1080/08923647.2020.1696140.
14. Gupta S., Kumar P., Tekchandani R. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models. Multimedia Tools and Applications. 2022. vol. 82. pp. 11365–11394. DOI: 10.1007/s11042-022-13558-9.
15. Bhardwaj P., Gupta P., Panwar H., Siddiqui M.K., Morales-Menendez R., Bhaik A. Application of Deep Learning on Student Engagement in e-learning environments. Computers & Electrical Engineering. 2021. vol. 93. DOI: 10.1016/j.compeleceng.2021.107277.
16. Fakhar S., Baber J., Bazai S., Marjan S., Jasiński M., Jasińska E., Chaudhry M.U., Leonowicz Z., Hussain S. Smart Classroom Monitoring Using Novel Real-Time Facial Expression Recognition System. Applied Sciences. 2022. vol. 12(23). DOI: 10.3390/app122312134.
17. Sümer Ö., Goldberg P., D’Mello S., Gerjets P., Trautwein U., Kasneci E., Multimodal Engagement Analysis From Facial Videos in the Classroom. IEEE Transactions on Affective Computing. 2023. vol. 14. no. 2. pp. 1012–1027. DOI: 10.1109/TAFFC.2021.3127692.
18. Psaltis A., Apostolakis K.C., Dimitropoulos K., Daras P. Multimodal Student Engagement Recognition in Prosocial Games. IEEE Transactions on Games. 2018. vol. 10. no. 3. pp. 292–303. DOI: 10.1109/TCIAIG.2017.2743341.
19. Mohamad Nezami O., Dras M., Hamey L., Richards D., Wan S., Paris C. Automatic Recognition of Student Engagement Using Deep Learning and Facial Expression. Lecture Notes in Computer Science. Springer, Cham. 2020. vol. 11908. pp. 273–289. DOI: 10.1007/978-3-030-46133-1_17.
20. Yu H., Gupta A., Lee W., Arroyo I., Betke M., Allesio D., Murray T., Magee J., Woolf B.P. Measuring and integrating facial expressions and head pose as indicators of engagement and affect in tutoring systems Adaptive Instructional Systems. Adaptation Strategies and Methods. Cham Springer. 2021. pp. 219–233.
21. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. pp. 770–778. DOI: 10.1109/CVPR.2016.90.
22. Gao M., Song P., Wang F., Liu J., Mandelis A., Qi D. A Novel Deep Convolutional Neural Network Based on ResNet-18 and Transfer Learning for Detection of Wood Knot Defects. Journal of Sensors. 2021. pp. 1–16. DOI: 10.1155/2021/4428964.
23. Lin T.-Y., Dollár P., Girshick R., He K., Hariharan B., Belongie S. Feature Pyramid Networks for Object Detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. pp. 936–944. DOI: 10.1109/CVPR.2017.106.
24. Woo S., Park J., Lee J.Y., Kweon I.S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018. Lecture Notes in Computer Science. Springer, Cham. 2018. vol. 11211. pp. 3–19. DOI: 10.1007/978-3-030-01234-2_1.
25. Gupta A., DCunha A., Awasthi K., Balasubramanian V. DAiSEE: Towards User Engagement Recognition in the Wild. 2016. arXiv preprint: arXiv:1609.01885.
26. Islam M., Hossain E. Foreign Exchange Currency Rate Prediction using a GRU-LSTM Hybrid Network. Soft Computing Letters. 2021. vol. 3. DOI: 10.1016/j.socl.2020.100009.
27. Zhang H., Xiao X., Huang T., Liu S., Xia Y., Li J. An Novel End-to-end Network for Automatic Student Engagement Recognition. 2019 IEEE 9th International Conference on Electronics Information and Emergency Communication (ICEIEC). 2019. pp. 342–345. DOI: 10.1109/ICEIEC.2019.8784507.
28. Batra S., Wang S., Nag A., Brodeur P., Checkley M., Klinkert A., Dev S. DMCNet: Diversified Model Combination Network for Understanding Engagement from Video Screengrabs. 2022. arXiv preprint: arXiv: 2204.06454. DOI: 10.48550/arXiv.2204.06454.
29. Abedi A., Khan S.S. Improving state-of-the-art in Detecting Student Engagement with Resnet and TCN Hybrid Network. 18th Conference on Robots and Vision (CRV). 2021. pp. 151–157. DOI: 10.1109/CRV52889.2021.00028.
30. Liao J., Liang Y., Pan J. Deep facial spatiotemporal network for engagement prediction in online learning. Applied Intelligence. 2021. vol. 51. pp. 6609–6621. DOI: 10.1007/s10489-020-02139-8.
31. Huang T., Mei Y., Zhang H., Liu S., Yang H. Fine-grained Engagement Recognition in Online Learning Environment. IEEE 9th International Conference on Electronics Information and Emergency Communication (ICEIEC). 2019. pp. 338–341. DOI: 10.1109/ICEIEC.2019.8784559.
32. Ma X., Xu M., Dong Y., Sun Z. Automatic Student Engagement in Online Learning Environment Based on Neural Turing Machine. International Journal of Information and Education Technology. 2021. vol. 11(3). pp. 107–111. DOI: 10.18178/ijiet.2021.11.3.1497.
2. Nomura K., Iwata M., Augereau O., Kise K. Estimation of student’s engagement based on the posture. Proceedings of the ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the ACM International Symposium on Wearable Computers. ACM, 2019. pp. 164–167. DOI: 10.1145/3341162.3343767.
3. Kaur A., Mustafa A., Mehta L., Dhall A. Prediction and Localization of Student Engagement in the Wild. Digital Image Computing: Techniques and Applications (DICTA). Australia, Canberra: ACT, 2018. pp. 1–8. DOI: 10.1109/DICTA.2018.8615851.
4. Hatori Y., Nakajima T., Watabe S. Body Posture Analysis for the Classification of Classroom Scenes. Interdisciplinary Information Sciences. 2022. vol. 28(1). pp. 55–62. DOI: 10.4036/iis.2022.a.05.
5. Liu Y., Chen J., Zhang M., Rao C. Student engagement study based on multi-cue detection and recognition in an intelligent learning environment. Multimedia Tools Appl. 2018. vol. 77(21). pp. 28749–28775.
6. Sharma P., Joshi S., Gautam S., Maharjan S., Khanal S.R., Reis M.C., Barroso J., de Jesus Filipe V.M. Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning. Technology and Innovation in Learning, Teaching and Education. TECH-EDU 2022. Communications in Computer and Information Science. vol. 1720. pp. 52–68. DOI: 10.1007/978-3-031-22918-3_5.
7. Bourel F., Chibelushi C. Low A. Recognition of Facial Expressions in the Presence of Occlusion. 2001. vol. 1. DOI: 10.5244/C.15.23.
8. Mao X., Xue Y., Li Z., Huang K., Lv S. Robust facial expression recognition based on RPCA and AdaBoost. 10th Workshop on Image Analysis for Multimedia Interactive Services. 2009. pp. 113–116. DOI: 10.1109/WIAMIS.2009.5031445.
9. Jiang B., Jia Kb. Research of Robust Facial Expression Recognition under Facial Occlusion Condition. Active Media Technology, 2011. pp. 92–100. DOI: 10.1007/978-3-642-23620-4_13.
10. Hammal Z., Arguin M., Gosselin F. Comparing a novel model based on the transferable belief model with humans during the recognition of partially occluded facial expressions. Journal of vision. 2009. vol. 9. DOI: 10.1167/9.2.22.
11. Zhang F., Zhang T., Mao Q., Xu C. Joint Pose and Expression Modeling for Facial Expression Recognition. IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2018. pp. 3359–3368. DOI: 10.1109/CVPR.2018.00354.
12. Wang C., Wang S., Liang G. Identity- and Pose-Robust Facial Expression Recognition through Adversarial Feature Learning. 2019. pp. 238–246. DOI: 10.1145/3343031.3350872.
13. Moubayed A., Injadat M., Shami A., Lutfiyya H. Student Engagement Level in e-Learning Environment: Clustering Using K-means. American Journal of Distance Education. 2020. vol. 34(2). pp. 137–156. DOI: 10.1080/08923647.2020.1696140.
14. Gupta S., Kumar P., Tekchandani R. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models. Multimedia Tools and Applications. 2022. vol. 82. pp. 11365–11394. DOI: 10.1007/s11042-022-13558-9.
15. Bhardwaj P., Gupta P., Panwar H., Siddiqui M.K., Morales-Menendez R., Bhaik A. Application of Deep Learning on Student Engagement in e-learning environments. Computers & Electrical Engineering. 2021. vol. 93. DOI: 10.1016/j.compeleceng.2021.107277.
16. Fakhar S., Baber J., Bazai S., Marjan S., Jasiński M., Jasińska E., Chaudhry M.U., Leonowicz Z., Hussain S. Smart Classroom Monitoring Using Novel Real-Time Facial Expression Recognition System. Applied Sciences. 2022. vol. 12(23). DOI: 10.3390/app122312134.
17. Sümer Ö., Goldberg P., D’Mello S., Gerjets P., Trautwein U., Kasneci E., Multimodal Engagement Analysis From Facial Videos in the Classroom. IEEE Transactions on Affective Computing. 2023. vol. 14. no. 2. pp. 1012–1027. DOI: 10.1109/TAFFC.2021.3127692.
18. Psaltis A., Apostolakis K.C., Dimitropoulos K., Daras P. Multimodal Student Engagement Recognition in Prosocial Games. IEEE Transactions on Games. 2018. vol. 10. no. 3. pp. 292–303. DOI: 10.1109/TCIAIG.2017.2743341.
19. Mohamad Nezami O., Dras M., Hamey L., Richards D., Wan S., Paris C. Automatic Recognition of Student Engagement Using Deep Learning and Facial Expression. Lecture Notes in Computer Science. Springer, Cham. 2020. vol. 11908. pp. 273–289. DOI: 10.1007/978-3-030-46133-1_17.
20. Yu H., Gupta A., Lee W., Arroyo I., Betke M., Allesio D., Murray T., Magee J., Woolf B.P. Measuring and integrating facial expressions and head pose as indicators of engagement and affect in tutoring systems Adaptive Instructional Systems. Adaptation Strategies and Methods. Cham Springer. 2021. pp. 219–233.
21. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. pp. 770–778. DOI: 10.1109/CVPR.2016.90.
22. Gao M., Song P., Wang F., Liu J., Mandelis A., Qi D. A Novel Deep Convolutional Neural Network Based on ResNet-18 and Transfer Learning for Detection of Wood Knot Defects. Journal of Sensors. 2021. pp. 1–16. DOI: 10.1155/2021/4428964.
23. Lin T.-Y., Dollár P., Girshick R., He K., Hariharan B., Belongie S. Feature Pyramid Networks for Object Detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. pp. 936–944. DOI: 10.1109/CVPR.2017.106.
24. Woo S., Park J., Lee J.Y., Kweon I.S. CBAM: Convolutional Block Attention Module. Computer Vision – ECCV 2018. Lecture Notes in Computer Science. Springer, Cham. 2018. vol. 11211. pp. 3–19. DOI: 10.1007/978-3-030-01234-2_1.
25. Gupta A., DCunha A., Awasthi K., Balasubramanian V. DAiSEE: Towards User Engagement Recognition in the Wild. 2016. arXiv preprint: arXiv:1609.01885.
26. Islam M., Hossain E. Foreign Exchange Currency Rate Prediction using a GRU-LSTM Hybrid Network. Soft Computing Letters. 2021. vol. 3. DOI: 10.1016/j.socl.2020.100009.
27. Zhang H., Xiao X., Huang T., Liu S., Xia Y., Li J. An Novel End-to-end Network for Automatic Student Engagement Recognition. 2019 IEEE 9th International Conference on Electronics Information and Emergency Communication (ICEIEC). 2019. pp. 342–345. DOI: 10.1109/ICEIEC.2019.8784507.
28. Batra S., Wang S., Nag A., Brodeur P., Checkley M., Klinkert A., Dev S. DMCNet: Diversified Model Combination Network for Understanding Engagement from Video Screengrabs. 2022. arXiv preprint: arXiv: 2204.06454. DOI: 10.48550/arXiv.2204.06454.
29. Abedi A., Khan S.S. Improving state-of-the-art in Detecting Student Engagement with Resnet and TCN Hybrid Network. 18th Conference on Robots and Vision (CRV). 2021. pp. 151–157. DOI: 10.1109/CRV52889.2021.00028.
30. Liao J., Liang Y., Pan J. Deep facial spatiotemporal network for engagement prediction in online learning. Applied Intelligence. 2021. vol. 51. pp. 6609–6621. DOI: 10.1007/s10489-020-02139-8.
31. Huang T., Mei Y., Zhang H., Liu S., Yang H. Fine-grained Engagement Recognition in Online Learning Environment. IEEE 9th International Conference on Electronics Information and Emergency Communication (ICEIEC). 2019. pp. 338–341. DOI: 10.1109/ICEIEC.2019.8784559.
32. Ma X., Xu M., Dong Y., Sun Z. Automatic Student Engagement in Online Learning Environment Based on Neural Turing Machine. International Journal of Information and Education Technology. 2021. vol. 11(3). pp. 107–111. DOI: 10.18178/ijiet.2021.11.3.1497.
Опубликован
2025-04-01
Как цитировать
Навин, А., Джейкоб, И. Д., & Мандава, А. К. (2025). Определение вовлеченности учащихся с помощью сетей пирамидальных признаков, улучшенных трансформером, с канально-пространственным вниманием. Информатика и автоматизация, 24(2), 631-656. https://doi.org/10.15622/ia.24.2.10
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) A Naveen, Unknown, Unknown
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).