Создание прогнозирующих моделей запахов для сред виртуальной реальности
Ключевые слова:
виртуальная реальность, запах, выбор модели, пользовательский опыт, воображение, прогнозирование запаховАннотация
В среде, насыщенной сенсорными стимулами, человеческий опыт формируется за счет сложного взаимодействия множества чувств. Однако при цифровом взаимодействии задействуются преимущественно зрительные и слуховые модальности, в то время как другие сенсорные каналы, такие как обоняние, остаются практически неиспользованными. Технология виртуальной реальности обладает значительным потенциалом для преодоления этого ограничения за счет включения более широкого спектра сенсорных стимулов, что позволяет создавать более погружающий опыт. В данном исследовании представлен новый подход к интеграции обонятельных стимулов в виртуальную среду посредством разработки прогностической модели запахов, названной Сенсорно-Прогностическая Реакционная Структура (SPRF). Цель исследования заключается в улучшении сенсорного измерения виртуальной реальности путем адаптации обонятельных стимулов к конкретному контенту и контексту. Это достигается за счет сбора информации о местоположении источников запахов и их идентификации по характерным признакам, что позволяет воспроизводить их в пространстве виртуальной среды, тем самым повышая вовлеченность и уровень погружения пользователя. Кроме того, в исследовании изучается влияние различных факторов, связанных с запахами, на восприятие и поведение пользователя в виртуальной реальности, с целью разработки прогностических моделей, оптимизированных для интеграции обонятельных стимулов. Эмпирические оценки показывают, что модель SPRF демонстрирует производительность с точностью 98,13%, значительно превосходя обычные модели, такие как сверточные нейронные сети (CNN, 79,46%), сети с долгой краткосрочной памятью (LSTM, 80,37%) и метод опорных векторов (SVM, 85,24%). Кроме того, SPRF обеспечивает заметные улучшения в показателях F1 (на 13,05%-21,38%) и точности (на 12,89%-18,67%) по сравнению с этими альтернативными моделями. Эти результаты подчеркивают эффективность SPRF в развитии интеграции обонятельных стимулов в виртуальной реальности, предлагая ценные идеи для проектирования мультисенсорных цифровых сред.
Литература
1. Nikolic D., Whyte J. Visualizing a new sustainable world: Toward the next generation of virtual reality in the built environment. Buildings. 2021. vol. 11. no. 11(11). DOI: 10.3390/buildings11110546.
2. Felten P., Lambert L.M. Relationship-rich education: How human connections drive success in college. Johns Hopkins University Press, 2020. 208 p.
3. Flavian C., Ibanez-Sanchez S., Orus C. The influence of scent on virtual reality experiences: The role of aroma-content congruence. Journal of Business Research. 2021. vol. 123. pp. 289–301. DOI: 10.1016/j.jbusres.2020.09.036.
4. Petit O., Velasco C., Spence C. Digital sensory marketing: Integrating new technologies into multisensory online experience. Journal of Interactive Marketing. 2019. vol. 45. pp. 42–61. DOI: 10.1016/j.intmar.2018.07.004.
5. Hung N.V., Thinh P.H., Thanh N.H., Lam T.T., Hien T.T., Ninh V.T., Huong T.T. Lvsum-optimized live 360 degree video streaming in unicast and multicast over mobile networks. IEEE 15th International Conference on Computational Intelligence and Communication Networks (CICN). IEEE, 2023. pp. 29–34. DOI: 10.1109/CICN59264.2023.10402136.
6. Hung N.V., Tien B.D., Anh T.T.T., Nam P.N., Huong T.T. An efficient approach to terminate 360-video stream on http/3. American Institute of Physics Conference Proceedings. 2023. vol. 2909. no. 1. DOI: 10.1063/5.0182042.
7. Zeynali A., Hajiesmaili M.H., Sitaraman R.K. Bola360: Near-optimal view and bitrate adaptation for 360-degree video streaming. Proceedings of the 15th ACM Multimedia Systems Conference (MMSys). 2024. pp. 12–22. DOI: 10.1145/3625468.3647607.
8. Chiariotti F. A survey on 360-degree video: Coding, quality of experience and streaming. Computer Communications. 2021. vol. 177. pp. 133–155. DOI: 10.1016/j.comcom.2021.06.029.
9. Nguyen H., Dao T.N., Pham N.S., Dang T.L., Nguyen T.D., Truong T.H. An accurate viewport estimation method for 360 video streaming using deep learning. EAI Endorsed Transactions on Industrial Networks and Intelligent Systems. 2022. vol. 9. no. 4. DOI: 10.4108/eetinis.v9i4.2218.
10. Hung N.V., Dat P., Tan N., Quan N., Trang L.T.H., Nam L. Heverl – viewport estimation using reinforcement learning for 360-degree video streaming. Informatics and Automation. 2025. vol. 24(1). pp. 302–328. DOI: 10.15622/ia.24.1.11.
11. Nguyen V.H., Bui D.T., Tran T.L., Truong C.T., Truong T.H. Scalable and resilient 360-degree-video adaptive streaming over HTTP/2 against sudden network drops. Computer Communications. 2024. vol. 216. pp. 1–15. DOI: 10.1016/j.comcom.2024.01.001.
12. Buck L., Axel R. A novel multigene family may encode odorant receptors: a molecular basis for odor recognition. Cell. 1991. vol. 65(1). pp. 175–187. DOI: 10.1016/0092-8674(91)90418-X.
13. Yang Y., Jing D., Zhao L. Computational fluid dynamics modeling of reactive multiphase flow for suspended photocatalytic water splitting of hydrogen production system. Applied Thermal Engineering. 2020. vol. 173. DOI: 10.1016/j.applthermaleng.2020.115220.
14. Song R., Keller A.A., Suh S. Rapid life-cycle impact screening using artificial neural networks. Environmental Science & Technology. 2017. vol. 51. no. 18. pp. 10777–10785. DOI: 10.1021/acs.est.7b02862.
15. Lotsch J., Kringel D., Hummel T. Machine learning in human olfactory research. Chemical senses. 2019. vol. 44. no. 1. pp. 11–22. DOI: 10.1093/chemse/bjy067.
16. Narumi T., Kajinami T., Nishizaka S., Tanikawa T., Hirose M. Pseudo-gustatory display system based on cross-modal integration of vision, olfaction and gustation. IEEE Virtual Reality Conference. IEEE, 2011. pp. 127–130. DOI: 10.1109/VR.2011.5759450.
17. Niedenthal S., Fredborg W., Lunden P., Ehrndal M., Olofsson J.K. A graspable olfactory display for virtual reality. International Journal of Human-Computer Studies. 2023. vol. 169. DOI: 10.1016/j.ijhcs.2022.102928.
18. Velasco C., Vargas J., Petit O. Multisensory experiences and technology in the context of wine experiences. Journal of Wine Research. 2024. vol. 35. no. 2. pp. 85–100. DOI: 10.1080/09571264.2024.2310304.
19. Wilson A. Electronic-nose applications in forensic science and for analysis of volatile biomarkers in the human breath. Journal of Forensic Science & Criminology. 2014. vol. 1. no. 1. pp. 1–21.
20. Chacko R., Jain D., Patwardhan M., Puri A., Karande S., Rai B. Data based predictive models for odor perception. Scientific reports. 2020. vol. 10. DOI: 10.1038/s41598-020-73978-1.
21. Dzialowski A.R., Smith V.H., Huggins D.G., Denoyelles F., Lim N.-C., Baker D.S., Beury J.H. Development of predictive models for geosmin-related taste and odor in Kansas, USA, drinking water reservoirs. Water Research. 2009. vol. 43. no. 11. pp. 2829–2840. DOI: 10.1016/j.watres.2009.04.001.
22. Qi M., Chen J., Sun X., Deng X., Niu Y., Xie P. Development of models for predicting the predominant taste and odor compounds in Taihu Lake, China. PloS one. 2012. vol. 7(12). DOI: 10.1371/annotation/c86cbb15-dbb2-4fe8-b2fa-35604b6c4887.
23. Zhang L., Mao H., Zhuang Y., Wang L., Liu L., Dong Y., Du J., Xie W., Yuan Z. Odor prediction and aroma mixture design using machine learning model and molecular surface charge density profiles. Chemical Engineering Science. 2021. vol. 245. DOI: 10.1016/j.ces.2021.116947.
24. Nozaki Y., Nakamoto T. Predictive modeling for odor character of a chemical using machine learning combined with natural language processing. PloS one. 2018. vol. 13(12). DOI: 10.1371/journal.pone.0208962.
25. Lee D.-H., Woo S.-E., Jung M.-W., Heo T.-Y. Evaluation of odor prediction model performance and variable importance according to various missing imputation methods. Applied Sciences. 2022. vol. 12. no. 6. DOI: 10.3390/app12062826.
26. Rincon C.A., De Guardia A., Couvert A., Wolbert D., Le Roux S., Soutrel I., Nunes G. Odor concentration (OC) prediction based on odor activity values (OAVs) during composting of solid wastes and digestates. Atmospheric Environment. 2019. vol. 201. pp. 1–12. DOI: 10.1016/j.atmosenv.2018.12.030.
27. Hung N.V., Loi T.Q., Binh N.H., Nga N.T.T., Huong T.T., Luu D.L. Building an online learning model through a dance recognition video based on deep learning. Informatics and Automation. 2024. vol. 23(1). pp. 101–128. DOI: 10.15622/ia.23.1.4.
28. Ward R., Rahman S., Wuerger S., Marshall A. Predicting the colour associated with odours using an electronic nose. in Proceedings of the 1st Workshop on Multisensory Experiences-SensoryX’21. SBC, 2021. DOI: 10.5753/sensoryx.2021.15683.
29. Wu D., Luo D., Wong K.-Y., Hung K. POP-CNN: Predicting odor leasantness with convolutional neural network. IEEE Sensors Journal. 2019. vol. 19. no. 23. pp. 11337–11345. DOI: 10.1109/JSEN.2019.2933692.
30. Bilgera C., Yamamoto A., Sawano M., Matsukura H., Ishida H. Application of convolutional long short-term memory neural networks to signals collected from a sensor network for autonomous gas source localization in outdoor environments. Sensors. 2018. vol. 18. no. 12. DOI: 10.3390/s18124484.
31. Liu W., Zhong X., Liu G., Xie J. Emotion Recognition Based ECG in Olfactory-enhanced VR Scenes. 9th International Symposium on Computer and Information Processing Technology (ISCIPT). 2024. pp. 445–448. DOI: 10.1109/ISCIPT61983.2024.10672829.
32. Jing T., Meng Q.-H., Ishida H. Recent progress and trend of robot odor source localization. IEEJ Transactions on Electrical and Electronic Engineering. 2021. vol. 16. no. 7. pp. 938–953. DOI: 10.1002/tee.23364.
33. Grodniyomchai B., Satcharoen K., Tangtisanon P. Enhancing odor classification of essential oils with electronic nose data. 9th International Conference on Computer and Communication Systems (ICCCS). 2024. pp. 531–536. DOI: 10.1109/ICCCS61882.2024.10603362.
34. Saleme E.B., Santos C.A., Ghinea G. A mulsemedia framework for delivering sensory effects to heterogeneous systems. Multimedia Systems. 2019. vol. 25. pp. 421–447. DOI: 10.1007/s00530-019-00618-8.
35. Bhatia M., Kaur S., Sood S.K. Iot-inspired smart toilet system for home-based urine infection prediction. ACM Transactions on Computing for Healthcare. 2020. vol. 1. no. 3. pp. 1–25. DOI: 10.1145/3379506.
2. Felten P., Lambert L.M. Relationship-rich education: How human connections drive success in college. Johns Hopkins University Press, 2020. 208 p.
3. Flavian C., Ibanez-Sanchez S., Orus C. The influence of scent on virtual reality experiences: The role of aroma-content congruence. Journal of Business Research. 2021. vol. 123. pp. 289–301. DOI: 10.1016/j.jbusres.2020.09.036.
4. Petit O., Velasco C., Spence C. Digital sensory marketing: Integrating new technologies into multisensory online experience. Journal of Interactive Marketing. 2019. vol. 45. pp. 42–61. DOI: 10.1016/j.intmar.2018.07.004.
5. Hung N.V., Thinh P.H., Thanh N.H., Lam T.T., Hien T.T., Ninh V.T., Huong T.T. Lvsum-optimized live 360 degree video streaming in unicast and multicast over mobile networks. IEEE 15th International Conference on Computational Intelligence and Communication Networks (CICN). IEEE, 2023. pp. 29–34. DOI: 10.1109/CICN59264.2023.10402136.
6. Hung N.V., Tien B.D., Anh T.T.T., Nam P.N., Huong T.T. An efficient approach to terminate 360-video stream on http/3. American Institute of Physics Conference Proceedings. 2023. vol. 2909. no. 1. DOI: 10.1063/5.0182042.
7. Zeynali A., Hajiesmaili M.H., Sitaraman R.K. Bola360: Near-optimal view and bitrate adaptation for 360-degree video streaming. Proceedings of the 15th ACM Multimedia Systems Conference (MMSys). 2024. pp. 12–22. DOI: 10.1145/3625468.3647607.
8. Chiariotti F. A survey on 360-degree video: Coding, quality of experience and streaming. Computer Communications. 2021. vol. 177. pp. 133–155. DOI: 10.1016/j.comcom.2021.06.029.
9. Nguyen H., Dao T.N., Pham N.S., Dang T.L., Nguyen T.D., Truong T.H. An accurate viewport estimation method for 360 video streaming using deep learning. EAI Endorsed Transactions on Industrial Networks and Intelligent Systems. 2022. vol. 9. no. 4. DOI: 10.4108/eetinis.v9i4.2218.
10. Hung N.V., Dat P., Tan N., Quan N., Trang L.T.H., Nam L. Heverl – viewport estimation using reinforcement learning for 360-degree video streaming. Informatics and Automation. 2025. vol. 24(1). pp. 302–328. DOI: 10.15622/ia.24.1.11.
11. Nguyen V.H., Bui D.T., Tran T.L., Truong C.T., Truong T.H. Scalable and resilient 360-degree-video adaptive streaming over HTTP/2 against sudden network drops. Computer Communications. 2024. vol. 216. pp. 1–15. DOI: 10.1016/j.comcom.2024.01.001.
12. Buck L., Axel R. A novel multigene family may encode odorant receptors: a molecular basis for odor recognition. Cell. 1991. vol. 65(1). pp. 175–187. DOI: 10.1016/0092-8674(91)90418-X.
13. Yang Y., Jing D., Zhao L. Computational fluid dynamics modeling of reactive multiphase flow for suspended photocatalytic water splitting of hydrogen production system. Applied Thermal Engineering. 2020. vol. 173. DOI: 10.1016/j.applthermaleng.2020.115220.
14. Song R., Keller A.A., Suh S. Rapid life-cycle impact screening using artificial neural networks. Environmental Science & Technology. 2017. vol. 51. no. 18. pp. 10777–10785. DOI: 10.1021/acs.est.7b02862.
15. Lotsch J., Kringel D., Hummel T. Machine learning in human olfactory research. Chemical senses. 2019. vol. 44. no. 1. pp. 11–22. DOI: 10.1093/chemse/bjy067.
16. Narumi T., Kajinami T., Nishizaka S., Tanikawa T., Hirose M. Pseudo-gustatory display system based on cross-modal integration of vision, olfaction and gustation. IEEE Virtual Reality Conference. IEEE, 2011. pp. 127–130. DOI: 10.1109/VR.2011.5759450.
17. Niedenthal S., Fredborg W., Lunden P., Ehrndal M., Olofsson J.K. A graspable olfactory display for virtual reality. International Journal of Human-Computer Studies. 2023. vol. 169. DOI: 10.1016/j.ijhcs.2022.102928.
18. Velasco C., Vargas J., Petit O. Multisensory experiences and technology in the context of wine experiences. Journal of Wine Research. 2024. vol. 35. no. 2. pp. 85–100. DOI: 10.1080/09571264.2024.2310304.
19. Wilson A. Electronic-nose applications in forensic science and for analysis of volatile biomarkers in the human breath. Journal of Forensic Science & Criminology. 2014. vol. 1. no. 1. pp. 1–21.
20. Chacko R., Jain D., Patwardhan M., Puri A., Karande S., Rai B. Data based predictive models for odor perception. Scientific reports. 2020. vol. 10. DOI: 10.1038/s41598-020-73978-1.
21. Dzialowski A.R., Smith V.H., Huggins D.G., Denoyelles F., Lim N.-C., Baker D.S., Beury J.H. Development of predictive models for geosmin-related taste and odor in Kansas, USA, drinking water reservoirs. Water Research. 2009. vol. 43. no. 11. pp. 2829–2840. DOI: 10.1016/j.watres.2009.04.001.
22. Qi M., Chen J., Sun X., Deng X., Niu Y., Xie P. Development of models for predicting the predominant taste and odor compounds in Taihu Lake, China. PloS one. 2012. vol. 7(12). DOI: 10.1371/annotation/c86cbb15-dbb2-4fe8-b2fa-35604b6c4887.
23. Zhang L., Mao H., Zhuang Y., Wang L., Liu L., Dong Y., Du J., Xie W., Yuan Z. Odor prediction and aroma mixture design using machine learning model and molecular surface charge density profiles. Chemical Engineering Science. 2021. vol. 245. DOI: 10.1016/j.ces.2021.116947.
24. Nozaki Y., Nakamoto T. Predictive modeling for odor character of a chemical using machine learning combined with natural language processing. PloS one. 2018. vol. 13(12). DOI: 10.1371/journal.pone.0208962.
25. Lee D.-H., Woo S.-E., Jung M.-W., Heo T.-Y. Evaluation of odor prediction model performance and variable importance according to various missing imputation methods. Applied Sciences. 2022. vol. 12. no. 6. DOI: 10.3390/app12062826.
26. Rincon C.A., De Guardia A., Couvert A., Wolbert D., Le Roux S., Soutrel I., Nunes G. Odor concentration (OC) prediction based on odor activity values (OAVs) during composting of solid wastes and digestates. Atmospheric Environment. 2019. vol. 201. pp. 1–12. DOI: 10.1016/j.atmosenv.2018.12.030.
27. Hung N.V., Loi T.Q., Binh N.H., Nga N.T.T., Huong T.T., Luu D.L. Building an online learning model through a dance recognition video based on deep learning. Informatics and Automation. 2024. vol. 23(1). pp. 101–128. DOI: 10.15622/ia.23.1.4.
28. Ward R., Rahman S., Wuerger S., Marshall A. Predicting the colour associated with odours using an electronic nose. in Proceedings of the 1st Workshop on Multisensory Experiences-SensoryX’21. SBC, 2021. DOI: 10.5753/sensoryx.2021.15683.
29. Wu D., Luo D., Wong K.-Y., Hung K. POP-CNN: Predicting odor leasantness with convolutional neural network. IEEE Sensors Journal. 2019. vol. 19. no. 23. pp. 11337–11345. DOI: 10.1109/JSEN.2019.2933692.
30. Bilgera C., Yamamoto A., Sawano M., Matsukura H., Ishida H. Application of convolutional long short-term memory neural networks to signals collected from a sensor network for autonomous gas source localization in outdoor environments. Sensors. 2018. vol. 18. no. 12. DOI: 10.3390/s18124484.
31. Liu W., Zhong X., Liu G., Xie J. Emotion Recognition Based ECG in Olfactory-enhanced VR Scenes. 9th International Symposium on Computer and Information Processing Technology (ISCIPT). 2024. pp. 445–448. DOI: 10.1109/ISCIPT61983.2024.10672829.
32. Jing T., Meng Q.-H., Ishida H. Recent progress and trend of robot odor source localization. IEEJ Transactions on Electrical and Electronic Engineering. 2021. vol. 16. no. 7. pp. 938–953. DOI: 10.1002/tee.23364.
33. Grodniyomchai B., Satcharoen K., Tangtisanon P. Enhancing odor classification of essential oils with electronic nose data. 9th International Conference on Computer and Communication Systems (ICCCS). 2024. pp. 531–536. DOI: 10.1109/ICCCS61882.2024.10603362.
34. Saleme E.B., Santos C.A., Ghinea G. A mulsemedia framework for delivering sensory effects to heterogeneous systems. Multimedia Systems. 2019. vol. 25. pp. 421–447. DOI: 10.1007/s00530-019-00618-8.
35. Bhatia M., Kaur S., Sood S.K. Iot-inspired smart toilet system for home-based urine infection prediction. ACM Transactions on Computing for Healthcare. 2020. vol. 1. no. 3. pp. 1–25. DOI: 10.1145/3379506.
Опубликован
2025-04-01
Как цитировать
Хунг, Н. В., Куан, Н. А., Тан, Н., Хай, Т. Т., Чунг, Д. Т., Нам, Л. М., Лоан, Б. Т., & Нга, Н. Т. Т. (2025). Создание прогнозирующих моделей запахов для сред виртуальной реальности. Информатика и автоматизация, 24(2), 556-582. https://doi.org/10.15622/ia.24.2.7
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Нгуен Вьет Viet Хунг
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).