Дистанционно управляемый сервисный робот с иммерсивным интерфейсом смешанной реальности
Ключевые слова:
дистанционно управляемый робот, сервисный робот, иммерсивный рабочий интерфейс, интерфейс смешанной реальности, среда виртуальной реальностиАннотация
Сервисные роботы с дистанционным управлением могут выполнять более сложные и точные задачи, поскольку они сочетают в себе навыки робота и человеческий опыт. Связь между оператором и роботом важна для удаленной работы и сильно влияет на эффективность системы. Существует мнение, что улучшение ощущения присутствия оператора также улучшает выполнение задачи. Иммерсивные интерфейсы используются для улучшения опыта удаленной работы, поскольку ощущение присутствия является результатом погружения. Однако задержка или временная задержка могут снизить производительность робота. Временная задержка между входом и визуальной обратной связью сильно влияет на обмен данными между распределенными ведущими и ведомыми системами по сети. Поскольку удаленная визуализация включает в себя передачу большого количества видеоданных, проблема заключается в снижении нестабильности связи. Затем эффективная система дистанционного управления должна иметь подходящий рабочий интерфейс, способный визуализировать удаленную среду, управлять роботом и иметь быстрое время отклика. Эта работа представляет собой разработку системы дистанционного управления сервисным роботом с иммерсивным операционным интерфейсом смешанной реальности, где оператор может визуализировать реальную удаленную среду или виртуальную трехмерную среду, представляющую ее. Виртуальная среда направлена на сокращение задержки при обмене данными за счет уменьшения объема информации, отправляемой по сети, и улучшения взаимодействия с пользователем. Робот может выполнять навигацию и простые задачи автономно или переключаться в дистанционно управляемый режим для более сложных задач. Система была разработана с использованием ROS, UNITY 3D и сокетов для легкого экспорта на различные платформы. Эксперименты показывают, что наличие иммерсивного рабочего интерфейса повышает удобство использования для оператора. Задержка при использовании виртуальной среды увеличивается. Пользовательский опыт улучшается за счет использования техник смешанной реальности; это может привести к более широкому использованию дистанционно управляемых систем сервисных роботов.
Литература
1. Niemeyer G., Preusche C., Stramigioli S., and Lee D. Telerobotics. Springer International Publishing, Cham, 2016, pp. 1085–1108.
2. Green M.C., and McAllister C.A. Presence. American Cancer Society, 2020, pp. 1–5.
3. Toet A., Kuling I.A., Krom B.N., and van Erp J. B.F. Toward enhanced teleoperation through embodiment. Frontiers in Robotics and AI 7 (2020), 14.
4. Lichiardopol S. A survey on teleoperation. Technische Universitat Eindhoven, DCT report 20 (2007), 40–60.
5. Stotko P., Krumpen S., Schwarz M., Lenz C., Behnke S., Klein R., and Weinmann M. A VR system for immersive teleoperation and live exploration with a mobile robot. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (Nov 2019).
6. Almeida L., Menezes P., and Dias J. Improving robot teleoperation experience via immersive interfaces. In 2017 4th Experiment@International Conference (exp.at’17) (2017), pp. 87–92.
7. Chen J., Glover M., Li C., and Yang C. Development of a user experience enhanced teleoperation approach. In 2016 International Conference on Advanced Robotics and Mechatronics (ICARM) (2016), pp. 171–177.
8. Schäfer A., Reis G., and Stricker D. Investigating the sense of presence between handcrafted and panorama based virtual environments. arXiv preprint arXiv:2107.03823 (2021).
9. Mütterlein J., and Hess T. Immersion, presence, interactivity: Towards a joint understanding of factors influencing virtual reality acceptance and use. Twenty-third Americas Conference on Information Systems (2017).
10. Gradecki J. The Virtual Reality Programmer’s Kit. Wiley, 1994.
11. Hetrick R., Amerson N., Kim B., Rosen E., Visser E.J.d., and Phillips E. Comparing virtual reality interfaces for the teleoperation of robots. In 2020 Systems and Information Engineering Design Symposium (SIEDS) (2020), pp. 1–7.
12. Whitney D., Rosen E., Ullman D., Phillips E., and Tellex S. Ros reality: A virtual reality framework using consumer-grade hardware for ros-enabled robots. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (2018), IEEE, pp. 1–9.
13. Lee J., Kim M., and Kim J. A study on immersion and VR sickness in walking interaction for immersive virtual reality applications. Symmetry 9, 5 (2017).
14. Rogers H., Khasawneh A., Bertrand J., and Madathil K.C. An investigation of the effect of latency on the operator’s trust and performance for manual multi-robot teleoperated tasks. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (2017), vol. 61, SAGE Publications Sage CA: Los Angeles, CA, pp. 390–394.
15. Sheridan T.B., and Ferrell W.R. Remote manipulative control with transmission delay. IEEE Transactions on Human Factors in Electronics (1963), 25–29.
16. Lane J.C., Carignan C.R., Sullivan B.R., Akin D.L., Hunt T., and Cohen R. Effects of time delay on telerobotic control of neutral buoyancy vehicles. In Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No. 02CH37292) (2002), vol. 3, IEEE, pp. 2874–2879.
17. Bouzakaria N., Concolato C., and Le Feuvre J. Overhead and performance of low latency live streaming using MPEG-DASH. In IISA 2014, The 5th International Conference on Information, Intelligence, Systems and Applications (2014), IEEE, pp. 92–97.
18. Kebria P.M., Abdi H., Dalvand M.M., Khosravi A., and Nahavandi S. Control methods for internet-based teleoperation systems: A review. IEEE Transactions on Human-Machine Systems 49, 1 (2019), 32–46.
19. Kebria P.M., Khosravi A., Nahavandi S., Shi P., and Alizadehsani R. Robust adaptive control scheme for teleoperation systems with delay and uncertainties. IEEE Transactions on Cybernetics 50, 7 (2020), 3243–3253.
20. Young J., Sharlin E., and Igarashi T. What is mixed reality, anyway? considering the boundaries of mixed reality in the context of robots. In Mixed Reality and Human-Robot Interaction. Springer, 2011, pp. 1–11.
21. Milgram P., and Kishino F. A taxonomy of mixed reality visual displays. IEICE TRANSACTIONS on Information and Systems 77, 12 (1994), 1321–1329.
22. Lipton J.I., Fay A.J., and Rus D. Baxter’s homunculus: Virtual reality spaces for teleoperation in manufacturing. IEEE Robotics and Automation Letters 3, 1 (2018), 179–186.
23. Wen M.C., Yang C.H., Tsai M.H., and Kang S.C. Teleyes: A telepresence system based on stereoscopic vision and head motion tracking. Automation in Construction 89 (2018), 199–213.
24. Wilson B., Bounds M., McFadden D., Regenbrecht J., Ohenhen L., Tavakkoli A., and Loffredo D. VETO: An immersive virtual environment for tele-operation. Robotics 7, 2 (2018), 26.
25. Yamamoto T., Nishino T., Kajima H., Ohta M., and Ikeda K. Human support robot (HSR). In ACM SIGGRAPH 2018 Emerging Technologies (New York, NY, USA, 2018), SIGGRAPH ’18, ACM, pp. 11:1–11:2.
26. Kitano H., Asada M., Kuniyoshi Y., Noda I., and Osawa E. Robocup: The robot world cup initiative. In Proceedings of the first international conference on Autonomous agents (1997), pp. 340–347.
27. Shibata T. Head mounted display. Displays 23, 1-2 (2002), 57–64.
28. Desai P.R., Desai P.N., Ajmera K.D., and Mehta K. A review paper on Oculus Rift-A Virtual Reality Headset, arXiv preprint arXiv:1408.1173 (2014).
29. Webster R., and Jr. J. F.D. System usability scale (SUS): Oculus Rift ® DK2 and Samsung Gear VR ® . In 2017 ASEE Annual Conference & Exposition (Columbus, Ohio, June 2017), ASEE Conferences. https://peer.asee.org/28899.
30. Parisi D. A counterrevolution in the hands: The console controller as an ergonomic branding mechanism. Journal of Games Criticism 2, 1 (2015), 1–23.
31. Koubâa A. Robot Operating System (ROS)., vol. 1. Springer, 2019.
32. Savage J., LLarena A., Carrera G., Cuellar S., Esparza D., Minami Y., and Peñuelas U. ViRbot: A system for the operation of mobile robots. In RoboCup 2007: Robot Soccer World Cup XI (Berlin, Heidelberg, 2008), U. Visser, F. Ribeiro, T. Ohashi, and F. Dellaert, Eds., Springer Berlin Heidelberg, pp. 512–519.
33. Creighton R. H. Unity 3D game development by example: A Seat-of-your-pants manual for building fun, groovy little games quickly. Packt Publishing Ltd, 2010.
34. Fisher R., Perkins S., Walker A., and Wolfart E. Laplacian/laplacian of gaussian. Hypermedia Image Processing Reference (2003).
35. Kessler G.D., and Hodges L.F. A network communication protocol for distributed virtual environment systems. In Proceedings of the IEEE 1996 Virtual Reality Annual International Symposium (1996), pp. 214–221.
36. SIGVerse. http://www.sigverse.org/wiki/en/
37. Inamura T., Shibata T., Sena H. Hashimoto T., Kawai N., Miyashita T., Sakurai Y., Shimizu M., Otake M., Hosoda K. Simulator platform that enables social interaction simulation —SIGVerse: SocioIntelliGenesis simulator. In Proceedings of the IEEE/SICE International Symposium on System Integration (2010), pp. 212–217.
38. ROS web video server package. http://wiki.ros.org/web_video_server.
39. Brooke, J., et al. SUS: A quick and dirty usability scale. Usability evaluation in industry 189, 194 (1996), 4–7.
40. Lewis, J. R. The system usability scale: Past, present, and future. International Journal of Human–Computer Interaction 34, 7 (2018), 577–590
41. Read P., Meyer M.P. Restoration of motion picture film. Elsevier, 2000.
42. Bangor, A., Kortum, P., and Miller, J. Determining what individual sus scores mean: Adding an adjective rating scale. Journal of usability studies 4, 3 (2009), 114–123.
43. Miller R.B. Response time in man-computer conversational transactions. In AFIPS Fall Joint Computing Conference (1) (1968), vol. 33 of AFIPS Conference Proceedings, AFIPS / ACM / Thomson Book Company, Washington D.C., pp. 267–277.
44. GuidelinesforVRperformanceoptimization. https://developer.oculus.com/documentation/native/pc/dg-performance-guidelines/
2. Green M.C., and McAllister C.A. Presence. American Cancer Society, 2020, pp. 1–5.
3. Toet A., Kuling I.A., Krom B.N., and van Erp J. B.F. Toward enhanced teleoperation through embodiment. Frontiers in Robotics and AI 7 (2020), 14.
4. Lichiardopol S. A survey on teleoperation. Technische Universitat Eindhoven, DCT report 20 (2007), 40–60.
5. Stotko P., Krumpen S., Schwarz M., Lenz C., Behnke S., Klein R., and Weinmann M. A VR system for immersive teleoperation and live exploration with a mobile robot. 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (Nov 2019).
6. Almeida L., Menezes P., and Dias J. Improving robot teleoperation experience via immersive interfaces. In 2017 4th Experiment@International Conference (exp.at’17) (2017), pp. 87–92.
7. Chen J., Glover M., Li C., and Yang C. Development of a user experience enhanced teleoperation approach. In 2016 International Conference on Advanced Robotics and Mechatronics (ICARM) (2016), pp. 171–177.
8. Schäfer A., Reis G., and Stricker D. Investigating the sense of presence between handcrafted and panorama based virtual environments. arXiv preprint arXiv:2107.03823 (2021).
9. Mütterlein J., and Hess T. Immersion, presence, interactivity: Towards a joint understanding of factors influencing virtual reality acceptance and use. Twenty-third Americas Conference on Information Systems (2017).
10. Gradecki J. The Virtual Reality Programmer’s Kit. Wiley, 1994.
11. Hetrick R., Amerson N., Kim B., Rosen E., Visser E.J.d., and Phillips E. Comparing virtual reality interfaces for the teleoperation of robots. In 2020 Systems and Information Engineering Design Symposium (SIEDS) (2020), pp. 1–7.
12. Whitney D., Rosen E., Ullman D., Phillips E., and Tellex S. Ros reality: A virtual reality framework using consumer-grade hardware for ros-enabled robots. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (2018), IEEE, pp. 1–9.
13. Lee J., Kim M., and Kim J. A study on immersion and VR sickness in walking interaction for immersive virtual reality applications. Symmetry 9, 5 (2017).
14. Rogers H., Khasawneh A., Bertrand J., and Madathil K.C. An investigation of the effect of latency on the operator’s trust and performance for manual multi-robot teleoperated tasks. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (2017), vol. 61, SAGE Publications Sage CA: Los Angeles, CA, pp. 390–394.
15. Sheridan T.B., and Ferrell W.R. Remote manipulative control with transmission delay. IEEE Transactions on Human Factors in Electronics (1963), 25–29.
16. Lane J.C., Carignan C.R., Sullivan B.R., Akin D.L., Hunt T., and Cohen R. Effects of time delay on telerobotic control of neutral buoyancy vehicles. In Proceedings 2002 IEEE International Conference on Robotics and Automation (Cat. No. 02CH37292) (2002), vol. 3, IEEE, pp. 2874–2879.
17. Bouzakaria N., Concolato C., and Le Feuvre J. Overhead and performance of low latency live streaming using MPEG-DASH. In IISA 2014, The 5th International Conference on Information, Intelligence, Systems and Applications (2014), IEEE, pp. 92–97.
18. Kebria P.M., Abdi H., Dalvand M.M., Khosravi A., and Nahavandi S. Control methods for internet-based teleoperation systems: A review. IEEE Transactions on Human-Machine Systems 49, 1 (2019), 32–46.
19. Kebria P.M., Khosravi A., Nahavandi S., Shi P., and Alizadehsani R. Robust adaptive control scheme for teleoperation systems with delay and uncertainties. IEEE Transactions on Cybernetics 50, 7 (2020), 3243–3253.
20. Young J., Sharlin E., and Igarashi T. What is mixed reality, anyway? considering the boundaries of mixed reality in the context of robots. In Mixed Reality and Human-Robot Interaction. Springer, 2011, pp. 1–11.
21. Milgram P., and Kishino F. A taxonomy of mixed reality visual displays. IEICE TRANSACTIONS on Information and Systems 77, 12 (1994), 1321–1329.
22. Lipton J.I., Fay A.J., and Rus D. Baxter’s homunculus: Virtual reality spaces for teleoperation in manufacturing. IEEE Robotics and Automation Letters 3, 1 (2018), 179–186.
23. Wen M.C., Yang C.H., Tsai M.H., and Kang S.C. Teleyes: A telepresence system based on stereoscopic vision and head motion tracking. Automation in Construction 89 (2018), 199–213.
24. Wilson B., Bounds M., McFadden D., Regenbrecht J., Ohenhen L., Tavakkoli A., and Loffredo D. VETO: An immersive virtual environment for tele-operation. Robotics 7, 2 (2018), 26.
25. Yamamoto T., Nishino T., Kajima H., Ohta M., and Ikeda K. Human support robot (HSR). In ACM SIGGRAPH 2018 Emerging Technologies (New York, NY, USA, 2018), SIGGRAPH ’18, ACM, pp. 11:1–11:2.
26. Kitano H., Asada M., Kuniyoshi Y., Noda I., and Osawa E. Robocup: The robot world cup initiative. In Proceedings of the first international conference on Autonomous agents (1997), pp. 340–347.
27. Shibata T. Head mounted display. Displays 23, 1-2 (2002), 57–64.
28. Desai P.R., Desai P.N., Ajmera K.D., and Mehta K. A review paper on Oculus Rift-A Virtual Reality Headset, arXiv preprint arXiv:1408.1173 (2014).
29. Webster R., and Jr. J. F.D. System usability scale (SUS): Oculus Rift ® DK2 and Samsung Gear VR ® . In 2017 ASEE Annual Conference & Exposition (Columbus, Ohio, June 2017), ASEE Conferences. https://peer.asee.org/28899.
30. Parisi D. A counterrevolution in the hands: The console controller as an ergonomic branding mechanism. Journal of Games Criticism 2, 1 (2015), 1–23.
31. Koubâa A. Robot Operating System (ROS)., vol. 1. Springer, 2019.
32. Savage J., LLarena A., Carrera G., Cuellar S., Esparza D., Minami Y., and Peñuelas U. ViRbot: A system for the operation of mobile robots. In RoboCup 2007: Robot Soccer World Cup XI (Berlin, Heidelberg, 2008), U. Visser, F. Ribeiro, T. Ohashi, and F. Dellaert, Eds., Springer Berlin Heidelberg, pp. 512–519.
33. Creighton R. H. Unity 3D game development by example: A Seat-of-your-pants manual for building fun, groovy little games quickly. Packt Publishing Ltd, 2010.
34. Fisher R., Perkins S., Walker A., and Wolfart E. Laplacian/laplacian of gaussian. Hypermedia Image Processing Reference (2003).
35. Kessler G.D., and Hodges L.F. A network communication protocol for distributed virtual environment systems. In Proceedings of the IEEE 1996 Virtual Reality Annual International Symposium (1996), pp. 214–221.
36. SIGVerse. http://www.sigverse.org/wiki/en/
37. Inamura T., Shibata T., Sena H. Hashimoto T., Kawai N., Miyashita T., Sakurai Y., Shimizu M., Otake M., Hosoda K. Simulator platform that enables social interaction simulation —SIGVerse: SocioIntelliGenesis simulator. In Proceedings of the IEEE/SICE International Symposium on System Integration (2010), pp. 212–217.
38. ROS web video server package. http://wiki.ros.org/web_video_server.
39. Brooke, J., et al. SUS: A quick and dirty usability scale. Usability evaluation in industry 189, 194 (1996), 4–7.
40. Lewis, J. R. The system usability scale: Past, present, and future. International Journal of Human–Computer Interaction 34, 7 (2018), 577–590
41. Read P., Meyer M.P. Restoration of motion picture film. Elsevier, 2000.
42. Bangor, A., Kortum, P., and Miller, J. Determining what individual sus scores mean: Adding an adjective rating scale. Journal of usability studies 4, 3 (2009), 114–123.
43. Miller R.B. Response time in man-computer conversational transactions. In AFIPS Fall Joint Computing Conference (1) (1968), vol. 33 of AFIPS Conference Proceedings, AFIPS / ACM / Thomson Book Company, Washington D.C., pp. 267–277.
44. GuidelinesforVRperformanceoptimization. https://developer.oculus.com/documentation/native/pc/dg-performance-guidelines/
Опубликован
2021-12-02
Как цитировать
Накаяма, А., Руэлас, Д., Саваж, Х., & Брибеска, Э. (2021). Дистанционно управляемый сервисный робот с иммерсивным интерфейсом смешанной реальности. Информатика и автоматизация, 20(6), 1187-1223. https://doi.org/10.15622/ia.20.6.1
Раздел
Робототехника, автоматизация и системы управления
Copyright (c) Angelica Nakayama, Unknown, Unknown
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).