Динамическое фуражирование в роевой робототехнике: гибридный подход с модульной конструкцией и глубоким обучением с подкреплением
Ключевые слова:
роевая робототехника, задача поиска пищи, модульное проектирование, обучение с подкреплением, оптимизация роя частицАннотация
В этой статье предлагается гибридный подход, который объединяет интеллектуальные алгоритмы и модульную конструкцию для решения проблемы фуражирования в контексте роевой робототехники. Глубокое обучение с подкреплением (RL) и оптимизация роя частиц (PSO) используются в предлагаемой модульной архитектуре. Они используются для поиска множества ресурсов, которые различаются по размеру и демонстрируют динамическую природу с непредсказуемыми движениями. Кроме того, они транспортируют собранные ресурсы в гнездо. Рой состоит из 8 мобильных роботов E-Puck, каждый из которых оснащен датчиками света. Предлагаемая система построена на трехмерной среде с использованием симулятора Webots. С помощью модульного подхода мы решаем сложные проблемы фуражирования, характеризующиеся нестатичной средой и целями. Эта архитектура повышает управляемость, снижает вычислительные требования и упрощает процессы отладки. Наше моделирование показывает, что модель на основе RL превосходит PSO по времени выполнения задач, эффективности сбора ресурсов и адаптивности к динамическим средам, включая движущиеся цели. В частности, роботы, оснащенные RL, демонстрируют улучшенные способности к индивидуальному обучению и принятию решений, обеспечивая уровень автономии, который способствует коллективному интеллекту роя. В PSO коллективные знания роя в большей степени влияют на индивидуальное поведение роботов. Полученные результаты подчеркивают эффективность модульной конструкции и глубокого RL для продвижения автономных роботизированных систем в сложных и непредсказуемых условиях.
Литература
2. Brambilla M., Ferrante E., Birattari M., Dorigo M. Swarm robotics: a review from the swarm engineering perspective. Swarm Intelligence. 2013. vol. 7. pp. 1–41.
3. Schranz M., Umlauft M., Sende M., Elmenreich W. Swarm robotic behaviors and current applications. Frontiers in Robotics and AI. 2020. vol. 7. DOI: 10.3389/frobt.2020.00036.
4. Li J., Tan Y. A probabilistic finite state machine based strategy for multi-target search using swarm robotics. Applied Soft Computing. 2019. vol. 77. pp. 467–483.
5. Iskandar A., Kovacs B. A Survey on Automatic Design Methods for Swarm Robotics Systems. Carpathian Journal of Electronic and Computer Engineering. 2021. vol. 14. no. 2. pp. 1–5.
6. Jin B., Liang Y., Han Z., Ohkura K. Generating collective foraging behavior for robotic swarm using deep reinforcement learning. Artificial Life and Robotics. 2020. vol. 25. pp. 588–595.
7. Kakish Z., Elamvazhuthi K., Berman S. Using reinforcement learning to herd a robotic swarm to a target distribution. In Distributed Autonomous Robotic Systems: 15th International Symposium. Springer International Publishing. 2022. pp. 401–414.
8. Na S., Roucek T., Ulrich J., Pikman J., Krajnik T., Lennox B., Arvin F. Federated reinforcement learning for collective navigation of robotic swarms. IEEE Transactions on Cognitive and Developmental Systems. 2023. vol. 15. no. 4. pp. 2122–2131.
9. Wang Y., Damani M., Wang P., Cao, Y., Sartoretti G. Distributed reinforcement learning for robot teams: A review. Current Robotics Reports. 2022. vol. 3. no. 4. pp. 239–257.
10. Blais M., Akhloufi M. Reinforcement learning for swarm robotics: An overview of applications, algorithms and simulators. Cognitive Robotics. 2023. vol. 3. pp. 226–256. DOI: 10.1016/j.cogr.2023.07.004.
11. Dias P., Silva M., Rocha Filho G., Vargas P., Cota L., Pessin G. Swarm robotics: A perspective on the latest reviewed concepts and applications. Sensors. 2021. vol. 21. no. 6. DOI: 10.3390/s21062062.
12. Orr J., Dutta A. Multi-agent deep reinforcement learning for multi-robot applications: a survey. Sensors. 2023. vol. 23. no. 7. DOI: 10.3390/s23073625.
13. Aznar F., Pujol M., Rizo, R. Learning a swarm foraging behavior with microscopic fuzzy controllers using deep reinforcement learning. Applied Sciences. 2021. vol. 11. no. 6. DOI: 10.3390/app11062856.
14. Loffler R., Panizon E., Bechinger C. Collective foraging of active particles trained by reinforcement learning. Scientific Reports. 2023. vol. 13. no. 1. DOI: 10.1038/s41598-023-44268-3.
15. Alaa I., Bela K. Curriculum learning for deep reinforcement learning in swarm robotic navigation task. Multidiszciplinaris Tudomanyok. 2023. vol. 13. no. 3. pp. 175–187.
16. Altshuler Y. Recent Developments in the Theory and Applicability of Swarm Search. Entropy. 2023. vol. 25. no. 5. DOI: 10.3390/e25050710.
17. Lee W., Vaughan N., Kim D. Task allocation into a foraging task with a series of subtasks in swarm robotic system. IEEE Access. 2020. vol. 8. pp. 107549–107561.
18. Adams S., Jarne O, Mazo J. A self-guided approach for navigation in a minimalistic foraging robotic swarm. Autonomous Robots. 2023. vol. 47. no. 7. pp. 905–920.
19. Lee K., Kong F., Cannizzaro R., Palmer J., Johnson D., Yoo C., Fitch R. An upper confidence bound for simultaneous exploration and exploitation in heterogeneous multi-robot systems. In 2021 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2021. pp. 8685–8691.
20. Talamali M., Bose T., Haire M., Xu X., Marshall J., Reina A. Sophisticated collective foraging with minimalist agents: A swarm robotics test. Swarm Intelligence. 2020. vol. 14. no. 1. pp. 25–56.
21. Wang X., Guo H. Mobility-aware computation offloading for swarm robotics using deep reinforcement learning. In 2021 IEEE 18th Annual Consumer Communications and Networking Conference (CCNC). IEEE, 2021. pp. 1–4.
22. Michel O. Cyberbotics ltd. webots™: professional mobile robot simulation. International Journal of Advanced Robotic Systems. 2004. vol. 1. no. 1. DOI: 10.5772/5618.
Опубликован
Как цитировать
Раздел
Copyright (c) Alaa Iskandar, Unknown
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).