Методы управления движением робота собаки для реализации в перспективных низкобюджетных шагающих роботах
Ключевые слова:
управляемость, шагающие роботы, обратная задача, избыточные связи, устойчивость движенияАннотация
Целью работы является создание методов управления шагающими роботами реального времени для широкого диапазона режимов движения. Рассматривается модификация метода обратной задачи с использованием универсального адаптивного генератора походок, реализующего шестимерное движение корпуса робота. Выполнена программная реализация этого метода с добавлением методов регуляризации для численного интегрирования уравнений с вырожденной матрицей. Представлены результаты теоретического и экспериментального исследования движения робота собаки в различных режимах по микро и макронеровностям. Отмечается невысокий уровень динамических показателей движения робота, в частности, высокая вибрация, что соответствует литературным данным для аналогичных по кинематической схеме роботов собак, управление которыми синтезируется методами машинного обучения и обратной задачи. Причиной низкого качества управления являются фазы движения, в которых система становится неуправляемой. Для безусловного выполнения условия управляемости системы рассмотрены возможные модификации кинематической схемы робота. Такие модификации могут быть выполнены введением избыточных управляемых степеней свободы за счет хвоста, лап и др. Предложены новые теоретические методы управления систем с избыточными степенями свободы на основе метода обобщенной задачи динамического уравновешивания. Подтверждена эффективность этих методов моделированием управляемого движения робота собаки с хвостом и лапами. Для распространенной кинематической схемы робота собаки с тремя приводами на ногу и точечным контактом в стопе в качестве рационального решения предлагается использование моноколеса для движения по микронеровностям и шагающих движителей для преодоления макронеровностей и выхода из аварийных ситуаций, например, опрокидывания. Эпизодическое использование шагающих движителей допускает упрощенные режимы управления, которые эффективно реализуются в рамках предложенной модификации метода обратной задачи. Концепция подтверждена численными и натурными экспериментами. Система управления локомоцией в этом случае может быть реализована на недорогой аппаратной базе, в том числе с использованием апробированного приборного оснащения широко распространенных роботов, в частности, квадрокоптеров. Особенностью роботов, построенных на предлагаемых принципах управления, является модульность конструкции, позволяющая получать модификации в широком диапазоне технических характеристик путем различной конфигурации модулей. Такие высокомобильные роботы могут стать дешевой и безопасной платформой для доводки систем навигации, беспилотного управления и др. в условиях реальной эксплуатации в различных сферах применения.
Литература
2. Tsounis V., Alge M., Lee J., Farshidian F., Hutter M. Deepgait: Planning and Control of Quadrupedal Gaits Using Deep Reinforcement Learning // IEEE Robotics and Automation Letters. 2020. vol. 5. no. 2. pp. 3699–3706. DOI: 10.1109/LRA.2020. 2979660.
3. Siekmann J., Godse Y., Fern A., Hurst J. Sim-to-Real Learning of All Common Bipedal Gaits via Periodic Reward Composition // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). 2021. pp. 7309–7315. DOI: 10.1109/ICRA48506.2021.9561814.
4. Rudin N., Hoeller D., Reist P., Hutter M. Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning // Proceedings of the Conference on Robot Learning. (PMLR). 2022. pp. 91–100.
5. Wang J., Hu C., Zhu Yu. Cpg-Based Hierarchical Locomotion Control for Modular Quadrupedal Robots Using Deep Reinforcement Learning // IEEE Robotics and Automation Letters. 2021. vol. 6. no. 4. pp. 7193–7200. DOI: 10.1109/lra.2021.3092647.
6. Zhang X., Xiao Z., Zhang Q., Pan W. SYNLOCO: Synthesizing Central Pattern Generator and Reinforcement Learning for Quadruped Locomotion // arXiv preprint arXiv:2310.06606. 2023.
7. Luo Y.-S., Soeseno J.H., Chen T.P.-C., Chen W.-C. CARL: Controllable Agent with Reinforcement Learning for Quadruped Locomotion // arXiv preprint arXiv:2005.03288. 2020.
8. Humphreys J., Zhou C. Learning to Adapt: Bio-Inspired Gait Strategies for Versatile Quadruped Locomotion // arXiv preprint arXiv:2412.09440. 2024.
9. Miki T., Lee J., Hwangbo J., Wellhausen L., Koltun V., Hutter M. Learning robust perceptive locomotion for quadrupedal robots in the wild // Science Robotics. 2022. vol. 7. no. 62. DOI: 10.1126/scirobotics.abk2822.
10. Iscen A., Caluwa K., Tan J., Zhang T., Coumans E., Sindhwani V., Vanhoucke V. Policies Modulating Trajectory Generators // Proceedings of the Conference on Robot Learning (PMLR). 2018. pp. 916–926.
11. Margolis G.B., Yang G., Paigwar K., Chen T., Agrawal P. Rapid Locomotion via Reinforcement Learning // arXiv preprint arXiv:2205.02824. 2022.
12. Bellegarda G., Ijspeert A. CPG-RL: Learning Central Pattern Generators for Quadruped Locomotion // IEEE Robotics and Automation Letters. 2022. vol. 7. no. 4. pp. 12547–12554. DOI: 10.1109/LRA.2022.3218167.
13. Aractingi M., Leziart P.-A., Flayols T., Perez J., Silander T., Soueres P. Controlling the Solo12 Quadruped Robot with Deep Reinforcement Learning // Scientific Reports. 2023. vol. 13. 11945 p. DOI: 10.1038/s41598-023-38259-7.
14. Surana S., Lim B., Cully A. Efficient Learning of Locomotion Skills through the Discovery of Diverse Environmental Trajectory Generator Priors // arXiv preprint arXiv:2210.04819. 2022.
15. Margolis G.B., Agrawal P. Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior // Proceedings of the Conference on Robot Learning. (PMLR). 2023. pp. 22–31.
16. Choi S., Ji G., Park J., Kim H., Mun J., Lee J.H., Hwangbo J. Learning quadrupedal locomotion on deformable terrain // Science Robotics. 2023. vol. 8. no. 74. DOI: 10.1126/scirobotics.ade2256.
17. Kim T., Lee S.-H. Quadruped Locomotion on Non-Rigid Terrain using Reinforcement Learning // arXiv preprint arXiv:2107.02955. 2021.
18. Li P., Li H., Sun G., Cheng J., Yang X., Bellegarda G., Shafiee M., Cao Y., Ijspeert A., SartorettI G. SATA: Safe and Adaptive Torque-Based Locomotion Policies Inspired by Animal Learning // arXiv preprint arXiv:2502.12674. 2025.
19. Chen Y., Nguyen Q. Learning Agile Locomotion and Adaptive Behaviors via Rl-augmented MPC // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). pp. 11436–11442. DOI: 10.1109/ICRA57147.2024.10610453.
20. Buchli J., Kalakrishnan M., Mistry M., Pastor P., Schaal S. Compliant quadruped locomotion over rough terrain // Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. 2009. pp. 814–820. DOI: 10.1109/IROS.2009.5354681.
21. Kim D., Di Carlo J., Katz B., Bledt G., Kim S. Highly Dynamic Quadruped Locomotion via Whole-Body Impulse Control and Model Predictive Control // arXiv preprint arXiv:1909.06586. 2019.
22. Rebula J. R., Neuhaus P.D., Bonnlander B.V., Johnson M.J., Pratt J.E. A Controller for the LittleDog Quadruped Walking on Rough Terrain // Proceedings of the IEEE International Conference on Robotics and Automation (ICRA). 2007. pp. 1467–1473. DOI: 10.1109/ROBOT.2007.363191.
23. Di Carlo J., Wensing P.M., Katz B., Bledt G. Kim S. Dynamic Locomotion in the MIT Cheetah 3 through Convex Model-Predictive Control // Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2018. pp. 1–9. DOI: 10.1109/IROS.2018.8594448.
24. Park H.-W., Wensing P.M., Kim S. High-speed bounding with the MIT Cheetah 2: Control design and experiments // The International Journal of Robotics Research. 2017. vol. 36. no. 2. pp. 167–192. DOI: 10.1177/0278364917694244.
25. Kim D., Lee J., Ahn J., Campbell O., Hwang H., Sentis L. Computationally-Robust and Efficient Prioritized Whole-Body Controller with Contact Constraints // Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2018). 2018. pp. 1–8. DOI: 10.1109/IROS.2018.8593767.
26. Righetti L., Schaal S. Quadratic programming for inverse dynamics with optimal distribution of contact forces // Proceedings of the 12th IEEE-RAS International Conference on Humanoid Robots. 2012. pp. 538–543. DOI: 10.1109/HUMANOIDS. 2012.6651572.
27. Khandelwal N., Manu A., Gupta S.S, Kothari M., Krishnamurthy P., Khorrami F. Distributed Inverse Dynamics Control for Quadruped Robots using Geometric Optimization // arXiv preprint arXiv:2412.09816v1. 2024.
28. Todorov E., Erez T., Tassa Y. MuJoCo: A physics engine for model-based control // Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems. pp. 5026–5033. DOI: 10.1109/IROS.2012.6386109.
29. Raibert M.H. Legged Robots that Balance // Cambridge: MIT press. 1986. 233 p.
30. Bjelonic M., Grandia R., Harley O., Galliard C., Zimmermann S., Hutter M. Whole-body MPC and online gait sequence generation for wheeled-legged robots // Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2021). 2021. pp. 8388–8395. DOI: 10.1109/IROS51168.2021.9636371.
31. De Viragh Y., Bjelonic M., Bellicoso C.D., Jenelten F., Hutter M. Trajectory Optimization for Wheeled-Legged Quadrupedal Robots Using Linearized ZMP Constraints // IEEE Robotics and Automation Letters. 2019. vol. 4. no. 2. pp. 1633–1640. DOI: 10.1109/LRA.2019.2896721.
32. Gorobtsov A., Sychev O., Orlova Yu., Smirnov E., Grigoreva O., Bochkin A., Andreeva M. Optimal Greedy Control in Reinforcement Learning // Sensors. 2022. vol. 22. no. 22. 8920 p. DOI: 10.3390/s22228920.
33. Горобцов А.С. Обобщенная задача динамического уравновешивания и перспективные направления ее применения // Известия высших учебных заведений. Машиностроение. 2023. №3(756). С. 14–24.
34. Горобцов А.С. Синтез параметров управляемого движения многозвенных механических систем произвольной структуры методом обратной задачи // Мехатроника, автоматизация, управление. 2004. №6. C. 43–50.
35. Горобцов А.С., Карцов С.К., Плетнев А.Е., Поляков Ю.А. Компьютерные методы построения и исследования математических моделей динамики конструкций автомобилей // М.: Машиностроение. 2011. 462 с.
36. Gorobtsov A.S. The Methods of the Transform of Multibody Systems with Redundant Constraints // EUROMECH Colloquium 495. Advanced in simulation of multibody system dynamics. Book of Abstracts. 2008. 36 p.
37. Буданов В.М., Данилов В.А., Капытов Д.В., Климов К.В. Малогабаритный четырехногий шагающий робот на базе бесколлекторных моторов // Известия Российской академии наук. Теория и системы управления. 2025. №3. C. 152–176. DOI: 10.31857/S0002338825030146.
38. Горобцов А.С. Кинематический планировщик движения робота-собаки // Известия ВолгГТУ. 2024. №9(292). C. 19–24.
39. Haykin S. Neural Networks and Learning Maсhines // New York: Pearson. 2009. 938 p.
40. Горобцов А.С., Скориков А.В., Тарасов П.С., Чесноков О.К. Робот с комбинированным колёсно-шагающим движителем // Известия ВолгГТУ. 2020. №9. C. 26–30. DOI: 10.35211/1990-5297-2020-9-244-26-30.
Methods of Robot Dog Locomotion Control for Implementation in Prospective Low-Cost Walking Robots
Abstract
The purpose of the work is to create methods for controlling real-time walking robots for a wide range of motion modes. A modification of the inverse dynamics method is considered, using a universal adaptive gait generator that implements the six-dimensional motion of the robot's body. This method has been implemented in software, with the addition of regularization methods for numerically integrating equations with a singular matrix. The results of theoretical and experimental research on the motion of a dog robot in various modes over micro and macro irregularities are presented. There is a low level of dynamic parameters of the robot's motion, in particular, high vibration, which corresponds to the literature data for a similar kinematic scheme of dog robots, the control of which is synthesized by machine learning methods and inverse dynamics. The reason for the low quality of control is the phases of motion in which the system becomes uncontrollable. Possible modifications of the robot's kinematic scheme are considered to ensure the unconditional controllability of the system. These modifications can be achieved by introducing redundant controllable degrees of freedom, such as a tail, paws, etc. New theoretical methods for controlling systems with redundant degrees of freedom are proposed based on the generalized dynamic balancing problem. The effectiveness of these methods is confirmed through simulations of the controlled movement of a dog robot with a tail and paws. For a common kinematic scheme of a dog robot with three drives per leg and point contact in the foot, a rational solution is to use a single wheel for moving over micro-irregularities and walking propulsors for overcoming macro-irregularities and escaping from emergency situations, such as tipping over. The episodic use of walking propulsors allows for simplified control modes, which are effectively implemented within the proposed modification of the inverse dynamics method. The concept has been confirmed by numerical and field experiments. In this case, the locomotion control system can be implemented on an inexpensive hardware basis, including the use of proven instrumentation for widespread robots, such as quadrocopters. A distinctive feature of robots based on the proposed control principles is their modular design, which allows for modifications in a wide range of technical characteristics through various module configurations. Such highly mobile robots can become a cheap and safe platform for refinement of navigation systems, unmanned control, etc. in real-world conditions in various fields of application.
Опубликован
Как цитировать
Раздел
Copyright (c) Александр Сергеевич Горобцов, Константин Владимирович Климов, Владимир Александрович Данилов
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).