Оценка состояния агента с динамикой стохастического характера с помощью рекуррентных фильтров
Ключевые слова:
ключевые точки скелета, лабораторные животные, многоагентная биологическая система, ансцентный фильтр Калмана, фильтр частиц, нейронная сеть, оценка вектора состоянияАннотация
В работе представлен метод оценки состояния агента многоагентной биологической системы по зашумленным измерениям с помощью рекуррентных фильтров. Рассмотрена проблема масштабируемости существующих подходов к регистрации поведения лабораторных грызунов и отсутствия единого математического описания. Приведено математическое описание агента биологической системы как нелинейной дискретной стохастической системы в пространстве состояний и постановка задачи оценки его состояния. Представлено решение поставленной задачи на примере ключевых точек крысы линии Wistar, которые измеряются с помощью предварительно обученного детектора. В работе предлагается использовать полносвязную нейронную сеть для параметризации неизвестной динамики системы. Для сравнительного анализа выбраны фильтр частиц (последовательный метод Монте-Карло) и ансцентный фильтр Калмана. Сравнение методов производилось на собранном и подготовленном наборе данных, который содержит изображения с разрешением 1060×548 и разметку скелетных точек крысы. Представленные результаты экспериментов по сравнению методов оценки состояния показывают высокую эффективность предложенного метода и его преимущество перед аналитическим описанием нелинейной динамики системы. Среди сравниваемых подходов минимальную среднюю ошибку 6,4 пикселей показала двойная оценка вектора состояния и параметров нейронной сети с помощью двух ансцентных фильтров Калмана. Однако для практического применения в реальном времени больше подходит один фильтр с предварительно обученной нейронной сетью. В таких условиях ансцентный фильтр Калмана показал лучшие результаты по точности, чем фильтр частиц (средняя ошибка 8,1 пикселя против 12,0 пикселей). Результаты работы могут быть использованы для решения задачи автоматической регистрации поведения крыс линии Wistar с помощью параметризации функций, связывающих векторы состояния с выходными векторами индивидуального и группового поведения.
Литература
2. Bernardi S., Scianna M. An agent-based approach for modelling collective dynamics in animal groups distinguishing individual speed and orientation // Philosophical Transactions of the Royal Society B. 2020. vol. 375. DOI: 10.1098/rstb.2019.0383.
3. Rashid M.M., Seyedi M., Jung S. Simulation of pedestrian interaction with autonomous vehicles via social force model // Simulation Modelling Practice and Theory. 2024. vol. 132. DOI: 10.1016/j.simpat.2024.102901.
4. Antonelli G. Interconnected dynamic systems: An overview on distributed control // IEEE Control Systems Magazine. 2013. vol. 33. no. 1. pp. 76–88. DOI: 10.1109/MCS.2012.2225929.
5. Proskurnikov A.V., Fradkov A.L. Problems and methods of network control // Autom Remote Control. 2016. vol. 77. pp. 1711–1740. DOI: 10.1134/S0005117916100015.
6. Xue Y., Chen W. Multi-Agent Deep Reinforcement Learning for UAVs Navigation in Unknown Complex Environment // IEEE Transactions on Intelligent Vehicles. 2024. vol. 9. no. 1. pp. 2290–2303. DOI: 10.1109/TIV.2023.3298292.
7. Zhao X., Yang R., Zhong L., Hou Z. Multi-UAV Path Planning and Following Based on Multi-Agent Reinforcement Learning // Drones. 2024. vol. 8. no. 1. DOI: 10.3390/drones8010018.
8. Shi H., Zhao Z., Chen J., Zhou M., Liu Y. Enhancing Unmanned Aerial Vehicle Path Planning in Multi-Agent Reinforcement Learning through Adaptive Dimensionality Reduction // Drones. 2024. vol. 8. no. 10. DOI: 10.3390/drones8100521.
9. Podelenyuk, P., Epifantsev I. Modeling the Formation of a Multi-Agent System as a System of Points of a Rigid // IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). 2021. pp. 594–597. DOI: 10.1109/ElConRus51938.2021.9396179.
10. Cong Y., Feng Z., Song H., Wang S. Containment control of singular heterogeneous multi-agent systems // Journal of the Franklin Institute. 2018. vol. 355. no. 11. pp. 4629–4643. DOI: 10.1016/j.jfranklin.2018.04.009.
11. Thummalapeta M., Liu Y.-C. Survey of containment control in multi-agent systems: concepts, communication, dynamics, and controller design // International Journal of Systems Science. 2023. vol. 54. no. 14. pp. 2809–2835.
12. Luo R., Peng Z., Hu J. On Model Identification Based Optimal Control and it’s Applications to Multi-Agent Learning and Control // Mathematics. 2023. vol. 11. no. 4. DOI: 10.3390/math11040906.
13. Iarosh D., Reneva G., Kornilova A., Konovalov P. Multiagent System of Mobile Robots for Robotic Football // 26th Saint Petersburg International Conference on Integrated Navigation Systems (ICINS). 2019. pp. 1–3. DOI: 10.23919/ICINS.2019.8769365.
14. Ribeiro A.F.A., Lopes A.C.C., Ribeiro T.A., Pereira N.S.S.M., Lopes G.T., Ribeiro A.F.M. Probability-Based Strategy for a Football Multi-Agent Autonomous Robot System // Robotics. 2024. vol. 13. no. 1. DOI: 10.3390/robotics13010005.
15. Dewantara B.S.B., Ariyadi B.N.D. Adaptive Behavior Control for Robot Soccer Navigation Using Fuzzy-based Social Force Model // Smart Science. 2021. vol. 9. no. 1. pp. 14–29. DOI: 10.1080/23080477.2021.1871799.
16. Du Z., Negenborn R.R., Reppa V. Cooperative Multi-Agent Control for Autonomous Ship Towing Under Environmental Disturbances // IEEE/CAA Journal of Automatica Sinica. 2021. vol. 8. no. 8. pp. 1365–1379. DOI: 10.1109/JAS.2021.1004078.
17. Bonnet F., Gribovskiy A., Halloy J., Mondada F. Closed-loop interactions between a shoal of zebrafish and a group of robotic fish in a circular corridor // Swarm Intelligence. 2018. vol. 12. no. 3. pp. 227–244. DOI: 10.1007/s11721-017-0153-6.
18. Kim C., Ruberto T., Phamduy P., Porfiri M. Closed-loop control of zebrafish behaviour in three dimensions using a robotic stimulus // Scientific Reports. 2018. vol. 8. no. 1. DOI: 10.1038/s41598-017-19083-2.
19. Kopman V., Laut J., Polverino G., Porfiri M. Closed-loop control of zebrafish response using a bioinspired robotic-fish in a preference test // Journal of The Royal Society Interface. 2013. vol. 10. no. 78. DOI: 10.1098/rsif.2012.0540.
20. Swain D.T., Couzin I.D., Ehrich Leonard N. Real-Time Feedback-Controlled Robotic Fish for Behavioral Experiments with Fish Schools // Proceedings of the IEEE. 2012. vol. 100. no. 1. pp. 150–163. DOI: 10.1109/JPROC.2011.2165449.
21. Landgraf T., Bierbach D., Nguyen H., Muggelberg N., Romanczuk P., Krause J. RoboFish: increased acceptance of interactive robotic fish with realistic eyes and natural motion patterns by live Trinidadian guppies // Bioinspiration & Biomimetics. 2016. vol. 11. no. 1. DOI: 10.1088/1748-3190/11/1/015001.
22. Collignon B., Séguret A., Halloy J. A stochastic vision-based model inspired by zebrafish collective behaviour in heterogeneous environments // Royal Society Open Science. 2016. vol. 3. no. 1. DOI: 10.1098/rsos.150473.
23. Mwaffo V., Anderson R.P., Butail S., Porfiri M. A jump persistent turning walker to model zebrafish locomotion // Journal of The Royal Society Interface. 2015. vol. 12. no. 102. DOI: 10.1098/rsif.2014.0884.
24. Zienkiewicz A.K., Ladu F., Barton D.A.W. Data-driven modelling of social forces and collective behaviour in zebrafish // Journal of Theoretical Biology. 2018. vol. 443. pp. 39–51. DOI: 10.1016/j.jtbi.2018.01.011.
25. Tuqan M., Porfiri M. Mathematical Modeling of Zebrafish Social Behavior in Response to Acute Caffeine Administration // Frontiers in Applied Mathematics and Statistics. 2021. vol. 7. DOI: 10.3389/fams.2021.751351.
26. van Dam E.A., Noldus L.P.J.J., van Gerven M.A.J. Deep learning improves automated rodent behavior recognition within a specific experimental setup // Journal of Neuroscience Methods. 2020. vol. 332. DOI: 10.1016/j.jneumeth.2019.108536.
27. Grieco F., Bernstein B.J., Biemans B. et al. Measuring Behavior in the Home Cage: Study Design, Applications, Challenges, and Perspectives // Frontiers in Behavioral Neuroscience. 2021. vol. 15. DOI: 10.3389/fnbeh.2021.735387.
28. Segalin C., Williams J., Karigo T. et al. The Mouse Action Recognition System (MARS) software pipeline for automated analysis of social behaviors in mice // eLife. 2021. vol. 10. DOI: 10.7554/eLife.63720.
29. Hsu A.I., Yttri E.A. B-SOiD, an open-source unsupervised algorithm for identification and fast prediction of behaviors // Nature Communications. 2021. vol. 12. DOI: 10.1038/s41467-021-25420-x.
30. Ru Z., Duan F. Hierarchical Spatial-Temporal Window Transformer for Pose-Based Rodent Behavior Recognition // IEEE Transactions on Instrumentation and Measurement. 2024. vol. 73. pp. 1–14. DOI: 10.1109/TIM.2024.3379081.
31. Weinreb C., Pearl J.E., Lin S. et al. Keypoint-MoSeq: parsing behavior by linking point tracking to pose dynamics // Nature Methods. 2024. vol. 21. pp. 1329–1339. DOI: 10.1038/s41592-024-02318-2.
32. Donnarumma F., Prevete R., Maisto D. et al. A framework to identify structured behavioral patterns within rodent spatial trajectories // Scientific Reports. 2021. vol. 11. DOI: 10.1038/s41598-020-79744-7.
33. van Dam E.A., Noldus L.P.J.J., van Gerven M.A.J. Disentangling rodent behaviors to improve automated behavior recognition // Front. Neurosci. 2023. vol. 17. DOI: 10.3389/fnins.2023.1198209.
34. Краснов Д.И., Волынский М.А., Гусев А.А. Предобработка траекторий ключевых точек скелета в задаче автоматизации регистрации поведения лабораторных животных // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25. № 2. С. 295–302.
35. Buizza C., Fischer T., Demiris Y. Real-Time Multi-Person Pose Tracking using Data Assimilation // IEEE Winter Conference on Applications of Computer Vision (WACV). 2020. pp. 438–447. DOI: 10.1109/WACV45572.2020.9093442.
36. Svensson D. Derivation of the discrete-time constant turn rate and acceleration motion model // Sensor Data Fusion: Trends, Solutions, Applications (SDF). 2019. pp. 1–5. DOI: 10.1109/SDF.2019.8916654.
37. Yuan H., Han Y., Zhou Y. et al. State of Charge Dual Estimation of a Li-ion Battery Based on Variable Forgetting Factor Recursive Least Square and Multi-Innovation Unscented Kalman Filter Algorithm // Energies. 2022. vol. 15. no. 4. DOI: 10.3390/en15041529.
38. Huang J., Zhu Z., Guo F., Huang G. The Devil Is in the Details: Delving into Unbiased Data Processing for Human Pose Estimation // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2020. pp. 5699–5708. DOI: 10.1109/CVPR42600.2020.00574.
39. Lyu C., Zhang W., Huang H. et al. RTMDet: An Empirical Study of Designing Real-Time Object Detectors. 2024. arXiv preprint arXiv:2212.07784.
40. Wan E. A., Van Der Merwe R. The unscented Kalman filter for nonlinear estimation // Proceedings of the IEEE 2000 Adaptive Systems for Signal Processing, Communications, and Control Symposium (Cat. No.00EX373). 2000. pp. 153–158. DOI: 10.1109/ASSPCC.2000.882463.
41. Волынский М.А., Гуров И.П., Скаков П.С. Рекуррентный алгоритм обработки интерферометрических сигналов на основе мультиоблачной модели предсказания // Научно-технический вестник информационных технологий, механики и оптики. 2014. Т. 14. № 4. С. 18–22.
Опубликован
Как цитировать
Раздел
Copyright (c) Дмитрий Игоревич Краснов, Максим Александрович Волынский, Александр Алексеевич Гусев

Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).