Классификация пространственно-временных паттернов на основе нейроморфных сетей
Ключевые слова:
пространственно-временные паттерны, классификация, нейронные сети, опорные вектора, риманова геометрия, нейроморфные сети, нейроинтерфейс, электроэнцефалография, воображаемые движения, бесконтактное управлениеАннотация
Эта работа посвящена проблемам разработки нейроморфных классификаторов пространственно-временных паттернов, а также их применению в нейроинтерфейсах для решения задачи управления робототехническими устройствами. Рассматриваются классификаторы пространственно-временных паттернов на основе нейронных сетей, метода опорных векторов, глубоких нейронных сетей, римановой геометрии. Проводится сравнительное исследование этих классификаторов на точность многоклассового распознавания электроэнцефалографических сигналов, показывающих зависимую от времени биоэлектрическую активность в различных зонах мозга при воображении разных движений. Показано, что такие классификаторы могут обеспечить точность 60-80% при распознавании от двух до четырех классов воображаемых движений. Предложен новый тип классификатора на основе нейроморфной сети, биоподобные нейроны которой построены на модели Ижикевича. Исходный электроэнцефалографический сигнал кодируется в импульсные потоки на основе алгоритма временного кодирования. Предложенная нейроморфная сеть обрабатывает импульсные входные последовательности и формирует на выходах импульсные потоки разной частоты. Обучение сети проводится по размеченной информации, содержащей примеры правильного распознавания нужных классов паттернов воображаемых движений с применением алгоритма Supervised STDP. Распознанный класс паттерна воображаемого движения определяется по максимальной частоте импульсного потока выходной последовательности. Нейроморфный классификатор показал среднюю точность классификации 90% для 4-х классов воображаемых двигательных команд, а максимальная точность составила 95%. Путем моделирования задачи управления роботом в виртуальной среде показано, что такая точность классификации достаточна для эффективного применения классификатора в составе неинвазивного интерфейса «мозг-компьютер» при бесконтактном управлении робототехническими устройствами.
Литература
2. Благовещенский В.Г., Благовещенский И.Г., Благовещенская М.М., Аднодворцев А.М., Головин В.В. Управление технологическими процессами производства кондитерских изделий с использованием нейросетевого регулятора. Труды Всероссийской НТК «Информатизация и автоматизация в пищевой промышленности». Курск: Изд-во ЗАО «Университетские книги», 2022. С. 78–83.
3. Ульев А.Д., Розалиев В.Л., Заболеева-Зотова А.В., Орлова Ю.А. Интеллектуальная система видеонаблюдения за поведением человека // Искусственный интеллект и принятие решений. 2020. № 4. С. 21–32. DOI: 10.14357/20718594200403.
4. Богуш Р.П., Захарова И.Ю. Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений // Компьютерная оптика. 2020. Т. 44. № 1. С. 109–116. DOI: 10.18287/2412-6179-CO-565.
5. Brunner C., Birbaumer N., Blankertz B., Guger C., Kubler A., Mattia D., del R. Millan J., Miralles F., Nijholt A., Opisso E., Ramsey N., Salomon P., Muller-Putz G.R. BNCI Horizon 2020: towards a roadmap for the BCI community // Brain-Computer Interfaces. 2015. vol. 2. no. 1. pp. 1–10. DOI: 10.1080/2326263X.2015.1008956.
6. Sharmila A. Hybrid control approaches for hands-free high level human–computer interface-a review // Journal of Medical Engineering & Technology. 2021. Т. 45. № 1. pp. 6–13.
7. Diez P. Smart Wheelchairs and BCI. Mobile Assistive Technologies // Academic Press, 2018. 492 p.
8. Кагиров И.А., Карпов А.А., Кипяткова И.С., Клюжев К.С., Кудрявцев А.И., Кудрявцев И.А., Рюмин Д.А. Интеллектуальный интерфейс для управления роботизированным медицинским экзоскелетом нижних конечностей Remotion // Авиакосмическая и экологическая медицина, 2019. Т. 53. № 5. С. 92–98.
9. Li Z., Li B., Luo W., Cao J. Design and Implementation of P300 Brain-Controlled Wheelchair with a Developed Wireless DA Converter. International journal of computers & technology. 2023. vol. 23. pp. 93–104. DOI: 10.24297/ijct.v23i.9485.
10. Yakovlev L., Kaplan A., Sirov N. Gortz, N. BCI-Controlled Motor Imagery Training Can Improve Performance in e-Sports. HCI International 2020-Posters: 22nd International Conference. 2020. pp. 581–586. DOI: 10.1007/978-3-030-50726-8_76.
11. Zhu H.Y., Hieu N.Q., Hoang D.T., Nguyen D.N., Lin C.-T. A Human-Centric Metaverse Enabled by Brain-Computer Interface: A Survey. arXiv preprint arXiv:2309.01848. 2023.
12. Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Хоменко Ю.Г., Шемякина Н.В. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер. Труды СПИИРАН. 2015. Т. 3(40). С. 163–182. DOI: 10.15622/sp.40.11.
13. Stankevich L.A., Sonkin K.M., Shemyakina N.V., Nagornova Zh.V., Khomenko Ju.G., Perets D.S., Koval A.V. EEG Pattern Decoding of Rhythmic Individual Finger Imaginary Movements of one Hand. Human Physiology. 2016. vol. 42. no. 1. pp. 32–42.
14. Schirrmeister R.T., Springenberg J.T., Fiederer L.D.J., Glasstetter M., Eggensperger K., Tangermann M., Hutter F., Burgard W., Ball T. Deep learning with convolutional neural networks for brain mapping and decoding of movement-related information from the human EEG. arXiv:1703.05051v5. 2018.
15. Congedo M., Barachant A., Bhatia R. Riemannian geometry for EEG-based brain-computer interfaces: a primer and a review // Brain-Computer Interfaces. 2017. vol. 4. no. 3. pp. 155–174. DOI: 10.1080/2326263X.2017.1297192.
16. Weerasinghe M.M., Espinosa-Ramos J.I., Wang G.Y., Parry D. Incorporating Structural Plasticity Approaches in Spiking Neural Networks for EEG Modelling // IEEE Access. 2021. vol. 10. pp. 117338–117348. DOI: 10.1109/ACCESS.2021.3099492.
17. Капралов Н.В., Нагорнова Ж.В., Шемякина Н.В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 20. № 1. С. 94–132. DOI: 10.15622/ia.2021.20.1.4.
18. Gerstner W., Kistler W.M., Naud R., Paninski L. Neuronal dynamics: From single neurons to networks and models of cognition. Cambridge: Cambridge University Press, 2014. 578 p.
19. Izhikevich E.M. Simple model of spiking neurons. IEEE Trans. Neural Networks. 2003. vol. 14. no. 6. pp. 1569–1572. DOI: 10.1109/TNN.2003.820440.
20. Cui Y., Ahmad S., Hawkins J. The HTM spatial pooler-a neocortical algorithm for online sparse distributed coding // Frontiers in computational neuroscience. 2017. vol. 11. DOI: 10.3389/fncom.2017.00111.
21. Auge D., Hille J., Mueller E., Knoll A. A Survey of Encoding Techniques for Signal Processing in Spiking Neural Networks // Neural Processing Letters. 2021. vol. 53. no. 6. pp. 4693–4710. DOI: 10.1007/s11063-021-10562-2.
22. Liu F., Zhao W., Chen Y., Wang Z., Yang T., Jiang L. SSTDP: Supervised Spike Timing Dependent Plasticity for Efficient Spiking Neural Network Training. Frontiers in Neuroscience. 2021. vol. 15. DOI: 10.3389/fnins.2021.756876.
23. Станкевич Л.А., Гунделах Ф.В. Управление роботом с использованием интерфейса «мозг-компьютер» // Робототехника и техническая кибернетика. 2017. № 2(15). C. 52–56.
24. Гунделах Ф.В., Станкевич Л.А., Сонькин К.М., Шемякина Н.В., Нагорнова Ж.В. Применение интерфейсов «мозг-компьютер» в ассистивных технологиях // Труды СПИИРАН. 2020. Т. 19. № 2. С. 277–301.
25. Gundelakh F., Stankevich L., Kapralov N.V, Ekimovski J.V. Cyber-Physical System Control Based on Brain-Computer Interfaces. Springer International Publishing, 2020. pp. 458–469.
26. Tutorial: ROS integration overview. URL: https://classic.gazebosim.org/tutorials?tut=ros_overview (дата обращения: 09.12.2023).
27. Ackerman E. Latest Version of Gazebo Simulator Makes It Easier Than Ever to Not Build a Robot. IEEE Spectrum. IEEE. 2016.
Опубликован
Как цитировать
Раздел
Copyright (c) Филипп Викторович Гунделах, Лев Александрович Станкевич
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).