Трехпозиционное управление транспортным средством на основе нейроинтерфейса с применением машинного обучения
Ключевые слова:
нейроинтерфейс, управление, машинное обучение, ЭЭГ, активность мозга, KNNАннотация
Интерфейс мозг-компьютер представляет собой сложную систему, позволяющую управлять внешними электронными устройствами с помощью активности головного мозга. Эта система включает в себя несколько элементов – устройство считывания сигналов активности головного мозга, аппаратно-программный комплекс, выполняющий обработку и анализ этих сигналов, а также объект управления. Основную сложность представляет разработка методов и алгоритмов, способных правильно распознавать и предсказывать намерения человека, который использует этот интерфейс, чтобы обеспечить решение задач управления. В данной работе описывается математическая постановка задачи управления транспортным средством и предложенная алгоритмическая структура разработанной системы управления. Описываются методы предобработки сигналов ЭЭГ, их анализа, принятия решений о выдаче сигнала управления, описывается структура программной реализации этих методов, а также результаты экспериментальной проверки работоспособности системы. Для классификации сигналов ЭЭГ используются методы машинного обучения. Предложен новый метод классификации в машинном обучении – метод нечетких почти ближайших соседей, являющийся модификацией классического метода k-ближайших соседей и снижающий зависимость решения от выбора параметра k. Алгоритмы обработки сигналов ЭЭГ и управления реализованы на языке программирования Python. В качестве объекта управления рассматривается инвалидное кресло с дистанционным управлением, а в качестве задачи управления – поворот кресла вправо или влево. Для экспериментальной проверки работоспособности разработанной модели и алгоритмов всего было проведено более 15 испытаний c 5 испытуемыми в общей сложности. Разработанный и описанный в данной статье подход и его программная реализация в ходе испытаний продемонстрировали эффективность в задачах управления поворотом инвалидного кресла. Также было уделено особое внимание ресурсоёмкости программной реализации. Методы и алгоритмы были реализованы с учётом требований, возникающих при выполнении вычислений на малопроизводительных устройствах с ограниченным количеством памяти.
Литература
1. Левицкая О.С., Лебедев М.А. Интерфейс мозг–компьютер: будущее в настоящем // Вестник РГМУ. 2016. № 2. С. 4–16.
2. Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии «интерфейс мозг-компьютер» // Бюллетень сибирской медицины. 2013. № 12(2). С. 21–29.
3. Лунев Д.В., Полетыкин С.К., Кудрявцев Д.О. Нейроинтерфейсы: обзор технологий и современные решения // Современные инновации, системы и технологии. 2022. № 2(3). C. 117–126.
4. Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Хоменко Ю.Г., Шемякина Н.В. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Труды СПИИРАН. 2015. Т. 3(40). С. 163–182.
5. Гунделах Ф.В., Станкевич Л.А. Классификация пространственно-временных паттернов на основе нейроморфных сетей // Информатика и автоматизация. 2024. Т. 23. № 3. С. 886–908.
6. Гунделах Ф.В., Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Шемякина Н.В. Применение интерфейсов «мозг-компьютер» в ассистивных технологиях // Труды СПИИРАН. 2020. Т. 19. № 2. С. 277–301.
7. Лобода Ю.О., Функ А.В., Гасымов З.А., Рачкован О.А. Управление мехатронными системами нейроинтерфейсом // XIII Международная научно-практическая конференция «Электронные средства и системы управления», посвященная 55-летию ТУСУРа (г. Томск, 29 ноября – 1 декабря 2017 г.). 2017. С. 143–146.
8. Бодин О.Н., Солодимова Г.А., Спиркин А.Н. Нейроинтерфейс для управления роботизированными устройствами // Измерение. Мониторинг. Управление. Контроль. 2019. № 4(30). С. 70–76.
9. Миронов В.И., Лобов С.А., Крылова Н.П., Гордлеева C.Ю., Каплан А.Я., Буйлова Т.В., Бахшиев А.В., Щуровский Д.В., Вагнер В.О., Кастальский И.А., Ли А.Н., Казанцев В.Б. Разработка нейроуправляемого автомобиля для мобилизации людей с двигательным дефицитом – нейромобиля // Современные технологии в медицине (СТМ). 2018. Т. 10. № 4. С. 49–56.
10. Rashid Mamunur, Sulaiman Norizam, P.P. Abdul Majeed Anwar, Musa Rabiu Muazu, Ab. Nasir Ahmad Fakhri, Bari Bifta Sama, Khatun Sabira. Current Status, Challenges, and Possible Solutions of EEG-Based Brain-Computer Interface: A Comprehensive Review. Frontiers in Neurorobotics. 2020. vol. 14. DOI: 10.3389/fnbot.2020.00025.
11. Varbu K., Muhammad N., Muhammad Y. Past, Present, and Future of EEG-Based BCI Applications. Sensors. 2022. vol. 22. no. 9. DOI: 10.3390/s22093331.
12. Yadav H., Maini S. Electroencephalogram based brain‑computer interface: Applications, challenges, and opportunities. Multimedia Tools and Applications. 2023. vol. 82. pp. 47003–47047.
13. Сазонова Н.Н., Дегтярев С.В., Сазонова Е.С. Аппаратно-программный комплекс на основе нейроинтерфейса и vr-технологии в системе реабилитации пациентов с поражением головного мозга после инсульта // Информационные технологии в управлении, автоматизации и мехатронике: Сборник научных статей 4-й Международной научно-технической конференции (г. Курск, 7 апреля 2022 г.). 2022. С. 180–183.
14. Боброва Е.В., Решетникова В.В., Вершинина Е.А., Гришин А.А., Исаев М.Р., Бобров П.Д., Герасименко Ю.П. Оценка эффективности управления мозг-компьютерным интерфейсом при обучении воображению движений верхних и нижних конечностей // Журнал высшей нервной деятельности им. И.П. Павлова. 2023. Т. 73. № 1. С. 52–61.
15. Каплан А.Я. Некоторые теоретические и практические основания к реализации нейроинтерфейсных технологий в психиатрии // Психическое здоровье человека и общества. Актуальные междисциплинарные проблемы. Научно-практическая конференция (г. Москва, 30 октября 2017 г.). Москва: КДУ, 2018. С. 366–372.
16. Wang H., Yan F., Xu T., Yin H., Chen P., Yue H., Chen C., Zhang H., Xu L., He Y., Bezerianos A. Brain-Controlled Wheelchair Review: From Wet Electrode to Dry Electrode, From Single Modal to Hybrid Modal, From Synchronous to Asynchronous. IEEE Access. 2021. vol. 9. pp. 55920–55938.
17. Fernandez-Rodriguez A., Velasco-Alvarez F., Ron-Angevin R. Review of real brain-controlled wheelchairs. Journal of neural engineering. 2016. vol. 13. no. 6. DOI: 10.1088/1741-2560/13/6/061001.
18. Sha’abani M.N.A.H., Fuad N., Jamal N., Ismail M.F. kNN and SVM Classification for EEG: A Review. Lecture Notes in Electrical Engineering. Springer, Singapore. 2020. vol. 632. pp. 555–565.
19. Palumbo A., Gramigna V., Calabrese B., Ielpo N. Motor-Imagery EEG-Based BCIs in Wheelchair Movement and Control: A Systematic Literature Review. Sensors 2021. vol. 21. no. 18. DOI: 10.3390/s21186285.
20. Яшин А.С., Васильев А.Н., Шишкин С.Л. Чем квазидвижения полезны для изучения произвольных движений? Взгляд со стороны нейронаук, психологии и философии. Гены и Клетки. 2023. Т. 18. № 4. С. 649–652.
21. Babbysh N. Computing brain rhythm indicators of EEG signal. 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), Kaliningrad, Russian Federation. IEEE, 2021. pp. 32–35.
22. Shanarova N., Pronina M., Lipkovich M., Ponomarev V., Müller A., Kropotov J. Application of Machine Learning to Diagnostics of Schizophrenia Patients Based on Event-Related Potentials. Diagnostics. 2023. vol. 13. no. 3. DOI: 10.3390/diagnostics13030509.
23. Lipkovich M., Knyazeva V., Aleksandrov A., Shanarova N., Sagatdinov A., Fradkov A. Evoked Potentials Detection During Self-Initiated Movements Using Machine Learning Approach. 2023 Fifth International Conference on Neurotechnologies and Neurointerfaces (CNN). Kaliningrad, Russian Federation, 2023. pp. 47–50.
24. Овод И.В., Осадчий А.Е., Пупышев А.А., Фрадков А.Л. Формирование нейрообратной связина основе адаптивной модели активности головного мозга // Нейрокомпьютеры: разработка, применение. 2012. № 2. С. 36–41.
25. Rybalko A., Fradkov A. Identification of Two-Neuron FitzHugh-Nagumo Model Based on the Speed-Gradient and Filtering. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2023. vol. 33. no. 8. DOI: 10.1063/5.0159132.
26. Обухов С.А., Степанов В.П., Рудаков И.В. Математическая модель нейрокомпьютерного интерфейса на основе анализа вызванных потенциалов P300 // Вестник РГГУ. Серия: Информатика. Информационная безопасность. Математика. 2021. № 2. С. 48–67.
27. Chen Z, Wang Y, Song Z. Classification of Motor Imagery Electroencephalography Signals Based on Image Processing Method. Sensors (Basel). 2021. vol. 21(14). DOI: 10.3390/s21144646.
28. Lun X., Liu J., Zhang Y., Hao Z., Hou Y., A Motor Imagery Signals Classification Method via the Difference of EEG Signals Between Left and Right Hemispheric Electrodes. Frontiers in Neuroscience. 2022. vol. 16. DOI: 10.3389/fnins.2022.865594.
29. Васильев В.П., Муро Э.Л., Смольский С.М. Основы теории и расчета цифровых фильтров: учебное пособие, 2-еизд., стер. // М.: НИЦ ИНФРА-М. 2024. 272 с.
30. Hussin S.F., Birasamy G., Hamid Z. Design of Butterworth Band-Pass Filter // Politeknik and Kolej Komuniti Journal of Engineering and Technology. 2016. vol. 1. no. 1. pp. 32–46.
31. Haykin S. Neural Networks: A Comprehensive Foundation Second Edition. 2019. 1104 p.
32. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. The MIT Press. 2012. 504 p.
33. Капралов Н.В., Нагорнова Ж.В., Шемякина Н.В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 20. № 1. С. 94–132.
34. Keller J.M., Gray M.R., Givens J.A. A fuzzy K-nearest neighbor algorithm // IEEE Transactions on Systems, Man, and Cybernetics. 1985. vol. 15. no. 4. pp. 580–585.
35. Kumbure M.M., Luukka P. A generalized fuzzy k-nearest neighbor regression model based on Minkowski distance // Granular Computing. 2022. vol. 7. pp. 657–671.
36. Бабич Н.А. Программная платформа для чтения, обработки и анализа данных ЭЭГ // Программная инженерия. 2023. № 5. С. 254–260.
37. Официальная страница электроэнцефалографа NeoRecCAP. URL: https://mks.ru/product/neoreccap/ (дата обращения: 10.04.2024).
38. Официальная страница процессорного модуля Orange-Pi-3B. URL: http://www.orangepi.org/html/hardWare/computerAndMicrocontrollers/details/Orange-Pi-3B.html (дата обращения: 03.05.2024).
39. Kovalchukov A. Approximate Hindmarsh-Rose model identification: application to EEG data // 7th Scientific School on Dynamics of Complex Networks and their Applications (DCNA). 2023. pp. 151–154.
2. Каплан А.Я., Кочетова А.Г., Шишкин С.Л., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии «интерфейс мозг-компьютер» // Бюллетень сибирской медицины. 2013. № 12(2). С. 21–29.
3. Лунев Д.В., Полетыкин С.К., Кудрявцев Д.О. Нейроинтерфейсы: обзор технологий и современные решения // Современные инновации, системы и технологии. 2022. № 2(3). C. 117–126.
4. Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Хоменко Ю.Г., Шемякина Н.В. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Труды СПИИРАН. 2015. Т. 3(40). С. 163–182.
5. Гунделах Ф.В., Станкевич Л.А. Классификация пространственно-временных паттернов на основе нейроморфных сетей // Информатика и автоматизация. 2024. Т. 23. № 3. С. 886–908.
6. Гунделах Ф.В., Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В., Шемякина Н.В. Применение интерфейсов «мозг-компьютер» в ассистивных технологиях // Труды СПИИРАН. 2020. Т. 19. № 2. С. 277–301.
7. Лобода Ю.О., Функ А.В., Гасымов З.А., Рачкован О.А. Управление мехатронными системами нейроинтерфейсом // XIII Международная научно-практическая конференция «Электронные средства и системы управления», посвященная 55-летию ТУСУРа (г. Томск, 29 ноября – 1 декабря 2017 г.). 2017. С. 143–146.
8. Бодин О.Н., Солодимова Г.А., Спиркин А.Н. Нейроинтерфейс для управления роботизированными устройствами // Измерение. Мониторинг. Управление. Контроль. 2019. № 4(30). С. 70–76.
9. Миронов В.И., Лобов С.А., Крылова Н.П., Гордлеева C.Ю., Каплан А.Я., Буйлова Т.В., Бахшиев А.В., Щуровский Д.В., Вагнер В.О., Кастальский И.А., Ли А.Н., Казанцев В.Б. Разработка нейроуправляемого автомобиля для мобилизации людей с двигательным дефицитом – нейромобиля // Современные технологии в медицине (СТМ). 2018. Т. 10. № 4. С. 49–56.
10. Rashid Mamunur, Sulaiman Norizam, P.P. Abdul Majeed Anwar, Musa Rabiu Muazu, Ab. Nasir Ahmad Fakhri, Bari Bifta Sama, Khatun Sabira. Current Status, Challenges, and Possible Solutions of EEG-Based Brain-Computer Interface: A Comprehensive Review. Frontiers in Neurorobotics. 2020. vol. 14. DOI: 10.3389/fnbot.2020.00025.
11. Varbu K., Muhammad N., Muhammad Y. Past, Present, and Future of EEG-Based BCI Applications. Sensors. 2022. vol. 22. no. 9. DOI: 10.3390/s22093331.
12. Yadav H., Maini S. Electroencephalogram based brain‑computer interface: Applications, challenges, and opportunities. Multimedia Tools and Applications. 2023. vol. 82. pp. 47003–47047.
13. Сазонова Н.Н., Дегтярев С.В., Сазонова Е.С. Аппаратно-программный комплекс на основе нейроинтерфейса и vr-технологии в системе реабилитации пациентов с поражением головного мозга после инсульта // Информационные технологии в управлении, автоматизации и мехатронике: Сборник научных статей 4-й Международной научно-технической конференции (г. Курск, 7 апреля 2022 г.). 2022. С. 180–183.
14. Боброва Е.В., Решетникова В.В., Вершинина Е.А., Гришин А.А., Исаев М.Р., Бобров П.Д., Герасименко Ю.П. Оценка эффективности управления мозг-компьютерным интерфейсом при обучении воображению движений верхних и нижних конечностей // Журнал высшей нервной деятельности им. И.П. Павлова. 2023. Т. 73. № 1. С. 52–61.
15. Каплан А.Я. Некоторые теоретические и практические основания к реализации нейроинтерфейсных технологий в психиатрии // Психическое здоровье человека и общества. Актуальные междисциплинарные проблемы. Научно-практическая конференция (г. Москва, 30 октября 2017 г.). Москва: КДУ, 2018. С. 366–372.
16. Wang H., Yan F., Xu T., Yin H., Chen P., Yue H., Chen C., Zhang H., Xu L., He Y., Bezerianos A. Brain-Controlled Wheelchair Review: From Wet Electrode to Dry Electrode, From Single Modal to Hybrid Modal, From Synchronous to Asynchronous. IEEE Access. 2021. vol. 9. pp. 55920–55938.
17. Fernandez-Rodriguez A., Velasco-Alvarez F., Ron-Angevin R. Review of real brain-controlled wheelchairs. Journal of neural engineering. 2016. vol. 13. no. 6. DOI: 10.1088/1741-2560/13/6/061001.
18. Sha’abani M.N.A.H., Fuad N., Jamal N., Ismail M.F. kNN and SVM Classification for EEG: A Review. Lecture Notes in Electrical Engineering. Springer, Singapore. 2020. vol. 632. pp. 555–565.
19. Palumbo A., Gramigna V., Calabrese B., Ielpo N. Motor-Imagery EEG-Based BCIs in Wheelchair Movement and Control: A Systematic Literature Review. Sensors 2021. vol. 21. no. 18. DOI: 10.3390/s21186285.
20. Яшин А.С., Васильев А.Н., Шишкин С.Л. Чем квазидвижения полезны для изучения произвольных движений? Взгляд со стороны нейронаук, психологии и философии. Гены и Клетки. 2023. Т. 18. № 4. С. 649–652.
21. Babbysh N. Computing brain rhythm indicators of EEG signal. 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), Kaliningrad, Russian Federation. IEEE, 2021. pp. 32–35.
22. Shanarova N., Pronina M., Lipkovich M., Ponomarev V., Müller A., Kropotov J. Application of Machine Learning to Diagnostics of Schizophrenia Patients Based on Event-Related Potentials. Diagnostics. 2023. vol. 13. no. 3. DOI: 10.3390/diagnostics13030509.
23. Lipkovich M., Knyazeva V., Aleksandrov A., Shanarova N., Sagatdinov A., Fradkov A. Evoked Potentials Detection During Self-Initiated Movements Using Machine Learning Approach. 2023 Fifth International Conference on Neurotechnologies and Neurointerfaces (CNN). Kaliningrad, Russian Federation, 2023. pp. 47–50.
24. Овод И.В., Осадчий А.Е., Пупышев А.А., Фрадков А.Л. Формирование нейрообратной связина основе адаптивной модели активности головного мозга // Нейрокомпьютеры: разработка, применение. 2012. № 2. С. 36–41.
25. Rybalko A., Fradkov A. Identification of Two-Neuron FitzHugh-Nagumo Model Based on the Speed-Gradient and Filtering. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2023. vol. 33. no. 8. DOI: 10.1063/5.0159132.
26. Обухов С.А., Степанов В.П., Рудаков И.В. Математическая модель нейрокомпьютерного интерфейса на основе анализа вызванных потенциалов P300 // Вестник РГГУ. Серия: Информатика. Информационная безопасность. Математика. 2021. № 2. С. 48–67.
27. Chen Z, Wang Y, Song Z. Classification of Motor Imagery Electroencephalography Signals Based on Image Processing Method. Sensors (Basel). 2021. vol. 21(14). DOI: 10.3390/s21144646.
28. Lun X., Liu J., Zhang Y., Hao Z., Hou Y., A Motor Imagery Signals Classification Method via the Difference of EEG Signals Between Left and Right Hemispheric Electrodes. Frontiers in Neuroscience. 2022. vol. 16. DOI: 10.3389/fnins.2022.865594.
29. Васильев В.П., Муро Э.Л., Смольский С.М. Основы теории и расчета цифровых фильтров: учебное пособие, 2-еизд., стер. // М.: НИЦ ИНФРА-М. 2024. 272 с.
30. Hussin S.F., Birasamy G., Hamid Z. Design of Butterworth Band-Pass Filter // Politeknik and Kolej Komuniti Journal of Engineering and Technology. 2016. vol. 1. no. 1. pp. 32–46.
31. Haykin S. Neural Networks: A Comprehensive Foundation Second Edition. 2019. 1104 p.
32. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of Machine Learning. The MIT Press. 2012. 504 p.
33. Капралов Н.В., Нагорнова Ж.В., Шемякина Н.В. Методы классификации ЭЭГ-паттернов воображаемых движений // Информатика и автоматизация. 2021. Т. 20. № 1. С. 94–132.
34. Keller J.M., Gray M.R., Givens J.A. A fuzzy K-nearest neighbor algorithm // IEEE Transactions on Systems, Man, and Cybernetics. 1985. vol. 15. no. 4. pp. 580–585.
35. Kumbure M.M., Luukka P. A generalized fuzzy k-nearest neighbor regression model based on Minkowski distance // Granular Computing. 2022. vol. 7. pp. 657–671.
36. Бабич Н.А. Программная платформа для чтения, обработки и анализа данных ЭЭГ // Программная инженерия. 2023. № 5. С. 254–260.
37. Официальная страница электроэнцефалографа NeoRecCAP. URL: https://mks.ru/product/neoreccap/ (дата обращения: 10.04.2024).
38. Официальная страница процессорного модуля Orange-Pi-3B. URL: http://www.orangepi.org/html/hardWare/computerAndMicrocontrollers/details/Orange-Pi-3B.html (дата обращения: 03.05.2024).
39. Kovalchukov A. Approximate Hindmarsh-Rose model identification: application to EEG data // 7th Scientific School on Dynamics of Complex Networks and their Applications (DCNA). 2023. pp. 151–154.
Опубликован
2025-01-20
Как цитировать
Фрадков, А. Л., & Бабич, Н. А. (2025). Трехпозиционное управление транспортным средством на основе нейроинтерфейса с применением машинного обучения. Информатика и автоматизация, 24(1), 5-29. https://doi.org/10.15622/ia.24.1.1
Раздел
Робототехника, автоматизация и системы управления
Copyright (c) Александр Львович Фрадков
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).