Применение интерфейсов «мозг-компьютер» в ассистивных технологиях
Ключевые слова:
ассистивные технологии, роботизированные устройства, интерфейсы мозг-компьютер, электроэнцефалография, воображаемые движения, методы классификации, нейронные сети, метод опорных векторов, риманова геометрияАннотация
Рассматриваются вопросы применения интерфейсов мозг-компьютер в ассистивных технологиях, в частности для управления роботизированными устройствами. Неинвазивные интерфейсы мозг-компьютер строятся на основе обработки и классификации электроэнцефалографических сигналов, показывающих биоэлектрическую активность в различных зонах мозга. Системы на основе неинвазивных интерфейов мозг-компьютер после обучения способны декодировать электроэнцефалографические паттерны, соответствующие разным воображаемым движениям человека, а также паттерны, соответствующие различным аудиовизуальным стимулам. Сформулированы и приведены требования, которым должны отвечать интерфейсы мозг-компьютер, работающие в режиме реального времени, чтобы биологическая обратная связь была эффективна и мозг пользователя смог правильно ассоциировать ответы с событиями. Рассматривается процесс обработки электроэнцефалографических сигналов в неинвазивных интерфейсах мозг-компьютер, включающий пространственную и временную фильтрацию, удаление двигательных артефактов, выделение признаков и классификацию. Описываются и сравниваются классификаторы, основанные на методе опорных векторов, искусственных нейронных сетях и римановой геометрии. Показано, что такие классификаторы могут обеспечить точность 60-80% при распознавании от двух до четырех классов воображаемых движений в режиме реального времени по одной пробе. Приведены примеры использования таких классификаторов для управления роботизированными устройствами, помогающими здоровым людям лучше выполнять повседневные функции и улучшающими качество жизни людей с ограниченными возможностями. Проведены эксперименты по управлению роботизированной рукой с пятипалой кистью, мобильной сенсорной платформой и антропоморфным роботом. На основе полученных результатов исследования сформулированы задачи, которые нужно решить, чтобы применение технологии стало более эффективным.
Литература
2. Karpov A., Ronzhin A. A Universal Assistive Technology with Multimodal Input and Multimedia Output Interfaces // International Conference on Universal Access in Hu-man-Computer Interaction. 2014. pp. 369–378.
3. Карпов А.А., Юсупов Р.М. Многомодальные интерфейсы человеко-машинного взаимодействия // Вестник Российской академии наук. 2018. Т. 88. № 2. С. 146–155.
4. Аналитический обзор мирового рынка робототехники. URL: https://www.sberbank.ru/common/img/uploaded/analytics/2018/analiticeskij-obzor-mirovogo-rynka-robototehniki.pdf (дата обращения: 03.01.2020).
5. Кагиров И.А. и др. Интеллектуальный интерфейс для управления роботизиро-ванным медицинским экзоскелетом нижних конечностей Remotion // Авиакос-мическая и экологическая медицина. 2019. Т. 53. № 5. С. 92–98.
6. Diez P. Smart Wheelchairs and Brain-computer Interfaces: Mobile Assistive Technol-ogies // Academic Press. 2018. 492 p.
7. Wolpaw J., Wolpaw E.W. Brain-computer interfaces: principles and practice // Oxford University Press. 2012. 400 p.
8. Daly I. et al. On the control of brain-computer interfaces by users with cerebral pal-sy // Clinical Neurophysiology. 2013. vol. 124. no. 9. pp. 1787–1797.
9. Banville H., Falk T.H. Recent advances and open challenges in hybrid brain-computer interfacing: a technological review of non-invasive human research // Brain-Computer Interfaces. 2016. vol. 3(1). pp. 9–46.
10. Choi I. et al. A systematic review of hybrid brain-computer interfaces: taxonomy and usability perspectives // PloS One. 2017. vol. 12(4). pp. e0176674.
11. Yin E. et al. A hybrid BCI based on EEG and fNIRS signals improves the perfor-mance of decoding motor imagery of both force and speed of hand clenching // Jour-nal of Neural Engineering. 2015. vol. 12(3). pp. 036004.
12. Yin E. et al. A hybrid BCI based on fusion of P300 and SSVEP scores // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2015. vol. 23(4). pp. 693–701.
13. Chang M.H. et al. Eliciting dual-frequency SSVEP using a hybrid SSVEP-P300 BCI // Journal of Neuroscience Methods. 2016. vol. 258. pp. 104–113.
14. Obeidat Q.T., Campbell T.A., Kong J. Spelling with small mobile brain-computer interface in a moving wheelchair // IEEE Transactions on Neural Systems and Reha-bilitation. 2017. vol. 25(11). pp. 2169–2179.
15. Mishra S. et al. Soft, conformal bioelectronics for a wireless human-wheelchair inter-face // Biosensors and Bioelectronics. 2017. vol. 91 pp. 796–803.
16. Фролов А.А., Рощин В.Ю. Интерфейс «мозг-компьютер». Реальность и перспек-тивы // Научная конференция по нейроинформатике МИФИ. 2008. p. 2008.
17. Каплан А.Я. и др. Экспериментально-теоретические основы и практические реализации технологии «Интерфейсы мозг-компьютер» // Бюллетень сибирской медицины. 2013. Т. 12. № 2. С. 21.
18. Sonkin K.M. et al. Development of electroencephalographic pattern classifiers for real and imaginary thumb and index finger movements of one hand // Artificial Intelli-gence in Medicine. 2015. vol. 63(2). pp. 107–117.
19. Станкевич Л.А. и др. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер // Труды СПИИРАН. 2015. Вып. 3(40). С. 163–182.
20. Stankevich L.A. et al. EEG Pattern Decoding of Rhythmic Individual Finger Imagi-nary Movements of one Hand // Human Physiology. 2016. vol. 42(1). pp. 32–42.
21. Stankevich L., Sonkin K. Human-Robot Interaction Using Brain-Computer Interface Based on EEG Signal Decoding // International Conference on Interactive Collabora-tive Robotics. 2016. pp. 99–106.
22. Станкевич Л.А., Гунделах Ф.В. Управление роботом с использованием интерфейса «мозг-компьютер» // Робототехника и техническая кибернетика. 2017. № 2. C. 52–56.
23. Lawhern V.J. et al. EEGNet: a compact convolutional network for EEG-based brain-computer interfaces // Journal of neural engineering. 2018. vol. 15. no. 5. pp. 056013.
24. Schirrmeister R.T. et al. Deep learning with convolutional neural networks for brain mapping and decoding of movement-related information from the human EEG // arXiv preprint arXiv:1703.05051.
25. Lotte F. et al. A Review of classification algorithms for EEG-based brain-computer interfaces: a 10-year Update // Journal of Neural Engineering. 2018. vol. 15. no. 3. pp. 55.
26. Li Y., Wong K.M., de Bruin H. EEG Signal Classification Based on a Riemannian Distance Measure // IEEE Toronto International Conference Science and Technology for Humanity (TIC-STH). 2009. pp. 268–273.
27. Congedo M., Barachant A., Bhatia R. Riemannian geometry for EEG-based brain-computer interfaces; a primer and review // Brain-Computer Interfaces. 2017. vol. 4(3). pp. 155–174.
28. Рука-робот InMoov. Проекты с Aurdino. 2012. URL: http://arduino-projects.ru/projects/ruka-robot-inmoov/ (дата обращения: 05.01.2020).
29. Антропоморфный робот NAO. URL: http://aldebaran-robotics.com/en (дата обра-щения: 05.01.2020).
30. Полонников Р.И. Основные концепции общей теории информации // СПб.: Наука. 2006. 204 с.
Application of Brain-computer Interfaces in Assistive Technologies
Abstract
In the paper issues of brain-computer interface applications in assistive technologies are considered in particular for robotic devices control. Noninvasive brain-computer interfaces are built based on the classification of electroencephalographic signals, which show bioelectrical activity in different zones of the brain. Such brain-computer interfaces after training are able to decode electroencephalographic patterns corresponding to different imaginary movements and patterns corresponding to different audio-visual stimulus. The requirements which must be met by brain-computer interfaces operating in real time, so that biological feedback is effective and the user's brain can correctly associate responses with events are formulated. The process of electroencephalographic signal processing in noninvasive brain-computer interface is examined including spatial and temporal filtering, artifact removal, feature selection, and classification. Descriptions and comparison of classifiers based on support vector machines, artificial neural networks, and Riemann geometry are presented. It was shown that such classifiers can provide accuracy at the level of 60-80% for recognition of imaginary movements from two to four classes. Examples of application of the classifiers to control robotic devices were presented. The approach is intended both to help healthy users to perform daily functions better and to increase the quality of life of people with movement disabilities. Tasks to increase the efficiency of technology application are formulated.
Опубликован
Как цитировать
Раздел
Copyright (c) Филипп Викторович Гунделах, Лев Александрович Станкевич, Константин Михайлович Сонькин, Жанна Владимировна Нагорнова, Наталья Вячеславовна Шемякина
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).