Метод интеллектуальной локализации взгляда на основе анализа ЭЭГ с использованием носимой головной повязки
Ключевые слова:
отслеживание глаз, ЭЭГ, нейронные сети, носимый ЭЭГ, обучение с учителем, обучение без учителяАннотация
В стремительно развивающейся цифровой эпохе интерфейсы человеко-машинного взаимодействия непрерывно совершенствуется. Традиционные методы взаимодействия с компьютером, такие как мышь и клавиатура, дополняются и даже заменяются более интуитивными способами, которые включают технологии отслеживания глаз. Обычные методы отслеживания глаз используют камеры, которые отслеживают направление взгляда, но имеют свои ограничения. Альтернативным и многообещающим подходом к отслеживанию глаз является использование электроэнцефалографии, техники измерения активности мозга. Исторически ЭЭГ была ограничена в основном лабораторными условиями. Однако мобильные и доступные устройства для ЭЭГ появляются на рынке, предлагая более универсальное и эффективное средство для регистрации биопотенциалов. В данной статье представлен метод локализации взгляда с использованием электроэнцефалографии, полученной с помощью мобильного регистратора ЭЭГ в виде носимой головной повязки (компании BrainBit). Это исследование направлено на декодирование нейрональных паттернов, связанных с разными направлениями взгляда, с использованием продвинутых методов машинного обучения, в частности, нейронных сетей. Поиск паттернов выполняется как с использованием данных, полученных с помощью носимых очков с камерой для отслеживания глаз, так и с использованием неразмеченных данных. Полученные в исследовании результаты демонстрируют наличие зависимости между движением глаз и ЭЭГ, которая может быть описана и распознана с помощью предсказательной модели. Данная интеграция мобильной технологии ЭЭГ с методами отслеживания глаз предлагает портативное и удобное решение, которое может быть применено в различных областях, включающих медицинские исследования и разработку более интуитивных компьютерных интерфейсов.
Литература
2. Jagla F., Jergelova M., Riecansky I. Saccadic eye movement related potentials. Physiological Research. 2007. vol. 56. no. 6. pp. 707–713. DOI: 10.33549/physiolres.931368.
3. Krigolson O.E., Williams C.C., Norton A., Hassall C.D., Colino F.L. Choosing MUSE: Validation of a Low-Cost, Portable EEG System for ERP Research // Frontiers in Neuroscience. 2017. vol. 11. DOI: 10.3389/fnins.2017.00109.
4. Brainbit. Brainbit Manual. URL: http://brainbit.com/ (accessed 09/01/2023).
5. Georgiadis K., Kalaganis F.P., Riskos K., Matta E., Oikonomou V.P., Yfantidou I., Chantziaras D., Pantouvakis K., Nikolopoulos S., Laskaris N.A., Kompatsiaris I.. NeuMa – the absolute Neuromarketing dataset en route to an holistic understanding of consumer behaviour // Scientific Data. 2023. vol. 10(1). no. 508. DOI: 10.1038/s41597-023-02392-9.
6. Plochl M., Ossandon J., Konig P. Combining EEG and eye tracking: identification, characterization, and correction of eye movement artifacts in electroencephalographic data // Frontiers in Human Neuroscience. 2012. vol. 6. no. 278. URL: https://www.frontiersin.org/articles/10.3389/fnhum.2012.00278.
7. Antoniou E., Bozios P., Christou V., Tzimourta K.D., Kalafatakis K.G. Tsipouras M., Giannakeas N., Tzallas A.T. EEG-Based Eye Movement Recognition Using Brain-Computer Interface and Random Forests // Sensors. 2021. vol. 21. no. 7. no. 2339. DOI: 10.3390/s21072339.
8. Shahbakhti M., Beiramvand M., Nazari M., Broniec-Wojcik A., Augustyniak P., Rodrigues A.S., Wierzchon M., Marozas V. VME-DWT: An Efficient Algorithm for Detection and Elimination of Eye Blink From Short Segments of Single EEG Channel // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2021. vol. 29. pp. 408–417.
9. Stone D.B., Tamburro G., Fiedler P., Haueisen J., Comani S. Automatic Removal of Physiological Artifacts in EEG: The Optimized Fingerprint Method for Sports Science Applications // Frontiers in Human Neuroscience. 2018. vol. 12. no. 96.
10. Maddirala A.K., Veluvolu K. Eye-blink artifact removal from single channel EEG with k-means and SSA // Scientific Reports. 2021. vol. 11(1). no. 11043.
11. Klug M., Jeung S., Wunderlich A., Gehrke L., Protzak J., Djebbara Z., Argubi-Wollesen A., Wollesen B., Gramann K. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data // bioRxiv. 2022. DOI: 10.1101/2022.09.29.510051.
12. Han J., Jiang G., Ouyang G., Li X. A Multimodal Approach for Identifying Autism Spectrum Disorders in Children // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2022. vol. 30. pp. 2003–2011.
13. Ahtola E., Stjerna S., Stevenson N., Vanhatalo S. Use of eye tracking improves the detection of evoked responses to complex visual stimuli during EEG in infants // Clinical Neurophysiology Practice. 2017. vol. 2. pp. 81–90. URL: https://www.sciencedirect.com/science/article/pii/S2467981X17300070.
14. Wang Y., Yu S., Ma N., Wang J., Hu Z., Liu Z., He J. Prediction of product design decision Making: An investigation of eye movements and EEG features // Advanced Engineering Informatics. 2020. vol. 45. no. 101095. DOI: 10.1016/j.aei.2020.101095.
15. Reiser J., Wascher E., Arnau S. Recording mobile EEG in an outdoor environment reveals cognitive-motor interference dependent on movement complexity // Scientific Reports. 2019. vol. 9(1). no. 13704.
16. Buerkle A., Bamber T., Lohse N., Ferreira P. Feasibility of Detecting Potential Emergencies in Symbiotic Human-Robot Collaboration with a mobile EEG // Robotics and Computer-Integrated Manufacturing. 2021. vol. 72. no. 102179.
17. Klug M., Gramann K. Identifying key factors for improving ICA-based decomposition of EEG data in mobile and stationary experiments // European Journal of Neuroscience. 2021. vol. 54. no. 12. pp. 8406–8420.
18. Chiu N.-T., Huwiler S., Ferster M.L., Karlen W., Wu H.-T., Lustenberger C. Get rid of the beat in mobile EEG applications: A framework towards automated cardiogenic artifact detection and removal in single-channel EEG // Biomedical Signal Processing and Control. 2022. vol. 72. no. 103220. DOI: 10.1016/j.bspc.2021.103220.
19. Barz M., Sonntag D. Automatic Visual Attention Detection for Mobile Eye Tracking Using Pre-Trained Computer Vision Models and Human Gaze // Sensors. 2021. vol. 21(12). no. 4143. DOI: 10.3390/s21124143.
20. Zhou C., Shi Z., Huang T., Zhao H., Kaner J. Impact of swiping direction on the interaction performance of elderly-oriented smart home interface: EEG and eye-tracking evidence // Frontiers in Psychology. 2023. vol. 14.
21. Tonsen M., Baumann C., Dierkes K. A High-Level Description and Performance Evaluation of Pupil Invisible. arXiv preprint arXiv:2009.00508. 2020.
Опубликован
Как цитировать
Раздел
Copyright (c) Владимир Русланович Романюк, Алексей Михайлович Кашевник
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).