Методы классификации ЭЭГ-паттернов воображаемых движений
Ключевые слова:
электроэнцефалографические паттерны, воображаемые движения, риманова геометрия, методы глубокого обучения, искусственные нейронные сетиАннотация
Рассматриваются наиболее перспективные методы классификации электроэнцефалографических сигналов при разработке неинвазивных интерфейсов мозг–компьютер и теоретических подходов для успешной классификации электроэнцефалографических паттернов. Приводится обзор работ, использующих для классификации риманову геометрию, методы глубокого обучения и различные варианты предобработки и кластеризации электроэнцефалографических сигналов, например общего пространственного фильтра. Среди прочих подходов предобработка электроэнцефалографических сигналов с применением общего пространственного фильтра часто используется как в офлайн, так и в онлайн режимах. Согласно исследованиям последних лет сочетание общего пространственного фильтра, линейного дискриминантного анализа, метода опорных векторов и нейронной сети с обратным распространением ошибки позволило достигнуть 91% точности при двухклассовой классификации с обратной связью в виде управления экзоскелетом. Исследований по использованию римановой геометрии в условиях онлайн очень мало, и на данный момент наилучшая точность при двухклассовой классификации составляет 69,3%. При этом в офлайн тестировании средний процент классификации в рассмотренных статьях для подходов с применением общего пространственного фильтра – 77,5±5,8%, сетей глубокого обучения – 81,7±4,7%, римановой геометрии – 90,2±6,6%. За счет нелинейных преобразований методы, основанные на римановой геометрии, а также на применении глубоких нейронных сетей сложной архитектуры, обеспечивают большую точность и способность к извлечению полезной информации из сигнала по сравнению с линейным преобразованием общего пространственного фильтра. Однако в условиях реального времени важна не только точность, но и минимальная временная задержка. Здесь преимущество может быть за подходами с использованием преобразования общего пространственного фильтра и римановой геометрии с временной задержкой менее 500 мс.
Литература
1. Официальный сайт базы данных медицинских и биологических публикаций Pubmed, созданной Национальным центром биотехнологической информации США. URL: https://pubmed.ncbi.nlm.nih.gov (дата обращения: 15.01.2021).
2. Tang Z. et al. A Brain-Machine Interface Based on ERD/ERS for an Upper-Limb Exoskeleton Control // Sensors. 2016. vol. 16. no. 12. pp. 2050.
3. Romero-Laiseca M.A. et al. A Low-Cost Lower-Limb Brain-Machine Interface Triggered by Pedaling Motor Imagery for Post-Stroke Patients Rehabilitation // IEEE Trans. Neural Syst. Rehabil. Eng. 2020. vol. 28. pp. 988–996.
4. Belwafi K. et al. An embedded implementation based on adaptive filter bank for brain–computer interface systems // Journal of Neuroscience Methods. 2018. vol. 305. pp. 1–16.
5. Cervera M.A. et al. Brain-computer interfaces for post-stroke motor rehabilitation: a meta-analysis // Ann. Clin. Transl. Neurol. 2018. vol. 5. no. 5. pp. 651–663.
6. Bockbrader M.A. et al. Brain Computer Interfaces in Rehabilitation Medicine // PM&R. 2018. vol. 10. no. 9. pp. S233–S243.
7. Бирюкова Е.В. и др. Восстановление двигательной функции руки с помощью экзоскелета кисти, управляемого интерфейсом мозг-компьютер. случай пациента с обширным поражением мозговых структур // Физиология человека. 2016. Т. 42. № 1. С. 19–30.
8. Asensio-Cubero J., Gan J.Q., Palaniappan R. Multiresolution analysis over graphs for a motor imagery based online BCI game // Comput. Biol. Med. 2016. vol. 68. pp. 21–26.
9. Stankevich L.A. et al. EEG pattern decoding of rhythmic individual finger imaginary movements of one hand // Human Physiology. 2016. vol. 42. no. 1. pp. 32.
10. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update // J Neural Eng. 2018. vol. 15. no. 3. pp. 031005.
11. Zhao X., Zhao J., Liu C., Cai W. Deep Neural Network with Joint Distribution Matching for Cross-Subject Motor Imagery Brain-Computer Interfaces // Biomed. Res. Int. 2020. vol. 2020. no. 7285057.
12. Sonkin K.M. et al. Development of electroencephalographic pattern classifiers for real and imaginary thumb and index finger movements of one hand // Artif Intell Med. 2015. vol. 63. no. 2. pp. 107–117.
13. Xu L. et al. Cross-Dataset Variability Problem in EEG Decoding With Deep Learning // Front. Hum. Neurosci. 2020. vol. 14. pp. 103.
14. Zanini P. et al. Transfer Learning: A Riemannian Geometry Framework With Applications to Brain-Computer Interfaces // IEEE Trans. Biomed. Eng. 2018. vol. 65. no. 5. pp. 1107–1116.
15. Rodrigues P.L.C., Jutten C., Congedo M. Riemannian Procrustes Analysis: Transfer Learning for Brain-Computer Interfaces // IEEE Trans. Biomed. Eng. 2019. vol. 66. no. 8. pp. 2390–2401.
16. Ai Q. et al. Feature extraction of four-class motor imagery EEG signals based on functional brain network // J. Neural Eng. 2019. vol. 16. no. 2. pp. 026032.
17. Schirrmeister R.T. et al. Deep learning with convolutional neural networks for EEG decoding and visualization // Human Brain Mapping. 2017. vol. 38. no. 11. pp. 5391–5420.
18. Hartmann K. G., Schirrmeister R. T., Ball T. EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals // arXiv.org. 2018. URL: http://arxiv.org/abs/1806.01875 (дата обращения: 07.09.2020).
19. Yang B. et al. A Framework on Optimization Strategy for EEG Motor Imagery Recognition. Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2019. pp. 774–777.
20. Ang K.K. et al. Filter Bank Common Spatial Pattern Algorithm on BCI Competition IV Datasets 2a and 2b // Front. Neurosci. 2012. vol. 6. no. 39.
21. Gaur P., Pachori R.B., Wang H., Prasad G. A multi-class EEG-based BCI classification using multivariate empirical mode decomposition based filtering and Riemannian geometry // Expert Systems with Applications. 2018. vol. 95. pp. 201–211.
22. McFarland D.J., McCane L.M., David S.V., Wolpaw J. R. Spatial filter selection for EEG-based communication // Electroencephalography and Clinical Neurophysiology. 1997. vol. 103. no. 3. pp. 386–394.
23. Fukunaga K. Introduction to Statistical Pattern Recognition (2nd ed.) // New York: Academic Press. 1990. 592 p.
24. Ramoser H., Müller-Gerking J., Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement // IEEE Trans. Rehab. Eng. 2000. vol. 8. no. 4. pp. 441–446.
25. Müller-Gerking J., Pfurtscheller G., Flyvbjerg H. Designing optimal spatial filters for single-trial EEG classification in a movement task // Electroenc. Clin. Neurophys. 1999. vol. 110. no. 5. pp. 787–798.
26. Meng J. et al. Noninvasive Electroencephalogram Based Control of a Robotic Arm for Reach and Grasp Tasks // Sci. Rep. 2016. vol 6. no. 38565.
27. Barachant A., Bonnet S., Congedo M., Jutten C. Multiclass Brain–Computer Interface Classification by Riemannian Geometry // IEEE Trans. Biomed. Eng. 2012. vol. 59. no. 4. pp. 920–928.
28. Lei B. et al. Walking Imagery Evaluation in Brain Computer Interfaces via a Multi-View Multi-Level Deep Polynomial Network // IEEE Trans. Neural Syst. Rehabil. Eng. 2019. vol. 27. no. 3. pp. 497–506.
29. Zhang Z. et al. Modeling EEG-based Motor Imagery with Session to Session Online Adaptation. Proceedings of the 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2018. pp. 1988–1991.
30. Majidov I., Whangbo T. Efficient Classification of Motor Imagery Electroencephalography Signals Using Deep Learning Methods // Sensors. 2019. vol. 19. no. 7. pp. 1736.
31. Delisle-Rodriguez D. et al. System based on subject-specific bands to recognize pedaling motor imagery: towards a BCI for lower-limb rehabilitation // J. Neural Eng. 2019. vol. 16. no. 056005.
32. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces // J. Neural Eng. 2007. vol. 4. no. 2. pp. R1.
33. Guan S., Zhao K., Yang S. Motor Imagery EEG Classification Based on Decision Tree Framework and Riemannian Geometry // Computational Intelligence and Neuroscience. 2019. vol. 2019. no. 5627156.
34. Frolov A.A. et al. Post-stroke Rehabilitation Training with a Motor-Imagery-Based Brain-Computer Interface (BCI)-Controlled Hand Exoskeleton: A Randomized Controlled Multicenter Trial // Front. Neurosci. 2017. vol. 11. pp. 400.
35. Lisi G., Rivela D., Takai A., Morimoto J. Markov Switching Model for Quick Detection of Event Related Desynchronization in EEG // Front. Neurosci. 2018. vol. 12. p. 24. doi: 10.3389/fnins.2018.00024
36. Lawhern V.J. et al. EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces // J. Neural Eng. 2018. vol. 15. no. 056013.
37. Tayeb Z. et al. Validating Deep Neural Networks for Online Decoding of Motor Imagery Movements from EEG Signals // Sensors. 2019. vol. 19. no. 1. p. 210.
38. Schalk G. et al. BCI2000: A General-Purpose Brain-Computer Interface (BCI) System // IEEE TBME. 2004. vol. 51. no. 6. pp. 1034–1043.
39. Gramfort A. et al. MEG and EEG data analysis with MNE-Python // Front. Neurosci. 2013. vol. 7. pp. 267.
40. Tangermann M. et al. Review of the BCI Competition IV // Front. Neurosci. 2012. vol. 6. pp. 5.
41. Manton J.H. A globally convergent numerical algorithm for computing the centre of mass on compact Lie groups // Proceedings of the ICARCV Conference. 2004. pp. 2211–2216.
42. Barachant A., Bonnet S., Congedo M., Jutten C. Classification of covariance matrices using a Riemannian-based kernel for BCI applications // Neurocomputing. 2013. vol. 112. pp. 172–178.
43. Congedo M., Barachant A. A special form of SPD covariance matrix for interpretation and visualization of data manipulated with Riemannian geometry. Proceedings of the Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2014. pp. 495–503.
44. Haykin S. Neural Networks: A Comprehensive Foundation (2 ed.). // Prentice Hall, 1998. 842 p.
45. Hinton G. E., Salakhutdinov R.R. Reducing the Dimensionality of Data with Neural Networks // Science. 2006. vol. 313. no. 5786. pp. 504–507.
46. LeCun Y. et al. Backpropagation Applied to Handwritten Zip Code Recognition // Neural Computation. 1989. vol. 1. no. 4. pp. 541–551.
47. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. vol. 9. no. 8. pp. 1735–1780.
48. Brunner C., Leeb R., Mueller-Putz G., Schlögl A., Pfurtscheller G. BCI Competition 2008 – Graz data set A. URL: http://bbci.de/competition/iv/desc_2a.pdf (дата обращения: 07.09.2020).
49. Zhang R., Zong Q., Dou L., Zhao X. A novel hybrid deep learning scheme for four-class motor imagery classification // J. Neural Eng. 2019. vol. 16. no. 6. pp. 066004.
50. Li Y. et al. A Channel-Projection Mixed-Scale Convolutional Neural Network for Motor Imagery EEG Decoding // IEEE Trans. Neural Syst. Rehabil. Eng. 2019. vol. 27. no. 6. pp. 1170–1180.
51. Sakhavi S., Guan C., Yan S. Learning Temporal Information for Brain-Computer Interface Using Convolutional Neural Networks // IEEE Trans. Neural Netw. Learning Syst. 2018. vol. 29. no. 11. pp. 5619–5629.
52. Luo T., Zhou C., Chao F. Exploring spatial-frequency-sequential relationships for motor imagery classification with recurrent neural network // BMC Bioinformatics. 2018. vol. 19. no. 344.
53. Xie X. et al. Motor Imagery Classification Based on Bilinear Sub-Manifold Learning of Symmetric Positive-Definite Matrices // IEEE Trans. Neural Syst. Rehabil. Eng. 2016. vol. 25. no. 6. pp. 504–516.
54. Meng J. et al. A Study of the Effects of Electrode Number and Decoding Algorithm on Online EEG-Based BCI Behavioral Performance // Front. Neurosci. 2018. vol. 12. pp. 227.
55. Singh A., Lal S., Guesgen H. Reduce Calibration Time in Motor Imagery Using Spatially Regularized Symmetric Positives-Definite Matrices Based Classification // Sensors. 2019. vol. 19. no. 2. pp. 379.
56. Gurve D. et al. Subject-specific EEG channel selection using non-negative matrix factorization for lower-limb motor imagery recognition // J. Neural Eng. 2020. vol. 17. no. 2. p. 026029.
57. Kumar S., Mamun K., Sharma A. CSP-TSM: Optimizing the performance of Riemannian tangent space mapping using common spatial pattern for MI-BCI // Computers in Biology and Medicine. 2017. vol. 91. pp. 231–242.
58. Ha K.-W., Jeong J.-W. Motor Imagery EEG Classification Using Capsule Networks // Sensors. 2019. vol. 19. no. 13. pp. 2854.
59. Dai M. et al. EEG Classification of Motor Imagery Using a Novel Deep Learning Framework // Sensors. 2019. vol. 19. no. 3. pp. 551.
60. Chu Y. et al. A Decoding Scheme for Incomplete Motor Imagery EEG With Deep Belief Network // Front. Neurosci. 2018. vol. 12. pp. 680.
61. Wu H et al. A Parallel Multiscale Filter Bank Convolutional Neural Networks for Motor Imagery EEG Classification // Front. Neurosci. 2019. vol. 13. pp. 1275.
62. Tang X.-L., Ma W.-C., Kong D.-S., Li W. Semisupervised Deep Stacking Network with Adaptive Learning Rate Strategy for Motor Imagery EEG Recognition // Neural Computation. 2019. vol. 31. no. 5. pp. 919–942. doi:10.1162/neco_a_01183
63. Foong R. et al. Assessment of the Efficacy of EEG-Based MI-BCI With Visual Feedback and EEG Correlates of Mental Fatigue for Upper-Limb Stroke Rehabilitation // IEEE Trans. Biomed. Eng. 2020. vol. 67. no. 3. pp. 786–795.
64. Shemyakina N.V., Dan’ko S.G. Changes in the power and coherence of the β2 EEG band in subjects performing creative tasks using emotionally significant and emotionally neutral words // Hum. Physiol. 2007. vol. 33. pp. 20–26.
65. Шемякина Н.В., Данько С.Г. Влияние эмоциональной окраски воспринимаемого сигнала на электроэнцефалографические корреляты творческой деятельности // Физиология человека. 2004. Т. 30. № 2. С. 22–29.
66. Schmidt H., Avitabile D., Montbrió E., Roxin A. Network mechanisms underlying the role of oscillations in cognitive tasks // PLoS Comput. Biol. 2018. vol. 14. no. 9. pp. e1006430. doi: 10.1371/journal.pcbi.1006430. PMID: 30188889; PMCID: PMC6143269.
67. Neuper C., Scherer R., Reiner M., Pfurtscheller G. Imagery of motor actions: differential effects of kinesthetic and visual-motor mode of imagery in single-trial EEG // Cogn. Brain. Res. 2005. vol. 25. no. 3. pp. 668–677.
68. She Q. et al. A hierarchical semi-supervised extreme learning machine method for EEG recognition // Med. Biol. Eng. Comput. 2019. vol. 57. pp. 147–157.
69. Costa A.P., Møller J.S., Iversen H.K., Puthusserypady S. An adaptive CSP filter to investigate user independence in a 3-class MI-BCI paradigm // Comput. Biol. Med. 2018. vol. 103. pp. 24–33.
2. Tang Z. et al. A Brain-Machine Interface Based on ERD/ERS for an Upper-Limb Exoskeleton Control // Sensors. 2016. vol. 16. no. 12. pp. 2050.
3. Romero-Laiseca M.A. et al. A Low-Cost Lower-Limb Brain-Machine Interface Triggered by Pedaling Motor Imagery for Post-Stroke Patients Rehabilitation // IEEE Trans. Neural Syst. Rehabil. Eng. 2020. vol. 28. pp. 988–996.
4. Belwafi K. et al. An embedded implementation based on adaptive filter bank for brain–computer interface systems // Journal of Neuroscience Methods. 2018. vol. 305. pp. 1–16.
5. Cervera M.A. et al. Brain-computer interfaces for post-stroke motor rehabilitation: a meta-analysis // Ann. Clin. Transl. Neurol. 2018. vol. 5. no. 5. pp. 651–663.
6. Bockbrader M.A. et al. Brain Computer Interfaces in Rehabilitation Medicine // PM&R. 2018. vol. 10. no. 9. pp. S233–S243.
7. Бирюкова Е.В. и др. Восстановление двигательной функции руки с помощью экзоскелета кисти, управляемого интерфейсом мозг-компьютер. случай пациента с обширным поражением мозговых структур // Физиология человека. 2016. Т. 42. № 1. С. 19–30.
8. Asensio-Cubero J., Gan J.Q., Palaniappan R. Multiresolution analysis over graphs for a motor imagery based online BCI game // Comput. Biol. Med. 2016. vol. 68. pp. 21–26.
9. Stankevich L.A. et al. EEG pattern decoding of rhythmic individual finger imaginary movements of one hand // Human Physiology. 2016. vol. 42. no. 1. pp. 32.
10. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces: a 10 year update // J Neural Eng. 2018. vol. 15. no. 3. pp. 031005.
11. Zhao X., Zhao J., Liu C., Cai W. Deep Neural Network with Joint Distribution Matching for Cross-Subject Motor Imagery Brain-Computer Interfaces // Biomed. Res. Int. 2020. vol. 2020. no. 7285057.
12. Sonkin K.M. et al. Development of electroencephalographic pattern classifiers for real and imaginary thumb and index finger movements of one hand // Artif Intell Med. 2015. vol. 63. no. 2. pp. 107–117.
13. Xu L. et al. Cross-Dataset Variability Problem in EEG Decoding With Deep Learning // Front. Hum. Neurosci. 2020. vol. 14. pp. 103.
14. Zanini P. et al. Transfer Learning: A Riemannian Geometry Framework With Applications to Brain-Computer Interfaces // IEEE Trans. Biomed. Eng. 2018. vol. 65. no. 5. pp. 1107–1116.
15. Rodrigues P.L.C., Jutten C., Congedo M. Riemannian Procrustes Analysis: Transfer Learning for Brain-Computer Interfaces // IEEE Trans. Biomed. Eng. 2019. vol. 66. no. 8. pp. 2390–2401.
16. Ai Q. et al. Feature extraction of four-class motor imagery EEG signals based on functional brain network // J. Neural Eng. 2019. vol. 16. no. 2. pp. 026032.
17. Schirrmeister R.T. et al. Deep learning with convolutional neural networks for EEG decoding and visualization // Human Brain Mapping. 2017. vol. 38. no. 11. pp. 5391–5420.
18. Hartmann K. G., Schirrmeister R. T., Ball T. EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals // arXiv.org. 2018. URL: http://arxiv.org/abs/1806.01875 (дата обращения: 07.09.2020).
19. Yang B. et al. A Framework on Optimization Strategy for EEG Motor Imagery Recognition. Proceedings of the 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2019. pp. 774–777.
20. Ang K.K. et al. Filter Bank Common Spatial Pattern Algorithm on BCI Competition IV Datasets 2a and 2b // Front. Neurosci. 2012. vol. 6. no. 39.
21. Gaur P., Pachori R.B., Wang H., Prasad G. A multi-class EEG-based BCI classification using multivariate empirical mode decomposition based filtering and Riemannian geometry // Expert Systems with Applications. 2018. vol. 95. pp. 201–211.
22. McFarland D.J., McCane L.M., David S.V., Wolpaw J. R. Spatial filter selection for EEG-based communication // Electroencephalography and Clinical Neurophysiology. 1997. vol. 103. no. 3. pp. 386–394.
23. Fukunaga K. Introduction to Statistical Pattern Recognition (2nd ed.) // New York: Academic Press. 1990. 592 p.
24. Ramoser H., Müller-Gerking J., Pfurtscheller G. Optimal spatial filtering of single trial EEG during imagined hand movement // IEEE Trans. Rehab. Eng. 2000. vol. 8. no. 4. pp. 441–446.
25. Müller-Gerking J., Pfurtscheller G., Flyvbjerg H. Designing optimal spatial filters for single-trial EEG classification in a movement task // Electroenc. Clin. Neurophys. 1999. vol. 110. no. 5. pp. 787–798.
26. Meng J. et al. Noninvasive Electroencephalogram Based Control of a Robotic Arm for Reach and Grasp Tasks // Sci. Rep. 2016. vol 6. no. 38565.
27. Barachant A., Bonnet S., Congedo M., Jutten C. Multiclass Brain–Computer Interface Classification by Riemannian Geometry // IEEE Trans. Biomed. Eng. 2012. vol. 59. no. 4. pp. 920–928.
28. Lei B. et al. Walking Imagery Evaluation in Brain Computer Interfaces via a Multi-View Multi-Level Deep Polynomial Network // IEEE Trans. Neural Syst. Rehabil. Eng. 2019. vol. 27. no. 3. pp. 497–506.
29. Zhang Z. et al. Modeling EEG-based Motor Imagery with Session to Session Online Adaptation. Proceedings of the 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2018. pp. 1988–1991.
30. Majidov I., Whangbo T. Efficient Classification of Motor Imagery Electroencephalography Signals Using Deep Learning Methods // Sensors. 2019. vol. 19. no. 7. pp. 1736.
31. Delisle-Rodriguez D. et al. System based on subject-specific bands to recognize pedaling motor imagery: towards a BCI for lower-limb rehabilitation // J. Neural Eng. 2019. vol. 16. no. 056005.
32. Lotte F. et al. A review of classification algorithms for EEG-based brain-computer interfaces // J. Neural Eng. 2007. vol. 4. no. 2. pp. R1.
33. Guan S., Zhao K., Yang S. Motor Imagery EEG Classification Based on Decision Tree Framework and Riemannian Geometry // Computational Intelligence and Neuroscience. 2019. vol. 2019. no. 5627156.
34. Frolov A.A. et al. Post-stroke Rehabilitation Training with a Motor-Imagery-Based Brain-Computer Interface (BCI)-Controlled Hand Exoskeleton: A Randomized Controlled Multicenter Trial // Front. Neurosci. 2017. vol. 11. pp. 400.
35. Lisi G., Rivela D., Takai A., Morimoto J. Markov Switching Model for Quick Detection of Event Related Desynchronization in EEG // Front. Neurosci. 2018. vol. 12. p. 24. doi: 10.3389/fnins.2018.00024
36. Lawhern V.J. et al. EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces // J. Neural Eng. 2018. vol. 15. no. 056013.
37. Tayeb Z. et al. Validating Deep Neural Networks for Online Decoding of Motor Imagery Movements from EEG Signals // Sensors. 2019. vol. 19. no. 1. p. 210.
38. Schalk G. et al. BCI2000: A General-Purpose Brain-Computer Interface (BCI) System // IEEE TBME. 2004. vol. 51. no. 6. pp. 1034–1043.
39. Gramfort A. et al. MEG and EEG data analysis with MNE-Python // Front. Neurosci. 2013. vol. 7. pp. 267.
40. Tangermann M. et al. Review of the BCI Competition IV // Front. Neurosci. 2012. vol. 6. pp. 5.
41. Manton J.H. A globally convergent numerical algorithm for computing the centre of mass on compact Lie groups // Proceedings of the ICARCV Conference. 2004. pp. 2211–2216.
42. Barachant A., Bonnet S., Congedo M., Jutten C. Classification of covariance matrices using a Riemannian-based kernel for BCI applications // Neurocomputing. 2013. vol. 112. pp. 172–178.
43. Congedo M., Barachant A. A special form of SPD covariance matrix for interpretation and visualization of data manipulated with Riemannian geometry. Proceedings of the Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2014. pp. 495–503.
44. Haykin S. Neural Networks: A Comprehensive Foundation (2 ed.). // Prentice Hall, 1998. 842 p.
45. Hinton G. E., Salakhutdinov R.R. Reducing the Dimensionality of Data with Neural Networks // Science. 2006. vol. 313. no. 5786. pp. 504–507.
46. LeCun Y. et al. Backpropagation Applied to Handwritten Zip Code Recognition // Neural Computation. 1989. vol. 1. no. 4. pp. 541–551.
47. Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. vol. 9. no. 8. pp. 1735–1780.
48. Brunner C., Leeb R., Mueller-Putz G., Schlögl A., Pfurtscheller G. BCI Competition 2008 – Graz data set A. URL: http://bbci.de/competition/iv/desc_2a.pdf (дата обращения: 07.09.2020).
49. Zhang R., Zong Q., Dou L., Zhao X. A novel hybrid deep learning scheme for four-class motor imagery classification // J. Neural Eng. 2019. vol. 16. no. 6. pp. 066004.
50. Li Y. et al. A Channel-Projection Mixed-Scale Convolutional Neural Network for Motor Imagery EEG Decoding // IEEE Trans. Neural Syst. Rehabil. Eng. 2019. vol. 27. no. 6. pp. 1170–1180.
51. Sakhavi S., Guan C., Yan S. Learning Temporal Information for Brain-Computer Interface Using Convolutional Neural Networks // IEEE Trans. Neural Netw. Learning Syst. 2018. vol. 29. no. 11. pp. 5619–5629.
52. Luo T., Zhou C., Chao F. Exploring spatial-frequency-sequential relationships for motor imagery classification with recurrent neural network // BMC Bioinformatics. 2018. vol. 19. no. 344.
53. Xie X. et al. Motor Imagery Classification Based on Bilinear Sub-Manifold Learning of Symmetric Positive-Definite Matrices // IEEE Trans. Neural Syst. Rehabil. Eng. 2016. vol. 25. no. 6. pp. 504–516.
54. Meng J. et al. A Study of the Effects of Electrode Number and Decoding Algorithm on Online EEG-Based BCI Behavioral Performance // Front. Neurosci. 2018. vol. 12. pp. 227.
55. Singh A., Lal S., Guesgen H. Reduce Calibration Time in Motor Imagery Using Spatially Regularized Symmetric Positives-Definite Matrices Based Classification // Sensors. 2019. vol. 19. no. 2. pp. 379.
56. Gurve D. et al. Subject-specific EEG channel selection using non-negative matrix factorization for lower-limb motor imagery recognition // J. Neural Eng. 2020. vol. 17. no. 2. p. 026029.
57. Kumar S., Mamun K., Sharma A. CSP-TSM: Optimizing the performance of Riemannian tangent space mapping using common spatial pattern for MI-BCI // Computers in Biology and Medicine. 2017. vol. 91. pp. 231–242.
58. Ha K.-W., Jeong J.-W. Motor Imagery EEG Classification Using Capsule Networks // Sensors. 2019. vol. 19. no. 13. pp. 2854.
59. Dai M. et al. EEG Classification of Motor Imagery Using a Novel Deep Learning Framework // Sensors. 2019. vol. 19. no. 3. pp. 551.
60. Chu Y. et al. A Decoding Scheme for Incomplete Motor Imagery EEG With Deep Belief Network // Front. Neurosci. 2018. vol. 12. pp. 680.
61. Wu H et al. A Parallel Multiscale Filter Bank Convolutional Neural Networks for Motor Imagery EEG Classification // Front. Neurosci. 2019. vol. 13. pp. 1275.
62. Tang X.-L., Ma W.-C., Kong D.-S., Li W. Semisupervised Deep Stacking Network with Adaptive Learning Rate Strategy for Motor Imagery EEG Recognition // Neural Computation. 2019. vol. 31. no. 5. pp. 919–942. doi:10.1162/neco_a_01183
63. Foong R. et al. Assessment of the Efficacy of EEG-Based MI-BCI With Visual Feedback and EEG Correlates of Mental Fatigue for Upper-Limb Stroke Rehabilitation // IEEE Trans. Biomed. Eng. 2020. vol. 67. no. 3. pp. 786–795.
64. Shemyakina N.V., Dan’ko S.G. Changes in the power and coherence of the β2 EEG band in subjects performing creative tasks using emotionally significant and emotionally neutral words // Hum. Physiol. 2007. vol. 33. pp. 20–26.
65. Шемякина Н.В., Данько С.Г. Влияние эмоциональной окраски воспринимаемого сигнала на электроэнцефалографические корреляты творческой деятельности // Физиология человека. 2004. Т. 30. № 2. С. 22–29.
66. Schmidt H., Avitabile D., Montbrió E., Roxin A. Network mechanisms underlying the role of oscillations in cognitive tasks // PLoS Comput. Biol. 2018. vol. 14. no. 9. pp. e1006430. doi: 10.1371/journal.pcbi.1006430. PMID: 30188889; PMCID: PMC6143269.
67. Neuper C., Scherer R., Reiner M., Pfurtscheller G. Imagery of motor actions: differential effects of kinesthetic and visual-motor mode of imagery in single-trial EEG // Cogn. Brain. Res. 2005. vol. 25. no. 3. pp. 668–677.
68. She Q. et al. A hierarchical semi-supervised extreme learning machine method for EEG recognition // Med. Biol. Eng. Comput. 2019. vol. 57. pp. 147–157.
69. Costa A.P., Møller J.S., Iversen H.K., Puthusserypady S. An adaptive CSP filter to investigate user independence in a 3-class MI-BCI paradigm // Comput. Biol. Med. 2018. vol. 103. pp. 24–33.
Опубликован
2021-02-08
Как цитировать
Капралов, Н. В., Нагорнова, Ж. В., & Шемякина, Н. В. (2021). Методы классификации ЭЭГ-паттернов воображаемых движений. Информатика и автоматизация, 20(1), 94-132. https://doi.org/10.15622/ia.2021.20.1.4
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Николай Владимирович Капралов, Жанна Владимировна Нагорнова, Наталья Вячеславовна Шемякина
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).