Структура и функции репликативного нейроподобного модуля
Ключевые слова:
эволюционное моделирование, декларативное программирование нейронных сетей, китайская комната, репликативный нейроподобный модуль, модель колонки неокортексаАннотация
Описывается технология построения нейросетевой системы искусственного интеллекта на стыке декларативного программирования и машинного обучения на основе моделирования кортикальных колонок. Используя доступный материал и сравнительно простые явления, эволюционные механизмы создали сложноорганизованные разумные системы. Из этого следует вывод, что искусственный интеллект также должен основываться на простых, но масштабируемых и биоправдоподобных алгоритмах, в которых стохастическая динамика корковых нейронных модулей позволяет быстро и эффективно находить решения сложных проблем. Цель исследования – алгоритмическая формализация на уровне репликативных нейросетевых комплексов. Базовый модуль искусственного интеллекта представлен как специализация и формализация понятия «китайская комната», введенного Джоном Сёрлом. Приведены результаты экспериментов по прогнозированию бинарных последовательностей. Компьютерная симуляця показала высокую эффективность реализации предложенных алгоритмов, при этом вместо использования для каждой задачи тщательно подобранного и адаптированного отдельного метода с частично эквивалентной переформулировкой задач были применены стандартный единый подход и единые параметры алгоритма. Делается вывод, что результаты экспериментов показывают возможность эффективных прикладных решений на базе предложенной технологии. Представленная технология позволяет создать самообучающиеся и планирующие деятельность системы.
Литература
1. Савельев А.В. Критический анализ функциональной роли модульной самоорганизации мозга // Нейрокомпьютеры: разработка и применение. 2008. № 5-6. С. 4–17.
2. Shi Y., Cao J. Finite-time synchronization of memristive Cohen–Grossberg neural networks with time delays // Neurocomputing. 2020. vol. 377. pp. 159–167.
3. Степанян И.В., Савельев А.В. Управление хаотическими свойствами нейрона // Нейрокомпьютеры: разработка, применение. 2016. № 6. C. 27–29.
4. Степанян И.В., Хомич А.В., Карпишук А.В. Принцип блочности в эволюционной оптимизации структур нейронных сетей // Нейрокомпьютеры: разработка и применение. 2006. № 3. С. 17–25.
5. Ruizheng J. et al. A Collective Intelligence Based Differential Evolution Algorithm for Optimizing the Structure and Parameters of a Neural Network // IEEE Access. 2020. vol. 8. pp. 69601–69614.
6. Beniaguev D., Idan S., London M. Single Cortical Neurons as Deep Artificial Neural Networks // bioRxiv. 2020. pp. 613141.
7. Engelken R., Fred W., Abbott L.F. Lyapunov spectra of chaotic recurrent neural net-works //2020. arXiv preprint arXiv:2006.02427.
8. Liu Q, Ulloa A, Horwitz B. Using a Large-scale Neural Model of Cortical Object Processing to Investigate the Neural Substrate for Managing Multiple Items in Short-term Memory // J Cogn Neurosci. 2017. vol. 29. no. 11. pp. 1860–1876.
9. Cabessa J, Villa A.E.P. An Attractor-Based Complexity Measurement for Boolean Recurrent Neural Networks // PLoS ONE. 2014. vol. 9. no. 4. pp. e94204.
10. Cao J., Cui H., Shi H., Jiao L. Big Data: A Parallel Particle Swarm Optimization-Back-Propagation Neural Network Algorithm Based on MapReduce // PLoS ONE. 2016. vol. 11(6). pp. e0157551.
11. Habenschuss S., Jonke Z., Maass W. Stochastic Computations in Cortical Microcircuit Models // PLoS Comput Biol. 2013. vol. 9(11). pp. e1003311.
12. Fry D.B. The development of the phonological system in the normal and deaf child // The genesis of language. 1966. pp. 187–206.
13. Lucas A. et al. Neural Networks for Modeling Neural Spiking in S1 Cortex // Front. Syst. Neurosci. 2019. vol. 13. pp. 13.
14. Teka W.W., Upadhyay R.K., Mondal A. Spiking and bursting patterns of fractional-order Izhikevich model // Communications in Nonlinear Science and Numerical Simulation. 2018. vol. 56. pp. 161–176.
15. Karam E. et al. Izhikevich Neuron Spike Model in LabVIEW // 2017 ASEE Northeast Section Conference. 2017.
16. Chambers J.D. et al. Computational Neural Modeling of Auditory Cortical Receptive Fields // Front Comput Neurosci. 2019. vol. 13. pp. 28.
17. Mycielski J., Swierczkowski S. A model of the neocortex // Advances in Applied Mathematics. 1988. vol. 9. no. 4. pp. 465–480.
18. Ahmad S., Hawkins J. How do neurons operate on sparse distributed representations? A mathematical theory of sparsity, neurons and active dendrites // 2016. arXiv pre-print arXiv:1601.00720.
19. Schnepel P.et al. Physiology and Impact of Horizontal Connections in Rat Neocor-tex // Cerebral Cortex. 2015. vol. 25. no. 10. pp. 3818–3835.
20. Vaz A.I.F., Vicente L.N. A particle swarm pattern search method for bound con-strained global optimization // Journal of Global Optimization. 2007. vol. 39. no. 2. pp. 197–219.
21. Momma M., Bennett K.P. A pattern search method for model selection of support vector regression // Proceedings of the 2002 SIAM International Conference on Data Mining. Society for Industrial and Applied Mathematics. 2002. pp. 261–274.
22. Audet C., Dennis Jr.J.E. A pattern search filter method for nonlinear programming without derivatives // SIAM Journal on Optimization. 2004. vol. 14. no. 4. pp. 980–1010.
23. Zhao Y., Zhou C.C. System and method for knowledge pattern search from networked agents // US Patent 8903756. 2014.
24. Torczon V. On the convergence of pattern search algorithms // SIAM Journal on opti-mization. 1997. vol. 7. no. 1. pp. 1–25.
25. Kamotsky D., Vargas M. System and method for performing a pattern matching search // US Patent 10565188. 2020.
26. da Silva L. E.B., Elnabarawy I., Wunsch D.C. A Survey of Adaptive Resonance Theo-ry Neural Network Models for Engineering Applications // Neural Networks. 2019. vol. 120. pp. 167–203.
27. Hecht-Nielsen R. Counterpropagation networks // Applied Optics. 1987. vol. 26. no. 23. pp. 4979–4984.
28. Pisano N.A. Searle’s Chinese Room Reconsidered // Rerum Causae. 2019. vol. 10(1).
29. Chen Y. Mechanisms of Winner-Take-All and Group Selection in Neuronal Spiking Networks // Front Comput Neurosci. 2017. vol. 11. pp. 20.
30. Çağatay H. et al. A Fair Version of the Chinese Room // Problemos. 2019. vol. 96. pp. 121–133.
31. Kussul E.; Baidyk T. Improved method of handwritten digit recognition tested on MNIST database // Image and Vision Computing. 2004. vol. 22. no. 12. pp. 971–981.
32. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Doc-ument Recognition // Proceedings of the IEEE. 1998. vol. 86. no. 11. pp. 22782324.
2. Shi Y., Cao J. Finite-time synchronization of memristive Cohen–Grossberg neural networks with time delays // Neurocomputing. 2020. vol. 377. pp. 159–167.
3. Степанян И.В., Савельев А.В. Управление хаотическими свойствами нейрона // Нейрокомпьютеры: разработка, применение. 2016. № 6. C. 27–29.
4. Степанян И.В., Хомич А.В., Карпишук А.В. Принцип блочности в эволюционной оптимизации структур нейронных сетей // Нейрокомпьютеры: разработка и применение. 2006. № 3. С. 17–25.
5. Ruizheng J. et al. A Collective Intelligence Based Differential Evolution Algorithm for Optimizing the Structure and Parameters of a Neural Network // IEEE Access. 2020. vol. 8. pp. 69601–69614.
6. Beniaguev D., Idan S., London M. Single Cortical Neurons as Deep Artificial Neural Networks // bioRxiv. 2020. pp. 613141.
7. Engelken R., Fred W., Abbott L.F. Lyapunov spectra of chaotic recurrent neural net-works //2020. arXiv preprint arXiv:2006.02427.
8. Liu Q, Ulloa A, Horwitz B. Using a Large-scale Neural Model of Cortical Object Processing to Investigate the Neural Substrate for Managing Multiple Items in Short-term Memory // J Cogn Neurosci. 2017. vol. 29. no. 11. pp. 1860–1876.
9. Cabessa J, Villa A.E.P. An Attractor-Based Complexity Measurement for Boolean Recurrent Neural Networks // PLoS ONE. 2014. vol. 9. no. 4. pp. e94204.
10. Cao J., Cui H., Shi H., Jiao L. Big Data: A Parallel Particle Swarm Optimization-Back-Propagation Neural Network Algorithm Based on MapReduce // PLoS ONE. 2016. vol. 11(6). pp. e0157551.
11. Habenschuss S., Jonke Z., Maass W. Stochastic Computations in Cortical Microcircuit Models // PLoS Comput Biol. 2013. vol. 9(11). pp. e1003311.
12. Fry D.B. The development of the phonological system in the normal and deaf child // The genesis of language. 1966. pp. 187–206.
13. Lucas A. et al. Neural Networks for Modeling Neural Spiking in S1 Cortex // Front. Syst. Neurosci. 2019. vol. 13. pp. 13.
14. Teka W.W., Upadhyay R.K., Mondal A. Spiking and bursting patterns of fractional-order Izhikevich model // Communications in Nonlinear Science and Numerical Simulation. 2018. vol. 56. pp. 161–176.
15. Karam E. et al. Izhikevich Neuron Spike Model in LabVIEW // 2017 ASEE Northeast Section Conference. 2017.
16. Chambers J.D. et al. Computational Neural Modeling of Auditory Cortical Receptive Fields // Front Comput Neurosci. 2019. vol. 13. pp. 28.
17. Mycielski J., Swierczkowski S. A model of the neocortex // Advances in Applied Mathematics. 1988. vol. 9. no. 4. pp. 465–480.
18. Ahmad S., Hawkins J. How do neurons operate on sparse distributed representations? A mathematical theory of sparsity, neurons and active dendrites // 2016. arXiv pre-print arXiv:1601.00720.
19. Schnepel P.et al. Physiology and Impact of Horizontal Connections in Rat Neocor-tex // Cerebral Cortex. 2015. vol. 25. no. 10. pp. 3818–3835.
20. Vaz A.I.F., Vicente L.N. A particle swarm pattern search method for bound con-strained global optimization // Journal of Global Optimization. 2007. vol. 39. no. 2. pp. 197–219.
21. Momma M., Bennett K.P. A pattern search method for model selection of support vector regression // Proceedings of the 2002 SIAM International Conference on Data Mining. Society for Industrial and Applied Mathematics. 2002. pp. 261–274.
22. Audet C., Dennis Jr.J.E. A pattern search filter method for nonlinear programming without derivatives // SIAM Journal on Optimization. 2004. vol. 14. no. 4. pp. 980–1010.
23. Zhao Y., Zhou C.C. System and method for knowledge pattern search from networked agents // US Patent 8903756. 2014.
24. Torczon V. On the convergence of pattern search algorithms // SIAM Journal on opti-mization. 1997. vol. 7. no. 1. pp. 1–25.
25. Kamotsky D., Vargas M. System and method for performing a pattern matching search // US Patent 10565188. 2020.
26. da Silva L. E.B., Elnabarawy I., Wunsch D.C. A Survey of Adaptive Resonance Theo-ry Neural Network Models for Engineering Applications // Neural Networks. 2019. vol. 120. pp. 167–203.
27. Hecht-Nielsen R. Counterpropagation networks // Applied Optics. 1987. vol. 26. no. 23. pp. 4979–4984.
28. Pisano N.A. Searle’s Chinese Room Reconsidered // Rerum Causae. 2019. vol. 10(1).
29. Chen Y. Mechanisms of Winner-Take-All and Group Selection in Neuronal Spiking Networks // Front Comput Neurosci. 2017. vol. 11. pp. 20.
30. Çağatay H. et al. A Fair Version of the Chinese Room // Problemos. 2019. vol. 96. pp. 121–133.
31. Kussul E.; Baidyk T. Improved method of handwritten digit recognition tested on MNIST database // Image and Vision Computing. 2004. vol. 22. no. 12. pp. 971–981.
32. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-Based Learning Applied to Doc-ument Recognition // Proceedings of the IEEE. 1998. vol. 86. no. 11. pp. 22782324.
Опубликован
2020-08-01
Как цитировать
Степанян, И. В., & Хомич, А. В. (2020). Структура и функции репликативного нейроподобного модуля. Труды СПИИРАН, 19(4), 803-828. https://doi.org/10.15622/sp.2020.19.4.4
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Иван Викторович Степанян, Андрей Владимирович Хомич
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).