Устойчивость интеллектуальной обработки сигналов потоковыми рекуррентными нейронными сетями с непрерывным обучением
Ключевые слова:
нейронная сеть, интеллектуальность, устойчивость, непрерывное обучение, генерация сигналовАннотация
Интеллектуальная нейросетевая обработка различных сигналов с непрерывным обучением представляет большой как научный, так и практический интерес. Для такой обработки наряду с другими решениями применяют потоковые импульсные рекуррентные нейронные сети (РНС) с расширенными функциональными возможностями. Однако для этих РНС во многом не исследованы вопросы обеспечения их устойчивого функционирования. Преследуется цель повышения устойчивости потоковых импульсных РНС за счет разработки новых методов интеллектуальной обработки сигналов с непрерывным обучением. В интересах этого уточняются возможности этих РНС и анализируются подходы к обеспечению их устойчивости при обучении и генерации сигналов. Осуществлена формализация потоковой РНС в виде относительно конечного операционного автомата. Предложен новый метод устойчивой интеллектуальной обработки сигналов усовершенствованной РНС с непрерывным обучением. Рассмотрены схемы решения различных интеллектуальных задач анализа и синтеза предлагаемым методом. Приведены результаты моделирования, подтверждающие работоспособность предложенного метода и возможности повышения устойчивости РНС при непрерывном обучении и генерировании сигналов. Показана достижимость устойчивого баланса между запоминаемой и постепенно забываемой информацией в РНС с оперативной адаптацией к изменяющимся внешним условиям.
Литература
1. Man N., Osipov V., Zhukova N., Subbotin A., Ignatov D.I. Neural networks for intelligent multilevel control of artificial and natural objects based on data fusion: a survey. Information Fusion. 2024. vol. 110.
2. Осипов В.Ю. Устойчивость рекуррентных нейронных сетей с управляемыми синапсами. Информационные технологии. 2011. Т. 9. С. 69–73.
3. Osipov V., Osipova M. Space–time signal binding in recurrent neural networks with controlled elements. Neurocomputing. 2018. vol. 308. pp. 194–204.
4. Parisi G., Kemker R., Part J., Kanan C., Wermter S. Continual lifelong learning with neural networks: A review. Neural Networks. 2019. vol. 113. pp. 54–71.
5. Van de Ven G., Siegelmann H., Tolias A. Brain-inspired replay for continual learning with artificial neural networks. Nature communications. 2020. vol. 11. DOI: 10.1038/s41467-020-17866-2.
6. Tercan H., Deibert P., Meisen T. Continual learning of neural networks for quality prediction in production using memory aware synapses and weight transfer. Journal of Intelligent Manufacturing. 2022. vol. 33. pp. 283–292.
7. Haykin S. Neural Networks and Learning Machines, third ed., Prentice Hall, New York, 2008. 936 p.
8. Ehret B., Henning C., Cervera M., Meulemans A., Oswald J., Grewe B. Continual learning in recurrent neural networks. ICLR 2021 Conference Paper. 2021.
9. Schmidgall S., Ziaei R., Achterberg J., Kirsch L. Hajiseyedrazi P., Eshraghian J. Brain-inspired learning in artificial neural networks: A review. APL Machine Learning. 2024. vol. 2.
10. Красовский А.А. Справочник по теории автоматического управления. М.: Наука. Гл. ред. физ.-мат. Лит, 1987. 712 с.
11. Rajchakit G., Agarwal P., Ramalingam S. Stability Analysis of Neural Networks. Springer, 2021. DOI: /0.1007/978-981-16-6534-9.
12. Xie K., Zhang C., Lee S., He Y., Liu Y. Delay-dependent Lurie-Postnikov type Lyapunov-Krasovskii functionals for stability analysis of discrete-time delayed neural networks. Neural Networks. 2024. vol. 173.
13. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A., Kaiser L., Polosukhin I. Attention is all you need. 31st Conference on Neural Information Processing Systems (NIPS 2017). 2017. pp. 6000–6010.
14. Osipov V. Nikiforov V., Zhukova N., Miloserdov D. Urban traffic flows forecasting by recurrent neural networks with spiral structures of layers. Neural Computing and Applications. 2020. vol. 32(18). pp. 14885–14897.
15. Kirkpatrick J., Pascanu R., Rabinowitz N., Veness J., Desjardins G., Rusu A., Milan K., Quan J., Ramalho T., Grabska-Barwinska A., Hassabis D., Clopath C., Kumaran D., Hadsell R. Overcoming catastrophic forgetting in neural networks. arXiv preprint. arXiv 1612.00796v2. 2017.
16. Zenke F., Poole B., Ganguli S. Continual learning through synaptic intelligence. arXiv preprint. arXiv 1703.04200v3. 2017.
17. Coop R., Arel I. Mitigation of catastrophic forgetting in recurrent neural networks using a fixed expansion layer. The 2013 International Joint Conference on Neural Networks (IJCNN). 2013. pp. 1–7. DOI: 10.1109/IJCNN.2013.6707047.
18. Duncker L., Driscoll L., Shenoy K., Sahani M., Sussillo D. Organizing recurrent network dynamics by task-computation to enable continual learning. Advances in Neural Information Processing Systems 33 (NeurlPS 2020). 2020. vol. 33. pp. 14387–14397.
19. Cossu A., Carta A., Lomonaco V., Bacciu D. Continual learning for recurrent neural networks: An empirical evaluation. Neural Networks. 2021. vol. 143. pp. 607–627. DOI: 10.1016/j.neunet.2021.07.021.
20. Shi M., Li L., Cao J., Hua L., Abdel-Aty M. Stability analysis of inertial delayed neural network with delayed impulses via dynamic event-triggered impulsive control. Neurocomputing. 2025. vol. 626. DOI: 10.1016/j.neucom.2025.129573.
21. He Z., Li C., Wu H., Nie L., Yu Z.. Exponential stability of continuous-time and discrete-time neural networks with saturated impulses. Neurocomputing. 2025. vol. 623. DOI: 10.1016/j.neucom.2025.129400.
22. Wang W., Zeng W., Chen W. New sufficient conditions on the global exponential stability of delayed inertial neural networks. Neurocomputing. 2025. vol. 622. DOI: 10.1016/j.neucom.2024.12930.
23. Brogan W.L. Modern control theory. 2nd edition. Englewood Cliffs. NJ: Prentice-Hall, 1985. 509 p.
24. Auge D., Hille J., Mueller E., Knoll A. A survey of encoding techniques for signal processing in spiking neural networks. Neural Processing Letters. 2021. vol. 53. pp. 4693–4710.
25. Осипов В.Ю. Интеллектуальная нейросетевая машина с функциями мышления. Информатика и автоматизация. 2024. Т. 23(4). С. 1077–1109.
26. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. 2-е изд. М., 1962. 336 с.
27. Айвазян С.А. Прикладная статистика. Основы эконометрики. Том 2. М.: Юнити-Дана, 2001. 432 с.
28. Yang B, Sun S, Li J, Lin X, Tian Y. Traffic flow prediction using LSTM with feature enhancement. Neurocomputing. 2019. vol. 332. pp. 320–327. DOI: 10.1016/j.neucom.2018.12.016.
2. Осипов В.Ю. Устойчивость рекуррентных нейронных сетей с управляемыми синапсами. Информационные технологии. 2011. Т. 9. С. 69–73.
3. Osipov V., Osipova M. Space–time signal binding in recurrent neural networks with controlled elements. Neurocomputing. 2018. vol. 308. pp. 194–204.
4. Parisi G., Kemker R., Part J., Kanan C., Wermter S. Continual lifelong learning with neural networks: A review. Neural Networks. 2019. vol. 113. pp. 54–71.
5. Van de Ven G., Siegelmann H., Tolias A. Brain-inspired replay for continual learning with artificial neural networks. Nature communications. 2020. vol. 11. DOI: 10.1038/s41467-020-17866-2.
6. Tercan H., Deibert P., Meisen T. Continual learning of neural networks for quality prediction in production using memory aware synapses and weight transfer. Journal of Intelligent Manufacturing. 2022. vol. 33. pp. 283–292.
7. Haykin S. Neural Networks and Learning Machines, third ed., Prentice Hall, New York, 2008. 936 p.
8. Ehret B., Henning C., Cervera M., Meulemans A., Oswald J., Grewe B. Continual learning in recurrent neural networks. ICLR 2021 Conference Paper. 2021.
9. Schmidgall S., Ziaei R., Achterberg J., Kirsch L. Hajiseyedrazi P., Eshraghian J. Brain-inspired learning in artificial neural networks: A review. APL Machine Learning. 2024. vol. 2.
10. Красовский А.А. Справочник по теории автоматического управления. М.: Наука. Гл. ред. физ.-мат. Лит, 1987. 712 с.
11. Rajchakit G., Agarwal P., Ramalingam S. Stability Analysis of Neural Networks. Springer, 2021. DOI: /0.1007/978-981-16-6534-9.
12. Xie K., Zhang C., Lee S., He Y., Liu Y. Delay-dependent Lurie-Postnikov type Lyapunov-Krasovskii functionals for stability analysis of discrete-time delayed neural networks. Neural Networks. 2024. vol. 173.
13. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A., Kaiser L., Polosukhin I. Attention is all you need. 31st Conference on Neural Information Processing Systems (NIPS 2017). 2017. pp. 6000–6010.
14. Osipov V. Nikiforov V., Zhukova N., Miloserdov D. Urban traffic flows forecasting by recurrent neural networks with spiral structures of layers. Neural Computing and Applications. 2020. vol. 32(18). pp. 14885–14897.
15. Kirkpatrick J., Pascanu R., Rabinowitz N., Veness J., Desjardins G., Rusu A., Milan K., Quan J., Ramalho T., Grabska-Barwinska A., Hassabis D., Clopath C., Kumaran D., Hadsell R. Overcoming catastrophic forgetting in neural networks. arXiv preprint. arXiv 1612.00796v2. 2017.
16. Zenke F., Poole B., Ganguli S. Continual learning through synaptic intelligence. arXiv preprint. arXiv 1703.04200v3. 2017.
17. Coop R., Arel I. Mitigation of catastrophic forgetting in recurrent neural networks using a fixed expansion layer. The 2013 International Joint Conference on Neural Networks (IJCNN). 2013. pp. 1–7. DOI: 10.1109/IJCNN.2013.6707047.
18. Duncker L., Driscoll L., Shenoy K., Sahani M., Sussillo D. Organizing recurrent network dynamics by task-computation to enable continual learning. Advances in Neural Information Processing Systems 33 (NeurlPS 2020). 2020. vol. 33. pp. 14387–14397.
19. Cossu A., Carta A., Lomonaco V., Bacciu D. Continual learning for recurrent neural networks: An empirical evaluation. Neural Networks. 2021. vol. 143. pp. 607–627. DOI: 10.1016/j.neunet.2021.07.021.
20. Shi M., Li L., Cao J., Hua L., Abdel-Aty M. Stability analysis of inertial delayed neural network with delayed impulses via dynamic event-triggered impulsive control. Neurocomputing. 2025. vol. 626. DOI: 10.1016/j.neucom.2025.129573.
21. He Z., Li C., Wu H., Nie L., Yu Z.. Exponential stability of continuous-time and discrete-time neural networks with saturated impulses. Neurocomputing. 2025. vol. 623. DOI: 10.1016/j.neucom.2025.129400.
22. Wang W., Zeng W., Chen W. New sufficient conditions on the global exponential stability of delayed inertial neural networks. Neurocomputing. 2025. vol. 622. DOI: 10.1016/j.neucom.2024.12930.
23. Brogan W.L. Modern control theory. 2nd edition. Englewood Cliffs. NJ: Prentice-Hall, 1985. 509 p.
24. Auge D., Hille J., Mueller E., Knoll A. A survey of encoding techniques for signal processing in spiking neural networks. Neural Processing Letters. 2021. vol. 53. pp. 4693–4710.
25. Осипов В.Ю. Интеллектуальная нейросетевая машина с функциями мышления. Информатика и автоматизация. 2024. Т. 23(4). С. 1077–1109.
26. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. 2-е изд. М., 1962. 336 с.
27. Айвазян С.А. Прикладная статистика. Основы эконометрики. Том 2. М.: Юнити-Дана, 2001. 432 с.
28. Yang B, Sun S, Li J, Lin X, Tian Y. Traffic flow prediction using LSTM with feature enhancement. Neurocomputing. 2019. vol. 332. pp. 320–327. DOI: 10.1016/j.neucom.2018.12.016.
Опубликован
2025-12-04
Как цитировать
Осипов, В. Ю. (2025). Устойчивость интеллектуальной обработки сигналов потоковыми рекуррентными нейронными сетями с непрерывным обучением. Информатика и автоматизация, 24(6), 1649-1682. https://doi.org/10.15622/ia.24.6.5
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Василий Юрьевич Осипов
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).