Гибридный метод обучения сверточных нейронных сетей
Ключевые слова:
сверточные нейронные сети, методы обучения искусственных нейронных сетей, методы оптимизацииАннотация
Предложен гибридный метод обучения сверточных нейронных сетей. Метод заключается в объединении методов второго и первого порядка для разных элементов архитектуры сверточной нейронной сети. Гибридный метод обучения сверточных нейронных сетей позволяет добиваться значительно лучшей сходимости по сравнению с методом обучения сверточных нейронных сетей «Adam» и требует меньше вычислительных операций для реализации. Рассматриваемый метод применим для обучения сетей, на которых происходит паралич обучения при использовании методов первого порядка. Более того, предложенный метод обладает способностью подстраивать свою вычислительную сложность под аппаратные средства, на которых производится вычисление, вместе с тем гибридный метод позволяет использовать подход обучения мини-пакетов. Приведен анализ соотношения вычислений между сверточными нейронными сетями и полносвязными искусственными нейронными сетями. Рассмотрен математический аппарат оптимизации ошибки искусственных нейронных сетей, включающий в себя метод обратного распространения ошибки, алгоритм Левенберга-Марквардта. Проанализированы основные ограничения данных методов, возникающие при обучении сверточной нейронной сети. Проведен анализ устойчивости предлагаемого метода при изменении инициализирующих параметров. Приведены результаты применимости метода в различных задачах.
Литература
1. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. Москва: «ДМК Пресс», 2017. 652 с.
2. Хайкин С. Нейронные сети. Полный курс. 2-е изд. Москва: Издательский дом "Вильямс", 2006. 1104 с.
3. Kingma D.P., Ba J. Adam: A Method for Stochastic Optimization // CoRR, Т. abs/1412.6980, 2014.
4. Bo Y.H., WeiL., I-Chen W. Stochastic Gradient Descent with Hyperbolic-Tangent Decay // CoRR, Т. abs/1806.01593, 2018. С. 1-10.
5. Wilamowski B.M., Irwin D.J. Intelligent systems. 2-е-е изд. Бока-Ратон: CRC Press, 2011. 568 с.
6. S. Smith J., Wu B., M. Wilamowski B. Neural Network Training With Leven-berg-Marquardt and Adaptable Weight Compression // IEEE Transactions on Neural Networks and Learning Systems, Т. PP, Jul 2018. С. 1-8.
7. Szegedy C., Ioffe S., Vanhoucke V., Alemi A.A. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning // International Conference on Learning Representations (ICLR) Workshop, 2016. С. 375-387.
8. He K., Zhang X., Ren S., Sun J. [1502.01852] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification // arXiv.org e-Print archive. 2015. URL: https://arxiv.org/abs/1502.01852 (дата обращения: 12.11.2020).
9. Szegedy С., Liu W., Jia Y., Sermanet P., Reed S., Angueloy D., Ethan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions // IEEE Confer-ence on Computer Vision and Pattern Recognition. 2014. С. 1-9.
10. Zaccone G., Karim R., Menshawy A. Deep Learning with TensorFlow: Explore neural networks with Python. Бирмингем: Packt Publishing, 2017. 320 с.
11. Вьюгин В.В. Математические основы теории машинного обучения и про-гнозирования. Москва: МЦНМО, 2013. 387 с.
12. Shepherd A.J. Second-Order Methods for Neural Networks: Fast and Reliable Training Methods for Multi-Layer Perceptrons. New York: Springer, 1997. 160 с.
13. Nocedal J., Wright S.J. Numerical Optimization. 2nd ed. New York: Springer, 2006. 664 с.
14. Голубинский А.Н. О построении архитектур и оценке параметров искус-ственных нейронных сетей // Теория и техника радиосвязи, № 1, 2020. С. 72-87.
15. Максимушкин В.В., Арзамасцев А.А. Сравнительная оценка вычислитель-ной сложности обучения искусственной нейронной сети с жестким ядром и сети с классической структурой // Вестник российских университетов. Математика., № 2, 2006. С. 190-197.
16. Абрамов С.А. Лекции о сложности алгоритмов. Москва: МЦНМО, 2012. 248 с.
17. Yann LeCun's Home Page [Электронный ресурс] // MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges: [сайт]. [2012]. URL: http://yann.lecun.com/exdb/mnist/ (дата обращения: 23.05.2020).
18. Smith L.N. No More Pesky Learning Rate Guessing Games // CoRR, Vol. abs/1506.01186, 2015. С. 1-10.
19. Salimans T., Kingma D.P. Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks // In: Advances in Neural In-formation Processing Systems 29. Curran Associates, Inc., 2016. С. 901–909.
20. Matuszyk P., Castillo R.T., Kottke D., Spiliopoulou M. A Comparative Study on Hyperparameter Optimization for Recommender Systems // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16) @ iKNOW 2016. 2016.
21. Hu G., Peng X., Yang Y., Hospedales T.M., Verbeek J. Frankenstein: Learning Deep Face Representations using Small Data // CoRR, Т. abs/1603.06470, 2016.
22. Ioffe S., Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift // CoRR, Т. abs/1502.03167, 2015.
23. Lewkowycz A., Bahri Y., Dyer E., Sohl-Dickstein J., Gur-Ari G. The large learning rate phase of deep learning: the catapult mechanism. 2020.
24. Liao Q., Kawaguchi K., Poggio T.A. Streaming Normalization: Towards Sim-pler and More Biologically-plausible Normalizations for Online and Recurrent Learning // CoRR, Т. abs/1610.06160, 2016.
25. Mahajan D., Girshick R.B., Ramanathan V., He K., Paluri M., Li Y., Bharambe A., van der Maaten L. Exploring the Limits of Weakly Supervised Pretraining // CoRR, Т. abs/1805.00932, 2018.
26. Petroski Such F., Madhavan V., Conti E., Lehman J., Stanley K.O., Clune J. Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning // ArXiv e-prints, 2017.
27. Su H., Zhu X., Gong S. Deep Learning Logo Detection with Data Expansion by Synthesising Context // CoRR, Т. abs/1612.09322, 2016.
28. Touvron H., Vedaldi A., Douze M., Jégou H. Fixing the train-test resolution discrepancy // CoRR, Т. abs/1906.06423, 2019.
29. Xu C., Qin T., Wang G., Liu T.Y. An Actor-Critic Algorithm For Learning Rate 2017. С. 1–12.
30. Xu C., Qin T., Wang G., Liu T.Y. Reinforcement Learning for Learning Rate Control // CoRR, Т. abs/1705.11159, 2017.
2. Хайкин С. Нейронные сети. Полный курс. 2-е изд. Москва: Издательский дом "Вильямс", 2006. 1104 с.
3. Kingma D.P., Ba J. Adam: A Method for Stochastic Optimization // CoRR, Т. abs/1412.6980, 2014.
4. Bo Y.H., WeiL., I-Chen W. Stochastic Gradient Descent with Hyperbolic-Tangent Decay // CoRR, Т. abs/1806.01593, 2018. С. 1-10.
5. Wilamowski B.M., Irwin D.J. Intelligent systems. 2-е-е изд. Бока-Ратон: CRC Press, 2011. 568 с.
6. S. Smith J., Wu B., M. Wilamowski B. Neural Network Training With Leven-berg-Marquardt and Adaptable Weight Compression // IEEE Transactions on Neural Networks and Learning Systems, Т. PP, Jul 2018. С. 1-8.
7. Szegedy C., Ioffe S., Vanhoucke V., Alemi A.A. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning // International Conference on Learning Representations (ICLR) Workshop, 2016. С. 375-387.
8. He K., Zhang X., Ren S., Sun J. [1502.01852] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification // arXiv.org e-Print archive. 2015. URL: https://arxiv.org/abs/1502.01852 (дата обращения: 12.11.2020).
9. Szegedy С., Liu W., Jia Y., Sermanet P., Reed S., Angueloy D., Ethan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions // IEEE Confer-ence on Computer Vision and Pattern Recognition. 2014. С. 1-9.
10. Zaccone G., Karim R., Menshawy A. Deep Learning with TensorFlow: Explore neural networks with Python. Бирмингем: Packt Publishing, 2017. 320 с.
11. Вьюгин В.В. Математические основы теории машинного обучения и про-гнозирования. Москва: МЦНМО, 2013. 387 с.
12. Shepherd A.J. Second-Order Methods for Neural Networks: Fast and Reliable Training Methods for Multi-Layer Perceptrons. New York: Springer, 1997. 160 с.
13. Nocedal J., Wright S.J. Numerical Optimization. 2nd ed. New York: Springer, 2006. 664 с.
14. Голубинский А.Н. О построении архитектур и оценке параметров искус-ственных нейронных сетей // Теория и техника радиосвязи, № 1, 2020. С. 72-87.
15. Максимушкин В.В., Арзамасцев А.А. Сравнительная оценка вычислитель-ной сложности обучения искусственной нейронной сети с жестким ядром и сети с классической структурой // Вестник российских университетов. Математика., № 2, 2006. С. 190-197.
16. Абрамов С.А. Лекции о сложности алгоритмов. Москва: МЦНМО, 2012. 248 с.
17. Yann LeCun's Home Page [Электронный ресурс] // MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges: [сайт]. [2012]. URL: http://yann.lecun.com/exdb/mnist/ (дата обращения: 23.05.2020).
18. Smith L.N. No More Pesky Learning Rate Guessing Games // CoRR, Vol. abs/1506.01186, 2015. С. 1-10.
19. Salimans T., Kingma D.P. Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks // In: Advances in Neural In-formation Processing Systems 29. Curran Associates, Inc., 2016. С. 901–909.
20. Matuszyk P., Castillo R.T., Kottke D., Spiliopoulou M. A Comparative Study on Hyperparameter Optimization for Recommender Systems // Workshop on Recommender Systems and Big Data Analytics (RS-BDA'16) @ iKNOW 2016. 2016.
21. Hu G., Peng X., Yang Y., Hospedales T.M., Verbeek J. Frankenstein: Learning Deep Face Representations using Small Data // CoRR, Т. abs/1603.06470, 2016.
22. Ioffe S., Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift // CoRR, Т. abs/1502.03167, 2015.
23. Lewkowycz A., Bahri Y., Dyer E., Sohl-Dickstein J., Gur-Ari G. The large learning rate phase of deep learning: the catapult mechanism. 2020.
24. Liao Q., Kawaguchi K., Poggio T.A. Streaming Normalization: Towards Sim-pler and More Biologically-plausible Normalizations for Online and Recurrent Learning // CoRR, Т. abs/1610.06160, 2016.
25. Mahajan D., Girshick R.B., Ramanathan V., He K., Paluri M., Li Y., Bharambe A., van der Maaten L. Exploring the Limits of Weakly Supervised Pretraining // CoRR, Т. abs/1805.00932, 2018.
26. Petroski Such F., Madhavan V., Conti E., Lehman J., Stanley K.O., Clune J. Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning // ArXiv e-prints, 2017.
27. Su H., Zhu X., Gong S. Deep Learning Logo Detection with Data Expansion by Synthesising Context // CoRR, Т. abs/1612.09322, 2016.
28. Touvron H., Vedaldi A., Douze M., Jégou H. Fixing the train-test resolution discrepancy // CoRR, Т. abs/1906.06423, 2019.
29. Xu C., Qin T., Wang G., Liu T.Y. An Actor-Critic Algorithm For Learning Rate 2017. С. 1–12.
30. Xu C., Qin T., Wang G., Liu T.Y. Reinforcement Learning for Learning Rate Control // CoRR, Т. abs/1705.11159, 2017.
Опубликован
2021-03-30
Как цитировать
Голубинский, А. Н., & Толстых, А. А. (2021). Гибридный метод обучения сверточных нейронных сетей. Информатика и автоматизация, 20(2), 463-490. https://doi.org/10.15622/ia.2021.20.2.8
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Андрей Николаевич Голубинский, Толстых Андрей Андреевич
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).