Сравнение двух методов классификации объектов с использованием скрытых марковских моделей и сверточных нейронных сетей
Ключевые слова:
скрытые марковские модели, классификация изображений, компьютерное зрение, распознавание образовАннотация
Представлено сравнение дискретных скрытых марковских моделей и свёрточных нейронных сетей для классификации изображений. После разбивки изображений на части целесообразно получить векторы, которые представляют локальные визуальные структуры, одновременно определяющие изображения глобально через пространственную последовательность. С использованием методов кластеризации создается алфавит из указанных векторов, а затем конструируются последовательности символов, которые описывают статистические модели, соответствующие классам изображений. Скрытые марковские модели в сочетании с методами квантования могут обрабатывать шум и искажения в наблюдениях для решения проблем компьютерного зрения, таких как классификация изображений с изменением освещения и перспективы.
Протестированы архитектуры, основанные на трех, шести и девяти скрытых состояниях, в пользу скорости обнаружения и низкого использования памяти. Также были протестированы два типа ансамблевых моделей. Точность предлагаемого метода была оценена с помощью общедоступных данных; полученные результаты оказались сравнимы с известными оценками при использовании тонко настроенных свёрточных нейронных сетей, но требовали значительно меньших вычислительных ресурсов. Результат представляет интерес при разработке мобильных роботов с вычислительными устройствами, имеющими ограниченное время автономной работы, но требующими способности обнаруживать и добавлять новые объекты в свои системы классификации.
Литература
1. Dhall D., Kaur R., Juneja M. Machine Learning: A Review of the Algorithms and Its Applications // Proceedings of International Conference on Recent Innovations in Computing (ICRIC’2019). 2019. pp. 47–63.
2. Dhruv P., Naskar S. Image Classification Using Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN): A Review // International Conference on Machine Learning and Information Processing (ICMLIP’2019). 2020. pp. 367–381.
3. Wang W et al. Development of convolutional neural network and its application in image classification: a survey // Optical Engineering. 2019. vol. 58. no. 4. pp. 1–19.
4. Gambella C., Ghaddar B., Naoum-Sawaya J. Optimization problems for machine learning: A survey // European Journal of Operational Research. Available at: https://doi.org/10.1016/j.ejor.2020.08.045 (accessed: 20.09.2020).
5. Dogo E.M. et al. A Comparative Analysis of Gradient Descent-Based Optimization Algorithms on Convolutional Neural Networks // International Conference on Computational Techniques, Electronics and Mechanical Systems (CTEMS’2018). 2018. pp. 92–99.
6. Belanche D., Casal ´o L.V., Flavi´an C., Schepers J. Service robot implementation: a theoretical framework and research agenda // The Service Industries Journal. 2020. vol. 40 no. 3-4. pp. 203–225.
7. Torras C. Service Robots for Citizens of the Future // European Review. 2016. vol. 24. no. 1. pp. 17–30.
8. Zachiotis G.A. et al. A Survey on the Application Trends of Home Service Robotics // IEEE International Conference on Robotics and Biomimetics (ROBIO’2018). 2018. pp. 1999–2006.
9. Matamoros M. et al. Robocup at home 2019: Rules and regulations. Available at: http://www.robocupathome.org/rules/2019_rulebook.pdf (accessed: 20.09.2020).
10. Baum L.E., Petrie T., Soules G., Weiss N. A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains // The Annals of Mathematical Statistics. 1970. vol. 41. no.1. pp. 164–171.
11. Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Readings in Speech Recognition // Morgan Kaufmann Publishers Inc. 1990. pp. 267–296.
12. Mor B., Garhwal S., Kumar A. A Systematic Review of Hidden Markov Models and Their Applications. Archives of Computational Methods in Engineering. Available at: https://doi.org/10.1007/s11831-020-09422-4. (accessed: 20.09.2020).
13. Corcoran P., Iancu C. Hidden Markov Models in Automatic Face Recognition – A Review. Reviews, Refinements and New Ideas in Face Recognition. Available at: https://doi.org/10.5772/17664 (accessed: 20.09.2020).
14. Rastghalam R., Pourghassem H. Breast cancer detection using MRF-based probable texture feature and decision-level fusion-based classification using HMM on thermography images // Pattern Recognition. 2016. vol. 51. pp. 176–186.
15. Hassan M. et al. Robust Hidden Markov Model based intelligent blood vessel detec-tion of fundus images // Computer Methods and Programs in Biomedicine. 2017. vol. 151. pp. 193–201.
16. Sarmiento C. et al. Feature detection using Hidden Markov Models for 3D-visual recognition // IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC’2019). 2019. pp. 1–6.
17. Russakovsky O. et al. ImageNet Large Scale Visual Recognition Challenge // Interna-tional Journal of Computer Vision. 2015. vol. 115. no. 3. pp. 211–252.
18. Krizhevsky A., Sutskever I., Hinton G. Imagenet classification with deep convolutional neural networks // Neural Information Processing Systems (NIPS’2012). 2012. pp. 1097–1105.
19. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition // International Conference on Learning Representations (ILCR’2015). 2015.
20. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Pro-ceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’2016). 2016. pp. 770–778.
21. Abadi M. et al. TensorFlow: Large-scale machine learning on heterogeneous systems. Available at: www.tensorflow.org (accessed: 20.09.2020).
22. Howard A.G. et al. MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications. CoRR. Available at: http://arxiv.org/abs/1704.04861 (accessed: 20.09.2020).
23. Sculley D. Web-scale k-means clustering // Proceedings of the 19th International Conference on World Wide Web (WWW ’10). 2010. pp. 1177–1178.
24. Lai K., Bo L., Ren X., Fox D. A large-scale hierarchical multi-view RGB-D object dataset // IEEE International Conference on Robotics and Automation (ICRA’2011). 2011. pp. 1817–1824.
25. Sharma G., Wu W., Dalal E.N. The CIEDE2000 color-difference formula: implemen-tation notes, supplementary test data, and mathematical observations // Color Research and Application. 2005. vol. 30. no. 1. pp. 21–30.
26. Arthur D., Vassilvitskii S. K-means++: The advantages of careful seeding // ACM-SIAM Symposium on Discrete Algorithms (SODA’07). 2007. pp. 1027–1035.
27. Pedregosa F. et al. Scikit-learn: Machine learning in python // Journal ´ of Machine Learning Research. 2011. vol. 12. no. 85. pp. 2825–2830.
28. Elkan C. Using the triangle inequality to accelerate k-means // Proceedings of the 20th International Conference on Machine Learning (ICML’03). 2003. pp 147–153.
29. Marina S.M., Lapalme G. A systematic analysis of performance measures for classification tasks // Information Processing & Management. 2009. vol. 45. no. 4 pp. 427–437.
2. Dhruv P., Naskar S. Image Classification Using Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN): A Review // International Conference on Machine Learning and Information Processing (ICMLIP’2019). 2020. pp. 367–381.
3. Wang W et al. Development of convolutional neural network and its application in image classification: a survey // Optical Engineering. 2019. vol. 58. no. 4. pp. 1–19.
4. Gambella C., Ghaddar B., Naoum-Sawaya J. Optimization problems for machine learning: A survey // European Journal of Operational Research. Available at: https://doi.org/10.1016/j.ejor.2020.08.045 (accessed: 20.09.2020).
5. Dogo E.M. et al. A Comparative Analysis of Gradient Descent-Based Optimization Algorithms on Convolutional Neural Networks // International Conference on Computational Techniques, Electronics and Mechanical Systems (CTEMS’2018). 2018. pp. 92–99.
6. Belanche D., Casal ´o L.V., Flavi´an C., Schepers J. Service robot implementation: a theoretical framework and research agenda // The Service Industries Journal. 2020. vol. 40 no. 3-4. pp. 203–225.
7. Torras C. Service Robots for Citizens of the Future // European Review. 2016. vol. 24. no. 1. pp. 17–30.
8. Zachiotis G.A. et al. A Survey on the Application Trends of Home Service Robotics // IEEE International Conference on Robotics and Biomimetics (ROBIO’2018). 2018. pp. 1999–2006.
9. Matamoros M. et al. Robocup at home 2019: Rules and regulations. Available at: http://www.robocupathome.org/rules/2019_rulebook.pdf (accessed: 20.09.2020).
10. Baum L.E., Petrie T., Soules G., Weiss N. A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains // The Annals of Mathematical Statistics. 1970. vol. 41. no.1. pp. 164–171.
11. Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Readings in Speech Recognition // Morgan Kaufmann Publishers Inc. 1990. pp. 267–296.
12. Mor B., Garhwal S., Kumar A. A Systematic Review of Hidden Markov Models and Their Applications. Archives of Computational Methods in Engineering. Available at: https://doi.org/10.1007/s11831-020-09422-4. (accessed: 20.09.2020).
13. Corcoran P., Iancu C. Hidden Markov Models in Automatic Face Recognition – A Review. Reviews, Refinements and New Ideas in Face Recognition. Available at: https://doi.org/10.5772/17664 (accessed: 20.09.2020).
14. Rastghalam R., Pourghassem H. Breast cancer detection using MRF-based probable texture feature and decision-level fusion-based classification using HMM on thermography images // Pattern Recognition. 2016. vol. 51. pp. 176–186.
15. Hassan M. et al. Robust Hidden Markov Model based intelligent blood vessel detec-tion of fundus images // Computer Methods and Programs in Biomedicine. 2017. vol. 151. pp. 193–201.
16. Sarmiento C. et al. Feature detection using Hidden Markov Models for 3D-visual recognition // IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC’2019). 2019. pp. 1–6.
17. Russakovsky O. et al. ImageNet Large Scale Visual Recognition Challenge // Interna-tional Journal of Computer Vision. 2015. vol. 115. no. 3. pp. 211–252.
18. Krizhevsky A., Sutskever I., Hinton G. Imagenet classification with deep convolutional neural networks // Neural Information Processing Systems (NIPS’2012). 2012. pp. 1097–1105.
19. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition // International Conference on Learning Representations (ILCR’2015). 2015.
20. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Pro-ceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’2016). 2016. pp. 770–778.
21. Abadi M. et al. TensorFlow: Large-scale machine learning on heterogeneous systems. Available at: www.tensorflow.org (accessed: 20.09.2020).
22. Howard A.G. et al. MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications. CoRR. Available at: http://arxiv.org/abs/1704.04861 (accessed: 20.09.2020).
23. Sculley D. Web-scale k-means clustering // Proceedings of the 19th International Conference on World Wide Web (WWW ’10). 2010. pp. 1177–1178.
24. Lai K., Bo L., Ren X., Fox D. A large-scale hierarchical multi-view RGB-D object dataset // IEEE International Conference on Robotics and Automation (ICRA’2011). 2011. pp. 1817–1824.
25. Sharma G., Wu W., Dalal E.N. The CIEDE2000 color-difference formula: implemen-tation notes, supplementary test data, and mathematical observations // Color Research and Application. 2005. vol. 30. no. 1. pp. 21–30.
26. Arthur D., Vassilvitskii S. K-means++: The advantages of careful seeding // ACM-SIAM Symposium on Discrete Algorithms (SODA’07). 2007. pp. 1027–1035.
27. Pedregosa F. et al. Scikit-learn: Machine learning in python // Journal ´ of Machine Learning Research. 2011. vol. 12. no. 85. pp. 2825–2830.
28. Elkan C. Using the triangle inequality to accelerate k-means // Proceedings of the 20th International Conference on Machine Learning (ICML’03). 2003. pp 147–153.
29. Marina S.M., Lapalme G. A systematic analysis of performance measures for classification tasks // Information Processing & Management. 2009. vol. 45. no. 4 pp. 427–437.
Опубликован
2020-12-04
Как цитировать
Сармьенто, К., & Саваж, Х. (2020). Сравнение двух методов классификации объектов с использованием скрытых марковских моделей и сверточных нейронных сетей. Информатика и автоматизация, 19(6), 1222-1254. https://doi.org/10.15622/ia.2020.19.6.4
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Карлос Сармьенто Gutierrez, Хесус Саваж Unknown
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).