Сравнение двух методов классификации объектов с использованием скрытых марковских моделей и сверточных нейронных сетей
Ключевые слова:
скрытые марковские модели, классификация изображений, компьютерное зрение, распознавание образовАннотация
Представлено сравнение дискретных скрытых марковских моделей и свёрточных нейронных сетей для классификации изображений. После разбивки изображений на части целесообразно получить векторы, которые представляют локальные визуальные структуры, одновременно определяющие изображения глобально через пространственную последовательность. С использованием методов кластеризации создается алфавит из указанных векторов, а затем конструируются последовательности символов, которые описывают статистические модели, соответствующие классам изображений. Скрытые марковские модели в сочетании с методами квантования могут обрабатывать шум и искажения в наблюдениях для решения проблем компьютерного зрения, таких как классификация изображений с изменением освещения и перспективы.
Протестированы архитектуры, основанные на трех, шести и девяти скрытых состояниях, в пользу скорости обнаружения и низкого использования памяти. Также были протестированы два типа ансамблевых моделей. Точность предлагаемого метода была оценена с помощью общедоступных данных; полученные результаты оказались сравнимы с известными оценками при использовании тонко настроенных свёрточных нейронных сетей, но требовали значительно меньших вычислительных ресурсов. Результат представляет интерес при разработке мобильных роботов с вычислительными устройствами, имеющими ограниченное время автономной работы, но требующими способности обнаруживать и добавлять новые объекты в свои системы классификации.
Литература
2. Dhruv P., Naskar S. Image Classification Using Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN): A Review // International Conference on Machine Learning and Information Processing (ICMLIP’2019). 2020. pp. 367–381.
3. Wang W et al. Development of convolutional neural network and its application in image classification: a survey // Optical Engineering. 2019. vol. 58. no. 4. pp. 1–19.
4. Gambella C., Ghaddar B., Naoum-Sawaya J. Optimization problems for machine learning: A survey // European Journal of Operational Research. Available at: https://doi.org/10.1016/j.ejor.2020.08.045 (accessed: 20.09.2020).
5. Dogo E.M. et al. A Comparative Analysis of Gradient Descent-Based Optimization Algorithms on Convolutional Neural Networks // International Conference on Computational Techniques, Electronics and Mechanical Systems (CTEMS’2018). 2018. pp. 92–99.
6. Belanche D., Casal ´o L.V., Flavi´an C., Schepers J. Service robot implementation: a theoretical framework and research agenda // The Service Industries Journal. 2020. vol. 40 no. 3-4. pp. 203–225.
7. Torras C. Service Robots for Citizens of the Future // European Review. 2016. vol. 24. no. 1. pp. 17–30.
8. Zachiotis G.A. et al. A Survey on the Application Trends of Home Service Robotics // IEEE International Conference on Robotics and Biomimetics (ROBIO’2018). 2018. pp. 1999–2006.
9. Matamoros M. et al. Robocup at home 2019: Rules and regulations. Available at: http://www.robocupathome.org/rules/2019_rulebook.pdf (accessed: 20.09.2020).
10. Baum L.E., Petrie T., Soules G., Weiss N. A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains // The Annals of Mathematical Statistics. 1970. vol. 41. no.1. pp. 164–171.
11. Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Readings in Speech Recognition // Morgan Kaufmann Publishers Inc. 1990. pp. 267–296.
12. Mor B., Garhwal S., Kumar A. A Systematic Review of Hidden Markov Models and Their Applications. Archives of Computational Methods in Engineering. Available at: https://doi.org/10.1007/s11831-020-09422-4. (accessed: 20.09.2020).
13. Corcoran P., Iancu C. Hidden Markov Models in Automatic Face Recognition – A Review. Reviews, Refinements and New Ideas in Face Recognition. Available at: https://doi.org/10.5772/17664 (accessed: 20.09.2020).
14. Rastghalam R., Pourghassem H. Breast cancer detection using MRF-based probable texture feature and decision-level fusion-based classification using HMM on thermography images // Pattern Recognition. 2016. vol. 51. pp. 176–186.
15. Hassan M. et al. Robust Hidden Markov Model based intelligent blood vessel detec-tion of fundus images // Computer Methods and Programs in Biomedicine. 2017. vol. 151. pp. 193–201.
16. Sarmiento C. et al. Feature detection using Hidden Markov Models for 3D-visual recognition // IEEE International Conference on Autonomous Robot Systems and Competitions (ICARSC’2019). 2019. pp. 1–6.
17. Russakovsky O. et al. ImageNet Large Scale Visual Recognition Challenge // Interna-tional Journal of Computer Vision. 2015. vol. 115. no. 3. pp. 211–252.
18. Krizhevsky A., Sutskever I., Hinton G. Imagenet classification with deep convolutional neural networks // Neural Information Processing Systems (NIPS’2012). 2012. pp. 1097–1105.
19. Simonyan K., Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition // International Conference on Learning Representations (ILCR’2015). 2015.
20. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Pro-ceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’2016). 2016. pp. 770–778.
21. Abadi M. et al. TensorFlow: Large-scale machine learning on heterogeneous systems. Available at: www.tensorflow.org (accessed: 20.09.2020).
22. Howard A.G. et al. MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications. CoRR. Available at: http://arxiv.org/abs/1704.04861 (accessed: 20.09.2020).
23. Sculley D. Web-scale k-means clustering // Proceedings of the 19th International Conference on World Wide Web (WWW ’10). 2010. pp. 1177–1178.
24. Lai K., Bo L., Ren X., Fox D. A large-scale hierarchical multi-view RGB-D object dataset // IEEE International Conference on Robotics and Automation (ICRA’2011). 2011. pp. 1817–1824.
25. Sharma G., Wu W., Dalal E.N. The CIEDE2000 color-difference formula: implemen-tation notes, supplementary test data, and mathematical observations // Color Research and Application. 2005. vol. 30. no. 1. pp. 21–30.
26. Arthur D., Vassilvitskii S. K-means++: The advantages of careful seeding // ACM-SIAM Symposium on Discrete Algorithms (SODA’07). 2007. pp. 1027–1035.
27. Pedregosa F. et al. Scikit-learn: Machine learning in python // Journal ´ of Machine Learning Research. 2011. vol. 12. no. 85. pp. 2825–2830.
28. Elkan C. Using the triangle inequality to accelerate k-means // Proceedings of the 20th International Conference on Machine Learning (ICML’03). 2003. pp 147–153.
29. Marina S.M., Lapalme G. A systematic analysis of performance measures for classification tasks // Information Processing & Management. 2009. vol. 45. no. 4 pp. 427–437.
Comparison of Two Objects Classification Techniques using Hidden Markov Models and Convolutional Neural Networks
Abstract
This paper presents a comparison between discrete Hidden Markov Models and Convolutional Neural Networks for the image classification task. By fragmenting an image into sections, it is feasible to obtain vectors that represent visual features locally, but if a spatial sequence is established in a fixed way, it is possible to represent an image as a sequence of vectors. Using clustering techniques, we obtain an alphabet from said vectors and then symbol sequences are constructed to obtain a statistical model that represents a class of images. Hidden Markov Models, combined with quantization methods, can treat noise and distortions in observations for computer vision problems such as the classification of images with lighting and perspective changes.
We have tested architectures based on three, six and nine hidden states favoring the detection speed and low memory usage. Also, two types of ensemble models were tested. We evaluated the precision of the proposed methods using a public domain data set, obtaining competitive results with respect to fine-tuned Convolutional Neural Networks, but using significantly less computing resources. This is of interest in the development of mobile robots with computers with limited battery life, but requiring the ability to detect and add new objects to their classification systems.
Опубликован
Как цитировать
Раздел
Copyright (c) Карлос Сармьенто Gutierrez, Хесус Саваж Unknown
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).