Категоризация сцен на основе расширенных цветовых дескрипторов
Ключевые слова:
автоматическое аннотирование изображений, категоризация сцен, метод опорных векторов, цветовые дескрипторыАннотация
Категоризация сцен при автоматическом аннотировании изображений предполагает обязательный этап извлечения дескрипторов для построения гистограмм визуальных слов. Изучено семейство новых цветовых дескрипторов на основе точечных особенностей, инвариантных не только к геометрическим преобразованиям, но к изменениям освещенности. Особенностью дальнейшего алгоритма является предварительная цветовая и текстурная сегментация на основе алгоритма J-SEG с ранжированием полученных регионов по площади. Для построения визуальных слов и категоризации по методу опорных векторов используются расширенные цветовые дескрипторы, рассчитанные в 5–7 регионах с наибольшей площадью. Представлены сравнительные результаты экспериментальных оценок точности категоризации изображений из тестового набора 2688 изображений с применением расширенных цветовых дескрипторов.Литература
1. Zhang D., Islam Md.M., Lu G. A Review on Automatic Image Annotation Techniques // Pattern Recognition. 2012. vol. 45. no. 1. pp. 346–362.
2. Qin C., Bao X., Choudhury R.R., Nelakuditi S. TagSense: a Smartphone-based Approach to Automatic Image Tagging // Proceedings of the 9th International Conference on Mobile Systems, Applications, and Services (MobiSys’11). 2011. pp. 1–14.
3. Modeling the Shape of the Scene: a Holistic Representation of the Spatial Envelope. URL: http://people.csail.mit.edu/torralba/code/spatialenvelope (дата обращения: 11.05.2015).
4. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. vol. 60. no. 2. pp. 91–110.
5. Bay H., Ess A., Tuytelaars T., Gool L.V. Speeded-Up Robust Features (SURF) // Computer Vision and Image Understanding. 2008. vol. 110. no. 3. pp. 346–359.
6. Favorskaya M., Jain L.C., Buryachenko V. Digital Video Stabilization in Static and Dynamic Scenes. Computer Vision in Control Systems-1 // ISRL. Springer Cham Heidelberg New York Dordrecht London: Springer International Publishing Switzerland. 2015. vol. 73. pp. 261–309.
7. Jain L.C., Favorskaya M., Novikov D. Panorama Construction from Multi-view Cameras in Outdoor Scenes. Computer Vision in Control Systems-2 // ISRL. Springer Cham Heidelberg New York Dordrecht London: Springer International Publishing Switzerland. 2015. vol. 75. pp. 71–108.
8. Alcantarilla P.F., Bergasa L.M., Davison A.J. Gauge-SURF Descriptors // Image and Vision Computing. 2013. vol. 31. no. 1. pp. 103–116.
9. Gevers T., van de Weijer J., Stokman H. Color Feature Detection: an Overview. Color Image Processing: Methods and Applications / edited by R. Lukac, K.N. Plataniotis. University of Toronto. Ontario, Canada: CRC Press. 2006. pp. 203–226.
10. Van de Weijer J., Gevers T., Bagdanov A. Boosting Color Saliency in Image Feature Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. vol. 28. no. 1. pp. 150–156.
11. Van de Sande K.E.A., Gevers T., Snoek C.G.M. Evaluating Color Descriptors for Object and Scene Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. vol. 32. no. 9. pp. 1582–1596.
12. Csurka G., Dance C.R., Fan L., Willamowski J., Bray C. Visual Categorization with Bags of Keypoints // Proceedings of Workshop on Statistical Learning in Computer Vision (ECCV’2004). 2004. pp. 1–22.
13. Vapnik V.N. Statistical Learning Theory. New York: Wiley. 1998. 768 p.
14. Deng Y., Manjunath B. S. Unsupervised Segmentation of Color-Texture Regions in Images and Videos // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001. vol. 23. no. 8. pp. 800–810.
15. LIBSVM – a Library for Support Vector Machines. URL: http://www.csie.ntu.edu.tw/~cjlin/libsvm (дата обращения: 11.05.2015).
16. Battiato S., Farinella G.M., Guarnera M., Ravi D., Tomaselli V. Instant Scene Recognition on Mobile Platform // Computer Vision (ECCV 2012). Workshops and Demonstrations. Lecture Notes in Computer Science. 2012. vol. 7585. pp. 655–658.
17. Gazolli K., Salles E. A Contextual Image Descriptor for Scene Classification // Trends in Innovative Computing. 2012. pp. 66–71.
18. Проскурин А. В. Формирование визуальных слов для автоматического аннотирования изображений на основе самоорганизующейся нейронной сети // Цифровая обработка сигналов и ее применение (ДСПА’2014). Сб. научн. тр. 16-й Международной конференции. Москва: ИПУ РАН. 2014. Т. 2. С. 487–491.
19. Jiang Y.G., Ngo C., Yang J. Towards Optimal Bag-of-Features for Object Categorization and Semantic Video Retrieval // Proceedings of International Conference on Image and Video Retrieval (CIVR ‘2007). 2007. pp. 494–501.
20. Lazebnik S., Schmid C., Ponce J. Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. 2006. vol. 2. pp. 2169–2178.
2. Qin C., Bao X., Choudhury R.R., Nelakuditi S. TagSense: a Smartphone-based Approach to Automatic Image Tagging // Proceedings of the 9th International Conference on Mobile Systems, Applications, and Services (MobiSys’11). 2011. pp. 1–14.
3. Modeling the Shape of the Scene: a Holistic Representation of the Spatial Envelope. URL: http://people.csail.mit.edu/torralba/code/spatialenvelope (дата обращения: 11.05.2015).
4. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints // International Journal of Computer Vision. 2004. vol. 60. no. 2. pp. 91–110.
5. Bay H., Ess A., Tuytelaars T., Gool L.V. Speeded-Up Robust Features (SURF) // Computer Vision and Image Understanding. 2008. vol. 110. no. 3. pp. 346–359.
6. Favorskaya M., Jain L.C., Buryachenko V. Digital Video Stabilization in Static and Dynamic Scenes. Computer Vision in Control Systems-1 // ISRL. Springer Cham Heidelberg New York Dordrecht London: Springer International Publishing Switzerland. 2015. vol. 73. pp. 261–309.
7. Jain L.C., Favorskaya M., Novikov D. Panorama Construction from Multi-view Cameras in Outdoor Scenes. Computer Vision in Control Systems-2 // ISRL. Springer Cham Heidelberg New York Dordrecht London: Springer International Publishing Switzerland. 2015. vol. 75. pp. 71–108.
8. Alcantarilla P.F., Bergasa L.M., Davison A.J. Gauge-SURF Descriptors // Image and Vision Computing. 2013. vol. 31. no. 1. pp. 103–116.
9. Gevers T., van de Weijer J., Stokman H. Color Feature Detection: an Overview. Color Image Processing: Methods and Applications / edited by R. Lukac, K.N. Plataniotis. University of Toronto. Ontario, Canada: CRC Press. 2006. pp. 203–226.
10. Van de Weijer J., Gevers T., Bagdanov A. Boosting Color Saliency in Image Feature Detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. vol. 28. no. 1. pp. 150–156.
11. Van de Sande K.E.A., Gevers T., Snoek C.G.M. Evaluating Color Descriptors for Object and Scene Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. vol. 32. no. 9. pp. 1582–1596.
12. Csurka G., Dance C.R., Fan L., Willamowski J., Bray C. Visual Categorization with Bags of Keypoints // Proceedings of Workshop on Statistical Learning in Computer Vision (ECCV’2004). 2004. pp. 1–22.
13. Vapnik V.N. Statistical Learning Theory. New York: Wiley. 1998. 768 p.
14. Deng Y., Manjunath B. S. Unsupervised Segmentation of Color-Texture Regions in Images and Videos // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2001. vol. 23. no. 8. pp. 800–810.
15. LIBSVM – a Library for Support Vector Machines. URL: http://www.csie.ntu.edu.tw/~cjlin/libsvm (дата обращения: 11.05.2015).
16. Battiato S., Farinella G.M., Guarnera M., Ravi D., Tomaselli V. Instant Scene Recognition on Mobile Platform // Computer Vision (ECCV 2012). Workshops and Demonstrations. Lecture Notes in Computer Science. 2012. vol. 7585. pp. 655–658.
17. Gazolli K., Salles E. A Contextual Image Descriptor for Scene Classification // Trends in Innovative Computing. 2012. pp. 66–71.
18. Проскурин А. В. Формирование визуальных слов для автоматического аннотирования изображений на основе самоорганизующейся нейронной сети // Цифровая обработка сигналов и ее применение (ДСПА’2014). Сб. научн. тр. 16-й Международной конференции. Москва: ИПУ РАН. 2014. Т. 2. С. 487–491.
19. Jiang Y.G., Ngo C., Yang J. Towards Optimal Bag-of-Features for Object Categorization and Semantic Video Retrieval // Proceedings of International Conference on Image and Video Retrieval (CIVR ‘2007). 2007. pp. 494–501.
20. Lazebnik S., Schmid C., Ponce J. Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. 2006. vol. 2. pp. 2169–2178.
Опубликован
2015-06-15
Как цитировать
Фаворская, М. Н., & Проскурин, А. В. (2015). Категоризация сцен на основе расширенных цветовых дескрипторов. Труды СПИИРАН, 3(40), 203-220. https://doi.org/10.15622/sp.40.13
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
