Алгоритмы взаимной реконструкции изображений лиц на основе методов проекции в собственные подпространства
Ключевые слова:
изображение лица, скетч, фоторобот, взаимная реконструкция изображений лиц мультисенсорной природы, кросс-модальный мультимедийный поиск, метод главных компонент, метод частичных наименьших квадратов, двумерные проекционные методы, регрессияАннотация
Обсуждается проблема взаимной реконструкции изображений лиц в соответствующих друг другу парах. Эта проблема была поставлена в предыдущей статье авторов, а предложенные в ней решения обсуждались с приложением к задачам гетерогенного распознавания изображений лиц (Heterogeneous Face Recognition) и кросс-модального мультимедийного поиска (Cross-Modal Multimedia Retrieval). Эти решения основаны на одномерных и двумерных методах анализа главных компонент для двух исходных наборов изображений лиц и проекции их в независимые собственные подпространства, вычислении матриц взаимной трансформации между этими подпространствами и взаимной реконструкции изображений лиц на основе одномерного и двумерного преобразований Карунена — Лоэва. В настоящей статье предлагаются новые подходы и решения, основанные исключительно на двумерных методах проекции в собственные подпространства и двух вариантах моделей регрессии — множественной линейной регрессии и регрессии частичных наименьших квадратов. Приведены результаты экспериментов по взаимной реконструкции изображений лиц в парах скетч/фотографии, в парах лиц с возрастными изменениями, а также в парах изображений лиц в формах 2D/3D. Для проведения экспериментов выбраны два варианта реализации предложенного подхода. Первый из них основан на двумерном анализе главных компонент и регрессии частичных наименьших квадратов, второй — на двумерном методе частичных наименьших квадратов и множественной линейной регрессии. Оба варианта показали приемлемые для практики результаты при решении задачи взаимной реконструкции изображений лиц. Кроме того, рассмотрен способ повышения качества реконструируемых изображений лиц при работе со смешанными базами. Он заключается в классификации на основе двумерного линейного дискриминантного анализа и построении регрессионной зависимости в рамках каждого класса. Показано также, что в общем случае взаимная реконструкция изображений лиц достижима и в условиях, когда исходные изображения не входили в состав обучающих наборов изображений лиц.Литература
1. Ouyang S. et al. A survey on heterogeneous face recognition: Sketch, infra-red, 3D and low-resolution // ArXiv Prepr. ArXiv14095114. 2014.
2. Kukharev G., Kamenskaya E. Application of two-dimensional canonical correlation analysis for face image processing and recognition // PRIA. 2010. Vol. 20, № 2. P. 210–219.
3. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. Хитрова М.В. СПб.: Политехника, 2013. 388 с.
4. Ouyang S. et al. Cross-modal face matching: Beyond viewed sketches // 12th Asian Conference on Computer Vision (ACCV), 2014. Singapore: Springer International Publishing, 2015. P. 210–225.
5. Sharma A., Jacobs D.W. Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011. IEEE, 2011. P. 593–600.
6. Tang X., Wang X. Face sketch recognition // IEEE Trans. Circuits Syst. Video Technol. 2004. Vol. 14, № 1. P. 50–57.
7. Kukharev G., Oleinik A. Face Photo-Sketch Transformation and Population Generation // ICCVG 2016 LNCS 9972. 2016. P. 329–340.
8. Baker S., Kanade T. Hallucinating faces // Automatic Face and Gesture Recognition, 2000. Proceedings. Fourth IEEE International Conference on. IEEE, 2000. P. 83–88.
9. An L., Bhanu B. Face image super-resolution using 2D CCA // Signal Process. 2014. Vol. 103. P. 184–194.
10. Кухарев Г.А., Матвеев Ю.Н., Форчманьски П. Поиск людей по фотороботам: методы, системы и практические решения // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15, № 4. С. 640–653.
11. Кухарев Г.А., Матвеев Ю.Н., Олейник А.Л. Алгоритмы взаимной трансформации изображений для систем обработки и поиска визуальной информации // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17, № 1. С. 62–74.
12. Xie Z. Partial least squares regression on DCT domain for infrared face recognition // Proc. SPIE 9230, Twelfth International Conference on Photonics and Imaging in Biology and Medicine (PIBM 2014) / ed. Luo Q., Wang L.V., Tuchin V.V. 2014. Vol. 9230. P. 6.
13. Reiter M. et al. 3D and Infrared Face Reconstruction from RGB data using Canonical Correlation Analysis. IEEE, 2006. P. 425–428.
14. Reiter M. et al. Estimation of face depth maps from color textures using canonical correlation analysis. 2006. P. 1–5.
15. Ramanathan N., Chellappa R., Biswas S. Computational methods for modeling facial aging: A survey // J. Vis. Lang. Comput. 2009. Vol. 20, № 3. P. 131–144.
16. Liang J. et al. Group-invariant cross-modal subspace learning // Proc. IJCAI. 2016. P. 1739–1745.
17. Tian L., Fan C., Ming Y. Multiple scales combined principle component analysis deep learning network for face recognition // J. Electron. Imaging. 2016. Vol. 25, № 2. P. 16.
18. Kim H., Fyfe C., Ko H. Feature locations in images // International Conference on Intelligent Data Engineering and Automated Learning. Springer, 2008. P. 459–463.
19. Эсбенсен К. Анализ многомерных данных. Черноголовка: ИПХФ РАН, 2005. 160 с.
20. CUFS dataset [Electronic resource]. URL: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html (accessed: 25.04.2015).
21. CUFSF dataset [Electronic resource]. URL: http://mmlab.ie.cuhk.edu.hk/archive/cufsf/ (accessed: 16.04.2016).
22. Suo J. et al. A compositional and dynamic model for face aging // Pattern Anal. Mach. Intell. IEEE Trans. On. 2010. Vol. 32, № 3. P. 385–401.
23. Gupta S. et al. Texas 3D Face Recognition Database [Electronic resource]. URL: http://live.ece.utexas.edu/research/texas3dfr/index.htm (accessed: 23.04.2017).
24. Gupta S. et al. Texas 3D face recognition database // Image Analysis & Interpretation (SSIAI), 2010 IEEE Southwest Symposium on. IEEE, 2010. P. 97–100.
25. Gupta S., Markey M.K., Bovik A.C. Anthropometric 3D Face Recognition // Int. J. Comput. Vis. 2010. Vol. 90, № 3. P. 331–349.
26. Sun Y., Tistarelli M., Maltoni D. Structural similarity based image quality map for face recognition across plastic surgery // Biometrics: Theory, Applications and Systems (BTAS), 2013 IEEE Sixth International Conference on. IEEE, 2013. P. 1–8.
2. Kukharev G., Kamenskaya E. Application of two-dimensional canonical correlation analysis for face image processing and recognition // PRIA. 2010. Vol. 20, № 2. P. 210–219.
3. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / под ред. Хитрова М.В. СПб.: Политехника, 2013. 388 с.
4. Ouyang S. et al. Cross-modal face matching: Beyond viewed sketches // 12th Asian Conference on Computer Vision (ACCV), 2014. Singapore: Springer International Publishing, 2015. P. 210–225.
5. Sharma A., Jacobs D.W. Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch // IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2011. IEEE, 2011. P. 593–600.
6. Tang X., Wang X. Face sketch recognition // IEEE Trans. Circuits Syst. Video Technol. 2004. Vol. 14, № 1. P. 50–57.
7. Kukharev G., Oleinik A. Face Photo-Sketch Transformation and Population Generation // ICCVG 2016 LNCS 9972. 2016. P. 329–340.
8. Baker S., Kanade T. Hallucinating faces // Automatic Face and Gesture Recognition, 2000. Proceedings. Fourth IEEE International Conference on. IEEE, 2000. P. 83–88.
9. An L., Bhanu B. Face image super-resolution using 2D CCA // Signal Process. 2014. Vol. 103. P. 184–194.
10. Кухарев Г.А., Матвеев Ю.Н., Форчманьски П. Поиск людей по фотороботам: методы, системы и практические решения // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15, № 4. С. 640–653.
11. Кухарев Г.А., Матвеев Ю.Н., Олейник А.Л. Алгоритмы взаимной трансформации изображений для систем обработки и поиска визуальной информации // Научно-технический вестник информационных технологий, механики и оптики. 2017. Т. 17, № 1. С. 62–74.
12. Xie Z. Partial least squares regression on DCT domain for infrared face recognition // Proc. SPIE 9230, Twelfth International Conference on Photonics and Imaging in Biology and Medicine (PIBM 2014) / ed. Luo Q., Wang L.V., Tuchin V.V. 2014. Vol. 9230. P. 6.
13. Reiter M. et al. 3D and Infrared Face Reconstruction from RGB data using Canonical Correlation Analysis. IEEE, 2006. P. 425–428.
14. Reiter M. et al. Estimation of face depth maps from color textures using canonical correlation analysis. 2006. P. 1–5.
15. Ramanathan N., Chellappa R., Biswas S. Computational methods for modeling facial aging: A survey // J. Vis. Lang. Comput. 2009. Vol. 20, № 3. P. 131–144.
16. Liang J. et al. Group-invariant cross-modal subspace learning // Proc. IJCAI. 2016. P. 1739–1745.
17. Tian L., Fan C., Ming Y. Multiple scales combined principle component analysis deep learning network for face recognition // J. Electron. Imaging. 2016. Vol. 25, № 2. P. 16.
18. Kim H., Fyfe C., Ko H. Feature locations in images // International Conference on Intelligent Data Engineering and Automated Learning. Springer, 2008. P. 459–463.
19. Эсбенсен К. Анализ многомерных данных. Черноголовка: ИПХФ РАН, 2005. 160 с.
20. CUFS dataset [Electronic resource]. URL: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html (accessed: 25.04.2015).
21. CUFSF dataset [Electronic resource]. URL: http://mmlab.ie.cuhk.edu.hk/archive/cufsf/ (accessed: 16.04.2016).
22. Suo J. et al. A compositional and dynamic model for face aging // Pattern Anal. Mach. Intell. IEEE Trans. On. 2010. Vol. 32, № 3. P. 385–401.
23. Gupta S. et al. Texas 3D Face Recognition Database [Electronic resource]. URL: http://live.ece.utexas.edu/research/texas3dfr/index.htm (accessed: 23.04.2017).
24. Gupta S. et al. Texas 3D face recognition database // Image Analysis & Interpretation (SSIAI), 2010 IEEE Southwest Symposium on. IEEE, 2010. P. 97–100.
25. Gupta S., Markey M.K., Bovik A.C. Anthropometric 3D Face Recognition // Int. J. Comput. Vis. 2010. Vol. 90, № 3. P. 331–349.
26. Sun Y., Tistarelli M., Maltoni D. Structural similarity based image quality map for face recognition across plastic surgery // Biometrics: Theory, Applications and Systems (BTAS), 2013 IEEE Sixth International Conference on. IEEE, 2013. P. 1–8.
Опубликован
2018-03-30
Как цитировать
Олейник, А. Л., & Кухарев, Г. А. (2018). Алгоритмы взаимной реконструкции изображений лиц на основе методов проекции в собственные подпространства. Труды СПИИРАН, 2(57), 45-74. https://doi.org/10.15622/sp.57.3
Раздел
Искусственный интеллект, инженерия данных и знаний
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
