Алгоритм построения деформируемых 3D моделей лица и обоснование его применимости в системах распознавания личности
Ключевые слова:
распознавание личности, активные модели форм, 3D модель лица, деформируемая модель лица, биометрический векторАннотация
Описан алгоритм автоматического построения деформируемых 3D моделей лица, основанного на использовании метода Active Shape Models, метода восстановления ландшафтных поверхностей Шепарда и набора частных 3D моделей лиц. Предложена альтернативная к EER оценке точности в задаче распознавания личности по изображению лица, основанная на фиксированном значении оценки FAR. Приведены результаты тестирования описанного алгоритма. Продемонстрированы результаты использования полученных моделей в рамках работы алгоритма распознавания на крупной базе из нескольких тысяч изображений (база изображений FERET за 2000 год), содержащей фотографии людей под углами 0, 45 и 90 градусов относительно оптической оси камеры. Анализ результатов показал, что применение деформируемых моделей лица не снижает качества распознавания личности по изображению лица даже при сложных начальных условиях, а в ряде случаев ведет к улучшению результатов распознавания.Литература
1. Zhao W., Chellappa R., Phillips P.J., Rosenfeld A. Face recognition: A literature survey // ACM computing surveys (CSUR). 2003. vol. 35. no. 4. pp. 399-458.
2. Adini Y., Moses Y., Ullman S. Face recognition: The problem of compensating for changes in illumination direction // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. vol. 19. pp. 721–732.
3. Bronstein A., Bronstein M., Kimmel R. Expression-invariant 3D face recognition // Proceedings of Audio and Video-based Biometric Person Authentication (AVBPA). Lecture Notes in Computer Science 2688, Springer. 2003. pp. 62–69.
4. Zhou H., Mian A., Wei L., Creighton D., Hossny M., Nahavandi S. Recent advances on singlemodal and multimodal face recognition: a survey // Proceedings of IEEE Transactions on Human-Machine Systems. 2014. vol. 44. no. 6. pp. 701-716.
5. Щеголева Н. Восстановление 3D поверхности лица. Сборник научных трудов 23-ей Международной научной конференции «GraphiCon2013» (г. Владивосток, 16–20 сентября 2013 г.) Владивосток: Институт автоматики и процессов управления ДВО РАН, 2013. С. 135-139.
6. Сергеев А.Е., Конушин А.С., Конушин В.С. Подавление ложноположительных обнаружений лиц в видеопотоках систем видеонаблюдения // Компьютерная оптика. 2016. Т. 40. № 6. С. 958-967.
7. Zagoruiko N.G., Kutnenko O.A.. Recognition Methods Based on the AdDel Algorithm // Pattern Recognition and Image Analysis. 2004. Vol. 14. № 2. pp.198-204.
8. Chernyshov V.G., Mestetskii L.M. Mobile Computer Vision System for Hand-Based Identification // Pattern Recognition and Image Analysis. 2015. Vol. 25, № 2, pp. 209-214.
9. Vizilter Yu.V., Zheltov S.Yu. Similarity measures and comparison metrics for image shapes // Journal Of Computer And Systems Sciences International. 2014. Vol. 53. pp 542–555.
10. Krylov A.S., Nasonov A.V. 3d image sharpening by grid warping // Lecture Notes in Computer Science. 2015. Vol. 9242. pp. 441–450.
11. Шерстобитов А.И., Федосов В.П., Приходченко В.А., Тимофеев М.В. Распознавание лиц на групповых фотографиях с использованием алгоритмов сегментации // Известия ЮФУ. Технические науки. 2013. Т. 148. С. 66-73.
12. Зотин А.Г., Пахирка А.И., Дамов М.В., Савчина Е.И. Улучшение визуального качества изображений, полученных в сложных условиях освещенности на основе инфракрасных данных // Программные продукты и системы. 2016. Т. 115. № 3. С.109-120.
13. Манолов А.И. , Соколов А.Ю., Степаненко О.В., Тумачек А.C., Тяхт А.В., Цискаридзе А.К., Заварикин Д.Н., Кадейшвили А.А.. Некооперативная биометрическая идентификация по 3D-моделям лица с использованием видеокамер высокого разрешения // Сборник научных трудов 19-ой Международной научной конференции «GraphiCon2009» (г. Москва, 5–9 октября 2009 г.) М.: МГУ им. М.В. Ломоносова, 2009. С. 210-214.
14. Taigman Y., Yang M., Ranzato M.A., Wolf L. Deepface: Closing the gap to human-level performance in face verification // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. pp. 1701-1708.
15. Gorodnichy D., Granger E., Radtke P. Survey of commercial technologies for face recognition in video // CBSA, Border Technology Division, Tech. Rep. 2014. Vol. 22.
16. Bui T.T.T., Phan N.H., Spitsyn V.G., Bolotova Y.A., Savitsky Y.V. Development of algorithms for face and character recognition based on wavelet transforms, PCA and neural networks // Proceedings of IEEE International Siberian Conference on Control and Communications (SIBCON’2015). 2015. pp. 1-6.
17. Savitskiy Yu.V., Nebaba S.G., Spitsyn V.G., Andreev S.Yu., Makarov M.A. Analysis of methods of features extraction from image of human face for identification // Scientific Visualization, 2016. vol. 8. no. 2. pp. 107-119.
18. Klehm O., Rousselle F., Papas M., Bradley D., Hery C., Bickel B., Beeler, T. Recent advances in facial appearance capture // Computer Graphics Forum. 2015. vol. 34. no. 2. pp. 709-733.
19. Заварикин Д.Н., Кадейшвили А.А., Коробкова С.В., Соколов А.Ю., Степаненко О.В. Система некооперативной биометрической идентификации людей // Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”, 2012. С. 40-45.
20. Song H., Lv J., Wang Y. Rapid 3D Face Modeling from Video // Pacific Rim Conference on Multimedia. 2015. pp. 201-211.
21. Garrido P., Zollhöfer M., Casas D., Valgaerts L., Varanasi K., Pérez P., Theobalt C. Reconstruction of Personalized 3D Face Rigs from Monocular Video // ACM Transactions on Graphics (TOG). 2016. vol. 35. no. 3. p. 28.
22. Небаба С.Г., Захарова А.А., Андреев С.Ю. Алгоритм формирования индивидуальной трехмерной модели лица человека из растрового изображения лица и набора частных трехмерных моделей лица // Информационное общество. 2015. №5. C. 25-34.
23. Blanz V., Vetter T. Face recognition based on fitting a 3D morphable model // Proceedings of IEEE Transactions on pattern analysis and machine intelligence. 2003. vol. 25. no. 9. pp. 1063-1074.
24. Zhu X., Yan J., Yi D., Lei Z., Li S.Z. Discriminative 3D morphable model fitting // Proceedings of 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). 2015. vol. 1. pp. 1-8.
25. Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active shape models - their training and application // Computer Vision and Image Understanding. 1995. Vol. 61. pp. 38-59.
26. Небаба С.Г., Захарова А.А. Применение алгоритма формирования индивидуальной трехмерной модели человеческого лица в системе распознавания личности по изображению лица // Сборник научных трудов 26-ой Международной научной конференции «GraphiCon2016» (г. Нижний Новгород, 19–23 сентября 2016 г.) Нижний Новгород: ННГАСУ, 2016. С. 310-313.
27. Renka R.J. Multivariate Interpolation of Large Sets of Scattered Data // ACM Transactions on Mathematical Software (TOMS). 1988. Vol. 14. №. 2. pp. 139-148.
28. ALGLIB User Guide. Интерполяция/аппроксимация по обратному средневзвешенному расстоянию. URL: http://alglib.sources.ru/interpolation/inversedistanceweighting.php#tuning (дата обращения: 16.03.2017).
29. Renka R.J. Algorithm 790: CSHEP2D: Cubic Shepard method for bivariate interpolation of scattered data //ACM Transactions on Mathematical Software (TOMS). 1999. Vol. 25. №. 1. pp. 70-73.
30. ГОСТ Р ИСО/МЭК 19794-5-2006. Автоматическая идентификация. Идентификация биометрическая. Форматы обмена биометрическими данными // М.: Госстандарт России. 2006.
31. Computational Vision: Archive. Available at: www.vision.caltech.edu/html-files/archive.html (accessed January 13, 2017).
32. Phillips P.J., Moon H., Rauss P.J., Rizvi S. The FERET evaluation methodology for face recognition algorithms // Proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. vol. 22. pp. 1090-1104.
33. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / Под ред. М.В. Хитрова. СПб: Политехника. 2013. 388 c.
2. Adini Y., Moses Y., Ullman S. Face recognition: The problem of compensating for changes in illumination direction // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. vol. 19. pp. 721–732.
3. Bronstein A., Bronstein M., Kimmel R. Expression-invariant 3D face recognition // Proceedings of Audio and Video-based Biometric Person Authentication (AVBPA). Lecture Notes in Computer Science 2688, Springer. 2003. pp. 62–69.
4. Zhou H., Mian A., Wei L., Creighton D., Hossny M., Nahavandi S. Recent advances on singlemodal and multimodal face recognition: a survey // Proceedings of IEEE Transactions on Human-Machine Systems. 2014. vol. 44. no. 6. pp. 701-716.
5. Щеголева Н. Восстановление 3D поверхности лица. Сборник научных трудов 23-ей Международной научной конференции «GraphiCon2013» (г. Владивосток, 16–20 сентября 2013 г.) Владивосток: Институт автоматики и процессов управления ДВО РАН, 2013. С. 135-139.
6. Сергеев А.Е., Конушин А.С., Конушин В.С. Подавление ложноположительных обнаружений лиц в видеопотоках систем видеонаблюдения // Компьютерная оптика. 2016. Т. 40. № 6. С. 958-967.
7. Zagoruiko N.G., Kutnenko O.A.. Recognition Methods Based on the AdDel Algorithm // Pattern Recognition and Image Analysis. 2004. Vol. 14. № 2. pp.198-204.
8. Chernyshov V.G., Mestetskii L.M. Mobile Computer Vision System for Hand-Based Identification // Pattern Recognition and Image Analysis. 2015. Vol. 25, № 2, pp. 209-214.
9. Vizilter Yu.V., Zheltov S.Yu. Similarity measures and comparison metrics for image shapes // Journal Of Computer And Systems Sciences International. 2014. Vol. 53. pp 542–555.
10. Krylov A.S., Nasonov A.V. 3d image sharpening by grid warping // Lecture Notes in Computer Science. 2015. Vol. 9242. pp. 441–450.
11. Шерстобитов А.И., Федосов В.П., Приходченко В.А., Тимофеев М.В. Распознавание лиц на групповых фотографиях с использованием алгоритмов сегментации // Известия ЮФУ. Технические науки. 2013. Т. 148. С. 66-73.
12. Зотин А.Г., Пахирка А.И., Дамов М.В., Савчина Е.И. Улучшение визуального качества изображений, полученных в сложных условиях освещенности на основе инфракрасных данных // Программные продукты и системы. 2016. Т. 115. № 3. С.109-120.
13. Манолов А.И. , Соколов А.Ю., Степаненко О.В., Тумачек А.C., Тяхт А.В., Цискаридзе А.К., Заварикин Д.Н., Кадейшвили А.А.. Некооперативная биометрическая идентификация по 3D-моделям лица с использованием видеокамер высокого разрешения // Сборник научных трудов 19-ой Международной научной конференции «GraphiCon2009» (г. Москва, 5–9 октября 2009 г.) М.: МГУ им. М.В. Ломоносова, 2009. С. 210-214.
14. Taigman Y., Yang M., Ranzato M.A., Wolf L. Deepface: Closing the gap to human-level performance in face verification // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. pp. 1701-1708.
15. Gorodnichy D., Granger E., Radtke P. Survey of commercial technologies for face recognition in video // CBSA, Border Technology Division, Tech. Rep. 2014. Vol. 22.
16. Bui T.T.T., Phan N.H., Spitsyn V.G., Bolotova Y.A., Savitsky Y.V. Development of algorithms for face and character recognition based on wavelet transforms, PCA and neural networks // Proceedings of IEEE International Siberian Conference on Control and Communications (SIBCON’2015). 2015. pp. 1-6.
17. Savitskiy Yu.V., Nebaba S.G., Spitsyn V.G., Andreev S.Yu., Makarov M.A. Analysis of methods of features extraction from image of human face for identification // Scientific Visualization, 2016. vol. 8. no. 2. pp. 107-119.
18. Klehm O., Rousselle F., Papas M., Bradley D., Hery C., Bickel B., Beeler, T. Recent advances in facial appearance capture // Computer Graphics Forum. 2015. vol. 34. no. 2. pp. 709-733.
19. Заварикин Д.Н., Кадейшвили А.А., Коробкова С.В., Соколов А.Ю., Степаненко О.В. Система некооперативной биометрической идентификации людей // Вестник МГТУ им. Н.Э. Баумана. Сер. “Приборостроение”, 2012. С. 40-45.
20. Song H., Lv J., Wang Y. Rapid 3D Face Modeling from Video // Pacific Rim Conference on Multimedia. 2015. pp. 201-211.
21. Garrido P., Zollhöfer M., Casas D., Valgaerts L., Varanasi K., Pérez P., Theobalt C. Reconstruction of Personalized 3D Face Rigs from Monocular Video // ACM Transactions on Graphics (TOG). 2016. vol. 35. no. 3. p. 28.
22. Небаба С.Г., Захарова А.А., Андреев С.Ю. Алгоритм формирования индивидуальной трехмерной модели лица человека из растрового изображения лица и набора частных трехмерных моделей лица // Информационное общество. 2015. №5. C. 25-34.
23. Blanz V., Vetter T. Face recognition based on fitting a 3D morphable model // Proceedings of IEEE Transactions on pattern analysis and machine intelligence. 2003. vol. 25. no. 9. pp. 1063-1074.
24. Zhu X., Yan J., Yi D., Lei Z., Li S.Z. Discriminative 3D morphable model fitting // Proceedings of 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG). 2015. vol. 1. pp. 1-8.
25. Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active shape models - their training and application // Computer Vision and Image Understanding. 1995. Vol. 61. pp. 38-59.
26. Небаба С.Г., Захарова А.А. Применение алгоритма формирования индивидуальной трехмерной модели человеческого лица в системе распознавания личности по изображению лица // Сборник научных трудов 26-ой Международной научной конференции «GraphiCon2016» (г. Нижний Новгород, 19–23 сентября 2016 г.) Нижний Новгород: ННГАСУ, 2016. С. 310-313.
27. Renka R.J. Multivariate Interpolation of Large Sets of Scattered Data // ACM Transactions on Mathematical Software (TOMS). 1988. Vol. 14. №. 2. pp. 139-148.
28. ALGLIB User Guide. Интерполяция/аппроксимация по обратному средневзвешенному расстоянию. URL: http://alglib.sources.ru/interpolation/inversedistanceweighting.php#tuning (дата обращения: 16.03.2017).
29. Renka R.J. Algorithm 790: CSHEP2D: Cubic Shepard method for bivariate interpolation of scattered data //ACM Transactions on Mathematical Software (TOMS). 1999. Vol. 25. №. 1. pp. 70-73.
30. ГОСТ Р ИСО/МЭК 19794-5-2006. Автоматическая идентификация. Идентификация биометрическая. Форматы обмена биометрическими данными // М.: Госстандарт России. 2006.
31. Computational Vision: Archive. Available at: www.vision.caltech.edu/html-files/archive.html (accessed January 13, 2017).
32. Phillips P.J., Moon H., Rauss P.J., Rizvi S. The FERET evaluation methodology for face recognition algorithms // Proceedings of IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. vol. 22. pp. 1090-1104.
33. Кухарев Г.А., Каменская Е.И., Матвеев Ю.Н., Щеголева Н.Л. Методы обработки и распознавания изображений лиц в задачах биометрии / Под ред. М.В. Хитрова. СПб: Политехника. 2013. 388 c.
Опубликован
2017-05-31
Как цитировать
Небаба, С. Г., & Захарова, А. А. (2017). Алгоритм построения деформируемых 3D моделей лица и обоснование его применимости в системах распознавания личности. Труды СПИИРАН, 3(52), 157-179. https://doi.org/10.15622/sp.52.8
Раздел
Алгоритмы и программные средства
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
