Каскадный классификатор для обнаружения и идентификации птиц в видеопотоке
Ключевые слова:
авиационная орнитология и безопасность, видеонаблюдение, обнаружение и идентификация птицАннотация
В статье представлен разработанный метод и прототип программы для определения наличия птиц в видеопотоке данных в режиме реального времени. Этот метод основан на использовании каскадного классификатора, который был применен для решения задачи обнаружения и идентификации птиц в биоакустической установке отпугивания птиц в аэропорту Томска. В рамках исследования был использован каскадный классификатор Виолы-Джонса, который является одной из реализаций алгоритма каскад Хаара. Этот алгоритм позволяет с высокой точностью и скоростью обнаруживать объекты на изображениях и видео. В данном случае классификатор был обучен на наборе данных, содержащем изображения птиц, что позволило достичь высокой точности обнаружения и идентификации птиц на видео. Также приведены результаты оценки возможностей созданного классификатора и продемонстрирована его высокая результативность. В ходе исследования были использованы различные методы машинного обучения и анализа видеоданных, что позволило получить точные и надежные результаты. В целом, данная работа представляет собой инновационный подход к решению актуальной задачи защиты аэропортов от птиц. Применение разработанного метода позволило повысить эффективность работы биоакустической установки отпугивания птиц и обеспечить безопасность полетов в аэропорту Томска, снизив вероятность столкновения самолетов с птицами. Новизна работы заключается в применении метода Виолы-Джонса к задаче обнаружения и идентификации птиц с оценкой его результативности. Таким образом, представленная в статье работа является важным вкладом в развитие методов обнаружения и идентификации объектов на видео и может быть использована в других областях, где требуется автоматическое обнаружение и классификация объектов в видеопотоке данных.
Литература
1. Рогачев А.И., Лебедев А.М. Орнитологическое обеспечение безопасности полетов // М.: изд-во «Транспорт». 1984. 126 с.
2. Силаева О.Л., Ильичёв В.Д., Золотарев С.С. Основные направления авиационной орнитологии // Вестник Российского университета дружбы народов. Серия: Экология и безопасность жизнедеятельности. 2010. № 5. С. 10–14.
3. Рыжов С.К. Столкновения с птицами. Актуальные аспекты // Труды общества независимых расследователей авиационных происшествий. Москва. 2013. № 25. С. 175–179.
4. Desoky A.A.S. A review of bird control methods at airports // Global journal of science frontier research (E). 2014. vol. 14(2). pp. 40–50.
5. Кухта А.Е., Большакова Н.П., Мацюра А.В. Концептуальные подходы к орнитологическому обеспечению безопасности полётов воздушных судов // Вестник Тувинского государственного университета. Естественные и сельскохозяйственные науки. 2017. № 2. С. 96–105.
6. Официальный сайт Федерального агентства воздушного транспорта, Росавиация. Статистика столкновений с птицами и другими животными. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici-stat/ (дата обращения: 21.05.2022).
7. Официальный сайт Международной организации гражданской авиации, электронный бюллетень. Анализ столкновений с дикими животными (IBIS) за 2008–2015 годы. URL: https://www.icao.int/safety/IBIS/2008%20-%202015%20Wildlife%20Strike%20Analyses%20(IBIS)%20-%20RU.pdf (дата обращения: 19.04.2022 ).
8. Официальный сайт Министерства транспорта Российской Федерации. Динамика статистических показателей воздушного транспорта Российской Федерации в области столкновений с птицами. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici/ (дата обращения: 20.12.2021).
9. Рогачев А.И., Ростовский В.А., Шергалин Е.Э. Руководство по орнитологическому обеспечению полётов в гражданской авиации (РООП ГА – 89) // Министерство гражданской авиации СССР. Москва: Воздушный транспорт, 1989. 32 с.
10. Ильичёв В.Д., Силаева О.Л., Золотарёв С.С., Бирюков В.А., Нечваль Н.А., Якоби В.Э., Титков А.С. Защита самолётов и других объектов от птиц // М.: Товарищество науч. изд. КМК, 2007. 320 с.
11. Мацюра А.В., Яковлев Р.В., Уланов П.Н. Обзор акустических средств для отпугивания птиц // Acta Biologica Sibirica. 2016. Т. 2. № 4. С. 141–148. DOI: 10.14258/abs.v2i4.1724.
12. Отраслевая группа авиационной орнитологии. Отпугивание птиц биоакустическим методом. Проект «Универсал-Акустик». URL: http://www.otpugivanie.narod.ru/means-control/Universal-Acoustic.html (дата обращения 21.02.2020).
13. Биоакустическое оборудование для отпугивания птиц (БАСОП). URL: (https://aviasvet.ru/push-birds/ (дата обращения 21.02.2020).
14. BirdGard. URL: https://www.birdgard.com/product-page-for-international-customers/ ( дата обращения 21.02.2020).
15. Bird collision avoidance system. URL: https://www.volacom.com/bird-collision-avoidance-system (дата обращения 21.02.2020).
16. Vassilev V.M., Vassileva L.I., Karsch M.A., Petkov K.P., Petkov P.K., Larre J.C. Animal collision avoidance system // Patent US 8,598,998 B2. 2013.
17. Vasilyev A.F., Neginsky I.V., Protopopov A.G., Yakimets A.L. System of ornithological protection of airfields // Institute of Scientific Communications Conference. Cham: Springer International Publishing. 2020. pp. 307–314.
18. Власов Е.В., Кузьмин А.А., Раков А.С. Биоакустический комплекс обнаружения и отпугивания птиц в аэропортах // Сборник избранных статей научной сессии ТУСУРа по материалам Международной научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР. 2019. С. 22–24.
19. Красненко Н.П., Кухта А.Е., Раков А.С. Радиофизические методы в обеспечении орнитологической безопасности объектов и территорий // Шарыгинские чтения. Четвертая международная конференция ведущих научных школ в области радиолокации, радионавигации и радиоэлектронных систем передачи информации. Материалы конференции. Томск: Изд-во Томск. гос. ун-та систем упр. и радиоэлектроники, 2022. С. 5–14.
20. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учебное пособие // СПб: СПбГУ ИТМО. 2008. 192 с.
21. Гонсалес Р., Вудс Р. Цифровая обработка изображений: пер. с англ. // М.: Техносфера. 2002. 1104 с.
22. Berger W. Deep Learning Haar Cascade Explained // http://www.willberger.org. 2017. Available at: http://www.willberger.org/cascade-haar-explained/ (accessed 22.12.2019).
23. Прохоренок Н.А. OpenCV и Java. Обработка изображений и компьютерное зрение // СПб.: БХВ-Петербург. 2018. 320 с.
24. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход: пер с англ. / под ред. А.В. Назаренко // М.: Вильямс. 2004. 926 с.
25. Шапиро Л., Стокман Д. Компьютерное зрение: учебное пособие для вузов: пер. с англ. // М.: БИНОМ. Лаборатория знаний. 2009. 752 с.
26. Zou Z., Shi Z., Guo Y., Ye J. Object detection in 20 years: A survey // 2019. arXiv:1905.05055v2 [cs.CV].
27. Verstraeten W.W., Vermenlen B., Struckens J., Lhermitte S., Van der Zande D., Van Ranst M., Coppin P. Webcams for bird detection and monitoring: A demonstration study // Sensors. 2010. vol. 10. no. 4. pp. 3480–3503. DOI: 10.3390/s100403480. DOI: 10.3390/s100403480.
28. Yoshihashi R., Kawakami R, Iida M., Naemuva T. Bird detection and species classification with time-lapse images around a wind farm: dataset construction and evalution // Wind Energy. 2017. vol. 20. no. 12. pp. 1983–1995. DOI: 10.1002/we.2135.
29. Reyes E. A comparison of image processing techniques for bird detection // A Thesis for degree of master of science in electrical engineering faculty. USA, San Luis Obispo: California Polytechnic State University, 2014. 105 p.
30. Jampens R.T., Hernandez F., Vandecasteele F., Verstockt S. Automatic detection, tracking and counting of birds in marine video content // Proceedings of sixth International conference on image processing theory, tools and applications (IPTA). 2016. pp. 1–6. DOI: 10.1109/IPTA.2016.7821031.
31. Niemi J., Tanttu J.T. Deep learning case study for automatic bird identification // Applied sciences. 2018. vol. 8(11). no. 2089. DOI: 10.3390/app8112089.
32. Mirudwe A., Nyirenda J., Dufouvg E Automating bird detection based on webcam captured images using deep learning // EPIC Series in Computing. Proceedings of the 43rd conference of the South African institute of computer scientists and information technologists. 2022. vol. 85. pp. 62–76.
33. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // Proceeding of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR. 2001. vol. 1. 9 p. DOI: 10.1109/CVPR.2001.990517.
34. Hong S.-J., Han Yu., Kim S.-Y., Lee A.-Y., Kim G. Application of Deep-Learning Methods to Bird Detection Using Unmanned Aerial Vehicle Imagery // Sensors. 2019. vol. 19(7). no. 1651. DOI: 10.3390/s19071651.
35. Weinstein B.G., Ganner L., Saccomanno V.R., Steinkraus A., Ortega A., Brush K., et. al. A general deep learning model for bird detection in high-resolution airborne imagery // Ecological Application. 2022. vol. 32. no. 8.
36. Кузьмин А.А., Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и воспроизведения звуковых сигналов (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2021612566 от 19.02.2021.
37. Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и набора статистики (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2022683820 от 08.12.2022.
38. Qt Creator – кроссплатформенная IDE для разработки приложений [Электронный ресурс]. URL: https://www.qt.io/product/development-tools/ (дата обращения: 01.10.2018).
39. Справочник по OpenCV [Электронный ресурс]. URL: https://opencv-tutorial.ru (дата обращения: 01.10.2018).
40. Библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом [Электронный ресурс]. URL: https://opencv.org/ (дата обращения: 01.10.2018).
41. Работа каскада Хаара в OpenCV [Электронный ресурс]. URL: https://habr.com/ru/company/recognitor/blog/228195/ (дата обращения: 01.10.2018).
42. Обучение каскадного классификатора [Электронный ресурс]. URL: https://docs.opencv.org/3.4/dc/d88/tutorial_traincascade.html (дата обращения: 01.10.2018).
2. Силаева О.Л., Ильичёв В.Д., Золотарев С.С. Основные направления авиационной орнитологии // Вестник Российского университета дружбы народов. Серия: Экология и безопасность жизнедеятельности. 2010. № 5. С. 10–14.
3. Рыжов С.К. Столкновения с птицами. Актуальные аспекты // Труды общества независимых расследователей авиационных происшествий. Москва. 2013. № 25. С. 175–179.
4. Desoky A.A.S. A review of bird control methods at airports // Global journal of science frontier research (E). 2014. vol. 14(2). pp. 40–50.
5. Кухта А.Е., Большакова Н.П., Мацюра А.В. Концептуальные подходы к орнитологическому обеспечению безопасности полётов воздушных судов // Вестник Тувинского государственного университета. Естественные и сельскохозяйственные науки. 2017. № 2. С. 96–105.
6. Официальный сайт Федерального агентства воздушного транспорта, Росавиация. Статистика столкновений с птицами и другими животными. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici-stat/ (дата обращения: 21.05.2022).
7. Официальный сайт Международной организации гражданской авиации, электронный бюллетень. Анализ столкновений с дикими животными (IBIS) за 2008–2015 годы. URL: https://www.icao.int/safety/IBIS/2008%20-%202015%20Wildlife%20Strike%20Analyses%20(IBIS)%20-%20RU.pdf (дата обращения: 19.04.2022 ).
8. Официальный сайт Министерства транспорта Российской Федерации. Динамика статистических показателей воздушного транспорта Российской Федерации в области столкновений с птицами. URL: https://favt.gov.ru/dejatelnost-bezopasnost-poletov-stolknoveniya-ptici/ (дата обращения: 20.12.2021).
9. Рогачев А.И., Ростовский В.А., Шергалин Е.Э. Руководство по орнитологическому обеспечению полётов в гражданской авиации (РООП ГА – 89) // Министерство гражданской авиации СССР. Москва: Воздушный транспорт, 1989. 32 с.
10. Ильичёв В.Д., Силаева О.Л., Золотарёв С.С., Бирюков В.А., Нечваль Н.А., Якоби В.Э., Титков А.С. Защита самолётов и других объектов от птиц // М.: Товарищество науч. изд. КМК, 2007. 320 с.
11. Мацюра А.В., Яковлев Р.В., Уланов П.Н. Обзор акустических средств для отпугивания птиц // Acta Biologica Sibirica. 2016. Т. 2. № 4. С. 141–148. DOI: 10.14258/abs.v2i4.1724.
12. Отраслевая группа авиационной орнитологии. Отпугивание птиц биоакустическим методом. Проект «Универсал-Акустик». URL: http://www.otpugivanie.narod.ru/means-control/Universal-Acoustic.html (дата обращения 21.02.2020).
13. Биоакустическое оборудование для отпугивания птиц (БАСОП). URL: (https://aviasvet.ru/push-birds/ (дата обращения 21.02.2020).
14. BirdGard. URL: https://www.birdgard.com/product-page-for-international-customers/ ( дата обращения 21.02.2020).
15. Bird collision avoidance system. URL: https://www.volacom.com/bird-collision-avoidance-system (дата обращения 21.02.2020).
16. Vassilev V.M., Vassileva L.I., Karsch M.A., Petkov K.P., Petkov P.K., Larre J.C. Animal collision avoidance system // Patent US 8,598,998 B2. 2013.
17. Vasilyev A.F., Neginsky I.V., Protopopov A.G., Yakimets A.L. System of ornithological protection of airfields // Institute of Scientific Communications Conference. Cham: Springer International Publishing. 2020. pp. 307–314.
18. Власов Е.В., Кузьмин А.А., Раков А.С. Биоакустический комплекс обнаружения и отпугивания птиц в аэропортах // Сборник избранных статей научной сессии ТУСУРа по материалам Международной научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР. 2019. С. 22–24.
19. Красненко Н.П., Кухта А.Е., Раков А.С. Радиофизические методы в обеспечении орнитологической безопасности объектов и территорий // Шарыгинские чтения. Четвертая международная конференция ведущих научных школ в области радиолокации, радионавигации и радиоэлектронных систем передачи информации. Материалы конференции. Томск: Изд-во Томск. гос. ун-та систем упр. и радиоэлектроники, 2022. С. 5–14.
20. Фисенко В.Т., Фисенко Т.Ю. Компьютерная обработка и распознавание изображений: учебное пособие // СПб: СПбГУ ИТМО. 2008. 192 с.
21. Гонсалес Р., Вудс Р. Цифровая обработка изображений: пер. с англ. // М.: Техносфера. 2002. 1104 с.
22. Berger W. Deep Learning Haar Cascade Explained // http://www.willberger.org. 2017. Available at: http://www.willberger.org/cascade-haar-explained/ (accessed 22.12.2019).
23. Прохоренок Н.А. OpenCV и Java. Обработка изображений и компьютерное зрение // СПб.: БХВ-Петербург. 2018. 320 с.
24. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход: пер с англ. / под ред. А.В. Назаренко // М.: Вильямс. 2004. 926 с.
25. Шапиро Л., Стокман Д. Компьютерное зрение: учебное пособие для вузов: пер. с англ. // М.: БИНОМ. Лаборатория знаний. 2009. 752 с.
26. Zou Z., Shi Z., Guo Y., Ye J. Object detection in 20 years: A survey // 2019. arXiv:1905.05055v2 [cs.CV].
27. Verstraeten W.W., Vermenlen B., Struckens J., Lhermitte S., Van der Zande D., Van Ranst M., Coppin P. Webcams for bird detection and monitoring: A demonstration study // Sensors. 2010. vol. 10. no. 4. pp. 3480–3503. DOI: 10.3390/s100403480. DOI: 10.3390/s100403480.
28. Yoshihashi R., Kawakami R, Iida M., Naemuva T. Bird detection and species classification with time-lapse images around a wind farm: dataset construction and evalution // Wind Energy. 2017. vol. 20. no. 12. pp. 1983–1995. DOI: 10.1002/we.2135.
29. Reyes E. A comparison of image processing techniques for bird detection // A Thesis for degree of master of science in electrical engineering faculty. USA, San Luis Obispo: California Polytechnic State University, 2014. 105 p.
30. Jampens R.T., Hernandez F., Vandecasteele F., Verstockt S. Automatic detection, tracking and counting of birds in marine video content // Proceedings of sixth International conference on image processing theory, tools and applications (IPTA). 2016. pp. 1–6. DOI: 10.1109/IPTA.2016.7821031.
31. Niemi J., Tanttu J.T. Deep learning case study for automatic bird identification // Applied sciences. 2018. vol. 8(11). no. 2089. DOI: 10.3390/app8112089.
32. Mirudwe A., Nyirenda J., Dufouvg E Automating bird detection based on webcam captured images using deep learning // EPIC Series in Computing. Proceedings of the 43rd conference of the South African institute of computer scientists and information technologists. 2022. vol. 85. pp. 62–76.
33. Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // Proceeding of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR. 2001. vol. 1. 9 p. DOI: 10.1109/CVPR.2001.990517.
34. Hong S.-J., Han Yu., Kim S.-Y., Lee A.-Y., Kim G. Application of Deep-Learning Methods to Bird Detection Using Unmanned Aerial Vehicle Imagery // Sensors. 2019. vol. 19(7). no. 1651. DOI: 10.3390/s19071651.
35. Weinstein B.G., Ganner L., Saccomanno V.R., Steinkraus A., Ortega A., Brush K., et. al. A general deep learning model for bird detection in high-resolution airborne imagery // Ecological Application. 2022. vol. 32. no. 8.
36. Кузьмин А.А., Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и воспроизведения звуковых сигналов (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2021612566 от 19.02.2021.
37. Власов Е.В., Красненко Н.П. Программа идентификации птиц в видеопотоке и набора статистики (программа для ЭВМ) // Свидетельство о государственной регистрации программ для ЭВМ № 2022683820 от 08.12.2022.
38. Qt Creator – кроссплатформенная IDE для разработки приложений [Электронный ресурс]. URL: https://www.qt.io/product/development-tools/ (дата обращения: 01.10.2018).
39. Справочник по OpenCV [Электронный ресурс]. URL: https://opencv-tutorial.ru (дата обращения: 01.10.2018).
40. Библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом [Электронный ресурс]. URL: https://opencv.org/ (дата обращения: 01.10.2018).
41. Работа каскада Хаара в OpenCV [Электронный ресурс]. URL: https://habr.com/ru/company/recognitor/blog/228195/ (дата обращения: 01.10.2018).
42. Обучение каскадного классификатора [Электронный ресурс]. URL: https://docs.opencv.org/3.4/dc/d88/tutorial_traincascade.html (дата обращения: 01.10.2018).
Опубликован
2024-06-26
Как цитировать
Власов, Е. В., & Красненко, Н. П. (2024). Каскадный классификатор для обнаружения и идентификации птиц в видеопотоке. Информатика и автоматизация, 23(4), 1199-1220. https://doi.org/10.15622/ia.23.4.10
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) nikolay petrovich krasnenko
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).