Верификация разливов нефти на водных поверхностях по аэрофотоснимкам на основе методов глубокого обучения
Ключевые слова:
обнаружение разливов нефти, верификация, сегментация, глубокое обучение, аэрофотоснимки, дистанционное зондирование ЗемлиАннотация
В статье решается задача верификации разливов нефти на водных поверхностях рек, морей и океанов по оптическим аэрофотоснимкам с использованием методов глубокого обучения. Особенностью данной задачи является наличие визуально похожих на разливы нефти областей на водных поверхностях, вызванных цветением водорослей, веществ, не приносящих экологический ущерб (например, пальмовое масло), бликов при съемке или природных явлений (так называемые «двойники»). Многие исследования в данной области основаны на анализе изображений, полученных от радаров с синтезированной апертурой (Synthetic Aperture Radar (SAR) images), которые не обеспечивают точной классификации и сегментации. Последующая верификация способствует сокращению экологического и материального ущерба, а мониторинг размеров площади нефтяного пятна используется для принятия дальнейших решений по устранению последствий. Предлагается новый подход к верификации оптических снимков как задачи бинарной классификации на основе сиамской сети, когда фрагмент исходного изображения многократно сравнивается с репрезентативными примерами из класса нефтяных пятен на водных поверхностях. Основой сиамской сети служит облегченная сеть VGG16. При превышении порогового значения выходной функции принимается решение о наличии разлива нефти. Для обучения сети был собран и размечен собственный набор данных из открытых интернет-ресурсов. Существенной проблемой является несбалансированность выборки данных по классам, что потребовало применения методов аугментации, основанных не только на геометрических и цветовых манипуляциях, но и на основе генеративной состязательной сети (Generative Adversarial Network, GAN). Эксперименты показали, что точность классификации разливов нефти и «двойников» на тестовой выборке достигает значений 0,91 и 0,834 соответственно. Далее решается дополнительная задача семантической сегментации нефтяного пятна с применением сверточных нейронных сетей (СНС) типа кодировщик-декодировщик. Для сегментации исследовались три архитектуры глубоких сетей, а именно U-Net, SegNet и Poly-YOLOv3. Лучшие результаты показала сеть Poly-YOLOv3, достигнув точности 0,97 при среднем времени обработки снимка 385 с веб-сервисом Google Colab. Также была спроектирована база данных для хранения исходных и верифицированных изображений с проблемными областями.
Литература
2. Hackett B., Comerma E., Daniel P., Ichikawa H. Marine oil pollution prediction // Oceanography. 2009. vol. 22. pp. 168-175.
3. Wang R.; Zhu Z.; Zhu W.; Fu X., Xing S. A dynamic marine oil spill prediction model based on deep learning // Journal of Coastal Research. 2021. vol. 37. no. 4. pp. 716-725.
4. Lubchenco J., McNutt M.K., Dreyfus G., Murawski S.A., Kennedy D.M., Anastas P.T., Chu S., Hunter T. Science in support of the deepwater horizon response // PNAS. 2012. vol. 109. no. 50. pp. 20212-20221.
5. Mera D., Bolon-Canedo V., Cotos J.M., Alonso-Betanzos A. On the use of feature selection to improve the detection of sea oil spills in SAR images // Computers & Geosciences. 2017. vol. 100. pp. 166-178.
6. Zeng K., Wang Y. A deep convolutional neural network for oil spill detection from spaceborne SAR images // Remote Sensing. 2020. vol. 12. no. 6. pp. 1015.1-1015.23.
7. Chen G., Li Y., Sun G., Zhang Y. Application of deep networks to oil spill detection using polarimetric synthetic aperture radar images // Applied Sciences. 2017. vol. 7. no. 10. pp. 968.1-968.15.
8. Bianchi F.M., Espeseth M.M., Borch N. Large-scale detection and categorization of oil spills from SAR images with deep learning // Remote Sensing. 2020. vol. 12. pp. 2260.1-2260.27.
9. Angelliaume S., Ceamanos X., Viallefont-Robinet F., Baque R., Deliot P., Miegebielle V. Hyperspectral and radar airborne imagery over controlled release of oil at sea // Sensors. 2017. vol. 17. no. 8. pp. 1772.1-1772.21.
10. Huang H., Wang C., Liu S., Sun Z., Zhang D., Liu C., Jiang Y., Zhan S., Zhang H., Xu R. Single spectral imagery and Faster R-CNN to identify hazardous and noxious substances spills // Environmental Pollution. 2020. vol. 258. pp. 113688.1-113688.11.
11. Wang D., Wan J., Liu S., Chen Y., Yasir M., Xu M., Ren P. BO-DRNet: An improved deep learning model for oil spill detection by polarimetric features from SAR images // Remote Sensing. 2022. vol. 14. pp. 264.1-264.18.
12. Aghaei N., Akbarizadeh G., Kosarian A. GreyWolfLSM: An accurate oil spill detection method based on level set method from synthetic aperture radar imagery // European Journal of Remote Sensing. 2022. vol. 55. no. 1. pp. 181-198.
13. Chen Y., Sun Y., Yu W., Liu Y, Hu H. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface // Marine Pollution Bulletin. 2022. vol. 175. pp. 113343.1-113343.12.
14. Paoletti M.E., Haut J.M., Pereira N.S. Ghostnet for hyperspectral image classification // IEEE Transactions on Geoscience and Remote Sensing. 2021. vol. 59. no. 12. pp. 10378-10393.
15. Bulgarelli B., Djavidnia S. On MODIS Retrieval of oil spill spectral properties in the marine environment // IEEE Geoscience and Remote Sensing Letters. 2012. vol. 9. no. 3. pp. 398-402.
16. Lu Y., Shi J., Wen Y., Hu C., Zhou Y., Sun S., Zhang M., Mao Z., Liu Y. Optical interpretation of oil emulsions in the ocean – Part I: Laboratory measurements and proof-of-concept with AVIRIS observations // Remote Sensing of Environment. 2019. vol. 230. pp. 111183.1-111183.14.
17. Lu Y., Shi J., Hu C., Zhang M., Sun S., Liu Y. Optical interpretation of oil emulsions in the ocean – Part II: Applications to multi-band coarse-resolution imagery // Remote Sensing of Environment. 2020. vol. 242. pp. 111778.1-111778.14.
18. Yang Z., Chen Z., Lee K., Owens E., Boufadel M.C., C., Taylor E. Decision support tools for oil spill response (OSR-DSTs): Approaches, challenges, and future research perspectives // Marine Pollution Bulletin. 2021. vol. 167. pp. 112313.1-112313.16.
19. Mohammadiun S., Hu G., Gharahbagh A.A., Jianbing Li c, Hewage K., Sadiq R. Evaluation of machine learning techniques to select marine oil spill response methods under small-sized dataset conditions // Journal of Hazardous Materials. 2022. vol. 436. pp. 129282.1-129282.11.
20. Guo Y., Zhang H.Z. Oil spill detection using synthetic aperture radar images and feature selection in shape space // International Journal of Applied Earth Observation and Geoinformation. 2014. vol. 30, pp. 146-157.
21. Bromley J., Bentz J.W., Bottou L., Guyon I., Lecun Y., Moore C., Säckinger E., Shah R. Signature verification using a "siamese" time delay neural network // International Journal of Pattern Recognition and Artificial Intelligence. 1993. vol. 7. no. 4. pp. 669-688.
22. Yelchuri R., Dash J.K., Singh P., Mahapatro A., Sibarama S. Exploiting deep and hand-crafted features for texture image retrieval using class membership // Pattern Recognition Letters. 2022. vol. 160. pp. 163-171.
23. Chen L.C., Papandreou G., Kokkinos I., Murphy K., Yuille A.L. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs // IEEE Transactions on Pattern Analysis & Machine Intelligence. 2018. vol. 40. no. 4. pp. 834-848.
24. Ye M., Ruiwen N., Chang Z., He G., Tianli H., Shijun L., Yu S., Tong Z., Ying G. A lightweight model of VGG-16 for remote sensing image classification // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2021. vol. 14. pp. 6916-6922.
25. Caron M., Misra I., Mairal J., Goyal P., Bojanowski P., Joulin A. Unsupervised learning of visual features by contrasting cluster assignments // Proceeding of the 34th International Conference on Neural Information Processing Systems (NIPS'20). 2020. Article no. 831. pp. 9912-9924.
26. de Moura N.V.A., de Carvalho O.L.F., Gomes R.A.T., Guimaraes R.F., de Carvalho Júnior O.A. Deep-water oil-spill monitoring and recurrence analysis in the brazilian territory using Sentinel-1 time series and deep learning // International Journal of Applied Earth Observations and Geoinformation. 2022. vol. 107. pp. 102695.1-102695.11.
27. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. pp. 3431-3440.
28. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention. 2015. pp. 234-241.
29. Badrinarayanan V.; Kendall A.; Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. vol. 39. pp. 2481-2495.
30. Dayananda C., Choi J.-Y., Lee B. Multi-scale squeeze U-SegNet with multi global attention for brain MRI segmentation // Sensors. 2021. vol. 21. pp. 3363.1-3363.22.
31. Hurtik P., Molek V., Hula J., Vajgl M., Vlasanek P., Nejezchleba T. Poly-YOLO: Higher speed, more precise detection and instance segmentation for YOLOv3 // CoRR arXiv preprint, arXiv:2005.13243v2. 2020. pp. 1-18.
32. Alamy [Official web site Alamy Stock photography]. Available at: www.almy.com. (accessed 26.07.2022).
33. Getty Images [Official web site of Getty Images]. Available at: www.gettyimages.nl. (accessed 26.07.2022).
34. Xu M., Yoon S., Fuentes A., Park D.S. A comprehensive survey of image augmentation techniques for deep learning // CoRR arXiv preprint, arXiv:2205.01491v1. 2022. pp. 1-41.
35. Radford A., Metz L., Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks // The 4th International Conference on Learning Representations (ICLR 2016). 2016. pp. 1–16.
36. Goodfellow I., Bengio Y., Courville A. Deep learning / Dietterich T. (ed.) // Cambridge, Massachusetts, London: The MIT Press. 2016. 800 p.
Опубликован
Как цитировать
Раздел
Copyright (c) Маргарита Николаевна Фаворская, Нишчхал Нишчхал
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).