Глубокое трансферное обучение на основе спутниковых изображений для классификации землепользования и земного покрова
Ключевые слова:
нейронные сети, глубокое трансферное обучение, классификация землепользования, спутниковые снимкиАннотация
Алгоритмы глубокого обучения сыграли важную роль в решении многих комплексных задач, за счет автоматического изучения правил (алгоритмов) на основе выборочных данных, которые затем сопоставляют входные данные с соответствующими выходными данными. Цель работы: выполнить классификацию земных покровов (LULC) спутниковых снимков Московской области на основе обучающих данных и сравнить точность классификации, полученной с применением ряда моделей глубокого обучения. Методы: точность, достигаемая при классификации земных покровов с использованием алгоритмов глубокого обучения и данных космической съёмки, зависит как от конкретной модели глубокого обучения, так и от используемой обучающей выборки. Мы использовали наиболее современные модели глубокого обучения и обучения с подкреплением вкупе с релевантным набором обучающих данных. Для тонкой корректировки параметров моделей и подготовки обучающего набора данных применялись разливные методы, в том числе аугментация данных. Результаты: Применены четыре модели глубокого обучения на основе архитектур Residual Network (ResNet) и Visual Geometry Group (VGG) на основе обучения с подкреплением: ResNet50, ResNet152, VGG16 и VGG19. Последующее до-обучение моделей выполнялось с использованием обучающих данных, собранных спутником ДЗЗ Sentinel-2 на территории Московской области. На основе оценки результатов, архитектура ResNet50 дала наиболее высокую точность классификации земных покровов на территории выбранного региона. Практическая значимость: авторы разработали алгоритм обучения четырёх моделей глубокого обучения с последующей классификацией фрагментов входного космического снимка с присвоением одного из 10 классов (однолетние культуры, лесной покров, травянистая растительность, автодороги и шоссе, промышленная застройка, пастбища, многолетние культуры, жилая застройка, реки и озера).
Литература
1. Y. Lecun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553. Nature Publishing Group, pp. 436–444, Mar. 2015. doi: 10.1038/nature14539.
2. A. Vali, S. Comai, and M. Matteucci, “Deep learning for land use and land cover classification based on hyperspectral and multispectral earth observation data: A review,” Remote Sensing, vol. 12, no. 15. Multidisciplinary Digital Publishing Institute, p. 2495, Aug. 03, 2020. doi: 10.3390/RS12152495.
3. N. Gorelick, M. Hancher, M. Dixon, S. Ilyushchenko, D. Thau, and R. Moore, “Google Earth Engine: Planetary-scale geospatial analysis for everyone,” Remote Sens. Environ., vol. 202, pp. 18–27, Mar. 2017, doi: 10.1016/j.rse.2017.06.031.
4. L. Kumar and O. Mutanga, “Google Earth Engine applications since inception: Usage, trends, and potential,” Remote Sens., vol. 10, no. 10, 2018, doi: 10.3390/rs10101509.
5. L. Parente, E. Taquary, A.P. Silva, C. Souza, and L. Ferreira, “Next generation mapping: Combining deep learning, cloud computing, and big remote sensing data,” Remote Sens., vol. 11, no. 23, 2019, doi: 10.3390/rs11232881.
6. H. Li et al., “A Google Earth Engine-enabled software for efficiently generating high-quality user-ready Landsat mosaic images,” Environ. Model. Softw., vol. 112, pp. 16–22, 2019, doi: 10.1016/j.envsoft.2018.11.004.
7. C. Tan, F. Sun, T. Kong, W. Zhang, C. Yang, and C. Liu, “A survey on deep transfer learning,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 11141 LNCS, pp. 270–279, 2018, doi: 10.1007/978-3-030-01424-7_27.
8. X.X. Zhu et al., “Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources,” IEEE Geoscience and Remote Sensing Magazine, vol. 5, no. 4. Institute of Electrical and Electronics Engineers Inc., pp. 8–36, Mar. 2017. doi: 10.1109/MGRS.2017.2762307.
9. J. Song, S. Gao, Y. Zhu, and C. Ma, “A survey of remote sensing image classification based on CNNs,” Big Earth Data, vol. 3, no. 3, pp. 232–254, Mar. 2019, doi: 10.1080/20964471.2019.1657720.
10. S.E. Whang et al., “Data Collection and Quality Challenges in Deep Learning: A Data-Centric AI Perspective,” Dec. 2021, doi: 10.48550/arxiv.2112.06409.
11. C. Henry, S.M. Azimi, and N. Merkle, “Road segmentation in SAR satellite images with deep fully convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 15, no. 12, pp. 1867–1871, 2018, doi: 10.1109/LGRS.2018.2864342.
12. Q.J.C. Cheng, “Deep neural networks-based vehicle detection in satellite images”.
13. X. Chen, S. Xiang, C.L. Liu, and C.H. Pan, “Vehicle detection in satellite images by hybrid deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 11, no. 10, pp. 1797–1801, 2014, doi: 10.1109/LGRS.2014.2309695.
14. H. Wu, H. Zhang, J. Zhang, and F. Xu, “Fast aircraft detection in satellite images based on convolutional neural networks,” Proc. - Int. Conf. Image Process. ICIP, vol. 2015-December, pp. 4210–4214, Mar. 2015, doi: 10.1109/ICIP.2015.7351599.
15. P. Zhang, X. Niu, Y. Dou, and F. Xia, “Airport detection on optical satellite images using deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 14, no. 8, pp. 1183–1187, Mar. 2017, doi: 10.1109/LGRS.2017.2673118.
16. Q. Yao, X. Hu, and H. Lei, “Multiscale Convolutional Neural Networks for Geospatial Object Detection in VHR Satellite Images,” IEEE Geosci. Remote Sens. Lett., vol. 18, no. 1, pp. 23–27, Mar. 2021, doi: 10.1109/LGRS.2020.2967819.
17. Y.H. Robinson, S. Vimal, M. Khari, F.C.L. Hernández, and R.G. Crespo, “Tree-based convolutional neural networks for object classification in segmented satellite images:,” https://doi.org/10.1177/1094342020945026, Mar. 2020, doi: 10.1177/1094342020945026.
18. M. Mohammadi and A. Sharifi, “Evaluation of Convolutional Neural Networks for Urban Mapping Using Satellite Images,” J. Indian Soc. Remote Sens. 2021 499, vol. 49, no. 9, pp. 2125–2131, Mar. 2021, doi: 10.1007/S12524-021-01382-X.
19. M. Hamouda and M.S. Bouhlel, “Dual Convolutional Neural Networks for Hyperspectral Satellite Images Classification (DCNN-HSI),” Commun. Comput. Inf. Sci., vol. 1332, pp. 369–376, 2020, doi: 10.1007/978-3-030-63820-7_42.
20. A. Okaidat, S. Melhem, H. Alenezi, and R. Duwairi, “Using Convolutional Neural Networks on Satellite Images to Predict Poverty,” 2021 12th Int. Conf. Inf. Commun. Syst. ICICS 2021, pp. 164–170, Mar. 2021, doi: 10.1109/ICICS52457.2021.9464598.
21. K.A. Korznikov, D.E. Kislov, J. Altman, J. Doležal, A.S. Vozmishcheva, and P.V. Krestov, “Using U-Net-Like Deep Convolutional Neural Networks for Precise Tree Recognition in Very High Resolution RGB (Red, Green, Blue) Satellite Images,” For. 2021, Vol. 12, Page 66, vol. 12, no. 1, p. 66, Mar. 2021, doi: 10.3390/F12010066.
22. C. Xiao, R. Qin, and X. Huang, “Treetop detection using convolutional neural networks trained through automatically generated pseudo labels,” https://doi.org/10.1080/01431161.2019.1698075, vol. 41, no. 8, pp. 3010–3030, Mar. 2019, doi: 10.1080/01431161.2019.1698075.
23. B. Yang et al., “Extraction of road blockage information for the Jiuzhaigou earthquake based on a convolution neural network and very-high-resolution satellite images,” Earth Sci. Informatics, vol. 13, no. 1, pp. 115–127, Mar. 2020, doi: 10.1007/S12145-019-00413-Z.
24. M.A. Shafaey, M.A.-M. Salem, M.N. Al-Berry, H.M. Ebied, and M.F. Tolba, “Remote Sensing Image Classification Based on Convolutional Neural Networks,” Adv. Intell. Syst. Comput., vol. 1153 AISC, pp. 353–361, Mar. 2020, doi: 10.1007/978-3-030-44289-7_33.
25. F. Oriani, M.F. McCabe, and G. Mariethoz, “Downscaling Multispectral Satellite Images without Colocated High-Resolution Data: A Stochastic Approach Based on Training Images,” IEEE Trans. Geosci. Remote Sens., vol. 59, no. 4, pp. 3209–3225, Mar. 2021, doi: 10.1109/TGRS.2020.3008015.
26. S.S. Dymkova, “Conjunction and synchronization methods of earth satellite images with local cartographic data,” 2020 Syst. Signals Gener. Process. F. Board Commun., Mar. 2020, doi: 10.1109/IEEECONF48371.2020.9078561.
27. P. Helber, B. Bischke, A. Dengel, and D. Borth, “Eurosat: A novel dataset and deep learning benchmark for land use and land cover classification,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., vol. 12, no. 7, pp. 2217–2226, 2019, doi: 10.1109/JSTARS.2019.2918242.
28. Y. Yang and S. Newsam, “Bag-of-visual-words and spatial extensions for land-use classification,” GIS Proc. ACM Int. Symp. Adv. Geogr. Inf. Syst., no. January 2010, pp. 270–279, 2010, doi: 10.1145/1869790.1869829.
29. M.E.D. Chaves, M.C.A. Picoli, and I.D. Sanches, “Recent Applications of Landsat 8/OLI and Sentinel-2/MSI for Land Use and Land Cover Mapping: A Systematic Review,” Remote Sens., vol. 12, no. 18, p. 3062, 2020, doi: 10.3390/rs12183062.
30. C. Gómez, J.C. White, and M.A. Wulder, “Optical remotely sensed time series data for land cover classification: A review,” ISPRS J. Photogramm. Remote Sens., vol. 116, pp. 55–72, 2016, doi: 10.1016/j.isprsjprs.2016.03.008.
2. A. Vali, S. Comai, and M. Matteucci, “Deep learning for land use and land cover classification based on hyperspectral and multispectral earth observation data: A review,” Remote Sensing, vol. 12, no. 15. Multidisciplinary Digital Publishing Institute, p. 2495, Aug. 03, 2020. doi: 10.3390/RS12152495.
3. N. Gorelick, M. Hancher, M. Dixon, S. Ilyushchenko, D. Thau, and R. Moore, “Google Earth Engine: Planetary-scale geospatial analysis for everyone,” Remote Sens. Environ., vol. 202, pp. 18–27, Mar. 2017, doi: 10.1016/j.rse.2017.06.031.
4. L. Kumar and O. Mutanga, “Google Earth Engine applications since inception: Usage, trends, and potential,” Remote Sens., vol. 10, no. 10, 2018, doi: 10.3390/rs10101509.
5. L. Parente, E. Taquary, A.P. Silva, C. Souza, and L. Ferreira, “Next generation mapping: Combining deep learning, cloud computing, and big remote sensing data,” Remote Sens., vol. 11, no. 23, 2019, doi: 10.3390/rs11232881.
6. H. Li et al., “A Google Earth Engine-enabled software for efficiently generating high-quality user-ready Landsat mosaic images,” Environ. Model. Softw., vol. 112, pp. 16–22, 2019, doi: 10.1016/j.envsoft.2018.11.004.
7. C. Tan, F. Sun, T. Kong, W. Zhang, C. Yang, and C. Liu, “A survey on deep transfer learning,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 11141 LNCS, pp. 270–279, 2018, doi: 10.1007/978-3-030-01424-7_27.
8. X.X. Zhu et al., “Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources,” IEEE Geoscience and Remote Sensing Magazine, vol. 5, no. 4. Institute of Electrical and Electronics Engineers Inc., pp. 8–36, Mar. 2017. doi: 10.1109/MGRS.2017.2762307.
9. J. Song, S. Gao, Y. Zhu, and C. Ma, “A survey of remote sensing image classification based on CNNs,” Big Earth Data, vol. 3, no. 3, pp. 232–254, Mar. 2019, doi: 10.1080/20964471.2019.1657720.
10. S.E. Whang et al., “Data Collection and Quality Challenges in Deep Learning: A Data-Centric AI Perspective,” Dec. 2021, doi: 10.48550/arxiv.2112.06409.
11. C. Henry, S.M. Azimi, and N. Merkle, “Road segmentation in SAR satellite images with deep fully convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 15, no. 12, pp. 1867–1871, 2018, doi: 10.1109/LGRS.2018.2864342.
12. Q.J.C. Cheng, “Deep neural networks-based vehicle detection in satellite images”.
13. X. Chen, S. Xiang, C.L. Liu, and C.H. Pan, “Vehicle detection in satellite images by hybrid deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 11, no. 10, pp. 1797–1801, 2014, doi: 10.1109/LGRS.2014.2309695.
14. H. Wu, H. Zhang, J. Zhang, and F. Xu, “Fast aircraft detection in satellite images based on convolutional neural networks,” Proc. - Int. Conf. Image Process. ICIP, vol. 2015-December, pp. 4210–4214, Mar. 2015, doi: 10.1109/ICIP.2015.7351599.
15. P. Zhang, X. Niu, Y. Dou, and F. Xia, “Airport detection on optical satellite images using deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 14, no. 8, pp. 1183–1187, Mar. 2017, doi: 10.1109/LGRS.2017.2673118.
16. Q. Yao, X. Hu, and H. Lei, “Multiscale Convolutional Neural Networks for Geospatial Object Detection in VHR Satellite Images,” IEEE Geosci. Remote Sens. Lett., vol. 18, no. 1, pp. 23–27, Mar. 2021, doi: 10.1109/LGRS.2020.2967819.
17. Y.H. Robinson, S. Vimal, M. Khari, F.C.L. Hernández, and R.G. Crespo, “Tree-based convolutional neural networks for object classification in segmented satellite images:,” https://doi.org/10.1177/1094342020945026, Mar. 2020, doi: 10.1177/1094342020945026.
18. M. Mohammadi and A. Sharifi, “Evaluation of Convolutional Neural Networks for Urban Mapping Using Satellite Images,” J. Indian Soc. Remote Sens. 2021 499, vol. 49, no. 9, pp. 2125–2131, Mar. 2021, doi: 10.1007/S12524-021-01382-X.
19. M. Hamouda and M.S. Bouhlel, “Dual Convolutional Neural Networks for Hyperspectral Satellite Images Classification (DCNN-HSI),” Commun. Comput. Inf. Sci., vol. 1332, pp. 369–376, 2020, doi: 10.1007/978-3-030-63820-7_42.
20. A. Okaidat, S. Melhem, H. Alenezi, and R. Duwairi, “Using Convolutional Neural Networks on Satellite Images to Predict Poverty,” 2021 12th Int. Conf. Inf. Commun. Syst. ICICS 2021, pp. 164–170, Mar. 2021, doi: 10.1109/ICICS52457.2021.9464598.
21. K.A. Korznikov, D.E. Kislov, J. Altman, J. Doležal, A.S. Vozmishcheva, and P.V. Krestov, “Using U-Net-Like Deep Convolutional Neural Networks for Precise Tree Recognition in Very High Resolution RGB (Red, Green, Blue) Satellite Images,” For. 2021, Vol. 12, Page 66, vol. 12, no. 1, p. 66, Mar. 2021, doi: 10.3390/F12010066.
22. C. Xiao, R. Qin, and X. Huang, “Treetop detection using convolutional neural networks trained through automatically generated pseudo labels,” https://doi.org/10.1080/01431161.2019.1698075, vol. 41, no. 8, pp. 3010–3030, Mar. 2019, doi: 10.1080/01431161.2019.1698075.
23. B. Yang et al., “Extraction of road blockage information for the Jiuzhaigou earthquake based on a convolution neural network and very-high-resolution satellite images,” Earth Sci. Informatics, vol. 13, no. 1, pp. 115–127, Mar. 2020, doi: 10.1007/S12145-019-00413-Z.
24. M.A. Shafaey, M.A.-M. Salem, M.N. Al-Berry, H.M. Ebied, and M.F. Tolba, “Remote Sensing Image Classification Based on Convolutional Neural Networks,” Adv. Intell. Syst. Comput., vol. 1153 AISC, pp. 353–361, Mar. 2020, doi: 10.1007/978-3-030-44289-7_33.
25. F. Oriani, M.F. McCabe, and G. Mariethoz, “Downscaling Multispectral Satellite Images without Colocated High-Resolution Data: A Stochastic Approach Based on Training Images,” IEEE Trans. Geosci. Remote Sens., vol. 59, no. 4, pp. 3209–3225, Mar. 2021, doi: 10.1109/TGRS.2020.3008015.
26. S.S. Dymkova, “Conjunction and synchronization methods of earth satellite images with local cartographic data,” 2020 Syst. Signals Gener. Process. F. Board Commun., Mar. 2020, doi: 10.1109/IEEECONF48371.2020.9078561.
27. P. Helber, B. Bischke, A. Dengel, and D. Borth, “Eurosat: A novel dataset and deep learning benchmark for land use and land cover classification,” IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., vol. 12, no. 7, pp. 2217–2226, 2019, doi: 10.1109/JSTARS.2019.2918242.
28. Y. Yang and S. Newsam, “Bag-of-visual-words and spatial extensions for land-use classification,” GIS Proc. ACM Int. Symp. Adv. Geogr. Inf. Syst., no. January 2010, pp. 270–279, 2010, doi: 10.1145/1869790.1869829.
29. M.E.D. Chaves, M.C.A. Picoli, and I.D. Sanches, “Recent Applications of Landsat 8/OLI and Sentinel-2/MSI for Land Use and Land Cover Mapping: A Systematic Review,” Remote Sens., vol. 12, no. 18, p. 3062, 2020, doi: 10.3390/rs12183062.
30. C. Gómez, J.C. White, and M.A. Wulder, “Optical remotely sensed time series data for land cover classification: A review,” ISPRS J. Photogramm. Remote Sens., vol. 116, pp. 55–72, 2016, doi: 10.1016/j.isprsjprs.2016.03.008.
Опубликован
2022-09-28
Как цитировать
Уифтер, Т. Т., Разумный, Ю. Н., & Лобанов, В. К. (2022). Глубокое трансферное обучение на основе спутниковых изображений для классификации землепользования и земного покрова. Информатика и автоматизация, 21(5), 963-982. https://doi.org/10.15622/ia.21.5.5
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Teklay Tesfazghi Yifter
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).