Формирование комплексного изображения земной поверхности на основе кластеризации пикселей локационных снимков в многопозиционной бортовой системе
Ключевые слова:
кластеризация пикселей, разноракурсные изображения, синтезирование комплексного изображений, локационные бортовые системы, полноразмерные изображения земной поверхности, опорные точки контура, комплексирование информации, беспилотный летательный аппарат, многопозиционная системаАннотация
Предлагается способ комплексирования разноракурсных изображений с применением алгоритма квазиоптимальной кластеризации пикселей к исходным снимкам земной поверхности. Исходные разноракурсные изображения, сформированные бортовой аппаратурой многопозиционных локационных систем, состыковываются в единый составной снимок и при помощи высокоскоростного алгоритма квазиоптимальной кластеризации пикселей редуцируются до нескольких цветов с сохранением характерных границ. Особенность алгоритма квазиоптимальной кластеризации заключается в генерации серии разбиений с постепенно увеличивающейся детализацией за счет переменного числа кластеров. Эта особенность позволяет выбрать подходящие разбиения пар состыкованных изображений из серии сгенерированных. На паре изображений из выбранного разбиения состыкованного снимка осуществляется поиск опорных точек выделенных контуров. Для этих точек определяется функциональное преобразование и после его применения к исходным снимкам осуществляется оценка степени корреляции комплексированного изображения. Как положение опорных точек контура, так и само искомое функциональное преобразование уточняется до тех пор, пока оценка качества комплексирования не будет приемлемой. Вид функционального преобразования подбирается по редуцированным по цвету изображениям, а затем применяется к исходным снимкам. Этот процесс повторяется для кластеризованных изображений с большей детализацией в том случае, если оценка качества комплексирования не является приемлемой. Целью настоящего исследования является разработка способа, позволяющего сформировать комплексное изображение земной поверхности из разноформатных и разнородных снимков.
В работе представлены следующие особенности способа комплексирования. Первая особенность заключается в обработке единого составного изображения из пары состыкованных исходных снимков алгоритмом кластеризации пикселей, что позволяет подобным образом выделить одинаковые области на его различных частях. Вторая особенность заключается в определении функционального преобразования по выделенным точкам контура на обработанной паре кластеризованных снимков, которое и применяется к исходным изображениям для их комплексирования. В работе представлены результаты формирования комплексного изображения как по однородным (оптическим) снимкам, так и по разнородным (радиолокационным и оптическим) снимкам. Отличительной чертой предлагаемого способа является улучшение качества формирования, повышение точности и информативности итогового комплексного изображения земной поверхности.
Литература
2. Fourati H. (ed.) Multisensor Data Fusion: From Algorithms and Architectural De-sign to Applications. CRC Press, 2016. 639 p.
3. Shepeta A. P., Nenashev V. A. Modeling Algorithm for SAR Image Based on Fluc-tuations of Echo Signal of the Earth’s Surface. Proc. of SPIE Remote Sensing, Toulouse, France, 2015, vol. 9642, pp. 96420X-1-9642OX-8.
4. Richard Klemm (ed.). Novel Radar Techniques and Applications. Vol. 1: Real Ap-erture Array Radar, Imaging Radar, and Passive and Multistatic Radar. London. Scitech Publishing, 2017. – 951 p.
5. Chen K.-S. Principles of Synthetic Aperture Radar Imaging. A System Simulation Approach. CRC Press, 2016. 217 p.
6. Кондратенков Г.С., Фролов А.Ю. Радиовидение в передней зоне обзора бор-товой радиолокационной станции с синтезированной апертурой антенны М.: Радио-техника. 2004. №1. с.47-49.
7. Khanykov I.G., Kharinov M.V., Patel C. Image Segmentation Improvement by Re-versible Segment Merging. Int. Conf. on Soft Computing and its Engineering Applications, icSoftComp-2017, IEEE Gujarat Section Proceedings, at CHARUSAT, Changa, Anand, In-dia, December 1-2, 2017.
8. A. A. Sentsov, V. A. Nenashev, A. F. Kryachko and A. P. Shepeta, "Two-Positional Measurement of Coordinates of Objects with a Small Radar Cross-Section," 2019 Wave Electronics and its Application in Information and Telecommunication Systems (WECONF), Saint-Petersburg, Russia, 2019, pp. 1-4.
9. Nenashev V. A., Sentsov A. A., Shepeta A. P., "Formation of Radar Image the Earth's Surface in the Front Zone Review Two-Position Systems Airborne Radar," 2019 Wave Electronics and its Application in Information and Telecommunication Systems (WECONF), Saint-Petersburg, Russia, 2019, pp. 1-5.
10. Kapranova E.A., Nenashev V.A., Sergeev A.M., Burylev D.A., Nenashev S.A. Dis-tributed matrix methods of compression, masking and noise-resistant image encoding in a high-speed network of information exchange, information processing and aggregation, SPIE Future Sensing Technologies, Tokyo, Japan, 2019, pp. 111970T-1-111970T-7.
11. Ekaterina A. Kapranova, Vadim A. Nenashev, Mikhail B. Sergeev. Compression and coding of images for satellite systems of Earth remote sensing based on quasi-orthogonal matrices // Proc. of SPIE, Image and Signal Processing for Remote Sensing XXIV. Berlin, Germany. 2018. Vol. 10789. PP. 1078923-1 - 1078923-6.
12. Jianxia Wang, Yawei Wang. Modified SURF applied in Remote Sensing Image Stitching. School of Information Science and Engineering, Hebei University of Science and Technology, Shijiazhuang, 2015
13. T. Sledevič, A. Serackis. SURF Algorithm Implementation on FPGA Department of Electronic Systems, Vilnius Gediminas Technical University, Naugarduko str. 41, LT-03227 Vilnius, Lithuania, 2015.
14. Kim, H.G.; Park, J.-S.; Lee, D.-H. Potential of Unmanned Aerial Sampling for Monitoring Insect Populations in Rice Fields. Florida Entomol. 2018, 101, pp. 330-334.
15. Toro G.F., Tsourdos A. UAV sensors for environmental monitoring. Belgrade: MDPI, 2018. – 661 p.
16. M. G. Wattimena, V. A. Nenashev, A. A. Sentsov and A. P. Shepeta, "On-Board Unlimited Aircraft Complex of Environmental Monitoring," 2018 Wave Electronics and its Application in Information and Telecommunication Systems (WECONF), St. Petersburg, 2018, pp. 1-5. doi: 10.1109/WECONF.2018.8604382
17. A. A. Sentsov, S. A. Ivanov, S. A. Nenashev and E. L. Turnetskaya, "Classification and Recognition of Objects on Radar Portraits Formed by the Equipment of Mobile Small-Size Radar Systems," 2020 Wave Electronics and its Application in Information and Tele-communication Systems (WECONF), Saint-Petersburg, Russia, 2020, pp. 1-4.
18. J. Lombacher, M. Hahn, J. Dickmann and C. Wöhler, "Object classification in radar using ensemble methods", 2017 IEEE MTT-S International Conference on Microwaves for Intelligent Mobility (ICMIM), pp. 87-90, 2017.
19. M.V. Svinarsky, S.N. Yarmolik and A.S. Khramenkov, "Influence of the target ob-servation angle on the efficiency of radar object classification", Reports of the Belarusian state University of Informatics and Radioelectronics, vol. 104, no. 2, pp. 31-38, 2017.
20. Zaitoun, N. M., Aqel, M. J. “Survey on Image Segmentation Techniques”. Procedia Computer Science, 65, 797–806. 2015.
21. Jain, S., Laxmi, V. “Color Image Segmentation Techniques: A Survey”. Lecture Notes in Electrical Engineering, 189–197. 2017.
22. Vantaram, S. R., & Saber, E. “Survey of contemporary trends in color image seg-mentation. Journal of Electronic Imaging”, 21(4), 040901–1. 2012.
23. Dhanachandra N., Chanu Y. J. “A survey on image segmentation methods using clustering techniques”. European Journal of Engineering Research and Science. vol. 2. №. 1. pp. 15-20. 2017.
24. Fu, K., Gong, C., Gu, I. Y.-H., Gu, J. Normalized cut-based saliency detection by adaptive multi-level region merging. IEEE Transactions on Image Processing, 24(12), 5671–5683. 2015.
25. Yi, F., & Moon, I. Image segmentation: A survey of graph-cut methods. 2012 In-ternational Conference on Systems and Informatics (ICSAI2012). 2012.
26. Sirshendu Hore, Souvik Chakraborty, Sankhadeep Chatterjee, Nilanjan Dey,Amira S. Ashour, Le Van Chung, Dac-Nhuong Le. “An Integrated Interactive Technique for Image Segmentation using Stack based Seeded Region Growing and Thresholding”. International Journal of Electrical and Computer Engineering (IJECE). Vol.6, No.6, December2016, pp. 2773-2780. 2016.
27. Kumar, N. “Thresholding in salient object detection: a survey”. Multimedia Tools and Applications, 77(15), 19139–19170. 2017.
28. L. Najman and M. Schmitt, “Watershed of a continuous function,” Signal Pro-cessing, vol. 38. no. 1. pp. 99–112. 1994.
29. Zhu, Y. P., & Li, P. Survey on the Image Segmentation Algorithms. Proceedings of the International Field Exploration and Development Conference 2017, 475–488. 2018.
30. Li, C., Liu, L., Sun, X., Zhao, J., & Yin, J. Image segmentation based on fuzzy clustering with cellular automata and features weighting. EURASIP Journal on Image and Video Processing, 2019(1).
31. Abdel-Khalek, S., Ben Ishak, A., Omer, O. A., & Obada, A.-S. F. A two-dimensional image segmentation method based on genetic algorithm and entropy. Optik, 131, pp.414–422. 2017.
32. Guo, Y., Liu, Y., Georgiou, T., & Lew, M. S. (2017). A review of semantic seg-mentation using deep neural networks. International Journal of Multimedia Information Re-trieval, vol. 7. no. 2. pp. 87–93. 2017.
33. Tian Y. et al. “A fast incremental map segmentation algorithm based on spectral clustering and quadtree.” Advances in Mechanical Engineering. vol. 10. №. 2. – pp. 1687814018761296. 2018.
34. Agus Zaina Arifin, Akira Asosno. “Image segmentation by histogram thresholding using hierarchical cluster analysis.” Pattern Recognition Letters 27. 1515-1521. 2006.
35. J. H. Ward, “Hierarchical grouping to optimize an objective function,” J. Am. Stat. Assoc., vol. 58, is. 301, pp. 236–244, 1963.
36. Ханыков И.Г., Харинов М.В. Кластеризация пикселей цветового изображения методом Уорда // Материалы 27-ой международной конференции по Компьютерной графике и зрению, «ГрафиКон-2017» - С. 232-235.
37. Khanykov I. G. “Technique for Acceleration of Classical Ward's Method for Clus-tering of Image Pixels”. 2019 International Russian Automation Conference (RusAutoCon). IEEE. pp. 1-6. 2019.
38. Mumford D., Shah J. Boundary detection by minimizing functionals. I. Proceedings of IEEE Computer. Vision Pattern. Recognition Conference. San Francisco. pp. 22–26. 1985.
39. Mumford D., Shah J. “Optimal approximations by piecewise smooth functions and associated variational problems”. Communications on pure and applied mathematics. No.42. Vol. 5. pp. 577–685. 1989.
40. Kharinov M.V., Khanykov I.G. “The Combined Method of Improving Image Seg-mentation”. BSU bulletin. Mathematics, Informatics. №9. pp. 118–124. 2015. (In Russ.).
41. Annarita D'Addabbo, Alberto Refice, Francesco P. Lovergine, Guido Pasquariello «DAFNE: A Matlab toolbox for Bayesian multi-source remote sensing and ancillary data fusion, with application to flood mapping» // Computers & Geosciences, Volume 112, March 2018, pp. 64-75.
42. Dabbiru, Lalitha & Wei, Pan & Harsh, Archit & White, Julie & Ball, John & Aanstoos, James & Donohoe, John & Doyle, Jesse & Jackson, Sam & Newman, John. (2015). Runway assessment via remote sensing. 1-4. 10.1109/AIPR.2015.7444545.
43. Seo, D.K.; Kim, Y.H.; Eo, Y.D.; Lee, M.H.; Park, W.Y. Fusion of SAR and Multi-spectral Images Using Random Forest Regression for Change Detection. ISPRS Int. J. Geo-Inf. 2018, 7, 401.
44. Behnaz Bigdeli, Parham Pahlavani «High resolution multisensor fusion of SAR, optical and LiDAR data based on crisp vs. fuzzy and feature vs. decision ensemble systems» // International Journal of Applied Earth Observation and Geoinformation, Volume 52, October 2016, Pages 126-136
45. Verdoliva, Luisa & Gaetano, Raffaele & Ruello, Giuseppe & Poggi, Geraldina. (2015). Optical-Driven Nonlocal SAR Despeckling. Geoscience and Remote Sensing Letters, IEEE. 12. 314-318. 10.1109/LGRS.2014.2337515.
46. Kaplan, G.; Avdan, U. Sentinel-1 and Sentinel-2 Data Fusion for Mapping and Monitoring Wetlands. Preprints 2018, 2018070244 (doi: 10.20944/preprints201807.0244.v1).
47. M Dalla Mura, S Prasad, F Pacifici, P Gamba, Jocelyn Chanussot, et al.. Challenges and Opportunities of Multimodality and Data Fusion in Remote Sensing. Proceedings of the IEEE, Institute of Electrical and Electronics Engineers, 2015, 103 (9), pp.1585-1601. ff10.1109/JPROC.2015.2462751ff.ffhal-01259771f
48. Perushan Rajah, John Odindi, Onisimo Mutanga « Feature level image fusion of optical imagery and Synthetic Aperture Radar (SAR) for invasive alien plant species detection and mapping» //Remote Sensing Applications: Society and Environment Volume 10, April 2018, pp. 198-208.
49. Zhenfeng Shao, Huyan Fu, Peng Fu, Li Yin «Mapping Urban Impervious Surface by Fusing Optical and SAR Data at the Decision Level» // Remote Sens. 2016, 8(11), 945; pp. 1-21. https://doi.org/10.3390/rs8110945
50. Nsaibi, M., & Chaabane, F. (2008). Image fusion of radar and optical remote sensing data for land cover classification. 2008 3rd International Conference on Information and Communication Technologies: From Theory to Applications, 1-4.
51. Kedar M., Rege P.P. (2020) Wavelet Transform-Based Fusion of SAR and Multi-spectral Images. In: Nath V., Mandal J. (eds) Nanoelectronics, Circuits and Communication Systems. NCCS 2018. Lecture Notes in Electrical Engineering, vol 642. Springer, Singapore. https://doi.org/10.1007/978-981-15-2854-5_24
Опубликован
Как цитировать
Раздел
Copyright (c) Вадим Александрович Ненашев, Игорь Георгиевич Ханыков
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).