RainCast: Гибридный алгоритм наукастинга интенсивности осадков по данным спутниковых наблюдений КА Himawari-8/9
Ключевые слова:
наукастинг, осадки, интенсивность осадков, прогноз осадков, Himawari, RainCast, диффузионные моделиАннотация
В работе предложен алгоритм RainCast (Rain Rate NowCast), предназначенный для краткосрочного прогноза интенсивности осадков на срок до двух часов. Данное направление метеорологии, в англоязычной литературе получившее название «наукастинг» (nowcasting), является одним из наиболее востребованных информационных продуктов во многих сферах человеческой деятельности. Вместе с тем, его доступность может быть сильно ограничена имеющейся наземной инфраструктурой. В настоящей работе авторами поставлена цель создания алгоритма прогноза осадков, предназначенного для одной из таких территорий на примере Азиатско-Тихоокеанского регионе с использованием спутниковых измерений космического аппарата Himawari-8/9. Предложенный алгоритм объединяет преимущества детерминированного и статистического подходов к задаче прогноза и основан на использовании двух нейросетевых моделей. Первая модель осуществляет предварительный прогноз общего направления движения осадков на мезомасштабном уровне с помощью физически-обусловленной нейронной сети NowcastNet. Вторая модель на основе архитектуры CasFormer служит для постобработки полученного прогноза методом диффузий с целью повышения его детализации. Разработанный с использованием данного метода гибридный алгоритм RainCast позволяет получать краткосрочный прогноз интенсивности осадков на срок до двух часов с частотой каждые 10 минут и пространственным разрешением 2 км/пиксель на основе спутниковых измерений в инфракрасном диапазоне. Спутниковые измерения используются для расчета интенсивности осадков по ранее предложенному авторами алгоритму. На основе карт осадков сформированы обучающие, валидационные и тестовые наборы данных, применяемые для обучения, настройки алгоритма и оценки качества прогнозов соответственно. Для предложенного алгоритма RainCast, а также применяемых в мировой практике актуальных решений, таких как NowcastNet, CasFormer, Earthformer, было проведено обучение с использованием сформированных наборов данных, после чего для указанных алгоритмов был рассчитан ряд показателей качества получаемых прогнозов. Из полученных результатов можно сделать вывод, что предложенный в настоящей работе гибридный алгоритм RainCast имеет более высокое качество прогноза в сравнении с другими вышеперечисленными решениями при равных условиях. Для валидационного набора данных на территории Дальневосточного региона при прогнозе алгоритмом RainCast c заблаговременностью 2 часа были получены следующие показатели для последнего спрогнозированного кадра: корень среднеквадратической ошибки RMSE составил 0.88 мм/ч, вероятность обнаружения POD – 0.78, коэффициент корреляции Пирсона – 0.75, индекс структурного сходства SSIM – 0.91, а пиковое отношение сигнала к шуму PSNR – 36.63. Дополнительно проведенный визуальный анализ прогнозов подтвердил, что наиболее близкие к фактическим наблюдениям результаты имеет предложенный гибридный региональный алгоритм RainCast.
Литература
2. Киктев Д.Б., Муравьев А.В., Смирнов А.В. Наукастинг метеорологических параметров и опасных явлений: опыт реализации и перспективы развития // Гидрометеорологические исследования и прогнозы. 2019. № 4(374). С. 92–111.
3. Observing Systems Capability Analysis and Review Tool // Geneva, Switzerland: World Meteorological Organization. 2021. URL: http://www.wmo-sat.info/oscar/ (дата обращения: 01.04.2021).
4. Simonenko E. V., Chudin A. O., Davidenko A. N. The differential method for calculation of cloud motion vectors // Russian Meteorology and Hydrology. 2017. vol. 42. no. 3. pp. 159–167. DOI: 10.3103/S1068373917030037.
5. Marrocu M., Massidda L. Performance comparison between deep learning and optical flow-based techniques for nowcast precipitation from radar images // Forecasting. 2020. vol. 2. no. 2. pp. 194–210. DOI: 10.3390/forecast2020011.
6. Prudden R., Adams S., Kangin D., Robinson N., Ravuri S., Mohamed S., Arribas A. A review of radar-based nowcasting of precipitation and applicable machine learning techniques // arXiv preprint arXiv:2005.04988. 2020. DOI: 10.48550/arXiv.2005.04988.
7. An S., Oh T.-J., Sohn E., Kim D. Deep learning for precipitation nowcasting: A survey from the perspective of time series forecasting // Expert Systems with Applications. 2025. vol. 268. pp. 126301. DOI: 10.1016/j.eswa.2024.126301.
8. Tao W. K., Moncrieff M. W. Multiscale cloud system modeling // Reviews of Geophysics. 2009. vol. 47. no. 4. DOI: 10.1029/2008RG000276.
9. Tan J., Huang Q., Chen S. Deep learning model based on multi-scale feature fusion for precipitation nowcasting // Geoscientific Model Development. 2024. vol. 17. no. 1. pp. 53–69. DOI: 10.5194/gmd-17-53-2024.
10. Kong D., Zhi X., Ji Y., Yang C., Wang Y., Tian Y., Li G., Zeng X. Precipitation Nowcasting Based on Deep Learning over Guizhou, China // Atmosphere. 2023. vol. 14. no. 5. DOI: 10.3390/atmos14050807.
11. Shi X., Chen Z., Wang H., Yeung D.-Y., Wong W., Woo W. Convolutional LSTM network: A machine learning approach for precipitation nowcasting // Advances in Neural Information Processing Systems. 2015. vol. 28. pp. 1–9.
12. Shi X., Gao Z., Lausen L., Wang H., Yeung D.-Y., Wong W., Woo W. Deep learning for precipitation nowcasting: A benchmark and a new model // Advances in Neural Information Processing Systems: 31st Conference on Neural Information Processing Systems (NIPS 2017). 2017. vol. 30.
13. Han K., Wang Y., Chen H., Chen X., Guo J., Liu Z. A Survey on Vision Transformer // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023. vol. 45. no. 1. pp. 87–110. DOI: 10.1109/TPAMI.2022.3152247.
14. Wang Y., Wu H., Zhang J., Gao Z., Wang J., Philip S.Y., Long M. PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023. vol. 45. no. 2. pp. 2208–2225. DOI: 10.1109/TPAMI.2022.3165153.
15. Wu H., Yao Z., Wang J., Long M. MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA, 2021. pp. 15430–15439. DOI: 10.1109/CVPR46437.2021.01518.
16. Gao Z., Shi X., Wang H., Zhu Y., Wang Y.B., Li M., Yeung D.Y. Earthformer: Exploring space-time transformers for earth system forecasting // Advances in Neural Information Processing Systems 35: Annual Conference on Neural Information Processing Systems (NeurIPS 2022). 2022. vol. 35. pp. 25390–25403.
17. Bai C., Sun F., Zhang J., Song Y., Chen S. Rainformer: Features extraction balanced network for radar-based precipitation nowcasting // IEEE Geoscience and Remote Sensing Letters. 2022. vol. 19. pp. 1–5. DOI: 10.1109/LGRS.2022.3162882.
18. Gong J., Bai L., Ye P., Xu W., Liu N., Dai J., Yang X., Ouyang W. CasCast: Skillful high-resolution precipitation nowcasting via cascaded modelling // arXiv preprint arXiv:2402.04290. 2024. DOI: 10.48550/arXiv.2402.04290.
19. Wen P., Bai L., He M., Filippi P., Zhang F., Bishop T.F., Wang Z., Hu K. DuoCast: Duo-Probabilistic Meteorology-Aware Model for Extended Precipitation Nowcasting // arXiv preprint arXiv:2412.01091. 2024. DOI: 10.48550/arXiv.2412.01091.
20. Ravuri S., Lenc K., Willson M., Kangin D., Lam R., Mirowski P., Fitzsimons M., Athanassiadou M., Kashem S., Madge S., Prudden R., Mandhane A., Clark A., Brock A., Simonyan K., Hadsell R., Robinson N., Clancy E., Arribas A., Mohamed S. Skilful precipitation nowcasting using deep generative models of radar // Nature. 2021. vol. 597. pp. 672–677. DOI: 10.1038/s41586-021-03854-z.
21. Кучма М.О., Мальковский С.И., Андреев А.И., Блощинский В.Д. Нейросетевые методы наукастинга осадков: обзор и апробация существующих решений // Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. № 6. С. 35–48. DOI: 10.21046/2070-7401-2023-20-6-35-48.
22. Nai C., Pan B., Chen X., Tang Q., Ni G., Duan Q., Lu B., Xiao Z., Liu X. Reliable precipitation nowcasting using probabilistic diffusion models // Environmental Research Letters. 2024. vol. 19. no. 3. DOI: 10.1088/1748-9326/ad2891.
23. Yin J., Meo C., Cher Z.B., Lica M., Wang Y., Imhoff R., Uijlenhoet R., Dauwels J. Precipitation Nowcasting Using Physics Informed Discriminator Generative Models // 32nd European Signal Processing Conference (EUSIPCO). Lyon, France, 2024. pp. 967–971. DOI: 10.23919/EUSIPCO63174.2024.10715141.
24. Wang R., Fung J.C.H., Lau A.K.H. Skillful precipitation nowcasting using physical-driven diffusion networks // Geophysical Research Letters. 2024. vol. 51. no. 24. DOI: 10.1029/2024GL110832.
25. Yu D., Li X., Ye Y., Zhang B., Luo C., Dai K., Wang R., Chen X. DiffCast: A Unified Framework via Residual Diffusion for Precipitation Nowcasting // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA, 2024. pp. 27758–27767. DOI: 10.1109/CVPR52733.2024.02622.
26. Zhang Y., Long M., Chen K., Xing L., Jin R., Jordan M.I, Wang J. Skilful nowcasting of extreme precipitation with NowcastNet // Nature. 2023. vol. 619. pp. 526–532. DOI: 10.1038/s41586-023-06184-4.
27. Kim W., Jeong C.H., Kim S. Improvements in deep learning-based precipitation nowcasting using major atmospheric factors with radar rain rate // Computers & Geosciences. 2024. vol. 184. DOI: 10.1016/j.cageo.2024.105529.
28. Rahimi R., Ravirathinam P., Ebtehaj A., Behrangi A., Tan J., Kumar V. Global precipitation nowcasting of Integrated Multi-satellitE Retrievals for GPM: A U-Net convolutional LSTM architecture // Journal of Hydrometeorology. 2024. vol. 25. no. 6. pp. 947–963. DOI: 10.1175/JHM-D-23-0119.1.
29. Das P., Posch A., Barber N., Hicks M., Duffy K., Vandal T., Singh D., Werkhoven K., van Werkhoven K., Ganguly A.R. Hybrid physics-AI outperforms numerical weather prediction for extreme precipitation nowcasting // NPJ Climate and Atmospheric Science. 2024. vol. 7. no. 1. DOI: 10.1038/s41612-024-00834-8.
30. Xu Q., Shi Y., Bamber J., Tuo Y., Ludwig R., Zhu X.X. Physics-aware machine learning revolutionizes scientific paradigm for machine learning and process-based hydrology // arXiv preprint arXiv:2310.05227. 2023. DOI: 10.48550/arXiv.2310.05227.
31. Leinonen J., Hamann U., Nerini D., Germann U., Franch G. Latent diffusion models for generative precipitation nowcasting with accurate uncertainty quantification // arXiv preprint arXiv:2304.12891. 2023. DOI: 10.48550/arXiv.2304.12891.
32. Chen T. On the importance of noise scheduling for diffusion models // arXiv preprint arXiv:2301.10972. 2023. DOI: 10.48550/arXiv.2301.10972.
33. Veillette M., Samsi S., Mattioli C. SEVIR: A storm event imagery dataset for deep learning applications in radar and satellite meteorology // Advances in Neural Information Processing Systems: 34th Conference on Neural Information Processing Systems (NeurIPS 2020). 2020. vol. 33. pp. 22009–22019.
34. Бикбулатова Г.Г. Исследование распределения атмосферного увлажнения на территории Сибири и Дальнего Востока // Омский научный вестник. 2011. Т. 1(104). C. 232–235.
35. Андреев А.И., Филей А.А., Мальковский С.И. Метод количественной оценки осадков на основе измерений Himawari-8/9 // Современные проблемы дистанционного зондирования Земли из космоса. 2024. Т. 21. № 5. С. 20–35. DOI: 10.21046/2070-7401-2024-21-5-20-35.
36. Huffman G.J., Bolvin D.T., Braithwaite D., Hsu K.L., Joyce R.J., Kidd C., Nelkin E.J., Sorooshian S., Stocker E.F., Tan J., Wolff D.B., Xie P. Integrated Multi-satellite Retrievals for the Global Precipitation Measurement (GPM) Mission (IMERG) // Satellite Precipitation Measurement // Advances in Global Change Research. 2020. vol. 67. pp. 343–353. Springer, Cham. DOI: 10.1007/978-3-030-24568-9_19.
37. Kingma D.P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2017. DOI: 10.48550/arXiv.1412.6980.
38. Rombach R., Blattmann A., Lorenz D., Esser P., Ommer B. High-Resolution Image Synthesis with Latent Diffusion Models // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022. pp. 10674–10685. DOI: 10.1109/CVPR52688.2022.01042.
39. Esser P., Rombach R., Ommer B. Taming Transformers for High-Resolution Image Synthesis // IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. pp. 12868–12878. DOI: 10.1109/CVPR46437.2021.01268.
40. Goodfellow I. J., Pouget-Abadie J., Mirza M., Xu B., Warde-Farley D., Ozair S., Courville A., Bengio Y. Generative adversarial nets // Advances in Neural Information Processing Systems: Annual Conference on Neural Information Processing Systems. 2014. vol. 27. pp. 2672–2680.
41. Kingma D.P., Welling M. Auto-encoding variational bayes // arXiv preprint arXiv:1312.6114. 2013. DOI: 10.48550/arXiv.1312.6114.
42. Peebles W., Xie S. Scalable Diffusion Models with Transformers // IEEE/CVF International Conference on Computer Vision (ICCV). Paris, France, 2023. pp. 4172–4182. DOI: 10.1109/ICCV51070.2023.00387.
43. Ho J., Jain A., Abbeel P. Denoising diffusion probabilistic models // Advances in neural information processing systems. 2020. vol. 33. pp. 6840–6851.
Опубликован
Как цитировать
Раздел
Copyright (c) Александр Иванович Андреев, Сергей Иванович Мальковский, Михаил Олегович Кучма, Андрей Александрович Филей
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).