Концепция единого пространства геомагнитных данных
Ключевые слова:
геомагнитные данные, магнитные обсерватории, временные ряды, большие данные, единое информационное пространство, параллельные вычисленияАннотация
Задача мониторинга параметров геомагнитного поля и его вариаций преимущественно решается сетью магнитных обсерваторий и вариационных станций, однако значимым препятствием при обработке и анализе получаемых таким образом данных наряду с их пространственной анизотропией являются пропуски (или полное отсутствие) достоверных значений и частичное несоответствие установленному формату. Неоднородность и аномальность данных исключает (существенно усложняет) возможность их автоматической интеграции и применения к ним инструментария для частотного анализа. Известные решения по интеграции разнородных геомагнитных данных базируются преимущественно на модели консолидации и лишь частично решают данную проблему. Получаемые в результате наборы данных, как правило, не соответствуют требованиям IAGA (International Association of Geomagnetism and Aeronomy — Международной ассоциации геомагнетизма и аэрономии), рекомендуемым к представлению результатов геомагнитных наблюдений. При этом пропуски во временных рядах устраняются известными средствами обработки геомагнитных данных путем исключения отсутствующих или аномальных значений из конечной выборки, что, очевидно, может привести как к потере актуальной информации о ходе изменения параметров геомагнитного поля и его вариаций, нарушению шага дискретизации, так и к неоднородности временного ряда. Предлагается подход к созданию единого пространства геомагнитных данных, основанный на комбинировании моделей консолидации и федерализации, включающий предварительную обработку исходных временных рядов с опционально доступной процедурой их восстановления и верификации, ориентированный на применение технологий облачных вычислений и иерархического формата с целью повышения вычислительной скорости обработки больших объемов данных и, как следствие, обеспечивающий получение пользователями более качественных и однородных данных.
Литература
2. St-Louis B.J. et al. Intermagnet Technical Reference Manual // The INTERMAGNET office. Retrieved from the World Wide Web. 2011. 100 p.
3. Love J.J., Chulliat A. An International Network of Magnetic Observatories // EOS Transactions: American Geophysical Union. 2013. vol. 94. no. 42. pp. 373–374.
4. Sandhu J.K. et al. Variations of high latitude geomagnetic pulsation frequencies: A comparison of time of flight estimates and IMAGE magnetometer observations // Journal of Geophysical Research Space Physics. 2018. vol. 123. no. 1. pp. 567–586.
5. Connors M. et al. The AUTUMNX magnetometer meridian chain in Québec, Canada // Earth, Planets and Space. 2016. vol. 68. no. 1. pp. 2.
6. Hughes W.J., Engebretson M.J. MACCS: Magnetometer array for cusp and cleft studies // Satellite – Ground Based Coordination Sourcebook. 1997. vol. 1198. pp. 119.
7. Reay S.J. et al. Magnetic Observatory Data and Metadata: Types and Availability // Geomagnetic Observations and Models. 2011. pp. 149–181.
8. Хомутов С.Ю. Обработка магнитных данных на обсерваториях // ИКИР ДВО РАН. 2017. 114 с.
9. Анисимов С.В. и др. Информационные технологии в геомагнитных измерениях на геофизической обсерватории Борок // Геофизические исследования. 2008. Т. 9. № 3. С. 62–76.
10. Золотов С.Ю., Додолин Е.Л. Методологические основы распределенной информационной системы мониторинга состояния окружающей среды // Доклады ТУСУРа. 2010. № 1(21). С. 203–206.
11. Кокорев В.А., Шерстюков А.Б. О метеорологических данных для изучения современных и будущих изменений климата на территории России // Арктика XXI век. Естественные науки. 2015. № 2. C. 5–23.
12. Соловьев А.А. и др. Новая геомагнитная обсерватория «Климовская» // Геомагнетизм и аэрономия. 2016. Т. 56. № 3. С. 342–354.
13. Gvishiani A., Soloviev A. Geoinformatic advances in geomagnetic data studies and Russian INTERMAGNET segment // Исследования по геоинформатике: труды Геофизического центра РАН. 2016. Т. 4. № 2. С. 8.
14. Mandea M, Korte M. Geomagnetic Observations and Models // IAGA Special Sopron Book Series. 2011. vol. 5. pp. 149–181.
15. Dods J., Chapman S.C., Gjerloev J.W. Network analysis of geomagnetic substorms using the SuperMAG database of ground-based magnetometer stations // Journal of Geophysical Research-Space Physics. 2015. vol. 120. pp. 7774–7784.
16. Концепция формирования и развития единого информационного пространства России и соответствующих государственных информационных ресурсов. URL: http://www.nsc.ru/win/laws/russ_kon.htm (дата обращения: 04.01.2019).
17. Куваев В.О. и др. Варианты построения единого информационного пространства для интеграции разнородных автоматизированных систем // Информация и космос. 2015. № 4. С. 83–87.
18. Методы интеграции данных в информационных системах. URL: http://www.ipr-ras.ru/articles/kogalov10-05.pdf (дата обращения: 04.01.2019).
19. Воробьев А.В., Воробьева Г.Р. Индуктивный метод восстановления временных рядов геомагнитных данных // Труды СПИИРАН. 2018. № 57. С. 104–133.
20. Teixeira C. et al. The Building Blocks of a PaaS // Journal of Network and Systems Management. 2014. vol. 22. pp. 75.
21. Van Eyk E. et al. Serverless is More: From PaaS to Present Cloud Computing // IEEE Internet Computing. 2018. vol. 22. no. 5. pp. 8–17.
22. The HDF Group. Hierarchical Data Format, version 5. URL: http://www.hdfgroup.org/HDF5/ (дата обращения: 04.01.2019).
23. Miyazaki R., Matsuzaki K., Sato D. A Generator of Hadoop MapReduce Programs that Manipulate One-dimensional Arrays // Journal of Information Process. 2017. vol. 25. pp. 841–851.
24. Воробьев А.В., Воробьева Г.Р. Веб-ориентированная 2D/3D-визуализация параметров геомагнитного поля и его вариаций // Научная визуализация. 2017. Т. 9. № 2. С. 94–101.
25. Yusupova N. et al. Web-based solutions in modeling and analysis of geomagnetic field and its variations // Proceedings of REMS 2018 – Russian Federation & Europe Multidisciplinary Symposium on Computer Science and ICT. URL: http://ceur-ws.org/Vol-2254/10000282.pdf. (дата обращения: 04.01.2019).
Опубликован
Как цитировать
Раздел
Copyright (c) 2019 Андрей Владимирович Воробьев, Гульнара Равилевна Воробьева, Нафиса Исламовна Юсупова
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).