Метод создания коллекций со вложенными документами для баз данных типа ключ-документ с учетом выполняемых запросов
Ключевые слова:
NoSQL, запрос, коллекция, ключ-документ, трансляция данных, формат данных, создание структуры базы данных, встроенные документыАннотация
В последние десятилетия все большую популярность набирают NoSQL базы данных, и все чаще разработчикам и администраторам таких баз по той или иной причине приходится решать задачу миграции баз данных из реляционной модели в модель NoSQL, например документно-ориентированную базу данных MongoDB. Описывается подход к такой миграции данных на основе теории множеств. Предлагаются правила для определения совокупности коллекций со вложенными документами NoSQL базы данных типа ключ-документ, оптимальной по времени выполнения поисковых запросов. Оптимизация числа коллекций и их структуры проводится с учетом атрибутов объектов базы данных, участвующих в поисковых запросах. Исходными данными являются свойства объектов (атрибуты, связи между атрибутами), информация о которых хранится в базе данных, и свойства запросов, которые наиболее часто выполняются или скорость их выполнения максимальна. В правилах учитываются основные типы связей (1-1, 1-М, М-М), свойственные реляционной модели. Рассматриваемая совокупность правил является дополнением к методу создания коллекций без вложенных документов. Также приводится методика для определения, в каких случаях какие методы надо использовать, чтобы сделать работу с базами данных более эффективной. В заключении приведены результаты тестирования предлагаемого метода на базах данных с различными начальными схемами. Результаты экспериментов показывают, что предлагаемый метод помимо сокращения времени выполнения запросов позволяет также значительно сократить объем памяти, необходимый для хранения данных в новой базе данных.
Литература
1. Rocha L. et al. A Framework for Migrating Relational Datasets to NoSQL // Procedia Computer Science. 2015. vol. 51. pp. 2593–2602.
2. Рейтинг баз данных [DB-Engines Ranking]. URL: https://db-engines.com/en/ranking (дата обращения 15.07.2020).
3. Jose B., Abraham S. Performance analysis of NoSQL and relational databases with MongoDB and MySQL // Materials Today: Proceedings. 2020. vol. 24. pp. 2036–2043.
4. Čerešňák R., Kvet M. Comparison of query performance in relational a non-relation database // Transportation Research Procedia. 2019. vol. 40. pp. 170–177.
5. Diogo M., Cabral B., Bernardino J. Consistency Models of NoSQL Databases // Future Internet. 2019. vol. 11(2). pp. 43.
6. Chen J., Lee W. An Introduction of NoSQL Databases Based on Their Categories and Application Industries // Algorithms. 2019. vol. 12(5). pp. 106.
7. Diogo M., Cabral B., Bernardino J. Consistency Models of NoSQL Databases // Future Internet. 2019. vol. 11(2). pp. 43.
8. Li W., Clifton C., Liu S. Database Integration Using Neural Networks: Implementation and Experiences // Knowl. Inf. Syst. 2000. vol. 2. no. 1. pp. 73–96.
9. Storey V.C., Song I.Y. Big data technologies and Management: What conceptual modeling can do // Data Knowl. Eng. 2017. vol. 108. pp. 50–67.
10. Corbellini A. et al. S. Persisting big-data: The NoSQL landscape // Inf. Syst. 2017. vol. 63. pp. 1–23.
11. Makris A., Tserpes K., Andronikou V., Anagnostopoulos D. A classification of NoSQL data stores based on key design characteristics // Procedia Computer Science. 2016. vol. 97. pp. 94–103.
12. Atzeni P., Bugiotti F., Rossi L. Uniform access to NoSQL systems // Inf. Syst. 2014. vol. 43. pp. 117–133.
13. Pardede E., Rahayu J.W., Taniar D. Mapping Methods and Query for Aggregation and Association Relationship in Object-Relational Database using Collection // Pro-ceedings of the 2004 IEEE International Conference on Information Technology: Coding and Computing (ITCC). 2004. pp. 539–543.
14. Shichkina Y., Kupriyanov M., Shevsky V. The Application of Graph Theory and Adja-cency Lists to Create Parallel Queries to Relational Databases // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2018. vol. 10963 LNCS. pp. 61–77.
15. Robinson I., Webber J., Eifrem E. Graph Databases: New Opportunities for Connected Data // O’Reilly Media, Inc. 2015. 238 p.
16. Chickerur S. Comparison of Relational Database with Document-Oriented Data-base (MongoDB ) for Big Data Applications // 8th International Conference on Ad-vanced Software Engineering and Its Applications ASEA. 2015. pp. 41–47.
17. Hanine M., Bendarag A., Boutkhoum O. Data Migration Methodology from Relational to NoSQL Databases // World Academy of Science, Engineering and Technology, International Journal of Computer, Electrical, Automation, Control and Information Engineering. 2015. vol. 9. no. 12. pp. 2566–2570.
18. Li X., Ma Z., Chen H. QODM : A Query-Oriented Data Modeling Approach for NoSQL Databases // Advanced Research and Technology in Industry Applica-tions (WARTIA). 2014. pp. 338–345.
19. Zhao G., Huang W., Liang S., Tang Y. Modeling MongoDB with Relational Model // 2013 Fourth International Conference on Emerging Intelligent Data and Web Tech-nologies (EIDWT). 2013. pp. 115–121.
20. Alotaibi O., Pardede E. Transformation of Schema from Relational Database (RDB) to NoSQL Databases // Data. 2019. vol. 4(4). pp. 148.
21. Celesti A., Fazio M., Villari M. A Study on Join Operations in MongoDB Preserving Collections Data Models for Future Internet Applications // Future Internet. 2019. vol. 11(4). pp. 83.
22. Rocha L., Vale F., Cirilo E. A Framework for Migrating Relational Datasets to NoSQL // Procedia Computer Science. 2015. vol. 51. pp. 2593–2602.
23. Liang D., Lin Y., Ding G. Mid-model Design Used in Model Transition and Data Migration between Relational Databases and NoSQL Databases // IEEE Int. Conf. Smart City. 2015. pp. 866–869.
24. Hamid S., Rezapour M., Moradi M., Ghadiri N. Performance evaluation of SQL and MongoDB databases for big e-commerce data // IEEE Pacific RIM Conference on Communications, Computers, and Signal Processing. 2015. pp.1–7.
25. Karnitis G., Arnicans G. Migration of Relational Database to Document-Oriented Database : Structure Denormalization and Data Transformation // 7th International Conference on Computational Intelligence, Communication Systems and Net-works (CICSyN). 2015. pp. 113–118.
26. Mason R.T. NoSQL Databases and Data Modeling Techniques for a Document-oriented NoSQL Database // Computer Science. 2015. pp. 259–268.
27. Gu Y., Shen S., Wang J., Kim J. Application of NoSQL Database MongoDB // IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW). 2015. pp. 158–159.
28. Самойлов Н.К. Трансляция запросов с языка SQL в язык MongoQl // Вестник Воронежского государственного университета. Серия: Системный анализ и ин-формационные технологии. 2019. № 3. С. 104–111.
29. Шепелева Ж.А., Аболмасова Е.С., Емельянова Е.С. Анализ функционирования технологии NOSQL, реализованной на примере MONGODB // Программная ин-женерия: современные тенденции развития и применения. 2018. С. 113–116.
30. Wang S. et al. A Distributed Storage and Access Approach for Massive Remote Sens-ing Data in MongoDB // ISPRS Int. J. Geo-Inf. 2019. vol. 8(12). pp. 533.
31. Marrara S., Pelucchi M., Psaila G. Blind Queries Applied to JSON Document Stores // Information. 2019. vol. 10(10). pp. 291.
32. Qian C. et al. GeoSOT-Based Spatiotemporal Index of Massive Trajectory Data // ISPRS Int. J. Geo-Inf. 2019. vol. 8(6). pp. 284.
33. Степовик А.Н., Ефанова Н.В. Анализ реляционных и нереляционных баз данных // Цифровизация экономики: направления, методы, инструменты. 2019. С. 414–416.
34. Королева Ю.А., Маслова В.О., Козлов В.К. Разработка концепции миграции данных между реляционными и нереляционными системами БД // Программные продукты и системы. 2019. Т. 32. № 1. С. 063–067.
35. Višnjevac N. et al. Prototype of the 3D Cadastral System Based on a NoSQL Database and a JavaScript Visualization Application // ISPRS Int. J. Geo-Inf. 2019. vol. 8(5). pp. 227.
36. Acquaviva A et al. Forecasting Heating Consumption in Buildings: A Scalable Full-Stack Distributed Engine // Electronics. 2019. vol. 8(5). pp. 491.
37. Marchiori A., Li Y., Evans J. Design and Evaluation of IoT-Enabled Instrumentation for a Soil-Bentonite Slurry Trench Cutoff Wall // Infrastructures 2019. vol. 4(1). pp. 5.
38. Alfian G. et al. A Personalized Healthcare Monitoring System for Diabetic Patients by Utilizing BLE-Based Sensors and Real-Time Data Processing // Sensors. 2018. vol. 18(7). pp. 2183.
39. Syafrudin M., Alfian G., Fitriyani N.L. Rhee J. Performance Analysis of IoT-Based Sensor, Big Data Processing, and Machine Learning Model for Real-Time Monitoring System in Automotive Manufacturing // Sensors. 2018. vol. 18(9). pp. 2946.
40. Ха В.М., Шичкина Ю.А., Костичев С.В. Определение совокупности коллекций для баз данных типа ключ-документ по заданному набору свойств объектов и запросов к базе данных // Компьютерные инструменты в образовании. № (3). С. 15–28.
41. Shichkina J., Degtyarev A., Kulik B.,Fridman A. Optimization of relational databases schemas by means of n-tuple algebra // AIP Conference Proceedings. 2017. vol. 1863. no. 1. pp. 11008.
2. Рейтинг баз данных [DB-Engines Ranking]. URL: https://db-engines.com/en/ranking (дата обращения 15.07.2020).
3. Jose B., Abraham S. Performance analysis of NoSQL and relational databases with MongoDB and MySQL // Materials Today: Proceedings. 2020. vol. 24. pp. 2036–2043.
4. Čerešňák R., Kvet M. Comparison of query performance in relational a non-relation database // Transportation Research Procedia. 2019. vol. 40. pp. 170–177.
5. Diogo M., Cabral B., Bernardino J. Consistency Models of NoSQL Databases // Future Internet. 2019. vol. 11(2). pp. 43.
6. Chen J., Lee W. An Introduction of NoSQL Databases Based on Their Categories and Application Industries // Algorithms. 2019. vol. 12(5). pp. 106.
7. Diogo M., Cabral B., Bernardino J. Consistency Models of NoSQL Databases // Future Internet. 2019. vol. 11(2). pp. 43.
8. Li W., Clifton C., Liu S. Database Integration Using Neural Networks: Implementation and Experiences // Knowl. Inf. Syst. 2000. vol. 2. no. 1. pp. 73–96.
9. Storey V.C., Song I.Y. Big data technologies and Management: What conceptual modeling can do // Data Knowl. Eng. 2017. vol. 108. pp. 50–67.
10. Corbellini A. et al. S. Persisting big-data: The NoSQL landscape // Inf. Syst. 2017. vol. 63. pp. 1–23.
11. Makris A., Tserpes K., Andronikou V., Anagnostopoulos D. A classification of NoSQL data stores based on key design characteristics // Procedia Computer Science. 2016. vol. 97. pp. 94–103.
12. Atzeni P., Bugiotti F., Rossi L. Uniform access to NoSQL systems // Inf. Syst. 2014. vol. 43. pp. 117–133.
13. Pardede E., Rahayu J.W., Taniar D. Mapping Methods and Query for Aggregation and Association Relationship in Object-Relational Database using Collection // Pro-ceedings of the 2004 IEEE International Conference on Information Technology: Coding and Computing (ITCC). 2004. pp. 539–543.
14. Shichkina Y., Kupriyanov M., Shevsky V. The Application of Graph Theory and Adja-cency Lists to Create Parallel Queries to Relational Databases // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2018. vol. 10963 LNCS. pp. 61–77.
15. Robinson I., Webber J., Eifrem E. Graph Databases: New Opportunities for Connected Data // O’Reilly Media, Inc. 2015. 238 p.
16. Chickerur S. Comparison of Relational Database with Document-Oriented Data-base (MongoDB ) for Big Data Applications // 8th International Conference on Ad-vanced Software Engineering and Its Applications ASEA. 2015. pp. 41–47.
17. Hanine M., Bendarag A., Boutkhoum O. Data Migration Methodology from Relational to NoSQL Databases // World Academy of Science, Engineering and Technology, International Journal of Computer, Electrical, Automation, Control and Information Engineering. 2015. vol. 9. no. 12. pp. 2566–2570.
18. Li X., Ma Z., Chen H. QODM : A Query-Oriented Data Modeling Approach for NoSQL Databases // Advanced Research and Technology in Industry Applica-tions (WARTIA). 2014. pp. 338–345.
19. Zhao G., Huang W., Liang S., Tang Y. Modeling MongoDB with Relational Model // 2013 Fourth International Conference on Emerging Intelligent Data and Web Tech-nologies (EIDWT). 2013. pp. 115–121.
20. Alotaibi O., Pardede E. Transformation of Schema from Relational Database (RDB) to NoSQL Databases // Data. 2019. vol. 4(4). pp. 148.
21. Celesti A., Fazio M., Villari M. A Study on Join Operations in MongoDB Preserving Collections Data Models for Future Internet Applications // Future Internet. 2019. vol. 11(4). pp. 83.
22. Rocha L., Vale F., Cirilo E. A Framework for Migrating Relational Datasets to NoSQL // Procedia Computer Science. 2015. vol. 51. pp. 2593–2602.
23. Liang D., Lin Y., Ding G. Mid-model Design Used in Model Transition and Data Migration between Relational Databases and NoSQL Databases // IEEE Int. Conf. Smart City. 2015. pp. 866–869.
24. Hamid S., Rezapour M., Moradi M., Ghadiri N. Performance evaluation of SQL and MongoDB databases for big e-commerce data // IEEE Pacific RIM Conference on Communications, Computers, and Signal Processing. 2015. pp.1–7.
25. Karnitis G., Arnicans G. Migration of Relational Database to Document-Oriented Database : Structure Denormalization and Data Transformation // 7th International Conference on Computational Intelligence, Communication Systems and Net-works (CICSyN). 2015. pp. 113–118.
26. Mason R.T. NoSQL Databases and Data Modeling Techniques for a Document-oriented NoSQL Database // Computer Science. 2015. pp. 259–268.
27. Gu Y., Shen S., Wang J., Kim J. Application of NoSQL Database MongoDB // IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW). 2015. pp. 158–159.
28. Самойлов Н.К. Трансляция запросов с языка SQL в язык MongoQl // Вестник Воронежского государственного университета. Серия: Системный анализ и ин-формационные технологии. 2019. № 3. С. 104–111.
29. Шепелева Ж.А., Аболмасова Е.С., Емельянова Е.С. Анализ функционирования технологии NOSQL, реализованной на примере MONGODB // Программная ин-женерия: современные тенденции развития и применения. 2018. С. 113–116.
30. Wang S. et al. A Distributed Storage and Access Approach for Massive Remote Sens-ing Data in MongoDB // ISPRS Int. J. Geo-Inf. 2019. vol. 8(12). pp. 533.
31. Marrara S., Pelucchi M., Psaila G. Blind Queries Applied to JSON Document Stores // Information. 2019. vol. 10(10). pp. 291.
32. Qian C. et al. GeoSOT-Based Spatiotemporal Index of Massive Trajectory Data // ISPRS Int. J. Geo-Inf. 2019. vol. 8(6). pp. 284.
33. Степовик А.Н., Ефанова Н.В. Анализ реляционных и нереляционных баз данных // Цифровизация экономики: направления, методы, инструменты. 2019. С. 414–416.
34. Королева Ю.А., Маслова В.О., Козлов В.К. Разработка концепции миграции данных между реляционными и нереляционными системами БД // Программные продукты и системы. 2019. Т. 32. № 1. С. 063–067.
35. Višnjevac N. et al. Prototype of the 3D Cadastral System Based on a NoSQL Database and a JavaScript Visualization Application // ISPRS Int. J. Geo-Inf. 2019. vol. 8(5). pp. 227.
36. Acquaviva A et al. Forecasting Heating Consumption in Buildings: A Scalable Full-Stack Distributed Engine // Electronics. 2019. vol. 8(5). pp. 491.
37. Marchiori A., Li Y., Evans J. Design and Evaluation of IoT-Enabled Instrumentation for a Soil-Bentonite Slurry Trench Cutoff Wall // Infrastructures 2019. vol. 4(1). pp. 5.
38. Alfian G. et al. A Personalized Healthcare Monitoring System for Diabetic Patients by Utilizing BLE-Based Sensors and Real-Time Data Processing // Sensors. 2018. vol. 18(7). pp. 2183.
39. Syafrudin M., Alfian G., Fitriyani N.L. Rhee J. Performance Analysis of IoT-Based Sensor, Big Data Processing, and Machine Learning Model for Real-Time Monitoring System in Automotive Manufacturing // Sensors. 2018. vol. 18(9). pp. 2946.
40. Ха В.М., Шичкина Ю.А., Костичев С.В. Определение совокупности коллекций для баз данных типа ключ-документ по заданному набору свойств объектов и запросов к базе данных // Компьютерные инструменты в образовании. № (3). С. 15–28.
41. Shichkina J., Degtyarev A., Kulik B.,Fridman A. Optimization of relational databases schemas by means of n-tuple algebra // AIP Conference Proceedings. 2017. vol. 1863. no. 1. pp. 11008.
Опубликован
2020-08-01
Как цитировать
Шичкина, Ю. А., & Ха, В. М. (2020). Метод создания коллекций со вложенными документами для баз данных типа ключ-документ с учетом выполняемых запросов. Труды СПИИРАН, 19(4), 829-854. https://doi.org/10.15622/sp.2020.19.4.5
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Юлия Александровна Шичкина, Ван Муон Ха
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).