Архитектура системы параллельной обработки больших данных для мониторинга безопасности сетей Интернета вещей
Ключевые слова:
Интернет вещей, мониторинг безопасности, Большие Данные, Complex Event Processing, HadoopАннотация
Сети Интернета вещей в настоящее время находят свое применение во многих областях жизни людей. Краеугольным камнем в вопросе возможности дальнейшего распространения и использования таких сетей является аспект обеспечения их безопасности. Однако особенности сетей данного вида таковы, что использование в них традиционных средств и систем компьютерной защиты затруднено или невозможно. Одной из таких особенностей является необходимость в режиме реального времени и с минимальными вычислительными затратами анализировать очень большие объемы данных, разнородных по своей природе. С учетом особенностей вычислительных мощностей сети Интернета вещей предлагается архитектура системы параллельной обработки больших данных, основанная на использовании технологии обработки потоков данных Complex Event Processing и платформы параллельных вычислений Hadoop. Рассматриваются вопросы, непосредственно связанные с архитектурой системы, а также с реализацией следующих ее основных компонентов: сбора данных, хранения данных, нормализации и анализа данных и визуализации данных. Взаимосвязь между компонентами обеспечивается с помощью распределенной файловой системы Hadoop, которая является основой для построения распределенного хранилища данных. Компонент сбора данных организует распределенный прием данных и их хранение в компоненте хранилища данных. Компонент нормализации и анализа данных преобразует их к единому формату и обрабатывает с помощью правил корреляции. Компонент визуализации данных представляет данные в графическом виде, более удобном для дальнейшего восприятия оператором. Обсуждаются результаты экспериментальной оценки производительности системы, подтверждающие вывод о ее высокой эффективности.Литература
1. Котенко И.В., Саенко И.Б. SIEM-системы для управления информацией и событиями безопасности // «Защита информации. Инсайд». 2012. № 5. С. 54–65.
2. Котенко И.В., Саенко И.Б. Построение системы интеллектуальных сервисов для защиты информации в условиях кибернетического противоборства // Труды СПИИРАН. № 3 (22). СПб.: Наука, 2012. С.84-100.
3. Котенко И.В. Интеллектуальные механизмы управления кибербезопасностью // Управление рисками и безопасностью // Труды Института системного анализа Российской академии наук. Т.41, 2009. С.74-103.
4. Kotenko I., Chechulin A. Attack Modeling and Security Evaluation in SIEM Systems // International Transactions on Systems Science and Applications, Vol.8, December 2012. pp.129-147.
5. De Carvalho O.M., Roloff E., Navaux O.A. A Survey of the State-of-the-art in Event Processing // Proceedings of the 11th Workshop on Parallel and Distributed Processing (WSPPD). 2013. 16 p.
6. Apache Hadoop 3.0.0-alpha4. URL: http://hadoop.apache.org/docs/current/ (дата обращения 01.06.2017).
7. Holmes A. Hadoop in Practice. Manning Publications Co. Greenwich, CT, USA, 2012. 536 p.
8. Scherbakov M., Kachalov D., Kamaev V., Scherbakova N. , Tyukov A., Strekalov S. A Design of Web Application for Coomplex Event Processing Based on Hadoop and Java Servlets // International Journal of Soft Computing. 2015. vol. 10. no. 3. pp. 218–219.
9. Kim M.-J., Yu Y.-S. Development of Real-time Big Data Analysis System and a Case Study on the Application of Information in a Medical Institution // International Journal of Software Engineering and Its Applications. 2015. vol. 9. no. 7. pp. 93–102.
10. Zygouras N., Zacheilas N., Kalogeraki V., Kinane D., Gunopulos D. Insights on a Scalable and Dynamic Traffic Management System // Proceedings of the 18th International Conference on Extending Database Technology (EDBT-2015). 2015. pp. 653–664.
11. Cherniack M., Balakrishnan H. , Balazinska M., Carney D., Cetintemel U., Xing Y., Zdonik S.B. Scalable Distributed Stream Processing // Proceedings of the First Biennial Conference on Innovative Data Systems Research (CIDR’03). 2003. vol. 3. pp. 257–268.
12. Schultz-Møller N.P., Migliavacca M., Pietzuch P. Distributed Complex Event Processing with Query Rewriting // Proceedings of the Third ACM International Conference on Distributed Event-Based Systems. 2009. Article 4. 12 p.
13. Zhang H., Diao Y., Immerman N. On Optimization of Expensive Queries in Complex Event Processing // Proceedings of the 2014 ACM SIGMOD International Conference on Management of Data (SIGMOD '14). 2014. pp. 217–228.
14. Moraru A., Mladenić D. Complex Event Processing and Data Mining for Smart Cities // 15th International Multiconference on Information Society, Ljubljana. 2012. URL: http://ailab.ijs.si/dunja/SiKDD2012/Papers/Moraru_CEP.pdf (дата обращения: 01.06.2017).
15. Gyllstrom D., Wu E., Chae H.-J., Diao Y., Stahlberg P., Anderson G. SASE: Complex Event Processing over Streams. URL: https://arxiv.org/ftp/cs/papers/0612/0612128.pdf (дата обращения: 01.06.2017).
16. Liu D., Pedrinaci C., Domingue J. A framework for feeding Linked Data to Complex Event Processing engines // 1st International Workshop on Consuming Linked Data (COLD 2010) at The 9th International Semantic Web Conference (ISWC 2010). 2010. URL: http://oro.open.ac.uk/26057/1/LiuEtAl_COLD2010.pdf (дата обращения: 01.06.2017).
17. Anicic D., Rudolph S., Fodor P., Stojanovic N. Stream reasoning and complex event processing in ETALIS // Semantic Web. 2012. vol. 3. no. 4. pp. 397–407.
18. Wang D., Rundensteiner E.A., Ellison R.T. Active Complex Event Processing over Event Streams // Proceedings of the VLDB Endowment. 2011. vol. 4. no. 10. pp. 634–645.
19. Gulisano V., Jimenez-Peris R., Patino-Martinez M., Valduriez P. StreamCloud: A Large Scale Data Streaming System // Proceedings of the 2010 International Conference on Distributed Computing Systems. 2010. pp. 126–137.
20. Gulisano V., Jimenez-Peris R., Patino-Martinez M., Soriente C., Valduriez P. StreamCloud: An Elastic and Scalable Data Streaming System // IEEE Transactions on Parallel and Distributed Systems. 2012. vol. 23. no. 12. pp. 2351–2365.
21. Kotenko I., Saenko I. An Approach to Aggregation of Security Events in Internet-of-Things Networks Based on Genetic Optimization // Proceedings of the 16th IEEE International Conference on Scalable Computing and Communications (ScalCom 2016). 2016. pp. 657–664.
22. Толстолес А.А., Никитин А.В., Комлев В.О., Парийский В.А., Воинов Н.В. Платформа для разработки приложений Интернета вещей на основе модуля анализа больших данных // Информатика и кибернетика (ComCon-2016): Cб. научн. конф. Института компьютерных наук и технологий (ИКНТ). СПб.: СПбПУ, 2016. С. 192–194.
23. Гончарова М.Н. Механизм параллельной обработки больших объемов информации в документо-ориентированных системах управления базами данных // Вестник магистратуры. Йошкар-Ола: ООО «Коллоквиум», 2014. № 6–1 (33). С. 52–56.
24. Dwivedi K., Dubey S.K. Analytical review on Hadoop Distributed file system // Proceedings of the 5th International Conference on Confluence the Next Generation Information Technology Summit (confluence). 2014. pp. 174-181.
25. MAVILab URL: http://www.fukuda-lab.org/mawilab/index.html (дата обращения: 01.06.2017).
2. Котенко И.В., Саенко И.Б. Построение системы интеллектуальных сервисов для защиты информации в условиях кибернетического противоборства // Труды СПИИРАН. № 3 (22). СПб.: Наука, 2012. С.84-100.
3. Котенко И.В. Интеллектуальные механизмы управления кибербезопасностью // Управление рисками и безопасностью // Труды Института системного анализа Российской академии наук. Т.41, 2009. С.74-103.
4. Kotenko I., Chechulin A. Attack Modeling and Security Evaluation in SIEM Systems // International Transactions on Systems Science and Applications, Vol.8, December 2012. pp.129-147.
5. De Carvalho O.M., Roloff E., Navaux O.A. A Survey of the State-of-the-art in Event Processing // Proceedings of the 11th Workshop on Parallel and Distributed Processing (WSPPD). 2013. 16 p.
6. Apache Hadoop 3.0.0-alpha4. URL: http://hadoop.apache.org/docs/current/ (дата обращения 01.06.2017).
7. Holmes A. Hadoop in Practice. Manning Publications Co. Greenwich, CT, USA, 2012. 536 p.
8. Scherbakov M., Kachalov D., Kamaev V., Scherbakova N. , Tyukov A., Strekalov S. A Design of Web Application for Coomplex Event Processing Based on Hadoop and Java Servlets // International Journal of Soft Computing. 2015. vol. 10. no. 3. pp. 218–219.
9. Kim M.-J., Yu Y.-S. Development of Real-time Big Data Analysis System and a Case Study on the Application of Information in a Medical Institution // International Journal of Software Engineering and Its Applications. 2015. vol. 9. no. 7. pp. 93–102.
10. Zygouras N., Zacheilas N., Kalogeraki V., Kinane D., Gunopulos D. Insights on a Scalable and Dynamic Traffic Management System // Proceedings of the 18th International Conference on Extending Database Technology (EDBT-2015). 2015. pp. 653–664.
11. Cherniack M., Balakrishnan H. , Balazinska M., Carney D., Cetintemel U., Xing Y., Zdonik S.B. Scalable Distributed Stream Processing // Proceedings of the First Biennial Conference on Innovative Data Systems Research (CIDR’03). 2003. vol. 3. pp. 257–268.
12. Schultz-Møller N.P., Migliavacca M., Pietzuch P. Distributed Complex Event Processing with Query Rewriting // Proceedings of the Third ACM International Conference on Distributed Event-Based Systems. 2009. Article 4. 12 p.
13. Zhang H., Diao Y., Immerman N. On Optimization of Expensive Queries in Complex Event Processing // Proceedings of the 2014 ACM SIGMOD International Conference on Management of Data (SIGMOD '14). 2014. pp. 217–228.
14. Moraru A., Mladenić D. Complex Event Processing and Data Mining for Smart Cities // 15th International Multiconference on Information Society, Ljubljana. 2012. URL: http://ailab.ijs.si/dunja/SiKDD2012/Papers/Moraru_CEP.pdf (дата обращения: 01.06.2017).
15. Gyllstrom D., Wu E., Chae H.-J., Diao Y., Stahlberg P., Anderson G. SASE: Complex Event Processing over Streams. URL: https://arxiv.org/ftp/cs/papers/0612/0612128.pdf (дата обращения: 01.06.2017).
16. Liu D., Pedrinaci C., Domingue J. A framework for feeding Linked Data to Complex Event Processing engines // 1st International Workshop on Consuming Linked Data (COLD 2010) at The 9th International Semantic Web Conference (ISWC 2010). 2010. URL: http://oro.open.ac.uk/26057/1/LiuEtAl_COLD2010.pdf (дата обращения: 01.06.2017).
17. Anicic D., Rudolph S., Fodor P., Stojanovic N. Stream reasoning and complex event processing in ETALIS // Semantic Web. 2012. vol. 3. no. 4. pp. 397–407.
18. Wang D., Rundensteiner E.A., Ellison R.T. Active Complex Event Processing over Event Streams // Proceedings of the VLDB Endowment. 2011. vol. 4. no. 10. pp. 634–645.
19. Gulisano V., Jimenez-Peris R., Patino-Martinez M., Valduriez P. StreamCloud: A Large Scale Data Streaming System // Proceedings of the 2010 International Conference on Distributed Computing Systems. 2010. pp. 126–137.
20. Gulisano V., Jimenez-Peris R., Patino-Martinez M., Soriente C., Valduriez P. StreamCloud: An Elastic and Scalable Data Streaming System // IEEE Transactions on Parallel and Distributed Systems. 2012. vol. 23. no. 12. pp. 2351–2365.
21. Kotenko I., Saenko I. An Approach to Aggregation of Security Events in Internet-of-Things Networks Based on Genetic Optimization // Proceedings of the 16th IEEE International Conference on Scalable Computing and Communications (ScalCom 2016). 2016. pp. 657–664.
22. Толстолес А.А., Никитин А.В., Комлев В.О., Парийский В.А., Воинов Н.В. Платформа для разработки приложений Интернета вещей на основе модуля анализа больших данных // Информатика и кибернетика (ComCon-2016): Cб. научн. конф. Института компьютерных наук и технологий (ИКНТ). СПб.: СПбПУ, 2016. С. 192–194.
23. Гончарова М.Н. Механизм параллельной обработки больших объемов информации в документо-ориентированных системах управления базами данных // Вестник магистратуры. Йошкар-Ола: ООО «Коллоквиум», 2014. № 6–1 (33). С. 52–56.
24. Dwivedi K., Dubey S.K. Analytical review on Hadoop Distributed file system // Proceedings of the 5th International Conference on Confluence the Next Generation Information Technology Summit (confluence). 2014. pp. 174-181.
25. MAVILab URL: http://www.fukuda-lab.org/mawilab/index.html (дата обращения: 01.06.2017).
Опубликован
2018-08-01
Как цитировать
Котенко, И. В., Саенко, И. Б., & Кушнеревич, А. Г. (2018). Архитектура системы параллельной обработки больших данных для мониторинга безопасности сетей Интернета вещей. Труды СПИИРАН, 4(59), 5-30. https://doi.org/10.15622/sp.59.1
Раздел
Информационная безопасность
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
