Контекстно-ориентированная система информационной поддержки операторов двухколесных самобалансирующихся транспортных средств
Ключевые слова:
контекст, поддержка оператора, транспортное средство, усталость, невнимательностьАннотация
Персональные мобильные устройства (гироскопы, двухколесные самобалансирующиеся транспортные средства, велосипеды и мотороллеры) становятся все более популярными в последние годы. Они помогают людям решать проблемы первой и последней мили в больших городах. Для того, чтобы обеспечить оператору возможность навигации в городе, а также повысить его безопасность, предлагается использовать интеллектуальную систему помощи оператору с использованием персонального смартфона, использующегося для формирования контекста и предоставления оператору рекомендаций. Под контекстом в статье понимается любая информация, характеризующая текущую ситуацию. Предполагается, что оператор устанавливает персональный смартфон таким образом, чтобы фронтальная камера была направлена на его лицо. Таким образом информация с фронтальной камеры и датчиков смартфона (GPS / ГЛОНАСС, акселерометр, гироскоп, магнитометр, микрофон) формирует контекст оператора. Представленная в статье система поддержки оператора ориентирована на обнаружение опасных ситуаций оператора персонального мобильного устройства: сонливость и невнимательность. Используя методы компьютерного зрения предлагается определение параметров лица оператора (глаз, носа, рта, угла наклона и угла поворота головы) и на основании анализа этих параметров выявление опасных ситуаций. В статье представлен анализ современных исследований по тематике интеллектуальных систем помощи водителям транспортных средств, предложен подход к обнаружению опасных ситуаций и генерации рекомендаций, а также проведены эксперименты с использованием предложенной системы и двухколесного самобалансирующегося транспортного средства.
Литература
1 Underwooda G., Ngaia A., Underwood J. Driving experience and situation awareness in hazard detection // Safety Science. 2013. vol. 56. pp. 29–35.
2 Aurichta M., Stark R. How to Consider Emotional Reactions of the Driver within the Development of Advanced Driver Assistance Systems (ADAS)? // Procedia CIRP. 2014. vol. 21. pp. 70–74.
3 Biassoni F., Ruscio D., Ciceri R. Limitations and automation. The role of information about device-specific features in ADAS acceptability // Safety Science. 2016. vol. 85. pp. 179–186.
4 What is Distracted Driving? Department of Transportation, National Highway Traffic Safety Administration. URL: http://www.distraction.gov/content/get-the-facts/ facts-and-statistics.html (дата обращения: 25.03.2019).
5 Smirnov A. et al. Smartphone-Based Two-Wheeled Self-Balancing Vehicles Rider Assistant // 2015 17th IEEE Conference of Open Innovations Association (FRUCT). 2015. pp. 201–209.
6 Smirnov A., Kashevnik A., Lashkov I. Human-smartphone interaction for dangerous situation detection and recommendation generation while driving // Proceedings of the 18th International Conference on Speech and Computer. 2016. pp. 346–353.
7 Smirnov A., Kashevnik A., Lashkov I., Baraniuc O., Parfenov V. Smartphone-Based Identification of Dangerous Driving Situation: Algorithms and Implementation // 2016 18th Conference of Open Innovations Association and Seminar on Information Security and Protection of Information Technology (FRUCT-ISPIT). 2016. pp. 306–313.
8 Fedotov A., Lashkov I., Kashevnik A. Web-Service for Drive Safely System User Analysis: Architecture and Implementation // 2018 22nd Conference of Open Innovations Association (FRUCT). 2018. pp. 40–47.
9 Kashevnik A., Lashkov I. Decision Support System for Drivers and Passengers: Smartphone-Based Reference Model and Evaluation // Proceedings of the 23rd Conference of Open Innovations Association FRUCT. 2018. pp. 166–171.
10 Kashevnik A. et al. Context-Based Driver Support System Development: Methodology and Case Study // 2017 21st Conference of Open Innovations Association (FRUCT). 2017. pp. 162–171.
11 Новиков П.А., Хомоненко А.Д., Яковлев Е.Л. Комплекс программ для навигации мобильных устройств внутри помещений с помощью нейронных сетей // Информационно-управляющие системы. 2016. Вып. 1. С. 32–39.
12 Galarza E.E. Real Time Driver Drowsiness Detection Based on Driver’s Face Image Behavior Using a System of Human Computer Interaction Implemented in a Smartphone // International Conference on Information Technology Security. 2018. pp. 563–572.
13 Schmidt J., Laarousi R., Stolzmann W., Karrer-Gauß K. Eye blink detection for different driver states in conditionally automated driving and manual driving using EOG and a driver camera // Behavior Research Methods. 2018. vol. 50(3). pp. 1088–1101.
14 Mohammad F., Mahadas K., Hung G. K. Drowsy driver mobile application: Development of a novel scleral-area detection method // Computers in Biology and Medicine. 2017. vol. 89. pp. 76–83.
15 Kaehler A., Bradski G. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library // O'Reilly Media. 2016.
16 Dasgupta A., Rahman D., Routray A. A Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers // IEEE Transactions on Intelligent Transportation Systems. 2018. pp. 1–10.
17 García-García M., Caplier A., Rombaut M. Sleep Deprivation Detection for Real-Time Driver Monitoring Using Deep Learning // International Conference Image Analysis and Recognition. 2018. pp. 435–442.
18 Manoharan R., Chandrakala S. Android OpenCV based effective driver fatigue and distraction monitoring system // 2015 International Conference on Computing and Communications Technologies (ICCCT). 2015. pp. 262–266.
19 Abulkhair M. et al. Mobile Platform Detect and Alerts System for Driver Fatigue // Procedia Computer Science. 2015. vol. 62. pp. 555–564.
20 García-García M., Caplier A., Rombaut M. Driver Head Movements While Using a Smartphone in a Naturalistic Context // 6th International Symposium on Naturalistic Driving Research. 2017. pp. 1–5.
21 Qiao Y., Zeng K., Xu L., Yin X. A smartphone-based driver fatigue detection using fusion of multiple real-time facial features // 2016 13th IEEE Annual Consumer Communications & Networking Conference (CCNC). 2016. pp. 230–235.
22 Kong W. et al. A System of Driving Fatigue Detection Based on Machine Vision and Its Application on Smart Device // Journal of Sensors. 2015. vol. 2015. pp. 1–11.
23 Kutila M. Methods for Machine Vision Based Driver Monitoring Applications // VTT. 2006. vol. 521. 82 p.
24 Dementienko V.V., Ivanov I.I., Makaev D.V. A comprehensive system for monitoring driver state in the trip. Modern problems of life safety: intelligent transportation systems // Proceedings of the IV international scientific-practical conference. 2016. pp. 191–195.
25 Shcherbakova T.F., Sedov S.S., Kirtaev I.A., Vafin A.M. Driver state monitoring system and vehicle safety // All-Russian scientific and practical conference with international participation "New technologies, materials and equipment of the Russian aerospace industry". 2016. pp. 763–768.
26 Boucsein W. Electrodermal Activity // Springer Science & Business Media. 2012. vol. 2. 618 p.
27 Fursov V.A., Bibikov S.A., Yakimov P.Yu. Localization of contours of objects on images for variations of a scale using Hough transform is proposed // Computer Optics. 2013. vol. 4(37). pp. 496–502.
28 Viola P., Jones M. Robust Real-time Object Detection // International Journal of Computer Vision. 2001. vol. 4. no. 34-47. pp. 4.
29 Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE. 1989. vol. 77(2). pp. 257–286.
30 Rowley H., Baluja S., Kanade T. Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. vol. 20. pp. 22–38.
31 Suykens J.A., De Brabanter., Lukas L., Vandewalle J. Weighted Least Squares Support Vector Machines: Robustness and Sparse Approximation // Neurocomputing. 2002. vol. 48. no. 1-4. pp. 85–105.
32 Saiprasert C., Pholprasit T., Pattara-Atikom W. Detecting driving events using smartphone // Proceedings of the 20th ITS World Congress. 2013. 11 p.
33 Zadeh L.A. Fuzzy sets // Information and Control. 1965. vol. 8(3). pp. 338–353.
34 Kalsoom R., Halim Z. Clustering the driving features based on data streams // 2013 16th International Multi Topic Conference (INMIC). 2013. pp. 89–94.
35 Гаврилова Т.А., Кудрявцев Д.В., Муромцев Д.И. Инженерия знаний: модели и методы // СПб.: Лань. 2016. 324 С.
36 Ена О. В., Ефименко И. В., Хорошевский В.Ф. Онтологический инжиниринг в одном проекте: что нам стоит дом построить // Международная научно-техническая конференция OSTIS. 2011. С. 107–114.
37 Котенко И.В., Полубелова О.В., Чечулин А.А. Построение модели данных для системы моделирования сетевых атак на основе онтологического подхода // Труды СПИИРАН. 2013. Вып. 3(26). С. 26–39.
2 Aurichta M., Stark R. How to Consider Emotional Reactions of the Driver within the Development of Advanced Driver Assistance Systems (ADAS)? // Procedia CIRP. 2014. vol. 21. pp. 70–74.
3 Biassoni F., Ruscio D., Ciceri R. Limitations and automation. The role of information about device-specific features in ADAS acceptability // Safety Science. 2016. vol. 85. pp. 179–186.
4 What is Distracted Driving? Department of Transportation, National Highway Traffic Safety Administration. URL: http://www.distraction.gov/content/get-the-facts/ facts-and-statistics.html (дата обращения: 25.03.2019).
5 Smirnov A. et al. Smartphone-Based Two-Wheeled Self-Balancing Vehicles Rider Assistant // 2015 17th IEEE Conference of Open Innovations Association (FRUCT). 2015. pp. 201–209.
6 Smirnov A., Kashevnik A., Lashkov I. Human-smartphone interaction for dangerous situation detection and recommendation generation while driving // Proceedings of the 18th International Conference on Speech and Computer. 2016. pp. 346–353.
7 Smirnov A., Kashevnik A., Lashkov I., Baraniuc O., Parfenov V. Smartphone-Based Identification of Dangerous Driving Situation: Algorithms and Implementation // 2016 18th Conference of Open Innovations Association and Seminar on Information Security and Protection of Information Technology (FRUCT-ISPIT). 2016. pp. 306–313.
8 Fedotov A., Lashkov I., Kashevnik A. Web-Service for Drive Safely System User Analysis: Architecture and Implementation // 2018 22nd Conference of Open Innovations Association (FRUCT). 2018. pp. 40–47.
9 Kashevnik A., Lashkov I. Decision Support System for Drivers and Passengers: Smartphone-Based Reference Model and Evaluation // Proceedings of the 23rd Conference of Open Innovations Association FRUCT. 2018. pp. 166–171.
10 Kashevnik A. et al. Context-Based Driver Support System Development: Methodology and Case Study // 2017 21st Conference of Open Innovations Association (FRUCT). 2017. pp. 162–171.
11 Новиков П.А., Хомоненко А.Д., Яковлев Е.Л. Комплекс программ для навигации мобильных устройств внутри помещений с помощью нейронных сетей // Информационно-управляющие системы. 2016. Вып. 1. С. 32–39.
12 Galarza E.E. Real Time Driver Drowsiness Detection Based on Driver’s Face Image Behavior Using a System of Human Computer Interaction Implemented in a Smartphone // International Conference on Information Technology Security. 2018. pp. 563–572.
13 Schmidt J., Laarousi R., Stolzmann W., Karrer-Gauß K. Eye blink detection for different driver states in conditionally automated driving and manual driving using EOG and a driver camera // Behavior Research Methods. 2018. vol. 50(3). pp. 1088–1101.
14 Mohammad F., Mahadas K., Hung G. K. Drowsy driver mobile application: Development of a novel scleral-area detection method // Computers in Biology and Medicine. 2017. vol. 89. pp. 76–83.
15 Kaehler A., Bradski G. Learning OpenCV 3: Computer Vision in C++ with the OpenCV Library // O'Reilly Media. 2016.
16 Dasgupta A., Rahman D., Routray A. A Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers // IEEE Transactions on Intelligent Transportation Systems. 2018. pp. 1–10.
17 García-García M., Caplier A., Rombaut M. Sleep Deprivation Detection for Real-Time Driver Monitoring Using Deep Learning // International Conference Image Analysis and Recognition. 2018. pp. 435–442.
18 Manoharan R., Chandrakala S. Android OpenCV based effective driver fatigue and distraction monitoring system // 2015 International Conference on Computing and Communications Technologies (ICCCT). 2015. pp. 262–266.
19 Abulkhair M. et al. Mobile Platform Detect and Alerts System for Driver Fatigue // Procedia Computer Science. 2015. vol. 62. pp. 555–564.
20 García-García M., Caplier A., Rombaut M. Driver Head Movements While Using a Smartphone in a Naturalistic Context // 6th International Symposium on Naturalistic Driving Research. 2017. pp. 1–5.
21 Qiao Y., Zeng K., Xu L., Yin X. A smartphone-based driver fatigue detection using fusion of multiple real-time facial features // 2016 13th IEEE Annual Consumer Communications & Networking Conference (CCNC). 2016. pp. 230–235.
22 Kong W. et al. A System of Driving Fatigue Detection Based on Machine Vision and Its Application on Smart Device // Journal of Sensors. 2015. vol. 2015. pp. 1–11.
23 Kutila M. Methods for Machine Vision Based Driver Monitoring Applications // VTT. 2006. vol. 521. 82 p.
24 Dementienko V.V., Ivanov I.I., Makaev D.V. A comprehensive system for monitoring driver state in the trip. Modern problems of life safety: intelligent transportation systems // Proceedings of the IV international scientific-practical conference. 2016. pp. 191–195.
25 Shcherbakova T.F., Sedov S.S., Kirtaev I.A., Vafin A.M. Driver state monitoring system and vehicle safety // All-Russian scientific and practical conference with international participation "New technologies, materials and equipment of the Russian aerospace industry". 2016. pp. 763–768.
26 Boucsein W. Electrodermal Activity // Springer Science & Business Media. 2012. vol. 2. 618 p.
27 Fursov V.A., Bibikov S.A., Yakimov P.Yu. Localization of contours of objects on images for variations of a scale using Hough transform is proposed // Computer Optics. 2013. vol. 4(37). pp. 496–502.
28 Viola P., Jones M. Robust Real-time Object Detection // International Journal of Computer Vision. 2001. vol. 4. no. 34-47. pp. 4.
29 Rabiner L.R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE. 1989. vol. 77(2). pp. 257–286.
30 Rowley H., Baluja S., Kanade T. Neural network-based face detection // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. vol. 20. pp. 22–38.
31 Suykens J.A., De Brabanter., Lukas L., Vandewalle J. Weighted Least Squares Support Vector Machines: Robustness and Sparse Approximation // Neurocomputing. 2002. vol. 48. no. 1-4. pp. 85–105.
32 Saiprasert C., Pholprasit T., Pattara-Atikom W. Detecting driving events using smartphone // Proceedings of the 20th ITS World Congress. 2013. 11 p.
33 Zadeh L.A. Fuzzy sets // Information and Control. 1965. vol. 8(3). pp. 338–353.
34 Kalsoom R., Halim Z. Clustering the driving features based on data streams // 2013 16th International Multi Topic Conference (INMIC). 2013. pp. 89–94.
35 Гаврилова Т.А., Кудрявцев Д.В., Муромцев Д.И. Инженерия знаний: модели и методы // СПб.: Лань. 2016. 324 С.
36 Ена О. В., Ефименко И. В., Хорошевский В.Ф. Онтологический инжиниринг в одном проекте: что нам стоит дом построить // Международная научно-техническая конференция OSTIS. 2011. С. 107–114.
37 Котенко И.В., Полубелова О.В., Чечулин А.А. Построение модели данных для системы моделирования сетевых атак на основе онтологического подхода // Труды СПИИРАН. 2013. Вып. 3(26). С. 26–39.
Опубликован
2019-06-07
Как цитировать
Ким, Ч., Сато, К., Хасимото, Н., Кашевник, А. М., Томита, К., Миякоси, С., Такинами, Ю., Мацумото, О., & Бояли, А. (2019). Контекстно-ориентированная система информационной поддержки операторов двухколесных самобалансирующихся транспортных средств. Труды СПИИРАН, 18(3), 583-614. https://doi.org/10.15622/sp.2019.18.3.582-613
Раздел
Робототехника, автоматизация и системы управления
Copyright (c) 2019 Чжеён Ким, Кента Сато, Наохиса Хасимото, Алексей Михайлович Кашевник, Кодзи Томита, Сейичи Миякоси, Юсуке Такинами, Осаму Мацумото, Али Бояли
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).