Улучшение обнаружения аномалий на видео с помощью усовершенствованной технологии UNET и техники каскадного скользящего окна
Ключевые слова:
обнаружение аномалий, I-UNET, фильтр Винера, ConvLSTM, каскадное скользящее окно, оценка аномалийАннотация
Обнаружение аномалий на видео с помощью компьютерного зрения все еще нуждается в совершенствовании, особенно при распознавании изображений с необычными движениями или объектами. Современные подходы в основном сосредоточены на методах реконструкции и прогнозирования, а обнаружение аномалий на видео без наблюдения сталкивается с трудностями из-за отсутствия достаточного количества помеченных аномалий, что снижает точность. В этой статье представлена новая структура под названием усовершенствованная UNET (I-UNET), разработанная для противодействия переобучению путем удовлетворения потребности в сложных моделях, которые могут извлекать малозаметную информацию из аномалий на видео. Видеошум можно устранить путем предварительной обработки кадров фильтром Винера. Более того, система использует сверточные слои долго-кратковременной памяти (ConvLSTM) для плавной интеграции временных и пространственных данных в свои части энкодера и декодера, улучшая точность идентификации аномалий. Последующая обработка осуществляется с использованием техники каскадного скользящего окна (CSWT) для идентификации аномальных кадров и генерации оценок аномалии. По сравнению с базовыми подходами, экспериментальные результаты на наборах данных UCF, UCSDped1 и UCSDped2 демонстрируют заметные улучшения производительности, с точностью 99%, площадью под кривой (AUC) 90,8% и равным уровнем ошибок (EER) 10,9%. Это исследование предоставляет надежную и точную структуру для обнаружения аномалий на видео с наивысшим уровнем точности.
Литература
1. Ramachandra B., Jones M.J., Vatsavai R.R. A survey of single-scen4e video anomaly detection. IEEE transactions on pattern analysis and machine intelligence. 2020. vol. 44(5). pp. 2293–2312.
2. Nayak R., Pati U.C., Das S.K. A comprehensive review on deep learning-based methods for video anomaly detection. Image and Vision Computing. 2021. vol. 106(6). DOI: 10.1016/j.imavis.2020.104078.
3. Raja R., Sharma P.C., Mahmood M.R., Saini D.K. Analysis of anomaly detection in surveillance video: recent trends and future vision. Multimedia Tools and Applications. 2023. vol. 82(8). pp. 12635–12651.
4. Erhan L., Ndubuaku M., Di Mauro M., Song W., Chen M., Fortino G., Bagdasar O., Liotta A. Smart anomaly detection in sensor systems: A multi-perspective review. Information Fusion. 2021. vol. 67. pp. 64–79.
5. Pang G., Shen C., Cao L., Hengel A.V.D. Deep learning for anomaly detection: A review. ACM computing surveys (CSUR). 2021. vol. 54(2). pp. 1–38.
6. Rezaee K., Rezakhani S.M., Khosravi M.R., Moghimi M.K. A survey on deep learning-based real-time crowd anomaly detection for secure distributed video surveillance. Personal and Ubiquitous Computing. 2024. vol. 28(1). pp. 135–151.
7. Ackerson J.M., Dave R., Seliya N. Applications of recurrent neural network for biometric authentication & anomaly detection. Information. 2021. vol. 12(7). DOI: 10.3390/info12070272.
8. Şengönül E., Samet R., Abu Al-Haija Q., Alqahtani A., Alturki B., Alsulami A.A. An Analysis of Artificial Intelligence Techniques in Surveillance Video Anomaly Detection: A Comprehensive Survey. Applied Sciences. 2023. vol. 13(8). DOI: 10.3390/app13084956.
9. da Costa K.A., Papa J.P., Passos L.A., Colombo D., Del Ser J., Muhammad K., de Albuquerque V.H.C. A critical literature survey and prospects on tampering and anomaly detection in image data. Applied Soft Computing. 2020. vol. 97. DOI: 10.1016/j.asoc.2020.106727.
10. Jebur S.A., Hussein K.A., Hoomod H.K., Alzubaidi L., Santamaría J. Review on deep learning approaches for anomaly event detection in video surveillance. Electronics. 2022. vol. 12(1). DOI: 10.3390/electronics12010029.
11. Habeeb R.A.A., Nasaruddin F., Gani A., Hashem I.A.T., Ahmed E., Imran M. Real-time big data processing for anomaly detection: A survey. International Journal of Information Management. 2019. vol. 45. pp. 289–307.
12. Arshad K., Ali R.F., Muneer A., Aziz I.A., Naseer S., Khan N.S., Taib S.M. Deep Reinforcement Learning for Anomaly Detection: A Systematic Review. IEEE Access. 2022. vol. 10. pp. 124017–124035.
13. Berroukham A., Housni K., Lahraichi M., Boulfrifi I. Deep learning-based methods for anomaly detection in video surveillance: a review. Bulletin of Electrical Engineering and Informatics. 2023. vol. 12(1). pp. 314–327.
14. Kiran B.R., Thomas D.M., Parakkal R. An overview of deep learning based methods for unsupervised and semi-supervised anomaly detection in videos. Journal of Imaging. 2018. vol. 4(2). DOI: 10.3390/jimaging4020036.
15. Musa A.A., Hussaini A., Liao W., Liang F., Yu W. Deep Neural Networks for Spatial-Temporal Cyber-Physical Systems: A Survey. Future Internet. 2023. vol. 15(6). DOI: 10.3390/fi15060199.
16. Albuquerque Filho J.E., Brandão L.C., Fernandes B.J., Maciel A.M. A review of neural networks for anomaly detection. IEEE Access. 2022. vol. 10(5). pp. 112342–112367.
17. Borowiec M.L., Dikow R.B., Frandsen P.B., McKeeken A., Valentini G., White A.E. Deep learning as a tool for ecology and evolution. Methods in Ecology and Evolution. 2022. vol. 13(8). pp. 1640–1660.
18. Amudha L., Pushpa Lakshmi R. Performance Analysis of Hybrid RR Algorithm for Anomaly Detection in Streaming Data. Computer Systems Science & Engineering. 2023. vol. 45(3). pp. 2299–2312.
19. Chang Y., Tu Z., Xie W., Luo B., Zhang S., Sui H., Yuan J. Video anomaly detection with spatio-temporal dissociation. Pattern Recognition. 2022. vol. 122. DOI: 10.1016/j.patcog.2021.108213.
20. Rezaei F., Yazdi M. A new semantic and statistical distance-based anomaly detection in crowd video surveillance. Wireless Communications and Mobile Computing. 2021. vol. 2021. DOI: 10.1155/2021/5513582.
21. Deepak K., Chandrakala S., Mohan C.K. Residual spatiotemporal autoencoder for unsupervised video anomaly detection. Signal, Image and Video Processing. 2021. vol. 15(1). pp. 215–222.
22. Ul Amin S., Ullah M., Sajjad M., Cheikh F.A., Hijji M., Hijji A., Muhammad K. EADN: An efficient deep learning model for anomaly detection in videos. Mathematics. 2022. vol. 10(9). DOI: 10.3390/math10091555.
23. Taghinezhad N., Yazdi M. A new unsupervised video anomaly detection using multi-scale feature memorization and multipath temporal information prediction. IEEE Access. 2023. vol. 11. pp. 9295–9310.
24. Liu T., Zhang C., Niu X., Wang L. Spatio-temporal prediction and reconstruction network for video anomaly detection. Plos one. 2022. vol. 17(5). DOI: 10.1371/journal.pone.0265564.
25. Le V.T., Kim Y.G. Attention-based residual autoencoder for video anomaly detection. Applied Intelligence. 2023. vol. 53(3). pp. 3240–3254.
26. Chriki A., Touati H., Snoussi H., Kamoun F. Deep learning and handcrafted features for one-class anomaly detection in UAV video. Multimedia Tools and Applications. 2021. vol. 80. pp. 2599–2620.
27. Deepak K., Srivathsan G., Roshan S., Chandrakala S. Deep multi-view representation learning for video anomaly detection using spatiotemporal autoencoders. Circuits, Systems, and Signal Processing. 2021. vol. 40(3). pp. 1333–1349.
28. dos Santos J.C.M., Carrijo G.A., de Fátima dos Santos Cardoso C., Ferreira J.C., Sousa P.M., Patrocínio A.C. Fundus image quality enhancement for blood vessel detection via a neural network using CLAHE and Wiener filter. Research on Biomedical Engineering. 2020. vol. 36. pp. 107–119.
29. Sharma N., Gupta S., Koundal D., Alyami S., Alshahrani H., Asiri Y., Shaikh A. U-Net model with transfer learning model as a backbone for segmentation of gastrointestinal tract. Bioengineering. 2023. vol. 10(1). DOI: 10.3390/bioengineering10010119.
30. Cai Y., Liu J., Guo Y., Hu S., Lang S. Video anomaly detection with multi-scale feature and temporal information fusion. Neurocomputing. 2021. vol. 423. pp. 264–273.
31. Yang Y., Fu Z., Naqvi S.M. Abnormal event detection for video surveillance using an enhanced two-stream fusion method. Neurocomputing. 2023. vol. 553. DOI: 10.1016/j.neucom.2023.126561.
32. Khan A.A., Nauman M.A., Shoaib M., Jahangir R., Alroobaea R., Alsafyani M., Binmahfoudh A., Wechtaisong C. Crowd anomaly detection in video frames using fine-tuned AlexNet Model. Electronics. 2022. vol. 11(19). DOI: 10.3390/electronics11193105.
33. Ali M.M. Real‐time video anomaly detection for smart surveillance. IET Image Processing. 2023. vol. 17(5). pp. 1375–1388.
2. Nayak R., Pati U.C., Das S.K. A comprehensive review on deep learning-based methods for video anomaly detection. Image and Vision Computing. 2021. vol. 106(6). DOI: 10.1016/j.imavis.2020.104078.
3. Raja R., Sharma P.C., Mahmood M.R., Saini D.K. Analysis of anomaly detection in surveillance video: recent trends and future vision. Multimedia Tools and Applications. 2023. vol. 82(8). pp. 12635–12651.
4. Erhan L., Ndubuaku M., Di Mauro M., Song W., Chen M., Fortino G., Bagdasar O., Liotta A. Smart anomaly detection in sensor systems: A multi-perspective review. Information Fusion. 2021. vol. 67. pp. 64–79.
5. Pang G., Shen C., Cao L., Hengel A.V.D. Deep learning for anomaly detection: A review. ACM computing surveys (CSUR). 2021. vol. 54(2). pp. 1–38.
6. Rezaee K., Rezakhani S.M., Khosravi M.R., Moghimi M.K. A survey on deep learning-based real-time crowd anomaly detection for secure distributed video surveillance. Personal and Ubiquitous Computing. 2024. vol. 28(1). pp. 135–151.
7. Ackerson J.M., Dave R., Seliya N. Applications of recurrent neural network for biometric authentication & anomaly detection. Information. 2021. vol. 12(7). DOI: 10.3390/info12070272.
8. Şengönül E., Samet R., Abu Al-Haija Q., Alqahtani A., Alturki B., Alsulami A.A. An Analysis of Artificial Intelligence Techniques in Surveillance Video Anomaly Detection: A Comprehensive Survey. Applied Sciences. 2023. vol. 13(8). DOI: 10.3390/app13084956.
9. da Costa K.A., Papa J.P., Passos L.A., Colombo D., Del Ser J., Muhammad K., de Albuquerque V.H.C. A critical literature survey and prospects on tampering and anomaly detection in image data. Applied Soft Computing. 2020. vol. 97. DOI: 10.1016/j.asoc.2020.106727.
10. Jebur S.A., Hussein K.A., Hoomod H.K., Alzubaidi L., Santamaría J. Review on deep learning approaches for anomaly event detection in video surveillance. Electronics. 2022. vol. 12(1). DOI: 10.3390/electronics12010029.
11. Habeeb R.A.A., Nasaruddin F., Gani A., Hashem I.A.T., Ahmed E., Imran M. Real-time big data processing for anomaly detection: A survey. International Journal of Information Management. 2019. vol. 45. pp. 289–307.
12. Arshad K., Ali R.F., Muneer A., Aziz I.A., Naseer S., Khan N.S., Taib S.M. Deep Reinforcement Learning for Anomaly Detection: A Systematic Review. IEEE Access. 2022. vol. 10. pp. 124017–124035.
13. Berroukham A., Housni K., Lahraichi M., Boulfrifi I. Deep learning-based methods for anomaly detection in video surveillance: a review. Bulletin of Electrical Engineering and Informatics. 2023. vol. 12(1). pp. 314–327.
14. Kiran B.R., Thomas D.M., Parakkal R. An overview of deep learning based methods for unsupervised and semi-supervised anomaly detection in videos. Journal of Imaging. 2018. vol. 4(2). DOI: 10.3390/jimaging4020036.
15. Musa A.A., Hussaini A., Liao W., Liang F., Yu W. Deep Neural Networks for Spatial-Temporal Cyber-Physical Systems: A Survey. Future Internet. 2023. vol. 15(6). DOI: 10.3390/fi15060199.
16. Albuquerque Filho J.E., Brandão L.C., Fernandes B.J., Maciel A.M. A review of neural networks for anomaly detection. IEEE Access. 2022. vol. 10(5). pp. 112342–112367.
17. Borowiec M.L., Dikow R.B., Frandsen P.B., McKeeken A., Valentini G., White A.E. Deep learning as a tool for ecology and evolution. Methods in Ecology and Evolution. 2022. vol. 13(8). pp. 1640–1660.
18. Amudha L., Pushpa Lakshmi R. Performance Analysis of Hybrid RR Algorithm for Anomaly Detection in Streaming Data. Computer Systems Science & Engineering. 2023. vol. 45(3). pp. 2299–2312.
19. Chang Y., Tu Z., Xie W., Luo B., Zhang S., Sui H., Yuan J. Video anomaly detection with spatio-temporal dissociation. Pattern Recognition. 2022. vol. 122. DOI: 10.1016/j.patcog.2021.108213.
20. Rezaei F., Yazdi M. A new semantic and statistical distance-based anomaly detection in crowd video surveillance. Wireless Communications and Mobile Computing. 2021. vol. 2021. DOI: 10.1155/2021/5513582.
21. Deepak K., Chandrakala S., Mohan C.K. Residual spatiotemporal autoencoder for unsupervised video anomaly detection. Signal, Image and Video Processing. 2021. vol. 15(1). pp. 215–222.
22. Ul Amin S., Ullah M., Sajjad M., Cheikh F.A., Hijji M., Hijji A., Muhammad K. EADN: An efficient deep learning model for anomaly detection in videos. Mathematics. 2022. vol. 10(9). DOI: 10.3390/math10091555.
23. Taghinezhad N., Yazdi M. A new unsupervised video anomaly detection using multi-scale feature memorization and multipath temporal information prediction. IEEE Access. 2023. vol. 11. pp. 9295–9310.
24. Liu T., Zhang C., Niu X., Wang L. Spatio-temporal prediction and reconstruction network for video anomaly detection. Plos one. 2022. vol. 17(5). DOI: 10.1371/journal.pone.0265564.
25. Le V.T., Kim Y.G. Attention-based residual autoencoder for video anomaly detection. Applied Intelligence. 2023. vol. 53(3). pp. 3240–3254.
26. Chriki A., Touati H., Snoussi H., Kamoun F. Deep learning and handcrafted features for one-class anomaly detection in UAV video. Multimedia Tools and Applications. 2021. vol. 80. pp. 2599–2620.
27. Deepak K., Srivathsan G., Roshan S., Chandrakala S. Deep multi-view representation learning for video anomaly detection using spatiotemporal autoencoders. Circuits, Systems, and Signal Processing. 2021. vol. 40(3). pp. 1333–1349.
28. dos Santos J.C.M., Carrijo G.A., de Fátima dos Santos Cardoso C., Ferreira J.C., Sousa P.M., Patrocínio A.C. Fundus image quality enhancement for blood vessel detection via a neural network using CLAHE and Wiener filter. Research on Biomedical Engineering. 2020. vol. 36. pp. 107–119.
29. Sharma N., Gupta S., Koundal D., Alyami S., Alshahrani H., Asiri Y., Shaikh A. U-Net model with transfer learning model as a backbone for segmentation of gastrointestinal tract. Bioengineering. 2023. vol. 10(1). DOI: 10.3390/bioengineering10010119.
30. Cai Y., Liu J., Guo Y., Hu S., Lang S. Video anomaly detection with multi-scale feature and temporal information fusion. Neurocomputing. 2021. vol. 423. pp. 264–273.
31. Yang Y., Fu Z., Naqvi S.M. Abnormal event detection for video surveillance using an enhanced two-stream fusion method. Neurocomputing. 2023. vol. 553. DOI: 10.1016/j.neucom.2023.126561.
32. Khan A.A., Nauman M.A., Shoaib M., Jahangir R., Alroobaea R., Alsafyani M., Binmahfoudh A., Wechtaisong C. Crowd anomaly detection in video frames using fine-tuned AlexNet Model. Electronics. 2022. vol. 11(19). DOI: 10.3390/electronics11193105.
33. Ali M.M. Real‐time video anomaly detection for smart surveillance. IET Image Processing. 2023. vol. 17(5). pp. 1375–1388.
Опубликован
2024-11-07
Как цитировать
Р. Кришнан, Ш., & Амудха, П. (2024). Улучшение обнаружения аномалий на видео с помощью усовершенствованной технологии UNET и техники каскадного скользящего окна. Информатика и автоматизация, 23(6), 1899-1930. https://doi.org/10.15622/ia.23.6.12
Раздел
Информационная безопасность
Copyright (c) Sreedevi R. Krishnan, Unknown
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).