Unet-boosted classifier – мультизадачная архитектура для малых выборок на примере классификации МРТ снимков головного мозга
Ключевые слова:
классификация изображений, глубокое обучение, малый набор данных, семантическая сегментация, мультизадачная архитектура, церебральная патология, диагностика опухолиАннотация
Проблема обучения глубоких нейронных сетей на малых выборках особенно актуальна для медицинских задач. В работе рассматривается влияние попиксельной разметки значимых объектов на изображении, в дополнении к истинной метке класса, на качество решения задачи классификации. Для достижения лучших результатов классификации на малых выборках предлагается мультизадачная архитектура Unet-boosted classifier (UBC), обучаемая одновременно для решения задач классификации и семантической сегментации. В качестве исследуемого набора данных используются МРТ-снимки пациентов c доброкачественной глиомой и глиобластомой, взятые из открытого набора данных BraTS 2019. В качестве входа рассматривается один горизонтальный срез МРТ-изображения, содержащий глиому (всего 380 кадров в обучающей выборке), в качестве выхода – вероятность глиобластомы. В качестве базового решения используется ResNet34, обученный без аугментаций с функцией потерь на основе взаимной энтропии (CrossEntropyLoss). В качестве альтернативного решения используется UBC-ResNet34 – тот же ResNet34 усиленный декодером, построенным по принципу U-Net, и предсказывающим положение глиомы. В качестве дополнительной функции потерь используется сглаженный коэффициент Соренсена-Дайса (DiceLoss). Результаты на тестовой выборке: доля правильных ответов (accuracy) для базовой модели составила 0.71, для альтернативной – 0.81, коэффициент Дайса (Dice score) при этом составил 0.77. Таким образом, глубокую модель можно качественно обучить даже на небольшом наборе данных, используя предложенную архитектуру и добавив в разметку информацию о пораженных тканях в виде семантической маски. Предлагаемый подход потенциально может быть полезен и в любых других задачах классификации изображений с ограниченным набором данных.
Литература
2. Cai L., Gao J., Zhao D. A review of the application of deep learning in medical image classification and segmentation // Annals of translational medicine. 2020. vol. 8. no. 11.
3. Murtaza G., Shuib L., Abdul Wahab A.W., Mujtaba G., Mujtaba G., Nweke H.F., Al-garadi M.A., Zulfiqar F., Raza G., Azmi N.A. Deep learning-based breast cancer classification through medical imaging modalities: state of the art and research challenges // Artificial Intelligence Review. 2020. vol. 53. pp. 1655–1720.
4. Yamanakkanavar N., Choi J.Y., Lee B. MRI segmentation and classification of human brain using deep learning for diagnosis of Alzheimer’s disease: a survey // Sensors. 2020. vol. 20. no. 11. pp. 3243.
5. Wang X., Peng Y., Lu L., Lu Z., Bagheri M., Summers R.M. Chestx-ray8: Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. pp. 2097–2106.
6. Esteva A., Kuprel B., Novoa R.A., Ko J., Swetter S.M., Blau H.M., Thrun S. Dermatologist-level classification of skin cancer with deep neural networks // nature. 2017. vol. 542. no. 7639. pp. 115–118.
7. Szegedy C., Vanhoucke V., Ioffe S., Shlens J., Wojna Z. Rethinking the inception architecture for computer vision // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. pp. 2818–2826.
8. Ridnik T., Ben-Baruch E., Noy A., Zelnik-Manor L. Imagenet-21k pretraining for the masses // arXiv preprint arXiv:2104.10972. 2021.
9. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems. 2012. vol. 25.
10. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions // Proceedings of the IEEE conference on computer vision and pattern recognition. 2015. pp. 1–9.
11. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // arXiv preprint arXiv:1409.1556. 2014.
12. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. pp. 770–778.
13. Russakovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M., Berg A., Fei-Fei L. Imagenet large scale visual recognition challenge // International journal of computer vision. 2015. vol. 115. pp. 211–252.
14. Hammer P. Adaptive control processes: a guided tour (R. Bellman). 1962. 163 p.
15. Chen L. Curse of Dimensionality // Encyclopedia of Database Systems. Boston, MA: Springer US, 2009. pp. 545–546.
16. Brigato L., Barz B., Iocchi L., Denzler J. Image classification with small datasets: Overview and benchmark // IEEE Access. 2022. vol. 10. pp. 49233–49250.
17. Hinton G.E., Srivastava N., Krizhevsky A., Sutskever I., Salakhutdinov R.R. Improving neural networks by preventing co-adaptation of feature detectors // arXiv preprint arXiv:1207.0580. 2012.
18. Howard A., Sandler M., Chu G., Chen L.-C., Chen B., Tan M., Wang W., Zhu Y., Pang R., Vasudevan V., Le Q., Adam H. Searching for mobilenetv3 // Proceedings of the IEEE/CVF international conference on computer vision. 2019. pp. 1314–1324.
19. Kim J., Jung W., Kim H., Lee J. CyCNN: A rotation invariant CNN using polar mapping and cylindrical convolution layers // arXiv preprint arXiv:2007.10588. 2020.
20. Tan M., Le Q. Efficientnet: Rethinking model scaling for convolutional neural networks // International conference on machine learning. PMLR. 2019. pp. 6105–6114.
21. Tan M., Le Q. Efficientnetv2: Smaller models and faster training // International conference on machine learning. PMLR. 2021. pp. 10096–10106.
22. Xu W., Wang G., Sullivan A., Zhang Z. Towards learning affine-invariant representations via data-efficient cnns // Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020. pp. 904–913.
23. Sabour S., Frosst N., Hinton G.E. Dynamic routing between capsules // Advances in neural information processing systems. 2017. vol. 30.
24. Stallkamp J., Schlipsing M., Salmen J., Igel C. The German traffic sign recognition benchmark: a multi-class classification competition // 2011 international joint conference on neural networks. IEEE. 2011. pp. 1453–1460.
25. Arora S., Du S.S., Li Z., Salakhutdinov R., Wang R., Yu D. Harnessing the power of infinitely wide deep nets on small-data tasks // arXiv preprint arXiv:1910.01663. 2019.
26. Krizhevsky A., Hinton G. et al. Learning multiple layers of features from tiny images. 2009. 60 p.
27. Barz B., Denzler J. Deep learning on small datasets without pre-training using cosine loss // Proceedings of the IEEE/CVF winter conference on applications of computer vision. 2020. pp. 1371–1380.
28. Hai Z., Liu X. Evolving parametrized Loss for Image Classification Learning on Small Datasets // arXiv preprint arXiv:2103.08249. 2021.
29. Lezama J., Qiu Q., Mus e P., Sapiro G. Ole: Orthogonal low-rank embedding-a plug and play geometric loss for deep learning // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. pp. 8109–8118.
30. LeCun Y., Cortes C., Burges C. MNIST handwritten digit database. 2010. vol. 2. 18 p.
31. Shorten C., Khoshgoftaar T.M. A survey on image data augmentation for deep learning // Journal of big data. 2019. vol. 6. no. 1. pp. 1–48.
32. Reinders C., Schubert F., Rosenhahn B. Chimeramix: Image classification on small datasets via masked feature mixing // arXiv preprint arXiv:2202.11616. 2022.
33. Zhang X., Wang Z., Liu D., Lin Q., Ling Q. Deep adversarial data augmentation for extremely low data regimes // IEEE Transactions on Circuits and Systems for Video Technology. 2020. vol. 31. no. 1. pp. 15–28.
34. Ishii M., Sato A. Training deep neural networks with adversarially augmented features for small-scale training datasets // 2019 International Joint Conference on Neural Networks (IJCNN). IEEE. 2019. pp. 1–8.
35. Agarwal N., Sondhi A., Chopra K., Singh G. Transfer learning: Survey and classification // Smart Innovations in Communication and Computational Sciences: Proceedings of ICSICCS 2020. 2021. pp. 145–155.
36. Zhao B., Wen X. Distilling visual priors from self-supervised learning // Computer Vision – ECCV 2020 Workshops. Springer. 2020. pp. 422–429.
37. Chen X., Fan H., Girshick R., He K. Improved baselines with momentum contrastive learning // arXiv preprint arXiv:2003.04297. 2020.
38. Miranda G., Rubio-Manzano C. Image Classification Using Deep and Classical Machine Learning on Small Datasets: A Complete Comparative. 2022. DOI: 10.20944/preprints202201.0367.v1.
39. Christodoulou E., Ma J., Collins G.S., Steyerberg E.W., Verbakel J.Y., Van Calster B. A systematic review shows no performance benefit of machine learning over logistic regression for clinical prediction models // Journal of clinical epidemiology. 2019. vol. 110. pp. 12–22.
40. Mojab N., Yu P.S., Hallak J.A., Yi D. Cvs: Classification via segmentation for small datasets // arXiv preprint arXiv:2111.00042. 2021.
41. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015: 18th international conference. Springer International Publishing, 2015. pp. 234–241.
42. Baid U., Ghodasara S., Mohan S., Bilello M., Calabrese E., Colak E., Farahani K., Kalpathy-Cramer J., Kitamura F.C., Pati S. et al. The rsna-asnr-miccai brats 2021 benchmark on brain tumor segmentation and radiogenomic classification // arXiv preprint arXiv:2107.02314. 2021.
43. Menze B.H., Jakab A., Bauer S., Kalpathy-Cramer J., Farahani K., Kirby J., Burren Y., Porz N., Slotboom J., Wiest R., et al. The multimodal brain tumor image segmentation benchmark (BRATS) // IEEE transactions on medical imaging. 2014. vol. 34. no. 10. pp. 1993–2024.
44. Bakas S., Akbari H., Sotiras A., Bilello M., Rozycki M., Kirby J.S., Freymann J.B., Farahani K., Davatzikos C. Advancing the cancer genome atlas glioma MRI collections with expert segmentation labels and radiomic features // Scientific data. 2017. vol. 4. no. 1. pp. 1–13.
45. Rohlfing T., Zahr N.M., Sullivan E.V., Pfefferbaum A. The SRI24 multichannel atlas of normal adult human brain structure // Human brain mapping. 2010. vol. 31. no. 5. pp. 798–819.
46. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based learning applied to document recognition // Proceedings of the IEEE. 1998. vol. 86. no. 11. pp. 2278–2324.
47. Kingma D.P., Ba J. Adam A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014.
48. Akkus Z., Sedlar J., Coufalova L., Korfiatis P., Kline T.L., Warner J.D., Agrawal J., Erickson B.J. Semi-automated segmentation of pre-operative low grade gliomas in magnetic resonance imaging // Cancer Imaging. 2015. vol. 15. pp. 1–10.
49. Liu X., Xing F., Marin T., El Fakhri G., Woo J. Variational inference for quantifying inter-observer variability in segmentation of anatomical structures // Medical Imaging 2022: Image Processing. 2022. vol. 12032. pp. 438–443.
50. Lin T.-Y., Dollar P., Girshick R., He K., Hariharan B., Belongie S. Feature pyramid networks for object detection // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. pp. 2117–2125.
51. Huo Y., Xu Z., Xiong Y., Aboud K., Parvathaneni P., Bao S., Bermudez C., Resnick S., Cutting L., Landman B. 3D whole brain segmentation using spatially localized atlas network tiles // NeuroImage. 2019. vol. 194. pp. 105–119.
52. Paschali M., Gasperini S., Roy A.G., Fang M.Y.S., Navab N. 3DQ: Compact quantized neural networks for volumetric whole brain segmentation // Medical Image Computing and Computer Assisted Intervention: 22nd International Conference. Springer International Publishing, 2019. pp. 438–446.
53. Roy A.G., Conjeti S., Navab N., Wachinger C. Bayesian QuickNAT: Model uncertainty in deep whole-brain segmentation for structure-wise quality control // NeuroImage. 2019. vol. 195. pp. 11–22.
54. Henschel L, Conjeti S., Estrada S., Diers K., Fischl B., Reuter, M. Fastsurfer-a fast and accurate deep learning based neuroimaging pipeline // NeuroImage. 2020. vol. 219. pp. 117012.
55. Coupe P., Mansencal, B., Clement, M., Giraud, R., de Senneville B.D., Ta V.T., Lepetit V., Manjon J.V. AssemblyNet: A large ensemble of CNNs for 3D whole brain MRI segmentation // NeuroImage. 2020. vol. 219(5). pp. 117026.
56. Dubois J., Alison M., Counsell S.J., Hertz‐Pannier L., Huppi P.S., Benders M.J. MRI of the neonatal brain: a review of methodological challenges and neuroscientific advances // Journal of Magnetic Resonance Imaging. 2021. vol. 53. no. 5. pp. 1318–1343.
57. Ntaios G. Embolic stroke of undetermined source: JACC review topic of the week // Journal of the American College of Cardiology. 2020. vol. 75. no. 3. pp. 333–340.
Опубликован
Как цитировать
Раздел
Copyright (c) Кирилл Валентинович Собянин, Софья Петровна Куликова
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).