Отбор признаков в условиях несбалансированности классов: эмпирическое сравнение корреляции и взаимной информации
Ключевые слова:
несбалансированные данные, взаимная информация, коэффициент корреляции, скрининг с гарантированной независимостью, ядерные оценки, k ближайших соседей, LASSO-регрессияАннотация
Рассматривается проблема несбалансированности данных в задачах предварительного отбора признаков с использованием скрининга с гарантированной независимостью. В рамках данного подхода анализируется выбор меры зависимости, применяемой для ранжирования признаков. В работе исследуются два наиболее распространенных показателя взаимосвязи – коэффициент корреляции и взаимная информация. Коэффициент корреляции характеризует линейную зависимость между переменными, его оценки просты в вычислении и обладают хорошими статистическими свойствами. Взаимная информация является более универсальной мерой, способной выявлять нелинейные зависимости, однако ее оценивание требует восстановления распределений по выборочным данным, что приводит к повышенной вычислительной сложности и чувствительности к выбору параметров. На основе серии вычислительных экспериментов показано, что методы оценивания взаимной информации на основе k ближайших соседей уступают ядерным методам с точки зрения устойчивости и качества скрининга. Установлено, что во всех рассмотренных сценариях, включая различные уровни несбалансированности данных, корреляционные меры обеспечивают более стабильные оценки и более надежное ранжирование признаков по сравнению с взаимной информацией. Практическая применимость результатов продемонстрирована на реальных данных электроэнцефалографии, связанных с анализом арифметических способностей. Показано, что двухшаговая процедура, включающая скрининг на основе коэффициента корреляции и последующее моделирование с использованием LASSO-регрессии, обеспечивает существенное снижение ошибки кросс-валидации по сравнению с подходами, основанными на взаимной информации и отсутствием предварительного отбора. Использование главной компоненты, построенной по отобранным признакам, позволяет повысить точность прогноза. Полученные результаты свидетельствуют о том, что в условиях малых выборок, мультиколлинеарности и несбалансированности данных корреляционные меры являются более предпочтительными для задач предварительного отбора признаков с точки зрения устойчивости и воспроизводимости.
Литература
2. Jiang J., Shang J. Feature Screening for High-Dimensional Variable Selection in Generalized Linear Models // Entropy. 2023. vol. 25. no. 6. 851 p. DOI: 10.3390/e25060851.
3. Wasikowski M., Chen X. Combating the Small Sample Class Imbalance Problem Using Feature Selection // IEEE Transactions on Knowledge and Data Engineering. 2010. vol. 22. no. 10. pp. 1388–1400. DOI: 10.1109/TKDE.2009.187.
4. Chan J.Y.-L., Leow S.M.H., Bea K.T., et al. Mitigating the Multicollinearity Problem and its Machine Learning Approach: A Review // Mathematics. 2022. vol. 10. no. 8. 1283 p. DOI: 10.3390/math10081283.
5. Fan J., Fan Y. High Dimensional Classification Using Features Annealed Independence Rules // Annals of Statistics. 2008. vol. 36. no. 6. pp. 2605–2637. DOI: 10.1214/07-AOS504.
6. Xu Y., Qian Q. i-SISSO: Mutual information-based improved sure independent screening and sparsifying operator algorithm // Engineering Applications of Artificial Intelligence. 2022. vol. 116. 105442 p. DOI: 10.1016/j.engappai.2022.105442.
7. Shukla G., Singh S., Dhule C., et al. Point biserial correlation symbiotic organism search nanoengineering based drug delivery for tumor diagnosis // Scientific Reports. 2024. vol. 14. 6530 p. DOI: 10.1038/s41598-024-55159-6.
8. Huyen C. Designing Machine Learning Systems // Sebastopol: O’ReillyMedia. 2022. 443 p.
9. Mqadi N., Naicker N., Adeliyi T. Solving Misclassification of the Credit Card Imbalance Problem Using Near Miss // Mathematical Problems in Engineering. 2021. no. 1. 1–16 pp. DOI: 10.1155/2021/7194728.
10. Tasci E., Zhuge Y., Camphausen K., Krauze, A.V. Bias and Class Imbalance in Oncologic Data – Towards Inclusive and Transferrable AI in Large Scale Oncology Data Sets // Cancers. 2022. vol. 14. no. 12. 2897 p. DOI: 10.3390/cancers14122897.
11. Wongvorachan T., He S., Bulut O. A Comparison of Undersampling, Oversampling, and SMOTE Methods for Dealing with Imbalanced Classification in Educational Data Mining // Information. 2023. vol. 14. no. 1. 54 p. DOI: 10.3390/info14010054.
12. Kumar A., Goel S., Sinha N., Bhardwaj A. A Review on Unbalanced Data Classification // Proceedings of International Joint Conference on Advances in Computational Intelligence (IJCACI 2021). 2022. pp. 197–208. DOI: 10.1007/978-981-19-0332-8_14.
13. Mladenic D., Grobelnik M. Feature Selection for Unbalanced Class Distribution and Naive Bayes // Proceedings of the Sixteenth International Conference on Machine Learning (ICML ’99). 1999. pp. 258–267.
14. Wang L., Han M., Li X., et al. Review of Classification Methods on Unbalanced Data Sets // IEEE Access. 2021. vol. 9. pp. 64606–64628. DOI: 10.1109/ACCESS.2021.3074243.
15. Belghazi M.I., Baratin A., Rajeshwar S., et al. Mutual Information Neural Estimation // Proceedings of the 35th International Conference on Machine Learning (PMLR). 2018. vol. 80. pp. 531–540.
16. Джонсон Н.Л., Коц С., Балакришнан Н. Одномерные непрерывные распределения: ч. 2 / Пер. 2-го англ. изд. Волковой О.И., Стригуновой М.С., Шиховой Н.А. / Под ред. Чепурина Е.В. // М.: БИНОМ. Лаборатория знаний. 2012. 600 с.
17. Cheng Y., Liu H. A short note on the maximal point-biserial correlation under non-normality // British Journal of Mathematical and Statistical Psychology. 2016. vol. 69. no. 3. pp. 344–351. DOI: 10.1111/bmsp.12075.
18. Timofeeva A.Y. Data Type Detection for Choosing an Appropriate Correlation Coefficient in the Bivariate Case // Proceedings of the Second Young Scientist's International Workshop on Trends in Information Processing (YSIP2). 2017. vol. 1837. pp. 188–194.
19. Czyz P., Grabowski F., Vogt J., Beerenwinkel N., Marx A. Beyond Normal: On the Evaluation of Mutual Information Estimators // Advances in Neural Information Processing Systems. 2023. vol. 36. pp. 1–34. DOI: 10.52202/075280-0742.
20. Mpmi: Mixed-Pair Mutual Information Estimators. URL: https://CRAN.R-project.org/package=mpmi (дата обращения: 20.04.2026).
21. Kraskov A., Stogbauer H., Grassberger P. Estimating mutual information // Physical Review E – Statistical, Nonlinear, and Soft Matter Physics. 2004. vol. 69. no. 6. 066138 p. DOI: 10.1103/PhysRevE.69.066138.
22. Ross B.C. Mutual Information between Discrete and Continuous Data Sets // PloS ONE. 2014. vol. 9. no. 2. e87357 p. DOI: 10.1371/journal.pone.0087357.
23. Knnmi: k-Nearest Neighbor Mutual Information Estimator. URL: https://CRAN.R-project.org/package=knnmi (дата обращения: 20.04.2026).
24. YEAB: Analyze Data from Analysis of Behavior Experiments. URL: https://CRAN.R-project.org/package=YEAB (дата обращения: 20.04.2026).
25. Fan J., Song R. Sure Independence screening in generalized linear models with NP-dimensionality // Annals of Statistics. 2010. vol. 38. no. 6. pp. 3567–3604. DOI: 10.1214/10-AOS798.
26. Zyma I., Tukaev S., Seleznov I., et al. Electroencephalograms during Mental Arithmetic Task Performance // Data. 2019. vol. 4. no. 1. pp. 14. DOI: 10.3390/data4010014.
27. Timofeeva A.Y., Avdeenko T.V., Alkov S.S. A Study of Robust Partial Correlation between Electroencephalogram Connectivity and Human Arithmetic Abilities // Pattern Recognition and Image Analysis. 2025. vol. 35. pp. 189–200. DOI: 10.1134/S1054661825700105.
28. Zakharov I., Tabueva A., Adamovich T., et al. Alpha Band Resting-State EEG Connectivity is Associated with Non-verbal Intelligence // Frontiers in Human Neuroscience. 2020. vol. 14. no. 10. DOI: 10.3389/fnhum.2020.00010.
29. Авдеенко Т.В., Тимофеева А.Ю., Муртазина М.Ш., Разумникова О.М. Выявление устойчивых связей между показателями коннективности ЭЭГ и компонентами интеллекта // Вестник Южно-Уральского государственного университета. 2022. Т. 11. №4. С. 19–36.
Опубликован
Как цитировать
Раздел
Copyright (c) Анастасия Юрьевна Тимофеева, Татьяна Владимировна Авдеенко
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).