Методика идентификации текстов, сгенерированных большими языковыми моделями
Ключевые слова:
большие языковые модели, нейронные сети, машинное обучение, генерация текста, ансамбль классификаторов, признаки текстаАннотация
В статье представлена методика идентификации русскоязычных текстов, сгенерированных большими языковыми моделями (LLM). Методика разработана с фокусом на короткие сообщения длиной от 100 до 200 символов. Актуальность работы обусловлена широким распространением генеративных моделей, таких как GPT-3.5, GPT-4o, LLaMA, GigaChat, DeepSeek, Yandex GPT. Методика основана на ансамбле моделей машинного обучения, также используются признаки трех уровней: лингвистические (структура, пунктуация, морфология, лексическое разнообразие), статистические (энтропия, перплексия, частотность n-грамм), семантические (эмбеддинги RuBERT). В качестве базовых моделей применяются LightGBM, BiLSTM и предобученная трансформерная модель RuRoBERTa, объединенные стеккингом через логистическую регрессию. Выбор гибридного ансамблевого подхода обусловлен стремлением учесть признаки на разных уровнях иерархии текста и обеспечить надежность классификации в условиях разных тематик генерируемых текстов, различных версий и видов языковых моделей. Применение ансамбля является преимуществом при анализе коротких текстов, поскольку LightGBM, опирающаяся на усредненные показатели, менее чувствительна к длине (метрика перплексии уже усреднена по всему тексту), тогда как BiLSTM и RoBERTa, способны выявлять локальные признаки LLM-текста, а не только глобальные. Набор данных естественных текстов включает более 2,8 млн пользовательских комментариев из социальной сети «ВКонтакте». Набор данных LLM-текстов содержит 700 тыс. текстов, сгенерированных семью актуальными большими языковыми моделями. При проведении генерации текстов применялись тематическое моделирование (LDA) и ролевая генерация с использованием промпт-инжиниринга. Проведена оценка методики на открытых датасетах русскоязычных LLM-текстов. Результаты экспериментов показали точность до 0,95 в задаче бинарной классификации («Человек–LLM») и до 0,89 в многоклассовой задаче определения модели-генератора. Методика демонстрирует устойчивость к разнообразию источников, стилей и версий LLM.
Литература
2. Романов А.С. Методология идентификации автора текста для решения задач информационной безопасности // Вопросы кибербезопасности. 2024. № 3(61). С. 120–128. DOI: 10.21681/2311-3456-2024-3-120-128.
3. Kurtukova A., Romanov A., Shelupanov A., Fedotova A. Complex cases of source code authorship identification using a hybrid deep neural network // Future Internet. 2022. vol. 14. no. 10. DOI: 10.3390/fi14100287.
4. Zellers R., Holtzman A., Rashkin H., Bisk Y., Farhadi A., Roesner F., Choi Y. Defending against neural fake news // Proceedings of the 33rd Int. Conf. on Neural Information Processing Systems. 2019. pp. 9054–9065.
5. Kuznetsov, K., Tulchinskii E., Kushnareva L., Magai G., Baranniko S., Nikolenko S., Piontkovskaya I. Robust AI-Generated Text Detection by Restricted Embeddings // Findings of the Association for Computational Linguistics: EMNLP. 2024. pp. 17036–17055. DOI: 10.18653/v1/2024.findings-emnlp.992.
6. Fraser K.C., Dawkins H., Kiritchenko S. Detecting AI-Generated Text: Factors Influencing Detectability with Current Methods // Journal of Artificial Intelligence Research. 2025. vol. 82. pp. 2233–2278. DOI: 10.1613/jair.1.16665.
7. Prajapati M., Baliarsingh S.K., Dora C., Bhoi A., Hota J., Mohanty J.P. Detection of AI-generated text using large language model // 2024 International Conference on Emerging Systems and Intelligent Computing (ESIC). 2024. pp. 735–740. DOI: 10.1109/ESIC60604.2024.10481602.
8. Mitchell E., Lee Y., Khazatsky A., Manning C.D., Finn C. Detectgpt: Zero-shot machine-generated text detection using probability curvature // Proceedings of the 40th International Conference on Machine Learning (PMLR). 2023. pp. 24950–24962.
9. Lau H.T., Zubiaga A. Understanding the Effects of Human-written Paraphrases in LLM-generated Text Detection // arXiv preprint arXiv:2411.03806. 2024.
10. Wu J., Yang S., Zhan R., Yuan Y., Chao L.S., Wong D.F. A survey on LLM-generated text detection: Necessity, methods, and future directions // Computational Linguistics. 2025. pp. 275–338. DOI: 10.1162/coli_a_00549.
11. GPTZero. URL: gptzero.me (дата обращения: 15.05.2025).
12. Kavian A., Pourhashem Kallehbasti M.M., Kazemi S., Firouzi E., Ghafari M. LLM security guard for code // Proceedings of the 28th International Conference on Evaluation and Assessment in Software Engineering. 2024. pp. 600–603. DOI: 10.1145/3661167.366126.
13. Wu L. Y., Segura-Bedmar I. AI-generated Text Detection with a GLTR-based Approach // arXiv preprint. arXiv:2502.12064. 2025.
14. OpenAI. URL: openai.com (дата обращения: 15.05.2025).
15. OriginalityAI. URL: https://originality.ai/ (дата обращения: 15.05.2025).
16. AI Detector & Content Checker By Copyleaks. URL: https://copyleaks.com/ai-content-detector (дата обращения: 15.05.2025).
17. Writer. AI content detector. URL: https://writer.com/ai-content-detector/ (дата обращения: 15.05.2025).
18. Tulchinskii E., et al. Intrinsic dimension estimation for robust detection of AI-generated texts // Advances in Neural Information Processing Systems. 2023. vol. 36. pp. 39257–39276.
19. Nikolaev K. Development of a Neural Network Model for Recognizing Russian-Language Generated Texts // 2024 IEEE Int. Multi-Conf. on Engineering, Computer and Information Sciences (SIBIRCON). IEEE, 2024. pp. 396–400. DOI: 10.1109/SIBIRCON63777.2024.10758447.
20. Gritsay G., Grabovoy A., Chekhovich Y. Open access dataset for machine-generated text detection in Russian. Mendeley Data. V2. 2023. DOI: 10.17632/4ynxfp3w53.2.
21. Shamardina T., et al. Findings of the the ruatd shared task 2022 on artificial text detection in Russian // arXiv preprint arXiv:2206.01583. 2022.
22. RuATD. URL: https://github.com/dialogue-evaluation/RuATD (дата обращения: 15.05.2025).
23. Skrylnikov S., Posokhov P., Makhnytkina O. Artificial text detection in Russian language: A BERT-based approach // Proc. Int. Conf. Dialogue. 2022. pp. 1–7.
24. Gritsai G., Voznyuk A., Grabovoy A., Chekhovich Y. Are AI Detectors Good Enough? A Survey on Quality of Datasets With Machine-Generated Texts // arXiv e-prints. 2024. arXiv:2410.14677.
25. Pan L., et al. MarkLLM: An Open-Source Toolkit for LLM Watermarking // Proc. of the 2024 Conf. on Empirical Methods in Natural Language Processing: System Demonstrations. 2024. pp. 61–71. DOI: 10.18653/v1/2024.emnlp-demo.7.
26. Pham C.M., et al. TopicGPT: A Prompt-based Topic Modeling Framework // arXiv e-prints. 2023. arXiv:2311.01449.
27. Tong Z., Zhang H. A text mining research based on LDA topic modelling // International conference on computer science, engineering and information technology. 2016. pp. 201–210. DOI : 10.5121/csit.2016.60616.
28. Geroimenko V. Key Principles of Good Prompt Design // The Essential Guide to Prompt Engineering: Key Principles, Techniques, Challenges, and Security Risks. Cham: Springer Nature Switzerland. 2025. pp. 17–36.
29. Модели генерации текста. URL: https://yandex.cloud/ru/docs/foundation-models/concepts/yandexgpt/models (дата обращения: 15.05.2025).
30. Yandex GPT. URL: https://ya.ru/ai/gpt (дата обращения: 15.05.2025).
31. GiGaChat. URL: https://giga.chat/ (дата обращения: 15.05.2025).
32. DeepSeek. URL: https://www.deepseek.com/ (дата обращения: 15.05.2025).
33. Кузнецов С.А. Большой толковый словарь русского языка. Shangwu Yinshuguan, 2020. 1481 с.
34. KenLM. URL: https://github.com/kpu/kenlm (дата обращения: 15.05.2025).
35. Savkin M., Voznyuk A., Ignatov F., Korzanova A., Karpov D., Popov A., Konovalov V. DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning // Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. 2024. pp. 465–474. DOI: 10.18653/v1/2024.emnlp-demo.47.
36. RuRoBERTa-large. URL: https://huggingface.co/ai-forever/ruRoberta-large (дата обращения: 15.05.2025).
37. Maloyan N., Nutfullin B., Ilyushin E. Dialog-22 ruatd generated text detection // arXiv preprint arXiv:2206.08029. 2022.
38. Gritsay G., Grabovoy A., Chekhovich Y. Automatic detection of machine generated texts: Need more tokens // 2022 Ivannikov Memorial Workshop (IVMEM). IEEE, 2022. pp. 20–26. DOI: 10.1109/IVMEM57067.2022.9983964.
Опубликован
Как цитировать
Раздел
Copyright (c) Анастасия Михайловна Федотова, Александр Сергеевич Романов
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).