Программно-алгоритмическое обеспечение создания синтаксическо-статистической модели русского языка по текстовому корпусу
Ключевые слова:
автоматическое распознавание речи, статистическая модель языка, синтаксический анализ,Аннотация
Создание модели языка является одним из этапов обучения системы распознавания слитной речи. В статье описаны алгоритм и разработанные программные средства для создания синтаксическо-статистической модели русского языка по текстовому корпусу. Основными этапами в работе алгоритма являются предварительная обработка текстового материала, создание статистической n-граммной модели языка, дополнение статистической модели n-граммами, полученными в результате синтаксического анализа. Синтаксический анализ позволяет увеличить количество создаваемых в результате обработки текста различных биграмм и тем самым повысить качество модели языка за счет выявления грамматически связанных пар слов. Приводятся результаты тестирования созданных с помощью программного модуля моделей языка по показателям информационной энтропии, коэффициента неопределенности, относительного количества внесловарных слов и совпадений n-грамм.Литература
Антонова А.А., Мисюрев А.В. Об использовании синтаксического анализатора Cognitive Dwarf 2.0 // Труды ИСА РАН. Т 38, 2008. С 91-109
Библиотека синтаксического анализа текста RCO Syntactic Engine SDK. http://www.rco.ru/product.asp?ob_no=15 (дата обращения: 15.01.2013)
Джелинек Ф. Распознавание непрерывной речи статистическими методами // ТИИЭР, 1976. Т. 64. № 4. С. 131-160
Дружкин К.Ю., Цинман Л.Л. Синтаксический анализатор лингвистического процессора ЭТАП-3: Эксперименты по ранжированию // Материалы международной конференции «Диалог 2008». Москва, 2008
Зализняк А.А. Грамматический словарь русского языка: Словоизменение // 4-е изд., испр. и доп. М.: Руские словари, 2003
Кагиров И.А., Леонтьева Ан.Б. Автоматический синтаксический анализ русских текстов на основе грамматики составляющих // Известия вузов. Приборостроение, 2008. Т. 51, № 11. С. 47-51
Кипяткова И.С. Комплекс программных средств обработки и распознавания разговорной русской речи // Информационно-управляющие системы, 2011. № 4(53), С. 53-59
Кипяткова И.С., Карпов А.А. Разработка и исследование статистической модели русского языка // Труды СПИИРАН. СПб: СПИИРАН, 2010. №1(12). С. 35-49
Кипяткова И.С., Карпов А.А. Автоматическая обработка и статистический анализ новостного текстового корпуса для модели языка системы распознавания русской речи // Информационно-управляющие системы. СПб: СПбГУАП, 2010. № 4(47). С. 2-8
Кипяткова И.С., Карпов А.А. Эксперименты по распознаванию слитной русской речи с использованием сверхбольшого словаря // Труды СПИИРАН. СПб: СПИИРАН, 2010. №1(12). С. 63-74
Леонтьева Ал.Б., Кипяткова И.С. Учет особенностей спонтанной речи при создании систем автоматического распознавания // Известия вузов. Приборостроение, 2008. Т. 51. № 11. С. 51-56
Протасов С.В. Вывод и оценка параметров дальнодействующей триграммной модели языка // Материалы международной конференции «Диалог 2008». Москва, 2008. C. 443-449
Ронжин Ал.Л., Ронжин Ан.Л. Система аудиовизуального мониторинга участников совещания в интеллектуальном зале // Доклады ТУСУРа, 2011. № 1 (22), часть 1. С. 153-157
Сайт компании «ООО Диктум». http://www.dictum.ru/ (дата обращения: 15.01.2013)
Сокирко А.В. Морфологические модули на сайте www.aot.ru // Труды Международной конференции «Диалог-2004. Компьютерная лингвистика и интеллектуальные технологии». М.: Наука, 2004. С. 559-564
Старостин А.С., Мальковский М.Г. Алгоритм синтаксического анализа, используемый в системе морфо-синтаксического анализа «Treeton» // Материалы международной конференции «Диалог 2007». Москва, 2007. С. 516-524
Холоденко А.Б. О построении статистических языковых моделей для систем распознавания русской речи // Интеллектуальные системы, 2002. Т.6. Вып. 1-4. С. 381-394
Шеннон К. Работы по теории информации и кибернетике. М.: Изд. иностр. лит., 2002
Chelba C., Jelinek F. Structured language model // Computer Speech and Language, 2000. Vol. 10. pp. 283-332
Clarkson P., Rosenfeld R. Statistical language modeling using the CMU-Cambridge toolkit // Proc. of EUROSPEECH. Rhodes. Greece, 1997. pp. 2707–2710
Kurimo M., Hirsimäki T., Turunen V.T., Virpioja S., Raatikainen N. Unsupervised decomposition of words for speech recognition and retrieval // In Proceedings of 13-th International Conference «Speech and Computer» SPECOM'2009. St. Petersburg, 2009. pp. 23-28
Merkel A., Klakow D. Improved Methods for Language Model Based Question Classification // Proceedings of 8th Interspeech Conference. Antwerp, 2007. pp. 322-325
Moore G.L. Adaptive Statistical Class-based Language Modelling // PhD thesis. Cambridge University, 2001. 193 p.
Rabiner L., Juang B.H. Fundamentals of Speech Recognition. Prentice Hall. 1993. 507 p.
Sidorov G., Velasquez F., Stamatatos E., Gelbukh A., Chanona-Hernández L. Syntactic Dependency-based N-grams as Classification Features, Springer LNAI 7630, Mexico, 2012. pp. 1-11
Szarvas M., Furui S. Finite-state transducer based modeling of morphosyntax with applications to Hungarian LVCSR // Proc. ICASSP’2003, Hong Kong, China, 2003. pp. 368–371
The CMU Statistical Language Modeling (SLM) Toolkit. http://www.speech.cs.cmu.edu/SLM_info.html (дата обращения: 15.10.2012)
Vaičiūnas A. Statistical Language Models of Lithuanian and Their Application to Very Large Vocabulary Speech Recognition // Summary of Doctoral Dissertation. Vytautas Magnus University. Kaunas, 2006. 35 p.
Whittaker E.W.D. Statistical Language Modelling for Automatic Speech Recognition of Russian and English // PhD thesis. Cambridge University, 2000. 140 p.
Библиотека синтаксического анализа текста RCO Syntactic Engine SDK. http://www.rco.ru/product.asp?ob_no=15 (дата обращения: 15.01.2013)
Джелинек Ф. Распознавание непрерывной речи статистическими методами // ТИИЭР, 1976. Т. 64. № 4. С. 131-160
Дружкин К.Ю., Цинман Л.Л. Синтаксический анализатор лингвистического процессора ЭТАП-3: Эксперименты по ранжированию // Материалы международной конференции «Диалог 2008». Москва, 2008
Зализняк А.А. Грамматический словарь русского языка: Словоизменение // 4-е изд., испр. и доп. М.: Руские словари, 2003
Кагиров И.А., Леонтьева Ан.Б. Автоматический синтаксический анализ русских текстов на основе грамматики составляющих // Известия вузов. Приборостроение, 2008. Т. 51, № 11. С. 47-51
Кипяткова И.С. Комплекс программных средств обработки и распознавания разговорной русской речи // Информационно-управляющие системы, 2011. № 4(53), С. 53-59
Кипяткова И.С., Карпов А.А. Разработка и исследование статистической модели русского языка // Труды СПИИРАН. СПб: СПИИРАН, 2010. №1(12). С. 35-49
Кипяткова И.С., Карпов А.А. Автоматическая обработка и статистический анализ новостного текстового корпуса для модели языка системы распознавания русской речи // Информационно-управляющие системы. СПб: СПбГУАП, 2010. № 4(47). С. 2-8
Кипяткова И.С., Карпов А.А. Эксперименты по распознаванию слитной русской речи с использованием сверхбольшого словаря // Труды СПИИРАН. СПб: СПИИРАН, 2010. №1(12). С. 63-74
Леонтьева Ал.Б., Кипяткова И.С. Учет особенностей спонтанной речи при создании систем автоматического распознавания // Известия вузов. Приборостроение, 2008. Т. 51. № 11. С. 51-56
Протасов С.В. Вывод и оценка параметров дальнодействующей триграммной модели языка // Материалы международной конференции «Диалог 2008». Москва, 2008. C. 443-449
Ронжин Ал.Л., Ронжин Ан.Л. Система аудиовизуального мониторинга участников совещания в интеллектуальном зале // Доклады ТУСУРа, 2011. № 1 (22), часть 1. С. 153-157
Сайт компании «ООО Диктум». http://www.dictum.ru/ (дата обращения: 15.01.2013)
Сокирко А.В. Морфологические модули на сайте www.aot.ru // Труды Международной конференции «Диалог-2004. Компьютерная лингвистика и интеллектуальные технологии». М.: Наука, 2004. С. 559-564
Старостин А.С., Мальковский М.Г. Алгоритм синтаксического анализа, используемый в системе морфо-синтаксического анализа «Treeton» // Материалы международной конференции «Диалог 2007». Москва, 2007. С. 516-524
Холоденко А.Б. О построении статистических языковых моделей для систем распознавания русской речи // Интеллектуальные системы, 2002. Т.6. Вып. 1-4. С. 381-394
Шеннон К. Работы по теории информации и кибернетике. М.: Изд. иностр. лит., 2002
Chelba C., Jelinek F. Structured language model // Computer Speech and Language, 2000. Vol. 10. pp. 283-332
Clarkson P., Rosenfeld R. Statistical language modeling using the CMU-Cambridge toolkit // Proc. of EUROSPEECH. Rhodes. Greece, 1997. pp. 2707–2710
Kurimo M., Hirsimäki T., Turunen V.T., Virpioja S., Raatikainen N. Unsupervised decomposition of words for speech recognition and retrieval // In Proceedings of 13-th International Conference «Speech and Computer» SPECOM'2009. St. Petersburg, 2009. pp. 23-28
Merkel A., Klakow D. Improved Methods for Language Model Based Question Classification // Proceedings of 8th Interspeech Conference. Antwerp, 2007. pp. 322-325
Moore G.L. Adaptive Statistical Class-based Language Modelling // PhD thesis. Cambridge University, 2001. 193 p.
Rabiner L., Juang B.H. Fundamentals of Speech Recognition. Prentice Hall. 1993. 507 p.
Sidorov G., Velasquez F., Stamatatos E., Gelbukh A., Chanona-Hernández L. Syntactic Dependency-based N-grams as Classification Features, Springer LNAI 7630, Mexico, 2012. pp. 1-11
Szarvas M., Furui S. Finite-state transducer based modeling of morphosyntax with applications to Hungarian LVCSR // Proc. ICASSP’2003, Hong Kong, China, 2003. pp. 368–371
The CMU Statistical Language Modeling (SLM) Toolkit. http://www.speech.cs.cmu.edu/SLM_info.html (дата обращения: 15.10.2012)
Vaičiūnas A. Statistical Language Models of Lithuanian and Their Application to Very Large Vocabulary Speech Recognition // Summary of Doctoral Dissertation. Vytautas Magnus University. Kaunas, 2006. 35 p.
Whittaker E.W.D. Statistical Language Modelling for Automatic Speech Recognition of Russian and English // PhD thesis. Cambridge University, 2000. 140 p.
Software for Creation of Sintactico-Statistical Russian Language Model Based on the Text Corpus
Abstract
Creation of the language model is one of the stages of training of a continuous speech recognition system. In the paper, the developed software for creation of syntactic-statistical Russian language model based on a text corpus is described. The main stages of the algorithm are preliminary text material processing, creation of statistical n-gram language model, extension of the statistical model by n-grams obtained by syntactical analysis. Syntactical analysis permits to increase the quantity of different bigrams created during text processing and to improve the quality of the language model by extracting grammatically-connected word pairs. The results of the testing of the language models created with the help of the software module are presented.Опубликован
2013-02-01
Как цитировать
Кипяткова, И. С. (2013). Программно-алгоритмическое обеспечение создания синтаксическо-статистической модели русского языка по текстовому корпусу. Труды СПИИРАН, 1(24), 332-348. https://doi.org/10.15622/sp.24.20
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
