Порождающая графическая вероятностная модель на основе главных многообразий
Ключевые слова:
классификация временных последовательностей, самоорганизующаяся карта Кохонена, скрытые Марковские модели, условные случайные поля со скрытыми состояниямиАннотация
В статье предлагается порождающая графическая вероятностная модель со скрытыми состояниями на основе нелинейных главных многообразий, заданных в виде сетки узлов, для решения задачи классификации временных последовательностей. В качестве метода аппроксимации обучающих данных сеткой узлов использован алгоритм самоорганизующихся карт Кохонена. Модель представлена в виде фактор-графа с описанием применяемых фактор-функций. Разработан метод обучения и вероятностного вывода на предлагаемой модели. Проведена оценка качества классификации предлагаемой модели в сравнении с существующими моделями (HMM, HCRF) на различных наборах данных из репозитория UCI, в том числе проведена сравнительная оценка при малом количестве обучающих данных.
Литература
1. Koller D., Friedman N. Probabilistic Graphical Models: Principles and Tech-niques // USA: MIT Press. 2009. 1265 p.
2. Рабинер Л.Р. Скрытые Марковские модели и их применение в избранных приложениях при распознавании речи: Обзор // ТИИЭР. 1989. T. 77. № 2. С. 86–120.
3. Gunawardana A., Mahajan M., Acero A., Platt J.C. Hidden conditional random fields for phone classification. // International Conference on Speech Communication and Technology. 2005. pp. 1117–1120.
4. Sutton C., McCallum A. An Introduction to Conditional Random Fields for Relational Learning // USA: MIT Press, 2006. 35 p.
5. Ng A., Jordan M. On Discriminative vs. Generative Classifiers: A comparison of logistic regression and Naive Bayes // In Advances in Neural Information Processing Systems 14. 2002. pp. 841– 848.
6. Sung Y.-H., Boulis C., Manning C., Jurafsky D. Regularization, adaption, and non-independent features improve hidden conditional random fields for phone classification // Automatic Speech Recognition & Understanding. Kyoto. 2007. pp. 347 – 352.
7. Ширяев А. Н. Вероятность: В 2-х кн. Кн. 1 // Москва: МЦНМО. 2007. 551 с.
8. Кохонен Т. Самоорганизующиеся карты // Москва: Бином. 2008. 655 с.
9. Kurimo M. Using Self-Organizing Maps and Learning Vector Quantization for Mixture Density Hidden Markov Models. Thesis for the degree of Doctor of Technology // Finland: Helsinki University of Technology. 1997.
10. Somervuo P. Competing Hidden Markov Models on the Self-Organizing Map // IJCNN. 2000. vol. 3. pp. 169–174.
11. Calinon S., Billard A. Recognition and Reproduction of Gestures using a Probabilistic Framework combining PCA, ICA and HMM // ICML. 2005. pp. 105–112.
12. Neukirchen C., Rottland J., Willett D., Rigoll G. A continuous density interpretation of discrete HMM systems and MMI-neural networks // IEEE Transactions on Speech and Audio Processing. 2001. vol. 9. Iss. 4. pp. 367–377.
13. Osterndorf M., Rohlicek J. R. Joint quantizer design and parameter estimation for discrete hidden Markov models // Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing. 1990. pp. 705 – 708.
14. Маковкин К.А. Гибридные модели: скрытые марковские модели и нейронные сети, их применение в системах распознавания речи // Модели, методы, алгоритмы и архитектуры систем распознавания речи. Москва: Вычислительынй центр имени А.А. Дородницына, 2006. С. 40 – 96.
15. Горбань А. Н., Россиев A.A. Итерационное моделирование неполных данных с помощью многообразий малой размерности // Нейрокомпьютеры. 2002. Т. 4. С. 40–44.
16. Gorban А., Kegl. B., Wunsch D., Zinovyev A. Principal Manifolds for Data Visualisation and Dimension Reduction // New York : Springer. 2008. 340 p.
17. UCI Machine Learning Repository. Spoken Arabic Digit Data Set. URL: http://archive.ics.uci.edu/ml/datasets/Spoken+Arabic+Digit (дата обраще-ния: 12.05.2014).
18. UCI Machine Learning Repository. Character Trajectories Data Set. URL: http://archive.ics.uci.edu/ml/datasets/Character+Trajectories (дата обраще-ния: 12.05.2014).
2. Рабинер Л.Р. Скрытые Марковские модели и их применение в избранных приложениях при распознавании речи: Обзор // ТИИЭР. 1989. T. 77. № 2. С. 86–120.
3. Gunawardana A., Mahajan M., Acero A., Platt J.C. Hidden conditional random fields for phone classification. // International Conference on Speech Communication and Technology. 2005. pp. 1117–1120.
4. Sutton C., McCallum A. An Introduction to Conditional Random Fields for Relational Learning // USA: MIT Press, 2006. 35 p.
5. Ng A., Jordan M. On Discriminative vs. Generative Classifiers: A comparison of logistic regression and Naive Bayes // In Advances in Neural Information Processing Systems 14. 2002. pp. 841– 848.
6. Sung Y.-H., Boulis C., Manning C., Jurafsky D. Regularization, adaption, and non-independent features improve hidden conditional random fields for phone classification // Automatic Speech Recognition & Understanding. Kyoto. 2007. pp. 347 – 352.
7. Ширяев А. Н. Вероятность: В 2-х кн. Кн. 1 // Москва: МЦНМО. 2007. 551 с.
8. Кохонен Т. Самоорганизующиеся карты // Москва: Бином. 2008. 655 с.
9. Kurimo M. Using Self-Organizing Maps and Learning Vector Quantization for Mixture Density Hidden Markov Models. Thesis for the degree of Doctor of Technology // Finland: Helsinki University of Technology. 1997.
10. Somervuo P. Competing Hidden Markov Models on the Self-Organizing Map // IJCNN. 2000. vol. 3. pp. 169–174.
11. Calinon S., Billard A. Recognition and Reproduction of Gestures using a Probabilistic Framework combining PCA, ICA and HMM // ICML. 2005. pp. 105–112.
12. Neukirchen C., Rottland J., Willett D., Rigoll G. A continuous density interpretation of discrete HMM systems and MMI-neural networks // IEEE Transactions on Speech and Audio Processing. 2001. vol. 9. Iss. 4. pp. 367–377.
13. Osterndorf M., Rohlicek J. R. Joint quantizer design and parameter estimation for discrete hidden Markov models // Proc. IEEE Int. Conf. Acoustics, Speech, Signal Processing. 1990. pp. 705 – 708.
14. Маковкин К.А. Гибридные модели: скрытые марковские модели и нейронные сети, их применение в системах распознавания речи // Модели, методы, алгоритмы и архитектуры систем распознавания речи. Москва: Вычислительынй центр имени А.А. Дородницына, 2006. С. 40 – 96.
15. Горбань А. Н., Россиев A.A. Итерационное моделирование неполных данных с помощью многообразий малой размерности // Нейрокомпьютеры. 2002. Т. 4. С. 40–44.
16. Gorban А., Kegl. B., Wunsch D., Zinovyev A. Principal Manifolds for Data Visualisation and Dimension Reduction // New York : Springer. 2008. 340 p.
17. UCI Machine Learning Repository. Spoken Arabic Digit Data Set. URL: http://archive.ics.uci.edu/ml/datasets/Spoken+Arabic+Digit (дата обраще-ния: 12.05.2014).
18. UCI Machine Learning Repository. Character Trajectories Data Set. URL: http://archive.ics.uci.edu/ml/datasets/Character+Trajectories (дата обраще-ния: 12.05.2014).
Опубликован
2014-06-02
Как цитировать
Паламарь, И. Н., & Юлин, С. С. (2014). Порождающая графическая вероятностная модель на основе главных многообразий. Труды СПИИРАН, 2(33), 227-247. https://doi.org/10.15622/sp.33.12
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
