Многомодальные интерфейсы: основные принципы и когнитивные аспекты
Аннотация
При проектировании многомодальных систем за основу берутся способы естественной коммуникации между людьми, а также моделируется поведение человека в аналогичной ситуации. Многодомодальность позволяет вести более эффективный диалог за счет дублирования передаваемой информации по разным информационным каналам и выбирать (замещать) доступные для пользователя модальности. Выделяются два типа модальностей: входные и выходные. Входные отвечают за восприятие информационных потоков, идущих от человека (речь, звуки, движения тела, рукописный текст и др.). Выходные модальности обеспечивают пользователя необходимой информацией о событиях, происходящих внутри системы, и поступающих сигналах. Знания о механизмах восприятия и обработки информации человеком, моделировании когнитивных и поведенческих процессов позволяют разработать многомодальные интерфейсы, обеспечивающие привычные и естественные для пользователя способы взаимодействия.Литература
Карпов А. А., Ронжин А. Л. Многомодальные интерфейсы в автоматизированных системах управления // Известия вузов. Приборостроение. 2005. Вып. 48. С. 9–14.
Bellik Y. MEDITOR: a Multimodal Text Editor for Blind Users // Proc. of ACM UIST’96, Ninth Annual Symposium on User Interface Software, Seattle, Washington, USA, 1996.
Benoit C.., Martin J. C., Pelachaud C., Schomaker L., and Suhm B. Audiovisual and Multimodal Speech Systems // Handbook of Standards and Resources for Spoken Language Systems / D. Gibbon (Ed.). Dordrecht: Kluwer Academic Publishers, 2000. 544 p.
Bernsen N. O., Dybkjær H. and Dybkjær L. Designing Interactive Speech Systems. From First Ideas to User Testing. New York: Springer Verlag, 1998. 276 p.
Bolt R. A. Put-That-There: Voice and Gesture at the Graphics Interface // Computer Graphics. 1980. Vol. 14, no. 3. P. 262–270.
Cohen P. R., Johnston M., McGee D., Oviatt S. Quickset: Multimodal Interaction for Distributed Applications // Proc. of the Fifth ACM International Multimedia Conference. New York: ACM Press, 1997. P. 31–40.
Liddel S. K. Structures for Representing Handshape and Local Movement at the Phonemic Level // Theoretical Issues in Sign Language Research / Fischer S. D. (Ed.). University of Chicago Press. 1990. P. 37–65.
Oviatt S L. Mutual Disambiguation of Recognition Errors in a Multimodal Architecture // Proceedings of the Conference on Human Factors in Computing Systems (CHI’99). New York: ACM Press, 1999. P. 576–583.
Oviatt S. L. Multimodal Interfaces // The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies and Emerging Applications, Jacko J. and Sears A. (Eds.). Mahwah, NJ: Lawrence Erlbaum Assoc. 2003. P. 286–304.
Oviatt S. L. Multimodal Interactive Maps: Designing for Human Performance // Human- Computer Interaction. Special Issue on Multimodal Interfaces. 1997. Vol. 12. P. 93–129.
Oviatt S. L. Ten Myths of Multimodal Interaction // Communications of the ACM. 1999. Vol. 42. P. 74–81.
Ronzhin A. L., Karpov A. A., Timofeev A. V., Litvinov M.V. Multimodal Human-Computer Interface for Assisting Neurosurgical System // Proc. of 11-th International Conference on Human- Computer Interaction HCII-2005, Las Vegas, Nevada, USA, Mira Digital Publishing, Las Vegas, 2005.
Ronzhin A., Karpov A. Assistive Multimodal System Based on Speech Recognition and Head Tracking // Proc. of 13-th European Signal Processing Conference (EUSIPCO-2005), Antalya, Turkey, 2005.
Salber D., Coutaz J. Applying the Wizard of Oz Technique to the Study of Multimodal Systems // Proc. of East/West Human Computer Interaction, Moscow, 1993. P. 219–230
Železný M., Císar P., Krnoul Z., Ronzhin A., Li I., Karpov A. Design of Russian Audio-Visual Speech Corpus for Bimodal Speech Recognition // Proc. of 10-th International Conference SPECOM’2005, Patras, Greece, 2005. P. 397–400.
Bellik Y. MEDITOR: a Multimodal Text Editor for Blind Users // Proc. of ACM UIST’96, Ninth Annual Symposium on User Interface Software, Seattle, Washington, USA, 1996.
Benoit C.., Martin J. C., Pelachaud C., Schomaker L., and Suhm B. Audiovisual and Multimodal Speech Systems // Handbook of Standards and Resources for Spoken Language Systems / D. Gibbon (Ed.). Dordrecht: Kluwer Academic Publishers, 2000. 544 p.
Bernsen N. O., Dybkjær H. and Dybkjær L. Designing Interactive Speech Systems. From First Ideas to User Testing. New York: Springer Verlag, 1998. 276 p.
Bolt R. A. Put-That-There: Voice and Gesture at the Graphics Interface // Computer Graphics. 1980. Vol. 14, no. 3. P. 262–270.
Cohen P. R., Johnston M., McGee D., Oviatt S. Quickset: Multimodal Interaction for Distributed Applications // Proc. of the Fifth ACM International Multimedia Conference. New York: ACM Press, 1997. P. 31–40.
Liddel S. K. Structures for Representing Handshape and Local Movement at the Phonemic Level // Theoretical Issues in Sign Language Research / Fischer S. D. (Ed.). University of Chicago Press. 1990. P. 37–65.
Oviatt S L. Mutual Disambiguation of Recognition Errors in a Multimodal Architecture // Proceedings of the Conference on Human Factors in Computing Systems (CHI’99). New York: ACM Press, 1999. P. 576–583.
Oviatt S. L. Multimodal Interfaces // The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies and Emerging Applications, Jacko J. and Sears A. (Eds.). Mahwah, NJ: Lawrence Erlbaum Assoc. 2003. P. 286–304.
Oviatt S. L. Multimodal Interactive Maps: Designing for Human Performance // Human- Computer Interaction. Special Issue on Multimodal Interfaces. 1997. Vol. 12. P. 93–129.
Oviatt S. L. Ten Myths of Multimodal Interaction // Communications of the ACM. 1999. Vol. 42. P. 74–81.
Ronzhin A. L., Karpov A. A., Timofeev A. V., Litvinov M.V. Multimodal Human-Computer Interface for Assisting Neurosurgical System // Proc. of 11-th International Conference on Human- Computer Interaction HCII-2005, Las Vegas, Nevada, USA, Mira Digital Publishing, Las Vegas, 2005.
Ronzhin A., Karpov A. Assistive Multimodal System Based on Speech Recognition and Head Tracking // Proc. of 13-th European Signal Processing Conference (EUSIPCO-2005), Antalya, Turkey, 2005.
Salber D., Coutaz J. Applying the Wizard of Oz Technique to the Study of Multimodal Systems // Proc. of East/West Human Computer Interaction, Moscow, 1993. P. 219–230
Železný M., Císar P., Krnoul Z., Ronzhin A., Li I., Karpov A. Design of Russian Audio-Visual Speech Corpus for Bimodal Speech Recognition // Proc. of 10-th International Conference SPECOM’2005, Patras, Greece, 2005. P. 397–400.
Опубликован
2006-02-01
Как цитировать
Ронжин, & Карпов,. (2006). Многомодальные интерфейсы: основные принципы и когнитивные аспекты. Труды СПИИРАН, 1(3), 300-319. https://doi.org/10.15622/sp.3.18
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
