Формирование профиля пользователя на основе аудиовизуального анализа ситуации в интеллектуальном зале совещаний
Ключевые слова:
компьютерное зрение, интеллектуальное пространство, видеомониторинг, определение диктора, обработка аудиовизуальных сигналов, профиль пользователяАннотация
Рассматривается проблема персонифицированной настройки оборудования интеллектуального зала и формирования профиля пользователя на основе многоканальной обработки аудио- и видеопотоков, регистрирующих текущую ситуацию и поведение участников мероприятия в зале совещаний. Компьютерное зрение предпочтений по использованию оборудования, пользовательскому интерфейсу, роли и активности участников во время мероприятий позволяет автоматизировать процессы подготовки интеллектуального зала, управления мультимедийным презентационным и записывающим оборудованием в ходе выступлений. С помощью разработанной системы аудиовидеолокализации выступающих в ходе нескольких совещаний в интеллектуальном зале в автоматическом режиме было сделано 212 записей. Накопленные экспериментальные данные позволили оценить места в зале, с которых чаще всего задаются вопросы. Точность наведения видеокамеры на выступающего в зоне презентаций, а также в рядах кресел оценивалась по размеру и положению его лица в кадре на протяжении всей съемки и в среднем составила 90%.Литература
Ellis C. A. Project NEEM: Agent Based Meeting Augmentation // Technical report CUCS-937-02, University Of Colorado at Boulder, Department of Computer Science, 2002. P. 1-20
Bales R. F., Cohen S. P., Williamson S. A. SYMLOG: A System for the Multiple Level Observation of Groups. The Free Press, N.Y., 1979. 537 p.
Кузнецов О. П., Суховеров В. С., Шипилина Л. Б. Онтологии в современных информационных системах // Датчики и Системы, №8, 2011. С. 67-77.
Chen H., Finin T., Joshi A. The SOUPA Ontology for Pervasive Computing // Whitestein Series in Software Agent Technologies and Autonomic Computing, 2005. P. 233-258.
Qin W., Zhang D., Shi Y., Du K. Combining User Profiles and Situation Contexts for Spontaneous Service Provision in Smart Assistive Environments // F.E. Sandnes et al. (Eds.): UIC 2008, LNCS 5061, 2008. P. 187–200.
Yu S., Al-Jadir L., Spaccapietra S. Matching user’s semantics with data semantics in location-based services // In Proceedings of the Workshop on Semantics in Mobile Environments. 2005. P. 147-152.
Carmagnola F. The five ws in user model interoperability // In Proceedings of the IUI 2008 Workshop on Ubiquitous User Modeling. 2008. P. 1-6.
Chen H., Perich F., Chakraborty D., Finin T., Joshi A. Intelligent agents meet semantic web in a smart meeting room // In Proceedings of the 3rd International Joint Conference on Autonomous Agents and Multiagent Systems (AAMAS '04), 2004. P. 854–861.
Hammond T., Gajos K., Davis R., Shrobe H. An agent based system for capturing and indexing software design meetings // In Proceedings of the International Workshop on Agents in Design (WAID’02), Cambridge, MA, 2002. P. 24–26.
Coen M. H. Design principles for intelligent environments // In Proceedings of AAAI/IAAI, 1998. P. 547–554.
Bennett F., Richardson T., Harter A. Teleporting -Making Applications Mobile // In Proceedings of Workshop on Mobile Computing Systems and Applications, Santa Cruz, 1994. P. 82–84
Tambe M., Scerri P., Pynadath D. V. Adjustable autonomy for the real world // In Proceedings of AAAI Spring Symposium on Safe Learning Agents. 2002. P. 171–228.
Фархадов М.П. Распознавание речи в системах массового обслуживания населения // Труды СПИИРАН. Вып. 19. 2011. С. 65–86.
Мещеряков Р.В. Структура систем синтеза и распознавания речи // Известия ТПУ. № 5. Т. 315. 2009. С. 121-126.
Юсупов Р.М., Ронжин Ан.Л. От умных приборов к интеллектуальному пространству // Вестник Российской Академии Наук: научный и общественно-политический журнал, Том 80. Вып. 1. 2010. C. 45-51.
Ронжин Ал.Л., Ронжин Ан.Л. Система аудиовизуального мониторинга участников совещания в интеллектуальном зале // Доклады ТУСУРа, № 1 (22), Ч. 1. 2011. С. 153-157.
Ронжин Ан.Л., Будков В.Ю. Технологии поддержки гибридных e-совещаний на основе методов аудиовизуальной обработки // Вестник компьютерных и информационных технологий, № 4. 2011. С. 31-35
Ронжин Ал.Л. Способы оценивания систем видеомониторинга ситуации в зале совещаний // Информационно-измерительные и управляющие системы, № 11, – Т. 9, – 2011. – С. 12-16.
Bales R. F., Cohen S. P., Williamson S. A. SYMLOG: A System for the Multiple Level Observation of Groups. The Free Press, N.Y., 1979. 537 p.
Кузнецов О. П., Суховеров В. С., Шипилина Л. Б. Онтологии в современных информационных системах // Датчики и Системы, №8, 2011. С. 67-77.
Chen H., Finin T., Joshi A. The SOUPA Ontology for Pervasive Computing // Whitestein Series in Software Agent Technologies and Autonomic Computing, 2005. P. 233-258.
Qin W., Zhang D., Shi Y., Du K. Combining User Profiles and Situation Contexts for Spontaneous Service Provision in Smart Assistive Environments // F.E. Sandnes et al. (Eds.): UIC 2008, LNCS 5061, 2008. P. 187–200.
Yu S., Al-Jadir L., Spaccapietra S. Matching user’s semantics with data semantics in location-based services // In Proceedings of the Workshop on Semantics in Mobile Environments. 2005. P. 147-152.
Carmagnola F. The five ws in user model interoperability // In Proceedings of the IUI 2008 Workshop on Ubiquitous User Modeling. 2008. P. 1-6.
Chen H., Perich F., Chakraborty D., Finin T., Joshi A. Intelligent agents meet semantic web in a smart meeting room // In Proceedings of the 3rd International Joint Conference on Autonomous Agents and Multiagent Systems (AAMAS '04), 2004. P. 854–861.
Hammond T., Gajos K., Davis R., Shrobe H. An agent based system for capturing and indexing software design meetings // In Proceedings of the International Workshop on Agents in Design (WAID’02), Cambridge, MA, 2002. P. 24–26.
Coen M. H. Design principles for intelligent environments // In Proceedings of AAAI/IAAI, 1998. P. 547–554.
Bennett F., Richardson T., Harter A. Teleporting -Making Applications Mobile // In Proceedings of Workshop on Mobile Computing Systems and Applications, Santa Cruz, 1994. P. 82–84
Tambe M., Scerri P., Pynadath D. V. Adjustable autonomy for the real world // In Proceedings of AAAI Spring Symposium on Safe Learning Agents. 2002. P. 171–228.
Фархадов М.П. Распознавание речи в системах массового обслуживания населения // Труды СПИИРАН. Вып. 19. 2011. С. 65–86.
Мещеряков Р.В. Структура систем синтеза и распознавания речи // Известия ТПУ. № 5. Т. 315. 2009. С. 121-126.
Юсупов Р.М., Ронжин Ан.Л. От умных приборов к интеллектуальному пространству // Вестник Российской Академии Наук: научный и общественно-политический журнал, Том 80. Вып. 1. 2010. C. 45-51.
Ронжин Ал.Л., Ронжин Ан.Л. Система аудиовизуального мониторинга участников совещания в интеллектуальном зале // Доклады ТУСУРа, № 1 (22), Ч. 1. 2011. С. 153-157.
Ронжин Ан.Л., Будков В.Ю. Технологии поддержки гибридных e-совещаний на основе методов аудиовизуальной обработки // Вестник компьютерных и информационных технологий, № 4. 2011. С. 31-35
Ронжин Ал.Л. Способы оценивания систем видеомониторинга ситуации в зале совещаний // Информационно-измерительные и управляющие системы, № 11, – Т. 9, – 2011. – С. 12-16.
Опубликован
2012-12-01
Как цитировать
Ронжин, А. Л., Будков, В. Ю., & Ронжин, А. Л. (2012). Формирование профиля пользователя на основе аудиовизуального анализа ситуации в интеллектуальном зале совещаний. Труды СПИИРАН, 4(23), 482-494. https://doi.org/10.15622/sp.23.28
Раздел
Статьи
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
