Статья

Название статьи МНОГОМОДАЛЬНЫЕ ИНТЕРФЕЙСЫ АВТОНОМНЫХ МОБИЛЬНЫХ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ
Автор А.Л. Ронжин, Р.М. Юсупов
Рубрика РАЗДЕЛ V. СИСТЕМЫ И ПУНКТЫ УПРАВЛЕНИЯ
Месяц, год 01, 2015
Индекс УДК 004.5
DOI
Аннотация Рассматриваются особенности проектирования многомодальных пользовательских интерфейсов к мобильным робототехническим комплексам, обеспечивающих восприятие и контекстный анализ текущей окружающей обстановки и взаимодействие с неподготовленными конечными пользователями. При проектировании пользовательского интерфейса автоматизированного рабочего места оператора-профессионала для промышленной или специального назначения информационно-управляющей системы в основу берутся зарегламентированные способы и сценарии функционирования системы. В случае проектирования многомодальных интерфейсов основными проблемами являются вариативность естественных сигналов неподготовленного пользователя и способов передачи информации, а также гетерогенность программно-аппаратного обеспечения мобильных интеллектуальных роботизированных устройств. Целью работы является применение многомодальных интерфейсов, обрабатывающих естественные для человека способы коммуникации (речь, жесты, движения тела, головы, рукописные наброски, направление взгляда, мимика и др.), для обеспечения интуитивно понятного взаимодействия между пользователями и интеллектуальными мобильными робототехническими системами гражданского и специального назначения. Наличие естественного способа взаимодействия сейчас является не менее важным свойством системы, чем ее функциональные возможности. Также следует учесть, что физические ограничения и личные предпочтения пользователей оказывают влияние на выбор доступного или наиболее удобного способа взаимодействия. Построение контекстно-осведомленных робототехнических комплексов с многомодальным интерфейсом позволяет учесть предпочтения и возможности пользователя, а также адаптировать их работу, учитывая условия физического окружения и состояние доступных вычислительных и сетевых ресурсов. В рамках предложенного подхода используемый в интерфейсе набор естественных входных и выходных модальностей определяется на этапе проектирования интерактивной многомодальной системы. Представлены результаты разработки многомодального интерфейса информационно-навигационного робототехнического комплекса.

Скачать в PDF

Ключевые слова Многомодальные интерфейсы; робототехнические комплексы; контекст; гетерогенные мобильные устройства; интеллектуальное пространство.
Библиографический список 1. Ducatel K., Bogdanowicz M., Scapolo F., Leijten J., Burgelman, J-C. ISTAG - Scenarios of Ambient Intelligence in 2010 // European Commission Community Research. – Feb. 2001. – 58 p.
2. Юсупов Р.М., Ронжин А.Л. От умных приборов к интеллектуальному пространству // Вестник Российской академии наук. – 2010. – Т. 80, № 1. – С. 45-51.
3. Городецкий В.И., Карсаев О.В., Самойлов В.В., Серебряков С.В. Агентская платформа для повсеместных вычислений // Информационные технологии и вычислительные системы. – 2008. – Вып. 4. – C. 51-60.
4. Breazeal C.L. Designing Sociable Robots. MIT Press (2002).
5. Foster M. E., Giuliani M., Knoll A. Comparing Objective and Subjective Measures of Usability in a Human-Robot Dialogue System // In Proc. of the 47th Annual Meeting of the ACL and the 4th IJCNLP of the AFNLP, 2009. – P. 879-887.
6. Кобозева И.М., Сидоров Г.О., Циммерлинг А.В. Модуль управления диалогом в системе общения пользователя с подвижным роботом-гидом // Труды СПИИРАН. – 2014. – Вып. 33. – C. 186-206.
7. Nieuwenhuisen M., Stuckler J., Behnke S. Intuitive Multimodal Interaction for Service Robots // In Proc. of HRI’2010. – 2010. – P. 177-178.
8. Budkov V., Prischepa M., Ronzhin A. Dialog Model Development of a Mobile Infor-mation and Reference Robot // Pattern Recognition and Image Analysis, Pleiades Publishing. – 2011. – № 21 (3). – P. 458-461.
9. Lee J. K., Breazeal C. Human Social Response Toward Humanoid Robot’s Head and Facial Features // In Proc. of CHI’2010. – 2010. – P. 4237-4242.
10. Roy N., Roy A., Das S. Context-aware resource management in multi-inhabitant smart homes: A nash H-learning based approach // Pervasive and Mobile Computing Journal. – November 2006. – Vol. 2, Issue 4. – P. 372-404.
11. TalebiFard P., Leunga V.A Data Fusion Approach to Context-Aware Service Delivery in Heterogeneous Network Environments // Procedia Computer Science. – 2011. – Vol. 5. – P. 312-319.
12. Boytsov A., Zaslavsky A. Extending context spaces theory by proactive adaptation. Berlin: Springer, S. Balandin et al. (Eds.): NEW2AN/ruSMART 2010, LNCS 6294. – 2010. – P. 1-12.
13. Dai P., Tao L., Xu G. Audio-Visual Fused Online Context Analysis Toward Smart Meeting Room. Berlin: Springer, J. Indulska et al. (Eds.): UIC 2007, LNCS 4611. – 2007. – P. 868-877.
14. Глазков С.В., Ронжин А.Л. Методы анализа контекста приложений в мобильных гетерогенных устройствах // Доклады ТУСУРа. – 2012. – Т. 3, № 1. – С. 236-240.
15. Юсупов Р.М., Ронжин А.Л., Прищепа М.В., Ронжин Ал.Л. Модели и программно-аппаратные решения автоматизированного управления интеллектуальным залом // Автоматика и телемеханика. – 2011. – № 7. – С. 39-49.
16. Ронжин Ал.Л., Ронжин Ан.Л. Система аудиовизуального мониторинга участников совещания в интеллектуальном зале // Доклады ТУСУРа. – 2011. – № 1 (22). Ч. 1. – С. 153-157.
17. Ронжин А.Л., Будков В.Ю. Технологии поддержки гибридных e-совещаний на основе методов аудиовизуальной обработки // Вестник компьютерных и информационных технологий. – 2011. – № 4. – С. 31-35.
18. Прищепа М.В., Ронжин А.Л. Модели интерактивного взаимодействия с подвижным информационно-навигационным комплексом // Доклады ТУСУР. – 2013. – № 2. – С. 136-141.
19. Ronzhin A., Prischepa M., Budkov V. Development of Means for Support of Comfortable Conditions for Human-Robot Interaction in Domestic Environments // Workshop Proceedings of the 8th International Conference on Intelligent Environments. J.A. Botia et al. (Eds.), IOS Press, 2012. – P. 221-230.
20. Prischepa M., Budkov V. Structural Model and Behavior Scenarios of Information Navigation Mobile Robot // Springer International Publishing Switzerland. A. Ronzhin et al. (Eds.): SPECOM 2014, LNAI 8773. – 2014. – P. 444-451.
21. Budkov V., Prischepa M., Ronzhin A. Dialog Model Development of a Mobile Information and Reference Robot // Pattern Recognition and Image Analysis, Pleiades Publishing. – 2011. – Vol. 21, No. 3. – P. 458-461.
22. Ronzhin A., Budkov V. Speaker Turn Detection Based on Multimodal Situation Analysis // Springer International Publishing Switzerland. M. Zelezny et al. (Eds.): SPECOM 2013, LNAI 8113. – 2013. – P. 302-309.
23. Ronzhin A., Budkov V., Kipyatkova I. PARAD-R: Speech Analysis Software for Meeting Support // In Proc. of the 9th International Conference on Information, Communications and Signal Processing ICICS-2013, Tainan, Taiwan, 2013.
24. Юсупов Р.М., Крючков Б.И., Карпов А.А., Ронжин А.Л., Усов В.М. Возможности применения многомодальных интерфейсов на пилотируемом космическом комплексе для поддержания коммуникации космонавтов с мобильным роботом – помощником экипажа // Пилотируемые полеты в космос. – 2013. – № 3 (8). – С. 23-34.

Comments are closed.