type: misc

label: url

en: Development of a multimodal dialog system with photorealistic CG agent

ja: フォトリアルCGエージェントとのマルチモーダル対話

en: When considering the future human-machine cooperative society, an important issue is how natural and easy it will be for machines and humans to communicate with each other.We believe that one way to solve this problem is to have machine interfaces that look as close as possible to humans and interact with them in a manner similar to humans. Therefore, we have focused on "Saya," a realistic 3D computer graphics model that is indistinguishable from a real human and operates realistically in video images, and are constructing a system that enables voice and multimodal dialogue using Saya as an agent. In this paper, we introduce Saya and the overall image of the dialogue system we have built, and outline the speech recognition, speech synthesis, image recognition, and interaction control technologies used in the system.

ja: 将来の人間-機械協奏社会を考えたとき，機械 と人間がいかに自然で容易にコミュニケーションで きるかが重要な課題となる．機械側のインタフェー スが限りなく人間に近い姿をし，人間に近い対話 をすることは，こうした課題の解決法の一つの方 法であると考える．そこで我々は，本物の人間と 区別がつかないレベルの 3D CGで描かれ，映像 内でリアルに動作する「Saya」に注目し，Sayaを エージェントとして音声・マルチモーダル対話を 行えるシステムの構築を行っている． 本稿では，Sayaおよび構築した対話システムの 全体像を紹介するとともに，そこで用いられてい る音声認識・音声合成・画像認識・インタラクショ ン制御技術の概要を説明する．

en: The Journal of the Acoustical Society of Japan

ja: 日本音響学会誌


en: Multimodal Agent Development for Locomotion in Next Era

ja: 次世代の移動を支えるマルチモーダルエージェント``Saya''

en: Journal of Society of Automotive Engineers of Japan

ja: 自動車技術