Construction of Geometric Problem Solving Assist Sys- tem Based on Integrative Understanding of Speech and Finger Pointing

音声と指差しの統合理解によるマルチモーダル幾何問題解答システムの構築

情報処理学会全国大会講演論文集

情報処理学会全国大会講演論文集

In this paper, two modalities, speech and pointing, are treated as inputs, and the system is designed to solve geometric problems by integrating each modality. The evaluation experiment showed that the GUI was rated higher than the previous study, but the usability of the voice recognition system was rated lower. However, this system is suitable for investigating the relationship between speech and pointing because it does not limit the input grammar and allows users to give free answers. The future work is to implement a mechanism to compensate for misrecognition and to improve the ability to understand the input, so that the input can be more natural. We also plan to conduct an experiment to investigate the relationship between speech and pointing.

本稿では，音声と指差しの2 つのモダリティを入力として扱い，それぞれのモダリティを統合理解することで，幾何問題を解答することができるシステムを構築した．評価実験により，以前の研究結果と比較して，GUI に関しては高評価であったが，特に音声認識のユーザビリティに関しては低評価となってしまった．しかし，入力文法を制限しないことで，ユーザが自由な解答を行えるため，音声と指差しの関係性についての調査を行うことに適したシステムといえる．今後の課題として，誤認識を補正するような仕組みを実装し入力理解能力を高めることで，より自然な入力に対応できるようにすることである．また，音声と指差しの関係性についての調査を行うための実験を行うことも考えている．


Environmental Sound Recognition Using Convolutional-LSTM

CNNとCLSTMを用いた環境音認識

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this paper, we attempted the task of detecting multiple acoustic events in input speech using the machine learning models, CNN, CLSTM and LSTM models. The results showed a recognition accuracy of about 56 in F-values using the audioSet dataset. Furthermore, comparisons between the LSTM model and the CLSTM model were conducted, and the CLSTM model showed better and more consistent accuracy.

本論文では，機械学習モデルであるCNN，CLSTM，LSTM モデルを用いて入力音声中に含まれる多重音響イベントの検出を行うタスクを試みた．その結果，audioSet のデータセットを用いてF 値で約56 の認識精度を得た．さらに，LSTM モデルとCLSTM モデルでの比較実験を行った結果，CLSTM モデルのほうが，安定して良い精度となった．


Small-footprint Magic Word Detection Using Convolutional LSTM

Convolutional LSTM を用いた省メモリMagic Word 検出

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, we propose a memory-saving MagicWord detection method using CLSTM. Compared with the model with LSTM only, the structure of CLSTM combined with LSTM or NIN achieves especially high performance. In particular, the clstm lstm nin 2 improves the baseline performance by 76.4%. A comparison between the structures before and after data expansion [8] shows that some of the CLSTM structures achieve higher performance with less data. In the future, we plan to improve the implementation of CLSTM and the structure of clstm lstm, and also to study a model that allows free configuration of MagicWord.

本研究では, CLSTM を用いて省メモリMagicWord 検出手法を提案した. LSTM のみを用いたモデルと比較して, 特にCLSTM にLSTM, もしくはNIN を組み合わせた構造が高い性能を達成した. 特にclstm lstm nin 2 は, ベースラインの性能を76.4%改善した. またデータ拡張前[8] と拡張後の比較を行う事で, 一部のCLSTM 構造が少データで高い性能が得られる事が分かった. 今後は, CLSTM の実装改善, 及びclstm lstm の構造改善に加え, 自由にMagicWord を設定できるモデルを検討していく.


A New Corpus of Elderly Japanese Speech for Acoustic Modeling, and a Preliminary Investigation of Dialect Dependent Speech Recognition

高齢者音声認識のための音声コーパス構築と方言への適応の効果

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

We planned to construct a corpus of audio data for an even older age group than S-JNAS, and have compiled a database of 221 audio data from 4 locations in Japan, with an average age of 79.2 years, based on Kaldi's CSJ recipe. The CSJ acoustic model was found to have the best recognition accuracy among the three methods. The CSJ acoustic model showed the best recognition accuracy.

我々はS-JNAS より更に高齢な年齢層の音声コーパス構築を計画し，現在までに全国4か所，平均年齢79.2 歳，221 名の音声をデータベース化した．Kaldi のCSJ レシピに基づき，JNAS，S-JANS あるいはCSJ で音響モデルを作成し，更に本コーパス音声データで適応化をする高齢者音声認識実験を行ったところ，3 者の内，CSJ 音響モデルが最も良い認識精度が得られた．これに各地域別の音声で再適応化すると地域別の音響モデルが高い精度である傾向がみられた．


E2E streaming speech recognition with CTC and Attention

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, an extension of the CTC model based on local attention is proposed for Japanese streaming speech recognition. For downsampling, maxpooling achieves better performance for CTC word recognition compared to conventional frame stacking. We also found that using local attention improves the performance at low frame rates, which is useful for low-resource streaming speech recognition. Finally, we are able to further reduce the WER with the confidence penalty. In the future, we would like to extend RNN-LM to eliminate the effect of blank and repetitive symbols.

本研究では, 日本語のストリーミング音声認識のために, 局所アテンションを用いたCTC モデルの拡張手法を提案した. ダウンサンプリングにおいて, 従来のフレームスタッキングと比較して, maxpooling はCTC 単語認識に対してより良い性能を達成した. また, 局所アテンションを使用すると, 低フレームレートでの性能が向上することが分かり, 低リソースストリーミング音声認識に役立つ. 最後に, 信頼ペナルティでWER を更に低下することが出来た.今後の課題として, 空白シンボルと繰り返しシンボルの影響を排除するために, RNN-LM を拡張したいと考えている.


Text Conversion of Written Language into Spoken Language for Language Model Training for Spoken Language Automatic Speech Recognition System

Sequence-to-Sequence modelを用いた話し言葉音声認識用言語モデルのための書き言葉から話し言葉へのテキスト変換

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, we proposed to convert written text to spoken text using the Sequence-to-Sequence model. If we can do this accurately and efficiently, we can create a large corpus of spoken text to improve the accuracy of spoken speech recognition. We first created the corresponding written sentences manually using the corpus of elderly dialogue transcription and the corpus of nominal speech to create a bilingual dataset of written and spoken words. We constructed a transformation model and converted a part of the BCCWJ corpus into spoken language. Although the accuracy of the conversion from written to spoken language was not good, we were able to convert some sentences very well. It was also shown that the language model trained on the converted sentences gave better perplexity to the spoken language than the one trained on the untransformed sentences, even if the written sentences were not correctly converted to spoken ones. Therefore, we believe that language models learned with a spoken text corpus created by converting written text to spoken text are effective for spoken speech recognition. We plan to add examples of successful transformations of test data to the training data in order to increase the training data, and to create a more accurate and large-scale text corpus of spoken language by using the Seq2Seq model with an Attention mechanism to accurately transform long sentences.

本研究では，Sequence-to-Sequence モデルを用いて書き言葉テキストを話し言葉テキストへ変換することを提案した．これを正確かつ効率的に行う事ができれば，話し言葉音声認識の精度を向上させるための大規模な話し言葉テキストコーパスを作成することが可能になる．我々は，まず高齢者対話書き起こしコーパスと名大会話コーパスを用いて，それに対応した書き言葉の文を人手で作成し，書き言葉と話し言葉の対訳データセットを作成した．これを用いて変換モデルを構築，BCCWJ コーパスの一部を話し言葉に変換した．書き言葉から話し言葉への変換の精度は良いとは言えなかったが，一部の文において非常に上手く変換を行うことができた．また，書き言葉の文を話し言葉に正確に変換できていなかったとしても，変換前の文を用いて学習した言語モデルより変換後の文を用いて学習した言語モデルの方が話し言葉に対して良いパープレキシティを得られる事が示された．よって，書き言葉テキストを話し言葉テキストに変換することによって作成された話し言葉テキストコーパスで学習した言語モデルは，話し言葉音声認識に有効であると考えられる．今後，学習データを増やすためにテストデータの変換成功例を学習データに加え，長文を正確に変換するためにAttention メカニズムを導入した Seq2Seq モデルを用いることにより，より正確で大規模な話し言葉のテキストコーパスを作成する予定である．


Development and Evaluation of Learning Support System for Geometric Problem Solving Using Finger Pointing and Speech

幾何問題における音声と指差しを用いた学習支援システムの構築と評価

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this paper, we have constructed a system that can solve geometric problems by multi-modal interaction using voice and pointing. As a result, it is possible to draw a new auxiliary line in the problem figure, draw equal angles, and express them as mathematical formulas, and show the effectiveness of the proposed system through evaluation experiments.

本稿では，音声と指差しを用いたマルチモーダル インタラクションによって，幾何学問題を解答できる システムを構築した.音声と指差し，それぞれのモダリティを統合理解し，その結果を用いて，入力の意 図を理解させた.これにより，問題図形内に新たな補 助線を引いたり，等しい角度の描画やそれらを数式と して表現することができる.また，評価実験により， 提案システムの有効性を示すことができた.


Spoken dialog recording system for development of spoken dialog breakdown detection methods

音声対話破綻検出手法の開発に向けた音声対話データ収録システム

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In order to construct a voice dialogue database for the development of a voice dialogue failure detection method, voice dialogue experiments were conducted and voice data was recorded.The Wizard of Oz method was also used to prevent excessive dialogue failure. A voice dialogue system has been constructed and voice recording has been carried out.

音声対話破綻検出手法の開発に向けた音声対話データベースを構築するために音声対話 実験を行い，音声データの収録を行った.過 剰に対話破綻を引き起こさないためにも Wizard of Oz法を用いた音声対話システムを 構築し，音声収録を行った.WoZ 法を用いた 手法でも音声対話のみに引き起こされる対話 破綻を確認することができた.


Construction of spoken dialogue system integrating various dialog systems

様々な対話戦略を統合した音声対話システムの構築法

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

We proposed a dialogue system that included multiple dialogue systems. In the proposed dialogue system, we introduced a response sentence selection method that selects more natural response sentences from the generated response sentence candidates. Therefore, we proposed a method for scoring candidate sentences using a model trained with word vector representation as input and output. At present, we have not been able to obtain highly accurate results.

複数の対話システムを内包した対話システムを提 案した. 考案した対話システムには, 生成された応答 文候補から, より自然な応答文を選択する応答文選択 の方法を導入した. 応答文選択に, 単語のベクトル表 現を入出力として学習させたモデルを用いて, 候補文 をスコア付けする方法を提案した. 現状では, 精度の 高い結果を得ることはできなかった.


Selecting Type of Response for Chat-like Spoken Dialogue Systems using Multi-task Learning of LSTM

LSTM によるマルチタスク学習を用いた雑談音声対話システムの応答種別選択

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In order to improve the conversation continuation rate of the chat dialogue system, we proposed a method for selecting the response type of the system by a framework using the Encoder-Decoder model by LSTM. We conducted an evaluation experiment of the proposed method using one-to-one speech data of the elderly and interviewers. By performing multitask learning using a predictor of the response utterance and a predictor of the response type, High accuracy has been achieved compared to simply predicting only the response type.

雑談対話システムの対話の継続率を改善するため に，LSTM による Encoder-Decoder モデルを用いた 枠組みによってシステムの応答種別を選択する手法 を提案した．高齢者とインタビュアーの 1 対 1 の対 話音声データを用いて提案手法の評価実験を行った ところ，応答発話の単語列の予測器と応答種別の予 測器でマルチタスク学習を行うことにより，応答種別 のみを単純に予測する場合と比べて高い精度を達成 できた．


指差しと口述説明を理解する幾何学問題学習支援システム

指差しと口述説明を理解する幾何学問題学習支援システム

Forum on Information Technology 2018 (FIT2018)

第17回情報科学技術フォーラム (FIT2018)


A Study on Speech Recognition Models for Super Elderly Spontaneous Speech

超高齢者の自然発話音声のための音声認識モデルの検討

本稿では，超高齢者の自然発話音声のための音声認識モデルの検討を行う．認識実験の結果，評価セッ トの音声とドメインが一致するコーパスから音響モ デルを学習するのがよいことが明らかとなった．


Mining OOV words from vocabulary shift in Twitter and linguistic adaptation of speech recognizer to the OOV words

Twitter中の使用単語の変化に基づく未知語の発見とそれに基づく音声認識用言語モデルの適応

本稿では，Twitterを用いて新しく使用されるようになった音声認識システムにとって正しく認識され ないと考えられる未知語の発見手法の提案と，発見した未知語に対応した言語モデルを作成し，音声認識システムに適用する手法の提案を行う．Twitter から取得したツイートを，新しいツイートと過去の ツイートとで比較することにより，ユーザー間の使用 単語の変化が取得でき，そこから新しく使用される ようになった未知語の取得が可能となる．提案手法を用いて作成した言語モデルでは，ベースラインと比較して補正パープレキシティ の改善が得られ，取得した未知語が含まれる評価セッ トにおいてパープレキシティ及び補正パープレキシ ティの改善が得られた．音声認識実験では，作成した 言語モデルを適用した音声認識システムで未知語が 含まれる文を認識した場合，音声認識システム全て において，ベースライン音声認識システムより良い 単語誤り率と未知語誤り率を得られた．ベースラインシステムと比較して相 対的に約 91%の未知語誤り率の改善が得られた．これによって，未知語誤り率の改善が全体的な単語誤り 率の改善へと繋がる結果となった．


Magic word detection method in continuous speech using LSTM neural network

LSTM Neural Networkを用いた連続発話中のMagic Word検出手法

本論文では, LSTM を用いた Magic Word 検出手法を提案する. BPTT 法により, Convolutional LSTM 及び, Network in network を用いた提案モデ ルの学習・評価を行う. ベースライン手法と比較し て, 提案モデル conv16 clstm16 は非常に良い性能を発揮した. 結果より, CLSTM 構造が Magic Word 検 出において有意であることが示された. また, 時空間 を結びつけた特徴を捉える事が Magic Word 検出に おいて有効である事が得られた.


RNNに基づく音響ベクトル時系列の文書ベクトルへのマッピング

RNNに基づく音響ベクトル時系列の文書ベクトルへのマッピング

電子情報通信学会技術研究報告

Institute of Electronics, Information and Communication Engineers

音楽の音響データと歌詞のデータをニューラルネットワークによって対応付ける．音響データをクロマベクトル系列にしてLSTMでベクトルに変換する．その変換先が歌詞ベクトル(Word2vecによる歌詞中の単語のベクトル化したものの平均)になるように学習し，対応付け可能であることを示した．


Construction of dialogue database for development of spoken dialogue breakdown detection methods

音声対話破綻検出手法の開発に向けた対話データベースの構築

音声対話破綻検出手法の開発に向けた音声対話データベースを構築するために音声対話 実験を行い，音声データの収集を行った．ユ ーザと音声対話システムが音声対話を行うことで対話文脈から対話破綻が引き起こされる場合，音声認識による誤認識のために対話破 綻を引き起こす場合などさまざまな要因によ って対話破綻が起こるという結果となった． 音声の誤認識による対話破綻は言語情報に基 づく対話破綻検出では検出することは難しく， 音声対話であることに起因する破綻の要因を 知ることができた．


OOV registration to language model for speech recognition

音声認識における言語モデルへの未知語登録法の検討

音声認識では事前に認識辞書に登録した単語は認識できるがそれ以外の未知語は一般に認識できない．しかし音声認識のタスクでは認識辞書にない単語を認識しなければならない場合が多数ある．そこで，言語モデルの学習時に未知語を登録するための「未知語トークン」を織り交ぜたデータベースを用い，認識時に未知語トークンを認識したい単語に置き換える簡単で有効な未知語登録手法を提案した．


Selecting Type of Response for Chat-like Spoken Dialogue Systems Based on LSTM-RNN Considering Order of Words

単語順を考慮したLSTM-RNN に基づく雑談音声対話システムの応答種別選択

雑談音声対話システムを構築することを考えた場合，相手の発話などから，次にどのような発話をすればよいか発話種別選択が必要になる．相手の発話の音響的特徴に基づいて，LSTMを用いて，相槌や発話健康体などの発話種別の選択を可能とする方法を提案した．


自動運転車の操作におけるマルチモーダルインタラクション

自動運転車の操作におけるマルチモーダルインタラクション

将来の自動運転車において，タクシー運転手に指示するかのように操作できるインタフェースを考えた．音声対話に指差しや視線の情報を統合して，交差点を曲がったり停車する場所を指定するなど様々な操作を自然な方法で実現できるようにした．


単語の分散表現に基づく事例ベース雑談音声対話システムのユーザ適応

単語の分散表現に基づく事例ベース雑談音声対話システムのユーザ適応

事例ベースの音声対話システムにおいて，限られた事例を，ユーザ固有の適切な事例に自動変換することにより，音声対話システムをユーザに適応する．ユーザのプロフィール情報からWeb検索によって得られた関連語を事例の単語と置き換える方法でユーザ適応を可能にした．


Selecting Response from Conversational Spoken Dialogue System Based on Distributed Representation of User Utterances

発話の分散表現に基づく雑談音声対話システムの応答種別選択

電子情報通信学会技術研究報告

雑談音声対話システムを構築することを考えた場合，相手の発話などから，次にどのような発話をすればよいか発話種別選択が必要になる．相手の発話の言語情報を，単語の分散表現で表現することで，相槌や発話健康体などの発話種別の選択を可能とする方法を提案した．


User adaptation of examples for example-based reminiscence therapy spoken dialog system using word embedding

回想法を指向した事例ベース雑談音声対話システムにおける単語の分散表現を用いたユーザへの事例適応

電子情報通信学会技術研究報告

認知症の予防・改善のために自然な雑談対話(回想法)を行う音声対話システムを開発する必要があ る．事例ベースの対話システムにおいて，ユーザのプロフィール情報を用いた対話事例のユーザ適応法を提案する． 情報検索により取得したユーザと関連が深い単語と対話事例の単語間の cos 類似度を word2vec によって計算し，閾 値以上の単語を置換することで，ユーザの話題に沿った事例を事前に生成する．本研究では，生成された事例の自 然さを人手で評価することで，手法の有効性を示した．また，word2vec による分散表現の加減算を用いることで， 類似度のみの場合に生成されていた不自然な事例の一部を自然な事例にすることができた．


Proposal ofreminiscence system to suppress dementia by voice dialogue

音声対話により認知症を抑制する回想法システムの提案

情報処理学会全国大会講演論文集

情報処理学会全国大会講演論文集

近年，認知症患者は増加し続けており，介護者の負 担は増大しつづけている．しかし，認知症の治療法は 未だ確立されておらず，いかに進行を抑制するかとい うことが認知症治療の課題となっている．認知症の進 行を抑制する手段の一つに回想法がある．回想法とは 患者と介護者が対話を行う治療法である．しかし，回 想法は認知症患者と何度も対話を行う必要があり，介 護者の負担が大きいという問題点がある．そこで本研 究では音声対話システムであるMMDAgent[1] を用い， 介護者の代わりに回想法を行うシステムを提案する．


Development of Spoken Dialogue System which Integrates and Shares Information based on ROS Architecture

ROSアーキテクチャに基づき情報統合・共有を行う音声対話システムの開発

本稿では，ROSアーキテクチャにて動作する，音声 対話システムについて述べた．音声対話システムに必 要な 5 つのモジュール(音声認識，言語理解，対話管 理，応答生成，音声合成)を構築し，さらに情報統合を 目的とした Information State モジュールを導入した． ROSアーキテクチャを導入したことにより，通信路 確保，データ形式の統一を円滑に図ることができたた め，提案システムのような複数モジュールを活用した 音声対話システムが実現できた．現在は，喫茶店実践， 教育実践などの実践アプリケーションを構築中であり， 複数モジュールが連携して動作する中で，音声対話シ ステムも活用され，本稿で提案した Information State がデータ共有の中心モジュールとして活用されている．


PRINTEPS: A Total Intelligent Application Development Platform based on ROS and Its Application

ROSに基づく総合知能アプリケーション開発プラットフォームPRINTEPSとその応用

人工知能学会 知識ベースシステム研究会

人工知能学会 知識ベースシステム研究会

本稿では，ROSに基づく総合知能アプリケーション 開発プラットフォームPRINTEPSのアーキテクチャ， PRINTEPSにおけるワークフローエディタ，ケースス タディとしてロボット喫茶店における入店時挨拶につい て述べる．ワークフローエディタは，「http://printeps.org」 にて，公開している．


The Architecture of PRINTEPS: A Total Intelligent Application Development Platform based on ROS

ROSに基づく総合知能アプリケーション開発プラットフォームPRINTEPSのアーキテクチャ

本稿では，ROS に基づく総合知能アプリケーション開発プラットフォーム PRINTEPS のアーキテクチャ，PRINTEPS におけるワークフローエディタ，PRINTEPS の評価指標につ いて述べる．ワークフローエディタは，「http://printeps.org」 にて，公開している．


Development Environment of Spoken Dialogue System Based on PRINTEPS

PRINTEPSにおける音声対話システム開発環境

本稿では，PRINTEPSアーキテクチャにて動作する，音声 対話システムの開発について述べた．音声対話システムに必 要な 5 つのモジュール(音声認識，言語理解，対話管理，応 答生成，音声合成)を構築し，これらを組み合わせて，音声対 話システムを構成している．PRINTEPSからは，対話から得 たい情報(対話したい内容:対話ゴール)を指定して音声対 話システムを呼び出すことで，音声対話システムはユーザと 音声対話をし，必要な情報を取得することができる．各対話 ゴールに対応する細かい対話処理ルールなどは，予め用意し，PRINTEPSによる実践知能アプリケーション開発者は，音声 対話に関する知識なしに，音声対話システムを構築・利用する ことが可能である．


User modeling for Robot Café Interaction in PRINTEPS

PRINTEPSにおけるロボット喫茶店の注文時ユーザモデリングの実現

人工知能学会全国大会論文集

人工知能学会全国大会論文集

本稿では，喫茶店という状況に焦点を当て，ユーザモデルに基づきコミュニケーションを変更する社会的ロボットを実装するために，ロボットが認識すべきユーザ情報について考察する．また，接客対話の収集と分析を行い，ロボットが社会的シグナルである視線や着席行動を認識できれば，社会的関係や，親密 度を推定することが可能であることが示された．そして，現在実装中のプロトタイプシステムについて記述し，システムの問題点について述べる．


PRINTEPS: Total Intelligent Application Development Tool based on Stream Reasoning and ROS

電子情報通信学会技術研究報告

本稿では，ストリーム推論と ROS に基づく総合知能アプリケーション開発ツール PRINTEPS(PRactical INTElligent aPplicationS)を提案する．本研究では，PRINTEPS のケーススタディとして，Pepper を接客用ロボットと して用いた喫茶店業務実践を取り上げる．特に，ストリーム推論と ROS を用いた来客検知および喫茶店サービスオ ントロジーとルールに基づく入店時挨拶について紹介する．


Development of the Communication Mechanism among Voice-Interactive Digital Signages

音声対話デジタルサイネージ間の通信機構の開発

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

音声対話デジタルサイネージ間の通信機構を提案した．これ により，今までは情報を受け取るだけであった利用者が情報 を発信したり，メイちゃんの継続的利用などによる利用者支 援が可能になる．


Improvement of successful speech recognition on MMDAgent used as Virtual Telephone Operator

MMDAgent による対話型電話交換システムの音声認識率改善 小林

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

MMDAgentを用いた電話交換手システムにおける音声の誤認 識に対する改善案として，DTMF 音の認識機能の追加に加えて 文脈に応じた辞書ファイル切り替えを提案した．


Prototype of the Communication Mechanism among Voice-Interactive Digital Signages

音声対話デジタルサイネージ間の通信機構の試作

マルチメディア,分散,協調とモバイル(DICOMO2015)シンポジウム講演論文集

本学では，デジタルサイネージでの情報取得において，3D キャラクタとのリアルタイムでの音声対 話が可能な音声ツールキットとして MMDAgent が利用されている．MMDAgent は独立したシステムと して設計されているため，従来では複数端末間における連携を行うことが不可能である．本研究では，こ の問題点を解決するため，複数サイネージ間での協調動作を支援する通信機構を提案する．


エージェントを用いたスマートフォン向け 音声対話システム拡張機構の開発と評価

エージェントを用いたスマートフォン向け 音声対話システム拡張機構の開発と評価

3D キャラクタとのリアルタイムでの音声対話が可能な音声対話システムとしてMMDAgent が提案 されている．この動作環境を拡大し，利便性を向上させるためにMMDAgent を Android スマートフォン 上へ移植したスマートメイちゃんが提案されている．これらのツールキットにおいて採用されているシナ リオ定義手法では，複雑な対話シナリオの作成や，端末間通信による連携を必要とするシナリオの構築が 困難である．本研究では，これらの問題点を解決するため，スマートメイちゃんをソフトウェアエージェ ントにより拡張する機構を提案，実装し，有効性を確認するための評価実験を行った．エージェントを用 いてスマートメイちゃんの拡張を行うことで，複雑な応答文や条件分岐を持つシナリオの開発がより容易 となり，また，ネットワークと連携する必要があるシナリオの開発も，エージェント間通信の延長線上と 捉えることで格段に容易となる．評価実験の結果，提案機構によって問題点を解決できたことを確認した が，実用的な機構とするためにはいくつかの課題点も存在することが確認された．


Extraction of User Preference based on Voice Interaction

音声対話に基づくハイブリッド型ユーザ嗜好抽出手法

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

音声対話システムを用いた嗜好抽出技術について提案した．

音声対話システムを用いた嗜好抽出技術について提案した．


Construction of Creation Environment of Voice Interaction Scenario

クラウド型音声対話シナリオ作成環境の構築

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

大人数での対話シナリオの作成を行うための機構として， クラウド型対話シナリオ作成環境の構築を提案した．


Impressive Comparison of The Human Voice and Synthetic Speech in Response Sentence of Spoken Dialogue System

音声対話システムの応答文における合成音声と肉声の印象比較

日本音響学会 秋季研究発表会

日本音響学会 秋季研究発表会

本報告では，対話システムにおける応答文の合成音 声と人間の録音音声について，ユーザに与える印象・ 満足度について調査を行った．被験者実験の結果，録 音音声はエージェントのグラフィックの質と多少の差 異があったとしても，エージェントへの親しみや，話 しやすさの印象を被験者に与えることが示された．


Development and Experiment of Voice Interaction Agent based on Video/Audio Streaming Technology

映像音声ストリーミング技術を用いた音声対話エージェントの 開発と実証実験

平成25年度 電気関係学会東海支部連合大会講演論文集

平成25年度 電気関係学会東海支部連合大会講演論文集

本研究では，映像音声ストリーミング技術を用いて，利用 場所を問わずに 3D キャラクタと音声対話を行うことが可能 な，ビデオ通話型音声対話エージェント「モバイルメイちゃ ん」を提案した．また各種の実証実験により，提案システム の有効性を確認した．


An Effort for Stand-alone Mobile Voice Interaction Agents on Smartphones

スマートフォンのためのスタンドアローン型 モバイル音声対話エージェントの取り組み

平成25年度 電気関係学会東海支部連合大会講演論文集

平成25年度 電気関係学会東海支部連合大会講演論文集

本研究では，スマートフォン単体で動作可能な音声対話3D エー ジェントシステムを開発した．従来のスマートフォン向け音声対話 システムとは違って，遅延の少ないより自然な音声対話が可能に なった．今後の課題は，よりネットワークと連携した音声対話 システ ムの構築の仕組みを検討していく


Development of Dialog Scenario Editor aimed at popularization of Spoken Dialog System

音声対話エージェントのための Webブラウザを用いたシナリオエディタの開発

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

本論文では，音声対話エージェントのシナリオ構築環境を改善するべく，シナリオエディタの開発 を行う．このシナリオエディタを用いることで，対話シナリオを見やすくし，編集しやすくして，より簡 単に扱うことができるようにするのが目的である．開発したシナリオエディタには，大きく 3 つの特徴が ある．1 つ目の特徴は，様々なプラットフォームでの動作が可能ということである．MMDAgent 自体も， PC(windows，mac，Linux)や，スマートフォン(android)など様々なプラットフォームに移植されて おり，シナリオエディタについても，同様の環境での需要が考えられる．これらの環境で広く動作させる 為，web ブラウザベースでの開発を行なっている．


Smart Mei-chan: A Mobile Voice Interaction Agent using Smartphone Functions

スマートメイちゃん:スマートフォンの機能を有する モバイル音声対話エージェント

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

本稿では，音声対話システム構築ツールキット MMDAgent を拡張し，GPS や NFC・GUI 等の Android スマートフ ォンの機能を効果的に活用するための仕組みを提案する．具体的には，全ての Android OSの機能を利用するためには Java 言語で開発する必要があるが，MMDAgent は C++言語での開発が想定されており，異なる言語間での連携は容易 ではないという問題があった．そこで，Java と C++の連携を実現するブリッジモジュールを開発し，容易にMMDAgent の各モジュールと Android の機能とを連携可能な Java プラグイン開発プラットフォームを提案した．また，本プラッ トフォームに基づく様々な Java プラグインの開発も行った．


Development of a Voice Interaction Agent using 3D Modeling for Stand-alone Smartphones

スマートフォン単体で動作する音声対話3Dエージェント 「スマートメイちゃん」の開発

情報処理学会 インタラクション

情報処理学会 インタラクション

本研究では，スマートフォン単体で動作する音声対話3Dエージェントシステムを開発した．従来のスマートフォ ン向け音声対話システムとは違って，提案システムでは，スマートフォン内で音声認識や音声合成などの処理を完結 することができるため，ネットワークに起因する遅延のない自然な音声対話が実現可能になった．さらに，スマート フォンに適した音声インタフェースを試作し，提案手法の評価を行った．


Analysis and Evaluation of Spoken Dialog System with Multiple Agents

複数の対話エージェントを用いた 音声対話システムの分析と評価

現在のほとんどの音声対話システムは，ユーザとシステムの1対1の対話を扱っているが，我々はシ ステム側のエージェントを2人にした三者対話システムの開発を行ってきた．対話ドメインは従来の「う どんとラーメンのどちらが好きか」の他に「北海道旅行と沖縄旅行のどちらに行きたいか」を追加し，そ れぞれ同じドメインの二者対話システムと三者対話システムをユーザに使用し，評価実験を行った．被験 者実験の結果，三者対話システムは，対話の弾み具合の向上や，対話の雑談らしさの印象を被験者に与え るという結果が指示された．


オープンキャンパスにおけるモバイル端末向け音声対話システムの活用

オープンキャンパスにおけるモバイル端末向け音声対話システムの活用

大学ICT推進協議会 年次大会2012

大学ICT推進協議会 年次大会2012

本研究ではオープンキャンパスにおいて高校生に学科案内やキャンパス案内を行う音声対話 システムを開発した．このシステムはスマートフォンとVoIPを用いて利用場所を問わずに音声対話 が利用可能であり，オープンキャンパス参加中の建物案内や大学周辺の地理案内に最適である．ま た，利用者は大学に関する情報を音声で気軽に入手することができる．本稿では，今年度のオープ ンキャンパスでの利用実績とユーザビリティの評価実験結果について報告する．


Development of spoken dialogue service based on video call named Mobile Meichan

ビデオ通話型音声対話サービス「モバイル メイちゃん」の開発

合同エージェントワークショップ&シンポジウム2012(JAWS2012)予稿集

合同エージェントワークショップ&シンポジウム2012(JAWS2012)予稿集

本研究では，スマートフォンと VoIP を用いて利用 場所を問わずに音声対話を行うことが可能な，ビデ オ通話型音声対話サービス「モバイルメイちゃん」 を提案した．また各種の実験により，提案サービス の有効性を実証した．


Analysis and Evaluation of Spoken Dialog System with One Agent and Multiple Agents

単一対話エージェントと複数対話エージェントを 用いた音声対話システムの分析と評価

現在のほとんどの音声対話システムは，ユーザとシステムの 1 対 1 の対話を扱って いるが，本報告ではシステム側のエージェントを 2 つにした三者対話システムの開発 を行った．また二者対話システムと三者対話システムをそれぞれユーザに使用しても らい，システムがユーザに与える影響・満足度についての分析を行った．対話ドメイ ンは「うどんとラーメンのどちらが好きか」とし，二者対話システムのエージェント にはユーザにうどんとラーメン両方を薦めさせた．三者対話システムのエージェント には，それぞれうどん好き，ラーメン好きという個性を与え，それぞれ自分の好きな 物をユーザに薦める対話形式とした．被験者実験の結果，三者対話システムは，エー ジェントへの親しみや対話の雑談らしさの印象を被験者に与えることが示された．


Estimation of Dialogue States in Database Search Spoken Dialogue System

データベース検索音声対話システムにおける対話状態 の推定

データベース検索を行う音声対話システムにおいて，ユーザの意図を反映し，音声 認識誤りに対処して応答生成を行うための対話状態を推定するモデルについて述べる． データベース検索タスクにおいて，対話の状態が「検索条件の指定」「情報の提示要 求」の二つを遷移するとモデル化する．この 2 つの状態を対話中から得られる素性に 基づき，ロジスティック回帰により予測する．レストランデータベース検索を行う音 声対話システムを構築し，7 名の被験者から対話データを収集し，モデルの学習実験 を行った．ベースラインシステムでの対話状態の決定精度が 87.1%であるのに対して， 学習されたモデルでは，オープンテストで 97.4%であった．また，モデルに用いた素 性のうち，どの素性が対話状態の推定に寄与しているかの確認も行った．


Development and Evaluation of Spoken Dialog System using Multiple Dialog Agents

複数の対話エージェントを扱う音声対話システムの構築と評価

現在の音声対話システムは，一人のユーザに対して一つのエージェントが対応する 1 対 1 の対話を扱っているが，本論文ではシステム側のエージェントを複数にするこ とで多人数対話を実現するシステムを構築する．今回は，2 つのエージェントを扱っ た，三者対話システムの開発を行った．本システムは，我々がこれまでに構築した 1 対 1 対話の音声対話システムを拡張しており，ユーザに対する応答のタイミングや， 応答の種類(あいづちなど)の制御を決定木を用いて行っている．また，ユーザから の非流暢な発話に対しても頑健に応答することが可能になっている．エージェントは， 2D のキャラクタを，それぞれ 2 台のディスプレイに 1 つずつ表示し，出力音声も別々 のスピーカから出力されるようになっている．被験者実験の結果，被験者は三者対話 による内容の幅の広がりや，対話の自然性を感じていることが示された．


Spoken Dialog System using Multiple Dialog Agents

複数の対話エージェントを扱う音声対話システムの開発

現在の音声対話システムは，一人のユーザに対して一つのエージェントが対応する 1 対 1 の対話を扱っているが，本論文ではシステム側のエージェントを複数にするこ とで多人数対話を実現するシステムを構築する．今回は，2 つのエージェントを扱っ た，三者対話システムの開発を行う．本システムは，我々がこれまでに構築した 1 対 1 対話の音声対話システムを拡張しており，ユーザに対する応答のタイミングや，応 答の種類(あいづちなど)の制御を決定木を用いて行っている．また，ユーザからの 非流暢な発話に対しても頑健に応答する事が可能になっている．エージェントは，2D のキャラクタを，それぞれ 2 台のディスプレイに 1 つずつ表示し，出力音声も別々の スピーカから出力されるようになっている．


Spoken Dialog System Considering The Response Timing and The Evaluation

応答タイミングを考慮した音声対話システムとその評価

人間と機械が対話を行う際に，機械が人間同士の会話と同じように，自然な応答を 返すことが出来れば，より円滑な対話を行うことが期待できる．本研究では，人間同 士の雑談対話中にて生じる対話現象を模倣する音声対話システムを構築した．本シス テムでは，応答として，あいづち，復唱，共同補完などを扱っており，決定木を用い て応答種類と応答タイミングを決定している．また，本システムはユーザからのオー バーラップ応答(バージイン)や，非流暢な発話に対しても頑健に応答することが可 能になっている．被験者実験の結果から，オーバーラップを含む通常応答やあいづち に対して高い自然性が示され，被験者の多くがあいづちに対して親しみを感じており， また，バージインは便利であると評価された．


Influence of Response Timing in Speech Dialogues

音声対話における発話タイミングの影響

電子情報通信学会技術研究報告

先行研究で行った対話リズムに関する分析結果の妥当性を確認するために，発話タイミング，分析結果に基づいた音声対話を作成し，対話の自然性や合成音の違和感発言の 聞き取るなどを調べる知覚実験を行った．知覚実験1で合成音声による4段の短い目的指向対話を，知覚実験2では実音と合成音の1 分長の長めの雑談対話を用って実験を行った．その結果，発言では自然な発話が存在すること，発話内容に即した発話タイミングに自然性を感じるなど， 対話リズムに関連する分析結果の妥当性を示すことができた．


Subjective Experiments on Influence of Response Timing in Speech Dialogues

音声対話における発話タイミングの影響に関する知覚実験


Analysis of relationship between impression of human-human conversations and prosodic change and its modeling

人間同士の対話の印象と韻律変化との関係の分析と そのモデル化

人間と機械が対話を行う際に，機械が人間同士の 会話と同じように，相手に同調を示すことができれ ば，より円滑な対話を行うことが期待できる．そのた めには，実際の人間同士の対話の印象がどのような 要因で決められるのかを把握し，その情報を用いて 相手に良い印象を与えていくようにする必要がある． 本研究では，韻律情報に着目し，人間同士の対話の印 象と韻律変化との間にどのような関係性があるのか を分析した．そして，音声対話システムへの実装を目 指した円滑に対話を行うための韻律制御モデルの構 築を試みた．


Modeling prosodic change in conversations and its application for a spoken dialog system

音声対話システムにおける対話中の 韻律変化のモデル化と適用

人間と機械が対話を行う際に，機械が人間同士の 会話と同じように，話者交代，割り込み，あいづちな どを自然に返すことが出来れば，より円滑な対話を 行うことが期待できる．そのためには応答を返すタ イミングや，出力音声の韻律情報を，実際の人間同 士の対話のように制御する必要がある．本研究では， 協調的な音声対話システムを実現するために，人間同 士の対話における応答タイミングや韻律的な同調と， 対話としての盛り上がり・意見の相違などとの関連を 分析し，そのモデル化を試みた．また，そのモデルを 音声対話システムに実装した．


Response Timing and Prosody Change Modeling in Conversations and Their Application to a Spoken Dialog System

対話における韻律変化・タイミングのモデル化と音声対話システムへの適用

人工知能学会 言語・音声理解と対話処理研究会

人工知能学会 言語・音声理解と対話処理研究会

本研究では，協調的な音声対話システムを実現するた めに，人間同士の対話における韻律的な同調と対話とし ての盛り上がりとの関連を分析し，そのモデル化を試み た．また，そのモデルを音声対話システムに搭載した． 音声対話システムは，リアルタイムにあいづち，話者交 替などの応答タイミングを検出し種々の雑談現象を扱い 応答することが出来る雑談に向けた対話システムであ り，タイミングの検出と応答の種類の決定には決定木を 用い，応答を出力する際の韻律情報は，モデルを用いて 制御している．


A spoken dialog system for chat-like conversations considering response timing

応答タイミングを考慮した雑談音声対話システム

人工知能学会 言語・音声理解と対話処理研究会

人工知能学会 言語・音声理解と対話処理研究会

本研究では，リアルタイムにあいづち，話者交替など の応答タイミングを検出し種々の雑談現象を扱い応答す ることが出来る雑談に向けた対話システムの構築を行っ た．タイミングの検出と応答の種類の決定には決定木を 用いており，その決定木の素性としては，言語情報と韻 律情報を用いている．ポーズを検出せずに逐次的に処 理をして応答を返すことから，オーバーラップした応答 なども返すことが可能であり，実際の雑談に現れる様々 な現象を実現できる．