Extraction of keywords from disease-fighting blogs by fine-tuning the T5 model

2022 6th International Conference on Natural Language Processing and Information Retrieval

To measure lifestyle-related diseases such as heart disease and diabetes, which are on the increase, information on patients' lifestyles is necessary. With the growth of the Internet culture in recent years, a great deal of valuable information about patients' long fight against the disease, including lifestyle and condition changes, is now being written in the form of blogs and tweets. In this study, keywords related to changes in health status are extracted from "disease-fighting blogs" using Named Entity Recognition system, which is fine-tuned the "T5 Model", one of the latest deep learning and natural language processing models. This method can be applied to a system that informs patients and health care professionals how their lifestylehabits affect their health status.


Learning a Bimodal Emotion Recognition System Based on Small Amount of Speech Data

2022 8th International Conference on Systems and Informatics (ICSAI)

This paper presents a bimodal emotion recognition system based on the voice and text information using small amount of speech data. Specifically, speech is divided into voice and text to learn emotion classifiers for each modal. The probabilities obtained from these emotion classifiers are weighted based on Mehrabians rule and summed up for each emotion to calculate the final score for bimodal emotion recognition. To create a highly accurate system while solving the problem that there are few Japanese speech data with emotion labels, we propose a novel data augmentation method and employ a transfer learning approach based on a pre-trained VGG16 model and a fine-tuned Bidirectional Encoder Representations from Transformers (BERT) model on the tweets. In order to prove the effectiveness of the proposed method, we revealed the recognition results for 7 emotional states, i.e., anger, sadness, joy, fear, surprise, disgust, and neutral. The experiment result suggested that our novel data augmentation method improved the accuracy and that bimodal predictions based on voice and text-based outperformed the single-model predictions.


Facial Expression Emotion Recognition Based on Transfer Learning and Generative Model

Facial expression emotion recognition has been a popular research topic, which played an important role in assisting the natural human-machine conversation. The conventional method for emotion estimation from facial expressions is to learn a CNN-based image classification model from scratch, However, learning such model requires a large number of labeled facial expression images, which is still a limited resource until now. To solve this problem, we propose a data augmentation method based on StyleGAN2 to generate artificial expression images with respect to seven emotions and use them as the additional training data. We further train an expression emotion recognition model based on a VGG16 network through transfer learning. In this research, we proposed a method using transfer learning and augmented images of facial expressions using trained VGG16 and StyleGAN2 and conducted experiments to achieve higher recognition accuracy for racial expression emotion recognition. Our experiment based on the CFEE dataset suggested that an emotion recognition accuracy of 75.10% could be obtained through transfer learning and the accuracy could further improved to 82.04% with the augmented expression images.


A Corpus-based Analysis of Age-related Changes in the Acoustic Features of Elderly to Super Elderly Speech

Speech recognition technology is a convenient modality for elderly people with limited dexterity and eyesight since it allows them to operate smartphones and other devices, but speech recognition accuracy declines as people get older. Our corpus of elderly Japanese speech, called EARS (Elderly Adults Read Speech), includes many speakers over 80 years old, and we have used it to create acoustic models which improve recognition accuracy for elderly speech [1]. Although the acoustic features of elderly peoples speech differs from those adults [2, 3], the studies compared the acoustic features of the speech of elderly and super elderly Japanese people are not so many. In this paper, we investigated age-related changes in fundamental frequency (Fo), formant frequencies, laryngeal noise, MFCCs and vowel centralization in elderly to super elderly speakers (60-98 years old), using speech data from the EARS corpus and the S-JNAS corpus of elderly Japanese speech. We found that the speech of both genders exhibited an increase in F1 and decrease in F2 of the vowel/i, some similarities in mean and standard deviation in MFCCs, and a decrease in the mean and standard deviation of shimmer with increasing age. In contrast, different aging-related dynamics were observed for male and female speakers in fundamental frequency, formant frequencies other than those listed above, vowel centralization, most other MFCCs.


Implicit language information replacing method in Japanese encoderdecode ASR model

2022 9th International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA)

Recent years, automatic speech recognition (ASR) tasks often use language models as an adjunct to ASR models. The density ratio approach (DRA) is one of several language model integration methods. It is known that Japanese has a much larger number of characters than the alphabet language, and that there are variations in reading with homonyms and the same characters. It was unclear whether the implicit language information of character-based encoderdecoder ASR model using beam search algorithm is approximated by the external language model. In our experiments, We have applied an DRA to a Japanese encoderdecoder ASR model to reduce character error rate (CER) in cross-domain scenarios. Cross-domain CERs were calculated for the Japanese academic presentation speech (APS) corpus and the Japanese simulated presentation speech (SPS) corpus. This method achieved a relative error reduction of 11.0% and 22.5% with the RNN and Transformer models compared to the shallow fusion. To investigate the applicability of different speaking styles to different domains, We also conducted an experiment to replace the implicit language information inside the CSJ ASR model with Mainichi Shimbun language model. For the JNAS task, the DRA achieved a relative error reduction of 7.3% compared to the shallow fusion method.


End-to-End Spontaneous Speech Recognition Using Disfluency Labeling

Spontaneous speech often contains disfluent acoustic features such as fillers and hesitations, which are major causes of er- rors during automatic speech recognition (ASR). In this paper, we propose a method of disfluency labeling to address this problem. Our proposed method replaces disfluent phenomena in the transcription of speech data used for training with two types of labels, filler (#) and hesitation (@), and trains an end- to-end ASR model using this data, which makes it possible to recognize disfluent acoustic phenomena as recognition targets, like characters. In addition, by removing the disfluency labels that are included in the recognition results, the words that the speaker actually intended to say can be extracted from the dis- fluent speech. The results of our evaluation experiments show that both the character and sentence error rates were reduced for all of the ASR test sets when disfluency labeling was ap- plied, compared to the baseline method. The proposed method also outperformed other methods intended to reduce disfluency- related errors, even when more disfluent, spontaneous dialog speech was used. This study shows that explicit learning of two disfluent features, fillers and hesitations, is effective in sponta- neous speech recognition.


Analysis of Lifestyle Habits from Weblogs of Patients with Intractable Diseases Using Deep Learning

Proceedings of International Conference on Electrical, Computer and Energy Technologies (ICECET)

In recent years, patient-centered medicine has become widely accepted. To keep a record of their struggles,patients sometimes publish their diaries (disease blogs) on weblogs to be read by an unspecified number of people. In particular, writing a blog may be helpful in the case of intractable diseases of which there are few cases, and patients often feel isolated because they know few people with the same disease. In this study, we used deep learning technology to analyze the blogs written by patients with intractable diseasesand to determine how they live their daily lives and their feelings. If their lifestyles are understood, the relationship between the physical condition and mental changes of people fighting intractable diseases can be determined, and a system that shows behavioral guidelines for new users fighting similar intractable diseases can be built.


Elderly Conversational Speech Corpus with Cognitive Impairment Test and Pilot Dementia Detection Experiment Using Acoustic Characteristics of Speech in Japanese Dialects

Proceedings of the Thirteenth Language Resources and Evaluation Conference

There is a need for a simple method of detecting early signs of dementia which is not burdensome to patients, since early diagnosis and treatment can often slow the advance of the disease. Several studies have explored using only the acoustic and linguistic information of conversational speech as diagnostic material, with some success. To accelerate this research, we recorded natural conversations between 128 elderly people living in four different regions of Japan and interviewers, who also administered the Hasegawas Dementia Scale-Revised (HDS-R), a cognitive impairment test. Using our elderly speech corpus and dementia test results, we propose an SVM-based screening method which can detect dementia using the acoustic features of conversational speech even when regional dialects are present. We accomplish this by omitting some acoustic features, to limit the negative effect of differences between dialects. When using our proposed method, a dementia detection accuracy rate of about 91% was achieved for speakers from two regions. When speech from four regions was used in a second experiment, the discrimination rate fell to 76.6%, but this may have been due to using only sentence-level acoustic features in the second experiment, instead of sentence and phoneme-level features as in the previous experiment. This is an on-going research project, and additional investigation is needed to understand differences in the acoustic characteristics of phoneme units in the conversational speech collected from these four regions, to determine whether the removal of formants and other features can improve the dementia detection rate.


Risk Analysis of Developing Lifestyle-related Diseases based on the Content of Social Networking Service Posts

Innovation in Medicine and Healthcare, Part of the Smart Innovation, Systems and Technologies book series

Japans leading causes of death are cancer, cardiovascular disease, and diabetes, which account for approximately 60% of all deaths. All these diseases are closely related to lifestyle habits such as diet, exercise, and sleep and are called lifestyle-related diseases. Lifestyle-related diseases are characterized by a lack of subjective symptoms, making it difficult to notice the deterioration of the disease. In this study, we analyzed tweets related to diet, exercise, physical condition, and mental state from the contents posted by users on social networking services (SNS) to construct a system that can prevent lifestyle-related diseases more simply. We found that the results of this work can lead to the construction of a system than can detect risk factors leading to the development of lifestyle-related diseases, from the contents of users posts.


End-to-End Spontaneous Speech Recognition Using Hesitation Labeling

Proceedings, APSIPA Annual Summit and Conference 2021

Spontaneous speech often contains hesitations, such as stammering, word substitutions, filler words and repetitions, unlike speech that is produced when reading aloud. These addi- tional utterances create noise for Automatic Speech Recognition (ASR) systems, negatively affecting recognition accuracy. In this study, we propose an End-to-End (E2E) ASR system which can recognize these hesitations, as well as extra syllables, in spontaneous Japanese speech by training the ASR model using labeled data. Hesitation speech is then automatically labeled and ignored during speech recognition. Our experiments confirm that both the Character Error Rate (CER) and the Sentence Error Rate (SER) improved for all of the evaluation data sets in comparison to a baseline ASR method. In addition, when examining the actual recognition results, it was observed that the labels were inserted in the correct positions, suggesting that the model is able to correctly learn the meanings of the labels. Furthermore, by deleting the labeled utterances from there cognition results, we were able to obtain grammatically correct target sentences.


Advanced language model fusion method for encoder-decoder model in Japanese speech recognition

We apply an advanced language model fusion method to the encoder-decoder models of a Japanese automatic speech recognition (ASR) system to reduce character error rates (CERs) in cross-domain scenarios. Our method, which uses a Density Ratio approach based on Bayes theorem, is an extension of the Shallow Fusion method widely used for integrating the scores of speech recognition and language models. Since Japanese has a much larger number of characters than alphabet languages, and since there can be multiple possible meanings and pronunciations of the same kanji character, it is unclear whether the linguistic information inside a character- based end-to-end speech recognition is approximated by the language model. We conducted experiments using two types of encoder-decoder models, an RNN model and a Transformer model, and evaluated our results by calculating the cross-domain CERs of the ASR s text output when using the Japanese Academic Presentation Speech (APS) corpus and the Japanese Simulated Presentation Speech (SPS) corpus. When using the RNN model, our proposed method achieved a 1.2% lower CER in comparison to the Shallow Fusion method. When using the Transformer model, our method also outperformed the Shallow Fusion method, achieving a 0.7% lower CER.


Multi-speaker TTS system for low-resource language using cross-lingual transfer learning and data augmentation

We propose a multi-speaker text-to-speech (TTS) system for use with low-resource languages when only a very small amount of target language data is available. We investigate the effects of using high-resource language datasets and augmented data during model training, and compare different strategies for fine-tuning the model. After using a combination of cross-lingual transfer learning, a small amount of target language data and augmented target language data for training our low-resource TTS model, we then fine-tuned the pre-trained model using the original and augmented target language data. Our experimental results show that by sequentially training the model with high-resource language data, target language data and augmented target language data, followed by gradual fine-tuning using the original and augmented target language data, our system was able to achieve the most natural speech after text-to-speech conversion, achieving a native speaker mean opinion score of 3.50 on a scale of 0 to 5.


IEEE GCCE 2021 Tutorial "Research Life Hacks"


Improving Speech Recognition for the Elderly: A New Corpus of Elderly Japanese Speech and Investigation of Acoustic Modeling for Speech Recognition

Proceedings of the 12th Conference on Language Resources and Evaluation (LREC 2020)

In an aging society like Japan, a highly accurate speech recognition system is needed for use in electronic devices for the elderly, but this level of accuracy cannot be obtained using conventional speech recognition systems due to the unique features of the speech of elderly people. S-JNAS, a corpus of elderly Japanese speech, is widely used for acoustic modeling in Japan, but the average age of its speakers is 67.6 years old. Since average life expectancy in Japan is now 84.2 years, we are constructing a new speech corpus, which currently consists of the utterances of 221 speakers with an average age of 79.2, collected from four regions of Japan. In addition, we expand on our previous study (Fukuda, 2019) by further investigating the construction of acoustic models suitable for elderly speech. We create new acoustic models and train them using a combination of existing Japanese speech corpora (JNAS, S-JNAS, CSJ), with and without our super-elderly speech data, and conduct speech recognition experiments. Our new acoustic models achieve word error rates (WER) as low as 13.38%, exceeding the results of our previous study in which we used the CSJ acoustic model adapted for elderly speech (17.4% WER).


E2E Streaming Speech Recognition Using CTC and Local Attention


Automatic Conversion of Written Language into Spoken Language Using a Sequence-to-Sequence Model Trained with a Parallel Corpus

Proceedings of The 22nd Conference of the Oriental COCOSDA (Oriental-COCOSDA2019)

In this study we proposed using a sequence-to-sequence,RNN based model to convert Japanese written language intoa text representation of Japanese spoken language. If thisprocess could be accomplished accurately and efficiently, itwould become possible to create a large, spoken languagetext corpus for improving the accuracy of speech recognition.We first created a written language-spoken language parallelcorpus based on the Nagoya University Conversation Corpusand the Transcribed Corpus of Elderly Dialog. Using thismanually constructed parallel corpus, we devised conversionmodel and converted the BCCWJ corpus into spoken languagetext. Although conversion accuracy was not impressive overall,some short sentences were converted accurately. Moreover,even if whole sentences could not be converted accurately,the statistics of the spoken language were well expressed inthe converted sentences. Thus, a language model trained witha corpus of spoken language, created by converting writtenlanguage into spoken language, was shown to be effectivefor speech recognition. Because of an insufficient amount oftraining data, we were only able to accurately convert someof the shorter sentences in the BCCWJ corpus, accounting foronly a small percentage of the data. This prevented the creationof a large corpus of spoken language text data. Therefore,it will be necessary to devise a method which can correctlyconvert longer sentences as well. As a solution to this problem,we plan to introduce an attention mechanism to our sequenceto-sequence model.


A New Corpus of Elderly Japanese Speech for Acoustic Modeling, and a Preliminary Investigation of Dialect Dependent Speech Recognition

We have constructed a new speech data corpus consisting of the utterances of 221 elderly Japanese people (average age: 79.2) with the aim of improving the accuracy of automatic speech recognition (ASR) for the elderly. ASR is a beneficial modality for people with impaired vision or limited hand movement, including the elderly. However, speech recognition systems using standard recognition models, especially acoustic models, have been unable to achieve satisfactory performance for the elderly. Thus, creating more accurate acoustic models of the speech of elderly users is essential for improving speech recognition for the elderly.


Environmental Sounds Recognition with Convolutional-LSTM

2019 IEEE 8th Global Conference on Consumer Electronics, GCCE 2019

This paper addresses the task of recognizing environmentalsounds using the AudioSet data set. Specifically,features were extracted by spectrogram conversion of AudioSet's10-second sound data, and learning was performed by neuralnetwork with 3 layer CNN and the one layer CLSTM , and acomparison experiment with the LSTM model was performed.As a result, CLSTM increased 4 points from 52% to 56%better recognition accuracy than LSTM model, demonstratingthe usefulness of CLSTM in environmental sound recognitionfield.


Small-Footprint MagicWord Detection Method Using Convolutional LSTM Neural Network

The number of consumer devices which can be operated byvoice is increasing every year. Magic Word Detection (MWD),the detection of an activation keyword in continuous speech, hasbecome an essential technology for the hands-free operation ofsuch devices. Because MWD systems need to run constantlyin order to detect Magic Words at any time, many studies havefocused on the development of a small-footprint system. In thispaper, we propose a novel, small-footprintMWDmethod whichuses a convolutional Long Short-Term Memory (LSTM) neuralnetwork to capture frequency and time domain features overtime. As a result, the proposed method outperforms the base-line method while reducing the number of parameters by morethan 80%. An experiment on a small-scale device demonstratesthat our model is efficient enough to function in real time.


Design of Reminiscence Therapy System for Elderly People with Dementia

Advances on Broad-Band Wireless Computing, Communication and Applications: Proceedings of the 12th International Conference on Broad-Band Wireless Computing, Communication and Applications (BWCCA-2017)

近年，認知症患者の数が増加し，介護者の負担が増大している．しかし，認知症の治療法は確立されておらず，その進行を制御することが治療の目的となっている．認知症の進行を抑制する1つの手段として， 介護者と認知症患者との対話による回想法を使用する．しかし，この方法では，介護者は何度も対話を行う必要があり，介護者にとって負担となるため，介護者の代わりにMMDAgentという音声対話システムを用いて回想法対話の支援を行う方法を提案する． これによって，介護者の負担が軽減される． 本稿では，提案されたシステムの設計を示す．


Customization of an example-based dialog system with user data and distributed word representations

事例ベースの音声対話システムにおいて，限られた事例を，ユーザ固有の適切な事例に自動変換することにより，音声対話システムをユーザに適応する．ユーザのプロフィール情報からWeb検索によって得られた関連語を事例の単語と置き換える方法でユーザ適応を可能にした．


Multi-modal Geometry Tutoring System Using Speech and Touchscreen Figure Tracing

2018 IEEE 7th Global Conference on Consumer Electronics, GCCE2018

人に対して数学の幾何問題の解答を説明する際には，一般に指差しで図をなぞったりしながら口頭で解説をする．この指と音声のマルチモーダル入力を受け付けて，幾何問題の解答を画面上に表示する幾何問題教育システムを開発した．


Construction of a Corpus for Elderly Japanese Speech Recognition

2018 IEEE 7th Global Conference on Consumer Electronics GCCE2018

情報弱者となる可能性の高い高齢者にとって，音声インタフェースは重要な役割を果たす可能性がある．高齢者にとって性能の高い音声認識器を作るためには高齢者の音声データを収集することが不可欠である．そこで100名以上の平均年齢80歳を超える高齢者の音声を収集してデータベース化した．


Mapping Acoustic Vector Space and Document Vector Space by RNN-LSTM

音楽の音響データと歌詞のデータをニューラルネットワークによって対応付ける．音響データをクロマベクトル系列にしてLSTMでベクトルに変換する．その変換先が歌詞ベクトル(Word2vecによる歌詞中の単語のベクトル化したものの平均)になるように学習し，対応付け可能であることを示した．


Construction of dialog database for development of spoken dialog breakdown detection methods

対話システムにおいて，システムが対話破綻を招く発話をすることを自ら発見すれば対話破綻を回避したりすることができる．音声対話において対話破綻検出器を構築するために，音声対話データベースを構築した．


A multimodal control system for autonomous vehicles using speech, gesture, and gaze recognition

音声，ジェスチャ，視線認識を用いた自動運転車のためのマルチモーダルコントロールシステムであり，実際にシステムを構築し，自動運転車に搭載した．また，システムについては，実験用にタクシーに搭載し，タクシー運転手を自動運転車システムに見立てて，被験者実験を行い，自動運転車制御に必要なマルチモーダル理解についての知見を得た．


Selecting Type of Response for Chat-like Spoken Dialogue Systems Based on Acoustic Features of User Utterances

Proceedings of APSIPA Annual Summit and Conference 2017

本稿では，ユーザ発話から得られた音響特徴を使用して，相槌応答，話題の変更，または話題の拡張などの音声対話システムにおける応答のタイプを選択する． これらの特徴には，MFCCとLSPによるスペクトル情報，F0で表されるピッチ情報，ラウドネスなどが含まれる．高齢者と面接者の対話コーパスを構築し，評価実験の結果， 音声セグメント識別タスクで49.3%の精度を得られた． さらに，各素性のデルタ係数を利用することでさらに結果が改善された．


Proposal of Reminiscence Therapy System using Spoken Dialog to Suppress Dementia

2017 IEEE 6th Global Conference on Consumer Electronics, GCCE 2017

近年，認知症患者の数が増加している． 介護者の負担も増えている． しかし，認知症の確立された治療法は存在しない． 認知症の進行を抑制することは，認知症治療の重要な目標である． 回想法は，認知症の進行を抑制する1つの手段である． 回想法では，介護者が認知症患者と話をすることが必要であるが，何回も繰り返し会話を行う必要があり，介護者の負担は大きい． そこで，本研究では，MMDAgentを用いた回想支援システムを提案する．


A Human Machine Interface Framework for Autonomous Vehicle Control

本研究では，自動運転車とのコミュニケーションのために，音声，ジェスチャー，および視線認識を使用した直感的なマルチモーダルインターフェースシステムを開発する． 有限状態トランスデューサを用いて，インタフェースシステムのマルチモーダル理解コンポーネントと対話制御コンポーネントを別々に設計した． 実装に関しては，従来の対話システムは，入力としてのユーザ動作と出力としてのシステム動作とを有する有限状態変換器によって制御されているが， 我々のマルチモーダル理解部と対話制御コンポーネントは，2つの別々のトランスデューサの重ね合わせとして見ることができる． カスケード変換器は，1つの変換器で構成することができる． 我々のシステムは自律型自動車シミュレータでシミュレータ上の車を操作することができる．


Extraction of User Preferences based on Voice Interaction

名古屋工業大学の研究グループは，音声対話ツールキットとして「MMDAgent」を開発している． システム開発者は，MMDAgentを使用して，さまざまな音声対話コンテンツを作成できる． 開発者が音声対話のコンテンツを作成する際には，ユーザーのニーズを考慮することが重要であるので，ユーザの嗜好情報を引き出す手法が必要である． 本稿では，音声対話からユーザの嗜好情報を抽出する手法を提案する．


Implementing customer reception service in robot cafe using stream reasoning and ROS based on PRINTEPS

我々は，実践知能アプリケーション開発プラットフォームであるPRINTEPSを開発した． 本稿では，PRINTEPSに基づいたストリーム推論とロボットオペレーティングシステム(ROS)を用い，知識処理とイメージセンシングを統合することで，ロボットカフェにおける顧客受付サービスのPRINTEPSの応用を紹介する． このプラットフォームに基づいて，我々は，適用可能なルールセットを変更することによって，ロボットカフェ内のロボットの挙動を修正できることを実証する．


Development environment of a spoken dialogue system based on PRINTEPS

2016 IEEE 5th Global Conference on Consumer Electronics

本稿では，PRINTEPSアーキテクチャに基づく音声対話システムについて述べる． この音声対話システムは，5つのモジュール(音声認識，言語理解，対話管理，応答生成，音声合成)で構成されている． PRINTEPSでは，音声対話システムを呼び出すとき，システム開発者は小規模の対話目標を指定する． システムは，ユーザから必要な情報を得るために，ユーザとの対話を実行する． 対話目標に対応する対話処理ルールは予め用意されている． PRINTEPSベースのシステム開発の利点は，システム開発者が音声対話システムを知らなくても音声対話システムを構築できることである．


Proposal of the communication mechanism among voice-interactive digital signage systems

2011年より，筆者らは名古屋工業大学のユーザーに有用な大学情報を提供するために，スタンドアロンの音声対話型デジタルサイネージシステムを開発し，実際に設置・運用した． このシステムには， "Mei"という名前の3次元キャラクターとの音声対話を実現するソフトウェアツールキットであるMMDAgentが含まれる． 欠点として，ネットワーク通信機能がないために，このシステムの能力が限られる． 本研究では，いくつかのデジタルサイネージシステム間のネットワーク通信機能を新たに実装した． この機能により，情報共有や他の手段による複数の看板システムの共同作業が可能になる．


Related Word Recommendation Mechanism for Speech Dialogue System

2016 19th International Conference on Network-Based Information Systems (NBiS)

近年，音声対話システムが著しく発展している．我々の大学では， "MMDAgent"音声対話システムツールキットをオープンソースソフトウェアとして開発し公開している． MMDAgentは，音声認識と音声合成に "Julius"と "HTS"を使用する．そのエージェントは，これらを3D CGレンダリングモジュールと組み合わせて構成する． MMDAgentアプリケーションの一例として，「スマートメイちゃん」が開発され，スマートフォンに移植されている． 「スマートメイちゃん」は，音声対話システムとして非常に高性能であるとはいえ，ユーザーの視点から考えると未解決の難しさが残っている．初心者ユーザは何を話すのか分からない．魅力的な会話を誘導するために，「スマートメイちゃん」に関連する単語推薦機構を開発する．それによって，初心者のユーザーには，良い会話ができるトピックが提示される．我々は．会話のための推薦語を用いたシステムの有効性を検証した．


Integrating Symbols and Signals Based on Stream Reasoning and ROS

Knowledge Management and Acquisition for Intelligent Systems

実践的知能アプリケーション開発プラットフォームであるPRINTEPS(PRactical INTElligent aPplicationS)を開発した．本稿では，ストリーム推論とROS(Robot Operating System)を用いたイベント検出のためのPRINTEPSの応用と，知識処理による画像センシングの統合について述べる． このプラットフォームにおいて，我々はロボットカフェ内のロボットの動作をデモンストレーションし，ルールセットを変更することによって簡単にロボットカフェを実現・適用できることを示す．


Extension with Intelligent Agents for the Spoken Dialogue System for Smartphones

2015 IEEE 4th Global Conference on Consumer Electronics (GCCE)

我々は，音声対話システム開発ツールキットであるMMDAgentを開発・公開している．このシステムで開発できる音声対話システムをスマートフォンに対応させ，スマートフォン上で音声対話シナリオを構築する際に，複雑なシナリオを構築することは難しいので，本研究ではこの問題を解決するために，スマートフォン用音声対話システムをソフトウェアエージェントによって拡張することを提案する．


Experiment and Evaluation of Crowdsourcing Model for Creation of Voice Interaction Scenario

本研究では，我々が公開している音声対話システムツールキットであるMMDAgentを使用して音声対話システムを構築する場合の，音声対話シナリオの構築方法を提案します．本研究では，クラウドソーシングを用いて，音声対話を構築・収集するために，音声対話システムをインターネットを介して配布する方法や，対話シナリオを編集するためのwebアプリケーションのテスト動作の結果を示す．提案システムを用いることにより，音声対話コンテンツ作成環境を簡単に構築できる．


Crowdsourcing Environment to Create Voice Interaction Scenario of Spoken Dialogue System

2015 18th International Conference on Network-Based Information Systems (NBiS)


Development of a dialogue scenario editor on a web browser for a spoken dialogue system

the second international conference on Human-agent interaction (HAI '14)

我々は，音声対話システムの対話シナリオを作成する際の環境の改善を図るために，音声対話シナリオエディタを開発した．我々が開発・公開している音声対話システム構築ツールキットであるMMDAgentは，様々なプラットフォーム・OS上で動作するが，これに合わせて，シナリオエディタも様々な環境で動作させる必要がある．そこで，我々は，音声対話シナリオエディタをウェブブラウザ上に実装した．このシステムを用いて被験者実験を行ったところ，対話シナリオ編集時の可読性が向上し，シナリオ編集のしやすさも向上した．


Voice interaction system with 3D-CG virtual agent for stand-alone smartphones

本稿では，スタンドアロンのスマートフォンに3D-CGバーチャルエージェントを用いた音声対話システムを提案する． 提案システムは既存のモバイル用音声対話システムとは異なり，スタンドアロンのスマートフォンで音声認識や音声合成を行うことができるため，遅延なく自然に会話することができる． さらに，提案システムは，対話スクリプト，Javaベースのプラグイン，およびAndroid APIによってカスタマイズすることができる． したがって，音声対話システム開発者は提案されたシステムに基づいて簡単にスマートフォン用の元の音声対話システムを作成することができる． 我々は，提案システムのサブセットをオープンソースソフトウェアとして利用可能にした． このシステムは，スマートフォンを使用した人間とエージェントの対話の研究に貢献することが期待される．


A VoIP-based voice interaction system for a virtual telephone operator using video calls

2014 IEEE 3rd Global Conference on Consumer Electronics (GCCE)

我々は，電話オペレータシステム音声対話システムを提案する． Microsoft LyncをVoIPクライアントとして使用して，ビデオ通話を行う． 音声対話システムは，3Dキャラクタを表示し，ビデオ通話を通じてユーザと対話するためにシステムで使用される． この研究では，電話オペレータのインタラクティブなシナリオが大学の従業員データベースから自動的に生成される． このシステムを使用した被験者からの実験結果は，良好なシステム性能を示した．


Construction of crowdsourcing environment for creation of voice interaction scenario


Proposal of voice control-based interactive design method of agent system

2014 IEEE 13th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC)

エージェントシステムは近年のエージェント技術を用いてデザイン・実装されている．しかし，これらのデザインや実装はまだ困難である．エージェントシステムのデザイン・開発をスムーズに行うために，我々は，音声コントロールベースの対話デザイン手法を提案し，これをエージェントリポジトリベースのマルチエージェントフレームワークに適用します．


Development and evaluation of spoken dialog systems with one or two agents through two domains

Almost all current spoken dialog systems treat dialog as that where a single user talks to an agent. On the other hand, we set out to investigate a multiparty dialog system that deals with two agents and a single user. We developed a three person (one user and two agents) and a two person (one user and one agent) dialog system to consider the same dialog tasks, that is, Which do you prefer, udon or ramen (Japanese noodle or Chinese noodle)? and Which do you want to travel to Hokkaido or Okinawa (snowy region or tropical region)? and compared them with respect to user behavior and satisfaction. According to the results of the experiments, the three person dialog system performed better in terms of lively conversation, and user can talk with the agents more like chatting.


Development and evaluation of spoken dialog systems with one or two agents

14th Annual Conference of the International Speech Communication Association (INTERSPEECH-2013)

現存する音声対話システムのほとんどは，ユーザとシステムが一対一の対話である．我々は，多人数対話に興味があり，本研究では，エージェント側を一人または二人にすることで，最大3人対話を行うことができる音声対話システムを開発した．このシステムを用いて，被験者実験を行い，三者対話によって対話感が向上した．


Chat-like Spoken Dialog System for a Multi-party Dialog Incorporating Two Agents and a User

The 1st International Conference on Human-Agent Interaction (iHAI 2013)

現存する音声対話システムは，一対一対話のものがほとんどであるが，我々は，ユーザ一人に対してシステムが二人存在する，三者対話を行う音声対話システムを開発した．このシステムは，ユーザとシステムの二者対話を行うシステムを簡単に拡張したものである．被験者実験の結果，三者対話システムはより良い対話感をユーザに与え，より雑談らしく対話がおこなえるという評価を得た．


Response timing generation and response type selection for a spontaneous spoken dialog system

2009 IEEE Workshop on Automatic Speech Recognition Understanding

もし音声対話システムが人間と同じように自然な応答を返すことができれば，対話をより自然に行うことができる．本研究では，我々は，雑談中の人間の対話行動を模倣する音声対話システムを開発した．このシステムでは，応答の種類として相槌，復唱，共同補完などを行うことができる．また応答タイミングは，オーバーラップやバージインなどを行うことが可能である．被験者実験を行った結果，本システムを用いることで，被験者は音声対話システムに対して親しみを感じていることが示された．


Subjective experiments on influence of response timing in spoken dialogues

Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH 2009

これまでの研究からの対話リズムに関する分析結果の妥当性を検証するため，応答タイミングや他の対話に関する分析結果をもとに対話を作成し，対話の自然性，対話の自然性， 合成音声，および発声の理解の容易さを含を検証するために被験者実験を行った．実験の結果，発話には自然な応答タイミングが存在し，発話内容に応じて適切な応答タイミングが存在していることが示された．


Analysis of relationship between impression of human-to-human conversations and prosodic change and its modeling

9th Annual Conference of the International Speech Communication Association (INTERSPEECH-2008)

もし音声対話システムが人間同士の対話のように自然に応答を返すことができれば，対話はよりスムースになる．人間が対話中に行う韻律制御を音声対話システムに実現させるために，我々は人間同士の対話中に起こる韻律変化と，その対話の印象との関係を分析した．また，この分析結果を元に，韻律制御モデルを構築し，音声対話システムに実装した．


A spoken dialog system for chat-like conversations considering response timing

If a dialog system can respond to a user as naturally as a human, the interaction will be smoother. In this research, we aim to develop a dialog system by emulating the human behavior in a chat-like dialog. In this paper, we developed a dialog system which could generate chat-like responses and their timing using a decision tree. The system could perform collaborative completion, aizuchi (back-channel) and so on. The decision tree utilized the pitch and the power contours of users utterance, recognition hypothesis, and response preparation status of the response generator, at every time segment as features to generate response timing.


Prosody change and response timing analysis in spontaneously spoken dialogs and their modeling in a spoken dialog system

8th Annual Conference of the International Speech Communication Association (INTERSPEECH-2007)

対話システムが人間のように自然な応答ができれば，対話はよりスムーズになる． 人間の音声のの韻律的な振る舞いを模倣することは，コンピュータと人間との自然な会話の実現おいて重要である． 本論文では，協調的で友好的な音声対話システムを開発するために，人間同士の対話においてF0の同期傾向や「盛り上がり」，「親しみ」などの主観的指標について分析した ． また，これらの特徴をモデル化し，相槌の応答タイミングを生成するモデルを構築し音声対話システムに実装した．


感情分析のためのカウンセリングマルチモーダルデータセットの構築および評価

感情分析のためのカウンセリングマルチモーダルデータセットの構築および評価

情報処理学会全国大会講演論文集

情報処理学会全国大会講演論文集

コロナ禍をきっかけとして，オンラインカウンセリングが急激に普及した．オンラインカウンセリングは，細かな表情や声色の変化の認識が難しいことが問題点として挙げられる．カウンセラーの判断を助け，業務効率化のために，クライアントの感情の自動分析が有効である．人間は相手の感情を読み取るとき，声色，表情，発話内容など複数の要素から総合的に判断を行っている．AIによる感情推定も同様に，複数の異なるモダリティを組み合わせて用いるマルチモーダル感情推定により，高精度な感情分析が可能になると考えられる．マルチモーダル感情推定には，学習用データとして，感情のラベルが付与されたマルチモーダルデータセットが必要となる．本研究では，オンラインカウンセリング中のクライアントの感情分析のためのマルチモーダルデータセットを構築し，その評価を行う．本データセットには，カウンセラーによる労務者を対象としたオンラインカウンセリングにおける労務者の様子を収録した動画と，第三者により付与された客観感情ラベルが含まれている．


Segmentation of Dental Panoramic X-ray Images Using the Deep Learning Model TransUNet

深層学習モデル TransUNet を用いた歯科パノラマ X 線画像のセグメンテーション

第22回情報科学技術フォーラム (FIT2023)

第22回情報科学技術フォーラム (FIT2023)

The Institute of Electronics, Information and Communication Engineers and Information Processing Society of Japan

歯科パノラマ X 線画像は歯の診療に使われる画像である．歯科パノラマの照合には専門的な知識が必要であり，歯科医師の負担軽減を目的として歯の自動診断システムの研究が行われてきた．その中で，深層学習技術を用いて歯の識別を行う状態分類モデルが開発されている．本研究では状態分類モデルの入力として必要な歯の輪郭情報を作成するため，深層学習技術を用いて歯科パノラマ X 線画像のセグメンテーションを行う．実験では，歯科クリニックで撮影，ラベル付 けされたデータを取り扱う．セグメンテーションモデルには，近年医療セグメンテーションタスクで成功を収めているTransUNet モデルを用いて実験を行った．


Automatic Classification Method for Dental Implants Using Deep Segmentation Model

深層セグメンテーションモデルによる歯科インプラントの自動分類手法

第22回情報科学技術フォーラム (FIT2023)

第22回情報科学技術フォーラム (FIT2023)

歯科インプラントとは，失った歯を補うための医療機器である．インプラントは，メーカーや種類が様々あり，それぞれで治療法が異なるため，歯科医師は治療時にインプラントの種類を把握しておく必要がある．本研究では，歯科医師の負担軽減を目的として，患者の歯科デンタル X 線画像から深層学習を用いたセグメンテーションモデルによってインプラントの領域を切り取り，画像分類モデルを用いてインプラントの分類を行う．切り抜きの精度は，IoU と Dice 係数でそれぞれ，0.923，0.857 となった．U-Net によってインプラントの領域を切り抜いた画像に対する分類の評価は，正解率，適合率，再現率，F 値がそれぞれ，0.851，0.852，0.884，0.840 となった．


Diagnosis of Teeth Condition in Dental Panoramic X-Ray Images and Validation of Generalization Performance

歯科パノラマX線画像における歯の状態診断及び汎化性能の検証

第22回情報科学技術フォーラム (FIT2023)

第22回情報科学技術フォーラム (FIT2023)

近年, 医療ビッグデータの深層学習技術への活用が盛んに行われており, 医療ビッグデータから診療情報や画像, カルテ情報等を用いて診断結果の提示や診断援助等ができるようになってきた. 本研究では, 歯科医師の負担軽減と診断援助を目的として, 深層ニューラルネットワークアーキテクチャを利用した歯科パノラマ X 線画像における歯の状態診断を行う. 実験では, 共同研究先の歯科クリニックで撮影, ラベル付けされたデータを取り扱う. 歯は複数の状態を持つため, 分類モデルはマルチラベル分類手法を用いて実装する. 結果として, う蝕や根尖病巣の識別が困難であった. また, 未知の撮影機材由来のデータでは精度の低下が見受けられた. そのため, ドメイン汎化手法を用いて, さらなる検証を行った.


インタビュー対話における問い返し文の生成に関する検討

インタビュー対話における問い返し文の生成に関する検討

言語処理学会 第29回年次大会 発表論文集

言語処理学会 第29回年次大会 発表論文集

遠隔勤務をしているとき，遠隔労働者が自分自身のストレスに気づけないことも多い．精神面の健康状態が深刻になる前に自分自身で気づくことができれば，健康を維持することにつながる．本研究では，遠隔労働者が健康状態をセルフチェックするためのバーチャルエージェント対話システムの構築を目的としている．本稿では，対話時に必要となる「問い返し」の生成手法について考察する．


Relationships Between Client Stress and Multimodal Emotion Estimation in Counseling Situations

クライアントのストレスとカウンセリング場面のマルチモーダ ル感情推定の関連性

JSKE 第18回日本感性工学会春季大会講演論文集

JSKE 第18回日本感性工学会春季大会講演論文集

This study aims to develop a technology to detect the degree of stress of remote workers, which has been increasing in recent years, from multimodal data such as video and audio data during interviews. In this paper, we use interview data obtained in preliminary experiments to analyze the relationship between emotions estimated from facial, audio, and verbal information and stress evaluation by interview. Using the emotion estimation results for each modal based on machine learning algorithm as input, we train a model to predict stress evaluation results, evaluate errors, and confirm the validity of stress evaluation using the emotion estimation results. In addition, by clustering the time-series change patterns of the emotion estimation results, we will analyze whether or not there is a relationship between each type of emotion and stress evaluation.

本研究では，近年増加傾向にあるリモートワーカーのストレス度合いを，面接時の映像・音声データなどのマルチモーダルデータから検出する技術の開発を目指す．本論文では，予備実験で得られたインタビューデータを用いて，顔・音声・言語情報から推定される感情とインタビューによるストレス評価との関係を分析する．機械学習アルゴリズムに基づく各モダルの感情推定結果を入力として，ストレス評価結果の予測，エラー評価，感情推定結果を用いたストレス評価の妥当性確認を行うモデルを学習する．また，感情推定結果の時系列変化パターンをクラスタリングすることで，各感情の種類とストレス評価との関連性の有無を分析する．


Development of health maintenance support system using spoken dialogue robots

音声対話ロボットを用いた健康維持支援システムの開発

HAI シンポジウム2023 講演論文集

HAI シンポジウム2023 講演論文集

Lifestyle-related diseases account for 30% of all medical costs and 60% of all deaths. It is important to maintain good lifestyle habits to protect one's health. In recent years, an increasing number of services and devices allow voice input. Speech recognition makes it easier to use computers. In our study, we develop a system that helps people improve their lifestyle habits by using a web application that analyzes the content of conversations with an interactive robot and suggests lifestyle habits and other information. Using the developed system, we actually collected lifestyle habits, analyzed them, and evaluated the system.

生活習慣病は医療費全体の3 割，死亡者の6 割を占めている．よい生活習慣を送ることが健康を守るうえで重要である．また，近年音声で入力できるサービスや機器が増えてきている．音声認識を使えば，より手軽に計算機を扱えるようになる．本研究では，対話ロボットとの対話内容を分析して生活習慣などを提示するWeb アプリケーションを用いて，生活習慣の改善を助けるシステムを開発する．開発したシステムを用いて実際に生活習慣を収集し，生活習慣の分析とシステムの評価を行った．


人工知能学会研究会資料 言語・音声理解と対話処理研究会

人工知能学会研究会資料 言語・音声理解と対話処理研究会

EMOtive A.I. is an autonomous dialogue system that combines the latest image recognition, voice recognition, speech synthesis, dialogue AI, action and drawing control based on psychological knowledge, and character expression by CG artists. EMOtive A.I. is an autonomous dialogue system that combines the latest image recognition, speech recognition, speech synthesis, and dialogue A.I., as well as behavior and drawing control based on psychological knowledge and character expression by CG artists. Following the interview and the real-time dialogue demonstration with Kaiyodo Senmu at the Wonder Festival 2022 summer main stage, the demo system will be exhibited at the Shibuya Ward event SIW2022 in November, where it interacted with any general user at the Seibu Shibuya store.

2015年に発表され「不気味の谷を超えた存在」と話題になった3DCGキャラクタ"Saya"をベースに，ヒトが親しみを感じる対話エージェントを実用化し，未来の街やモビリティがヒトに寄り添った世界となることを目指している．EMOtive A.I.は，最新の画像認識・音声認識・音声合成・対話AIや，心理学的知見に基づく行動及び描画制御，CGアーティストによるキャラクタ表現が融合した自律的な対話システムであり，ユーザの想いを言葉にして引き出すことを一つの目標としている．2022年3月の謎解きクリエイター松丸亮吾氏へのAIインタビュー，ワンダーフェスティバル2022夏メインステージでの海洋堂センム氏とのリアルタイム対話デモにつづき，11月に開催された渋谷区のイベントSIW2022にて，西武渋谷店で任意の一般ユーザーと対話したデモシステムを展示する．


Construction of a Dialogue Breakdown Detector for Spoken Dialogue Systems

音声対話システムにおける対話破綻検出器の構築

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

However, it is often the case that the system responds inappropriately to the user's utterances, resulting in the breakdown of dialogue. In recent years, research has been conducted to solve this problem, focusing on methods for detecting dialogue breakdowns based on linguistic information, with particular attention paid to chat-based dialogue systems. On the other hand, there are very few examples of research on speech-based dialogue systems, and further progress is desired.In this paper, we construct a detector model composed of neural networks and aim at estimating dialogue breakdowns based on acoustic features, which are information unique to spoken dialogue.

対話システムの普及が進み, ユーザは手軽にシステムと の対話を楽しむことが可能となったが, ユーザの発話に対 してシステムが不適切な応答をしてしまい, 対話が破綻し てしまうケースがしばしば見られる. 近年, この問題を解決 するために言語的な情報から対話破綻の検出を目指す手法 を中心に研究が進められており, 特にチャットベースの対 話システムを対象とした研究が盛んに行われている. 一方 で, 音声ベースの対話システムの研究例は非常に少ないた め, 更なる進展が望まれる. 本稿では, ニューラルネットで構成される検出器モデル を構築し, 音声対話特有の情報である音響特徴量から対話 破綻を推定することを目指す.


BERTによる雑談対話話題拡張

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

Dialogue systems require many response sentences when a person converses with a system, but preparing many response sentences requires a lot of manpower and is costly. In this study, we propose a method for automatically expanding the topics of response sentences by using text data available on the Internet, a unique expression extractor, and BERT[1].

対話システムは人とシステムが会話する際に応答文が多 く必要であるが，多くの応答文を用意することは多くの人 手が必要になりコストが大きい．本研究ではインターネッ トに存在するテキストデータと固有表現抽出器，BERT[1] を用いることにより自動で応答文の話題を拡張手法を提案する．


Evaluation of End-to-End Disfluency Shaping Speech Recognition System Using Spoken Dialogue

End-to-End 非流暢整形音声認識システムの対話音声による評価

Automatic Speech Recognition (ASR) is now widely used, has been extensively studied, and continues to improve significantly in accuracy. In particular, end-to-end (E2E) models, in which the mapping from input to output is learned in an integrated manner, are the mainstream ASR models these days [1]. Our everyday speech contains fillers such as "uh," "um," etc., which are one of the causes of misrecognition in speech recognition [2]. They are also unnecessary when using transcribed data. In order to deal with such nonfluent acoustic features, we replaced the filler and slurring parts of transcribed Japanese spontaneous speech with nonfluent labels, which we call symbols (filler "#", slurring "@"), and trained the ASR model as a single recognition target like a character in E2E. We constructed an "end-to-end non-fluent formatted speech recognition system," which obtains recognition results from non-fluent speech by shaping the non-fluent parts of the speech. We conducted evaluation experiments using conference lectures and mock lectures, and showed improvement in recognition accuracy [3, 4]. In this paper, we present an evaluation experiment using dialogue speech to demonstrate the effectiveness of the system for spontaneous speech of another domain.

自動音声認識 (Automatic Speech Recognition: ASR) は現在広く普及しており，その研究も盛んに 行われ，著しい精度の向上を続けている．特に，入力 から出力への写像を統合的に学習する，End-to-End (E2E) 型のモデルが最近の ASR モデルの主流である [1]．私たちの普段話す音声は，「えー」「あのー」等の フィラーや，言い淀みを含んでおり，音声認識の際， 誤認識の原因の一つとなっている [2]．また，これら は文字に起こしたデータを利用する場合に不要な情報 である．このような非流暢的音響特徴を処理するため に，我々は，日本語の自発的な発話において，書き起 こしのフィラーや言い淀み部分を非流暢ラベルに置き 換え，それを記号 (フィラー「#」，言い淀み「@」) とし，文字のように一つの認識対象として ASR モデ ルに E2E で学習させることで，非流暢な音声から， 非流暢部分を整形した認識結果を得る「End-to-End 非流暢整形音声認識システム」を構築した．学会講 演・模擬講演音声で評価実験を行い，認識精度の改善 を示した [3, 4]．本稿では，より自発性の高い別ドメ インの発話音声における，このシステムの有効性を 実証するために，対話音声による評価実験を行う．


Design of Encoder-Decoder speech recognition models augmented with out-of-domain acoustic information

ドメイン外音響情報で補強した Encoder-Decoder 音声認識モデルの設計

While various methods have been studied to improve recognition accuracy by augmenting the language information inside a speech recognition model with an external language model, there has been little research on augmenting the acoustic information in a speech recognition model. Therefore, we applied the idea of DRA to reinforce the acoustic information inside the speech recognition model with out-of-domain acoustic information. In the proposed method, the out-of-domain acoustic information extracted by subtracting the output probability of the out-of-domain language model from that of the out-of-domain speech recognition model is added to the target-domain speech recognition model.In our experiments, we used the trans- former model and RNN model as speech recognition models to verify the proposed method. Using the Japanese academic lecture speech recognition model and the Japanese simulated lecture speech recognition model, we calculated CERs and cross-domain CERs for each domain and compared them with the baseline and Shallow Fusion.

音声認識モデル内部の言語情報を, 外部言語モデル を用いて補強することで認識精度を改善する手法は 様々検討されている一方で, 音声認識モデルの音響情報を補強する研究はあまり行われていない．そこで 我々はDRA の考え方を応用し, 音声認識モデル内部の音響情報をドメイン外音響情報で補強しようと考えた．提案手法では, ドメイン外音声認識モデルの出力確率から, ドメイン外言語モデルの出力確率を減算することで抽出したドメイン外音響情報を, ターゲッ トドメイン音声認識モデルに加算する． 我々の実験では, 音声認識モデルとして, Trans- former モデルおよび RNN モデルを使用し, 提案法 を検証した．日本語学術講演音声認識モデルと日本語模擬講演音声認識モデルを用いて, それぞれのドメ インに対する CER およびクロスドメイン CER を算 出し, ベースラインおよび Shallow Fusion との比較 を行なった．


Acoustic characteristics of the elderlies in the super-elderly speech corpus EARS and S-JNAS

超高齢者コーパスとS-JNAS を用いた高齢者音声の音響的特徴の分析

Speech recognition is a convenient modality for elderly people who have limited fingers and eyesight to operate smartphones and other devices, but it has been reported that the accuracy of speech recognition decreases with age [1, 19]. Therefore, we have developed a large corpus of elderly adults' speech (EARS: Elderly Adults Read Speech), especially those over 80 years old, and used it to create an acoustic model to improve the recognition accuracy [2]. Although elderly people's speech has various acoustic features compared to those of adolescents and middle-aged people [5, 6, 7], there are not many reports on very elderly people. In this paper, we investigated the age-related changes of fundamental frequency (Fo), formant frequency, laryngeal noise, MFCC, and vowel centralization in the EARS corpus and the S-JNAS corpus of elderly speakers aged 60-98 years.

手指や視力が不自由な高齢者にとって音声認識は， スマートフォンなどの操作に便利なモダリティであ るが，高齢になるほど音声認識精度が低下すること が報告されている [1, 19].そこで我々は，特に 80 歳 以上の話者を多く擁する高齢者音声の大規模コーパ ス(EARS:Elderly Adults Read Speech) を構築し， 音響モデル作成に利用することで認識精度の向上を 図ってきた [2].高齢者音声は青年・中年のそれと比 べ多様な音響的特徴を有するが [5, 6, 7]，超高齢者 についての報告は多くない.そこで本稿では超高齢 者コーパスである EARS ならびに高齢者音声コーパ ス S-JNAS 話者の 60-98 歳を対象として，基本周波 数(Fo)，フォルマント周波数，喉頭雑音，MFCC, 母音中心化の年齢による推移を調査した.


SNS の投稿内容に基づく生活習慣病発症リスクの分析

SNS の投稿内容に基づく生活習慣病発症リスクの分析

言語処理学会 第28回年次大会 発表論文集

言語処理学会 第28回年次大会 発表論文集

The Association for Natural Language Processing

国内における死亡原因は，がん・循環器疾患・糖尿病などで全体の約 6 割を占めている．これらの病気はいずれも食事・運動・睡眠などの生活習慣と深い関りがあり，生活習慣病と呼ばれている．生活習慣病には自覚症状がほとんどないため，病気の悪化に気づきにくいという特徴がある．本研究では，より簡易的に生活習慣病を予防するシステムの構築を目指し，ソーシャル・ネットワーキング・サービス(SNS)を用いて，ユーザの投稿内容から食事・運動・体調・精神状態に関するツイートの分析を行った．調査の結果，本研究の成果がユーザの投稿内容から生活習慣病発症の危険因子を検出するシステムの構築につながることが分かった．


Designing an end-to-end speech recognition model with off-target acoustic information

タスク外音響情報を付加した End-to-End 音声認識モデルの設計

従来の音声認識器では DNN-HMM 音声認識モデル が使用されていたが，音響，辞書および言語モデル などの様々なモジュールで構成されている非常に複雑 なシステムであった.一方で End-to-End 音声認識は 複雑な処理を単一のニューラルネットワークを用いて 表現可能であるため，従来の音声認識システムを大 幅に簡素化することが可能となった．特に Encoder- Decoder モデルは音声認識や機械翻訳を含む自然言 語処理タスクにおいて，認識精度を著しく改善してい る. Encoder-Decoder 音声認識モデルは, 十分な量の 学習データがあれば, 高精度なモデルを作成すること が可能だが, 大量のテキストデータで学習した言語モ デルを併用することで, 豊富な言語情報を活用でき, さらに高い性能を得ることができる．音声認識モデ ルと言語モデルの統合方法として, Shallow Fusion[1] と呼ばれる手法がある．他にも, Deep Fusion や Cold Fusion も提案されている．このように, 音声認識モ デルと言語モデルの両方を利用する様々なアプロー チが存在する．近年, Shallow Fusion を確率的に改善 した Density Ratio Approach[2] と呼ばれる手法が提 案されており, この手法は音声認識モデル内部で学習 される言語情報である ``暗黙の言語情報'' を除去した 時の出力確率にターゲットドメイン言語モデルの出 力確率を加算することにより, 音声認識モデルの言語 情報を差し替えることが可能である．Density Ratio Approach に対して様々な研究が行われており, 既に 英語, スペイン語, イタリア語, 日本語において有効 であることが証明されている．[3, 4, 5] 音声認識モデルの認識精度を言語モデルによる文 脈情報の増強で改善する手法が様々検討されている 一方で, 音声認識モデルの音響情報を増強する研究は あまり行われていない．そこで我々は Density Ratio Approach の考え方を応用し, ドメイン外の音響情報 を付加するための手法を提案する．この手法では, ド メイン外音声認識モデルの出力確率から, ドメイン外 言語モデルの出力確率を減算することで抽出したタ スク外音響情報をターゲットドメイン音声認識モデ ルに加算する． 我々の実験では, 音声認識モデルとして, Trans- former モデルを使用した．日本語学術講演音声認識 モデルと日本語模擬講演音声認識モデルを用いて, そ れぞれのドメインに対する CER を算出した．いずれ の実験においても, Shallow Fusion および Baseline の認識精度を改善することはできなかった．


End-to-End Speech Recognition with Hesitation Identification and Removal Based on Disfluency Labeling

非流暢ラベルを用いた言い淀み整形End-to-End音声認識

The accuracy of Automatic Speech Recognition (ASR) continues to improve significantly with the introduction of end-to-end (E2E) models [1], but non-fluent acoustic features such as fillers are one of the main causes of misrecognition in speech recognition for spoken words.In speech recognition for spoken language, nonfluent acoustic features such as fillers are one of the main causes of misrecognition.To address this problem, we have developed a number of methods, including one that directly models the problem by using a Hidden Markov Model (HMM) or an N-gram language model [2], one that integrates a hidden event model with an acoustic or language model [3], one that uses a garbage model [4], and one that uses an acoustic or language model [5]. Garbage model [4], and other HMM-based methods have been proposed.These methods require capturing a wide range of acoustics within the structure of the HMM, making it difficult to design models.There are also methods [5][6] that identify faltering words and fillers by acoustic features and remove them before recognition, but in these approaches, the accuracy of detection by acoustic features may affect the accuracy of speech recognition.Lou et al. [7] attempted to have a recognizer produce fluent translations directly from nonfluent speech, and they used Connectionist Tempo- ral Classification (CTC), Long Short-Term Memory (LSTM), and E2E ASR. Memory (LSTM), or Transformer-based ASR models could produce fluent transcriptions without explicitly detecting non-fluent parts. In [8], the RNN-Transducer model explicitly labels and recognizes the non-fluent parts of speech as non-fluent parts of speech.In this study, in spontaneous speech in Japanese, we replaced the filler and the slurring parts of the transcriptions with non-fluent labels, and used them as symbols (in this study, slurring "@" and filler "#"), and recognized them as one recognition target like characters in the Joint CTC-Attention [9] Transformer The ASR model is trained with E2E to obtain recognition results from non-fluent speech by shaping the slurring.

End-to-End (E2E) 型のモデルの導入により，自動 音声認識 (Automatic Speech Recognition:ASR) の 精度は著しい向上を続けている [1] が，話し言葉を対 象とする音声認識では，フィラーをはじめとする非流 暢的音響特徴が誤認識の主要な原因の一つとなって いる． この問題に対し，言い淀みや語断片，フィラー等 をラベル化し，隠れマルコフモデル (Hidden Markov Model : HMM) や N-gram 言語モデルで直接モデル 化する方法 [2] や，隠れイベントとして音響モデルや 言語モデルと統合的にモデル化する方法 [3]，Garbage model を使った方法 [4] など，HMM ベースの方法が 提案されている．これらは HMM の構造の中で，広 範囲の音響を捉える必要があるため，モデルの設計が 困難である．また言い淀みやフィラーを音響的特徴に よって識別し，認識の前に除去する方法 [5][6] もある が，これらのアプローチでは音響的特徴による検出 精度が音声認識の精度に影響を与える可能性がある． E2E ASR の研究もいくつか行われている．Lou ら [7] は，非流暢発話から認識器が流暢な翻訳を直接生成 することを試みており，彼らは Connectionist Tempo- ral Classification (CTC)，長・短期記憶 (Long Short- Term Memory : LSTM)，または Transformer ベー スの ASR モデルが明示的な非流暢部分の検出なしに 流暢な書き起こしを生成できると期待した．[8] では， RNN-Transducer モデルにおいて，言い淀みを明示 的にラベル付けし，言い淀みとして認識している． 本研究では，日本語の自発的な発話において，書き 起こしの言い淀みやフィラー部分を非流暢ラベルに置 き換え，それを記号 (本研究では言い淀み「@」，フィ ラー「#」) とし，文字のように一つの認識対象とし て Joint CTC-Attention [9] Transformer ASR モデ ルに E2E で学習させることで，非流暢な音声から， 言い淀みを整形した認識結果を得る．


タスク外音響情報を付加したEnd-to-End音声認識モデルの設計

While various methods have been studied to improve the recognition accuracy of speech recognition models by enhancing contextual information using language models, there has been little research on enhancing acoustic information in speech recognition models.Therefore, we propose a method to add acoustic information outside the domain by applying the Density Ratio Approach.In this method, acoustic information outside the task domain, which is extracted by subtracting the output probability of the language model outside the domain from the output probability of the speech recognition model outside the domain, is added to the target domain speech recognition model.In our experiments, we used the trans- former model as the speech recognition model.We calculated CERs for each domain using the Japanese academic lecture speech recognition model and the Japanese simulated lecture speech recognition model.In both experiments, we could not improve the recognition accuracy of Shallow Fusion and Baseline.

音声認識モデルの認識精度を言語モデルによる文 脈情報の増強で改善する手法が様々検討されている 一方で, 音声認識モデルの音響情報を増強する研究は あまり行われていない．そこで我々は Density Ratio Approach の考え方を応用し, ドメイン外の音響情報 を付加するための手法を提案する．この手法では, ド メイン外音声認識モデルの出力確率から, ドメイン外 言語モデルの出力確率を減算することで抽出したタ スク外音響情報をターゲットドメイン音声認識モデ ルに加算する． 我々の実験では, 音声認識モデルとして, Trans- former モデルを使用した．日本語学術講演音声認識 モデルと日本語模擬講演音声認識モデルを用いて, そ れぞれのドメインに対する CER を算出した．いずれ の実験においても, Shallow Fusion および Baseline の認識精度を改善することはできなかった．


自然な対話を可能とする音声対話システムの実現に向けた研究

自然な対話を可能とする音声対話システムの実現に向けた研究

IEEE札幌支部合同学術講演会

IEEE札幌支部合同学術講演会


言い淀みを考慮したEnd-to-End音声認識

言い淀みを考慮したEnd-to-End音声認識

第19回情報学ワークショップ(WiNF2021)

第19回情報学ワークショップ(WiNF2021)


Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法

Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法

第19回情報学ワークショップ(WiNF2021)

第19回情報学ワークショップ(WiNF2021)


Lifestyle Extraction from Corpus of Disease Fighting Blogs

闘病ブログコーパスからの生活習慣の抽出

Proceedings of 2021 Shikoku-Section Joint Convention Record of the Institutes of Electrical, Electronic, and Information Related Engineers

令和3年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

令和3年度 電気・電子・情報関係学会四国支部連合大会

令和3年度 電気・電子・情報関係学会四国支部連合大会

闘病ブログは，患者の生活に関する行動情報(病状・食事・運動)について書かれているものがあり，疾患への理解や納得を得られるものも見られ，同病者の励 みとなっている．闘病ブログコーパスとは，闘病ブログを収集し，記事のタグ付けを行ったものである．本研究では年々増加傾向にある2 型糖尿病患者による闘病ブログコーパスから，闘病活動に関わる生活習慣の分析を行う．この分析結果より，病状悪化の危険因子や病状改善の手がかりとなる要素を，非医療従事者が自然言語処理および機械学習手法を用いて発見し，闘病者や糖尿病予備軍の人々に助言できるシステムの構築を目指す．


Response control of 3D CG Agent Saya in spoken dialog with human

3D CGエージェントSayaとの対話における応答制御

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


Developing a Spoken Dialog System with Real-time Control Using ROS

ROSを利用したリアルタイム制御が可能な音声対話システムの構築

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

近年，音声対話システムがパソコンやスマートフォ ンなどに標準搭載されるようになり，その存在は大変 身近なものとなってきている．しかし，これらの音声 対話システムにおいては，実際の人間同士の会話で見 られる相槌やオーバーラップなどの応答は未だ実現 されていない. ユーザ発話に対してシステムから割り 込んで応答を行うような対話を実現させるためには， リアルタイムの応答生成・応答タイミング決定を行う ことが可能な音声対話システムを構築する必要があ る．つまり，現在普及しているシステムでは，システ ムの設計から根本的に見直す必要があり，あいづちや オーバーラップを伴う対話の実現は困難である． 本研究で構築した音声対話システムは，構成モジ ュールが独立し，並列に動作する．さらにそれらを密 にリアルタイムに連携制御するために，モジュール 間の通信にはROS のアーキテクチャを導入した．ま た，対話内容の表示や音声解析結果のグラフィカルな 表示などに対応したダッシュボードも構築した．


Acoustic characteristics of the super-elderlies in the super-elderly speech corpus EARS

超高齢者音声コーパスEARSにおける超高齢者の音響的特徴

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

近年，介護の人手不足を背景とした高齢者とコミュ ニケーションができる介護ロボットのニーズが高まっ ている．また音声認識は特に手指や視力が不自由な高 齢者にとって，スマートフォンなどの操作に便利なモ ダリティであり，高齢者音声の認識精度の一層の向上 が求められている．しかし，高齢者の音声認識精度は 青年・中年期のものと比べてword error rate (WER) が低下することが報告されている [1, 2, 3]．これらの 背景から，我々は高齢者音声の音響モデル作成に利 用するために，特に 80 歳以上の話者を多く擁する高 齢者音声の大規模コーパス(EARS:Elderly Adults Read Speech) を構築中である [4]． 高齢者音声は青年・中年のそれと比べ多様な変化が みられるが [5, 6, 7]，日本語話者の超高齢者について の報告は多くない．そこで本稿では超高齢者コーパス である EARS ならびに高齢者音声コーパス S-JNAS 話者(60-98 歳)の音響的特徴として，話速および母 音継続長を測定した． また，EARS を利用した高齢者音声認識(HMM-DNN および Transformer ベースの End-to-end)の 精度向上の簡便な方法として，EARS 音声に加工を 施さずにそのまま複数回繰り返して音響モデル作成 に使用した結果を報告する．


Language model replacement method for Encoder-Decoder speech recognition model which excludes im- plicit linguistic information

Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


End-to-End Spontaneous Speech Recognition Considering Hesitation

言い淀みを考慮した自由発話のEnd-to-End音声認識

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


Cross-lingual, multi-speaker text-to-speech synthesis for low resource languages

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


How language similarity affects the Mongolian ASR using cross-lingual transfer learning

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


Language Model replacement method for end-to-end speech recognition which excludes implicit linguistic information

End-to-end音声認識モデルにおける暗黙的言語情報の置換法

Recently, end-to-end speech recognition has attracted much attention because it is faster and more concise than conventional DNN-HMM speech recognition. It has also been reported that recognition performance is improved by employing a language model trained with a large amount of text data. Based on these observations, we propose a new language model integration method which we call Language Model Replacement. In our proposed method, we use a pre-trained speech recognition model and a pre-trained language model. In contrast to the Shallow Fusion method, our proposed method can replace the linguistic information implied in the ASR model with independently trained model based on Bayes' rule. In our experiments, the ASR linguistic information implicitly trained using the Japanese language Academic Presentation Speech corpus is replaced with the language model trained using the Japanese language Simulated Public Speech corpus. We then compare ASR performance for Japanese speech recognition tasks using the Character Error Rate (CER). Our proposed Language Model Replacement method achieved 1.3 percent lower CER in comparison to the Shallow Fusion method.

近年，End-to-end 音声認識が従来の DNN-HMM 音声認識と比べ，高速かつ簡潔であることから注目されている．さらに大量のテキストデータによって学習された言語モデルを併用することで，認識精度が向上すると報告されている．本稿では，音声認識モデルと言語モデルの一般的な統合方法とされる Shallow Fusion を応用した新しい言語モデルの統合方法である Language Model Replacement を提案する．提案法では，事前学習済み音声認識モデルと事前学習済み言語モデルを用いる．提案法ではベイズ則に基づき，音声認識モデルに暗黙的に含まれる言語情報を差し替えることが可能となっている．我々の実験では，学術講演音声データを使用して学習された音声認識モデル内部の言語情報を，模擬講演テキストデータで学習した言語モデルによって差し替えた．模擬講演ドメインにおける提案法の CER は Shallow Fusion での認識精度と比較して，1.3 ポイント上回った．


End-to-End Speech Recognition of Non-fluent Speech by Hesitation Labeling

言い淀みラベル付けによる非流暢発話のEnd-to-End音声認識

Conventional ASR systems show high accuracy for fluent speech, but the accuracy is low for non-fluent speech such as that of the elderly. In this study, we experimented with end-to-end speech recognition to see how the accuracy of non-fluent speech is affected by labeling the speech as "stilted" and making it a target of recognition. The results showed that the sentence error rate was improved in all the evaluated data, and the results were valid, indicating that the model can learn the meaning of the labels.

従来のASRシステムでは流暢な発話音声においては高い精度を発揮するが,高齢者音声等の非流暢発話では低くなってしまう.本研究ではEnd-to-End音声認識において,言い淀みをラベル付けして認識対象とすることによって,非流暢発話の精度がどう変化するか実験を行った.その結果,文誤り率はすべての評価データで改善し,モデルがラベルの意味を学習できていることが期待できる有効な結果を得られた.


Building low-resource speech recognizer: Transfer learning and data augmentation

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

Sequence-to-sequence (S2S) models are now widely used for end-to-end speech processing, especially in Automatic Speech Recognition (ASR) applications. But recently, a hybrid attention/CTC architecture which uses selfattention to model temporal context information has achieved significantly lower Word Error Rates (WER) [4] than S2S based systems. While attention-based encoder-decoder architectures are used in the best performing end-to-end ASR systems, these approaches cannot be easily adapted for low-resource ASR [3], for use with languages that lack large, well-annotated speech corpora. Our main goal in this paper is the development of a low-resource Mongolian ASR system. The training dataset we used contains 23 hours of continuous Mongolian speech from 217 speakers, which is much less data than what is normally needed to train conventional ASR systems. Lowresource ASR approaches typically rely on data augmentation (DA), which can be implemented at low cost. In this study, we also evaluate several multilingual transfer learning methods that use foreign language corpora to supplement lowresource target language training. We tested multiple DA and multilingual training approaches and compared their effectiveness using ASR character and word error rates (CER/WER) to measure performance.


Text to speech system for low resource languages by cross-lingual transfer learning and data augmentation

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this paper we proposed various TTS systems which contain both a spectrogram prediction network and a neural vocoder, for use when only a small amount of target data is available. We trained some models using only transfer learning and some using only data augmentation, to test how each method affected the naturalness of the output of the TTS model. However, we found that training the TTS model using both methods improved performance, reducing the gap between our low-resource model and the baseline M-MN model, which was trained with a larger amount of original target speech data. We also trained the Parallel WaveGAN vocoder using the same augmented data. As a result, our proposed method achieved almost the same speech quality as the vocoder trained with the entire corpus of target language data.


Developing a Japanese End-to-End Speech Synthesis Server Considering Accent Phrases

アクセント句を考慮した日本語 End-to-End 音声合成サーバの構築

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

Natural speech synthesis is one of the most important functions for interactive robots and information guidance systems. In order to generate high-quality synthesized voice, it is desirable to be able to use a state-of-the-art end-to-end speech synthesizer that assumes abundant computational resources, but it is not realistic to drive such a speech synthesizer on devices with limited computational resources such as robots, IoT devices, and smartphones. To solve this problem, cloud-based speech synthesis APIs such as Google Cloud's Text-to-Speech API*1 and Amazon Polly API*2 can be used, but they are not suitable for running robots and systems in environments where web access is not available. However, it is not suitable for running robots and systems in environments without web access. Therefore, in this research, we propose a high-quality Japanese speech synthesis server that can run within a LAN. This server runs on a GPU machine, receives input text via socket communication, generates natural synthetic speech using an end-to-end speech synthesizer, and sends it back to the client. Since not only the waveform information of the synthesized speech but also the time information of each phoneme in the synthesized speech is transmitted, it can be used for lip-syncing of CG avatars [1] or humanoid robots. In addition to the phoneme sequence of the input text, this server also explicitly inputs the accent phrase information extracted by g2p to the Text2Mel speech synthesizer. This makes it possible to produce synthesized speech with more natural intonation than a standard end-to-end speech synthesizer that takes only phonetic strings as input. The speech synthesis server described in this paper will be released as open source software*3.

対話ロボットや情報案内システムにおいて，自然な 音声合成は重要な機能の一つである．高品質な合成音 声を生成するためには，豊富な計算資源を前提とした 最先端の End-to-End 型音声合成器を利用できること が望ましいが，ロボットや IoT 機器，スマートフォンと いった計算資源の限られたデバイス上でそのような音 声合成器を駆動することは現実的ではない．こうした 問題に対し，Google Cloud の Text-to-Speech API*1 や，Amazon Polly API*2といったクラウドベースの 音声合成 API を利用する方法も考えられるが，Web に アクセスできない環境でロボットやシステムを動作さ せる場合には不向きである．そこで本研究では，LAN 内で動作する高品質な日本語音声合成サーバを提案す る．本サーバは GPU マシン上で動作し，ソケット通 信によって入力テキストを受け取り，End-to-End 型 音声合成器を用いて自然な合成音声を生成し，クラ イアントに送り返す．合成音声の波形情報だけでな く，合成音声中の各音素の時刻情報も併せて送信され るため，CG アバター [1] やヒューマノイドロボット のリップシンクに用いることも可能である．また，本 サーバでは，入力テキストの音素列に加えて，g2p に よって抽出されたアクセント句の情報も音声合成器の Text2Mel に明示的に入力する．これにより，音素列 のみを入力とする標準的な End-to-End 音声合成器よ りも自然なイントネーションの合成音声を生成するこ とができる．本稿で述べた音声合成サーバは，オープ ンソースソフトとして一般公開される予定である*3．


Development of a multimodal dialog system with photorealistic CG agent

フォトリアルCGエージェントとのマルチモーダル対話システムの構築

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

When we think of the future human-machine cooperative society, an important issue is how natural and easy it is for machines and humans to communicate with each other. We believe that having a machine-side interface that looks as close to a human as possible and interacts as close to a human as possible is one of the ways to solve these problems. Therefore, we are focusing on "Saya," a 3D computer graphics system that is indistinguishable from a real human being and operates realistically in video images, and are constructing a system that can perform voice and multimodal dialogue using Saya as an agent. In this paper, we introduce the whole picture of Saya and the dialogue system we have developed, and give an overview of the speech recognition, speech synthesis, image recognition, and interaction control technologies used in the system.

将来の人間-機械協奏社会を考えたとき， 機械と人間がいかに自然で容易にコミュニケ ーションできるかが重要な課題となる．機械 側のインタフェースが限りなく人間に近い姿 をし，人間に近い対話をすることは，こうし た課題の解決法の一つの方法であると考える． そこで我々は，本物の人間と区別がつかない レベルの 3D CGで描かれ，映像内でリアルに 動作する「Saya」に注目し，Saya をエージェ ントとして音声・マルチモーダル対話を行え るシステムの構築を行っている． 本稿では，Saya および構築した対話システ ムの全体像を紹介するとともに，そこで用い られている音声認識・音声合成・画像認識・ インタラクション制御技術の概要を説明する．


Construction of EARS, a Speech Corpus for the Elderly, and Preliminary Study of Its Application to Speech Recognition

超高齢者音声コーパスEARSの構築と音声認識への利用の予備検討

Since the speech of the elderly has several features different from those of the general population, the recognition accuracy of the elderly is currently inadequate. In order to improve the accuracy, a large amount of speech data of the elderly is necessary. The S-JNAS, which has an average speaker age of 67.6 years, is widely used as a large-scale corpus of elderly speech. The S-JNAS, which has an average age of 67.6 years, has been widely used as a large-scale corpus of speech for the elderly. However, since there is a large age difference between the average life expectancy of the elderly in Japan and that of the Japanese population, we have started to construct a corpus of speech for the very elderly (EARS: Elderly Adults Read Speech). The design of the corpus is based on S-JNAS, and to date, we have collected and compiled a database of the speech of 121 people (average age: 83.4 years). In this paper, we describe the specifications of the corpus, and also report a preliminary study of the acoustic model of elderly speech using this corpus.

高齢者の音声は一般成人と異なる複数の特徴を持つため，その認識精度は現在のところ不十分と言わざるを得ない．その精度向上には大量の高齢者音声データが必要であり，大規模な高齢者音声コーパスとして，話者の平均年齢67.6歳のS-JNASが汎用されている．しかしげ内の日本の平均寿命との間に大きな年齢差が生じていることから，我々はと超高齢者を対象とした音声コーパス(EARS: Elderly Adults Read Speech)の構築を開始した．コーパスのデザインはS-JNASを参考にし，現在までに121名(平均年齢:83.4歳)の音声を収集・データベース化した．本報告ではその仕様について述べるとともに，本コーパスを用いた高齢者音声の音響モデルの予備的検討についても報告する．


Tooth detection and segmentation from panoramic radiographs using Mask R-CNN

Mask R-CNNを用いたパントモ画像からの 歯牙検出及びセグメンテーション

令和2年度電気・電子・情報関係学会四国支部連合大会 講演論文集

令和2年度電気・電子・情報関係学会四国支部連合大会 講演論文集

In Japan, the number of diagnostic items in dental diagnosis is considerably larger than in other countries, and it is necessary to reduce the burden of diagnosis on dentists because it is time-consuming for dentists to write dental formulae from scratch. Since interpretation of pantomime images is essential for diagnosis, understanding of dental health status, and planning of treatment, processing of pantomime images is an important issue for automation. In this study, tooth detection and segmentation from pantomime images are performed automatically. In this paper, we describe the method.

歯科診断における日本の診断項目数は海外と比べてかなり多く，歯科医師が 1 から歯式を書くこ とは手間がかかるため，歯科医師の診断負担軽減 が必要である．診断，歯の健康状態の把握，治療 計画の立案にはまずパントモ画像の解釈が不可欠 であることから，パントモ画像の処理は自動化の 重要な課題である． 本研究では自動でパントモ画像から歯牙検出・ セグメンテーションを行う．本稿では，その方法 について述べる．


A Study on the Analysis of Comics Using Deep Learning

深層学習を用いたコミックの分析に関する研究

令和2年度電気・電子・情報関係学会四国支部連合大会 講演論文集

令和2年度電気・電子・情報関係学会四国支部連合大会 講演論文集

The way we enjoy manga, a Japanese subculture, has been changing in recent years. In recent years, the way we enjoy manga, a Japanese subculture, has been changing. Looking at the sales trends in the market, we can see that e-books, which are read on electronic devices instead of paper books, are becoming popular. However, while smartphones and other small-screen devices are highly portable and easy to use, they are too small to display comic books, which are usually in paperback or A5 format, page by page. However, it is too small to display comics, which are usually in paperback or A5 size, page by page. If it is possible to extract and rearrange frames, it may provide an optimal reading environment for readers. In this study, we investigate the detection of coma regions to solve this problem.

日本のサブカルチャーである漫画の楽しみ方が近年変化している．市場の売り上げ推移を見ると 紙の書籍ではなく電子端末で閲覧する電子書籍が 普及しつつあることがわかる．しかしスマートフ ォンを始めとする画面の小さい端末では携帯性が 高く扱いやすい反面，通常文庫判∼A5 判である漫 画をページ単位で表示するには小さすぎる． コマの抽出及び並び替えが可能であるなら読者にとって最適な読書環境を提供できる可能性があ る．そこで，本研究ではこの問題を解決するべくコ マ領域の検出について検証する．


Construction of End-to-End Japanese Speech Synthesis System with Emotional Expression

感情表現が可能なEnd-to-End日本語音声合成システムの構築

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this research, we develop a Japanese speech synthesis system that can express emotions using a deep learning-based method.In this study, we construct a Japanese speech synthesizer that can express emotions using a method based on deep learning. Using Tacotron2 as a reference, we aim to build a speech synthesizer with expressive power close to that of human voice. The final training data is the voice of Ms. Tomonatsu Toto from the statistical corpus of voice actors (10 minutes each of normal, happy, and angry speech). However, since this dataset alone is not enough to train Tacotron2, we solved the problem by training a model on a large-scale corpus (LJ Speech) and adding additional training to this model. In addition, we express emotion by assigning an emotion label to each character in the input text. The model constructed by this method can express not only one emotion for an entire text, but also can change the emotion in the middle of the text.

本研究では,深層学習に基づいた手法で感情表現が可 能な日本語音声合成システムを構築する. Tacotron2 を参考にし, 人間の音声に近い表現力のある音声合成 器を構築することを目的とする. 声優統計コーパスの 藤東知夏氏の音声 (通常・喜び・怒りの感情で読まれ た音声が各10分) を最終的な学習データとする. しか し, このデータセットだけではTacotron2 の学習デー タとしては少ないので, 大規模コーパス (LJ Speech) でモデルを学習しておき, このモデルに追加学習をす ることで問題解決を行った. また, 入力テキストに対 して一文字ごとに感情のラベルを付与することで感 情表現を行う. この方法により構築されたモデルでは 一つのテキスト全体に対して一つの感情を表現でき るだけではなく, テキストの途中で感情を変えること ができる.


NORMALIZATION OF TRANSLITERATED WORDS USING SEQ2SEQ MODEL WITH SPELL CHECKER

スペルチェッカー付きSEQ2SEQモデルを用いた翻訳語の正規化

There are two written systems in Mongolian language: -Classic Mongolian (Uyghur Mongolian) -Cyrillic Both of them are used in Mongolia. The Mongolian People's Republic, as it was called then, first started using a modified Russian Cyrillic alphabet in 1940 which is still used and the official written system. Mongolian Cyrillic has 35 characters. Even though the official written system is the Cyrillic script before as mentioned, recently many people use Latin alphabets to write text on social media like Facebook and Twitter. While writing transliterated text using the Roman script on social media, there is no rule. Therefore, one word can be written in different forms. The text processing of social media is one of the important subjects in NLP. Therefore, in the last years, there has been a lot of work that focuses on social media. But there is a lack of research in this area for the Mongolian language and this is the first study of text normalization for Mongolian. Text normalization is a pre-processing stage for speech and language processing applications. At first, text normalization was to convert words in non-standard forms such as numbers, dates, acronyms, and abbreviations to standard forms in the formal text. But later this content was expanded to convert informal text on social media into formal text. Both source and target texts are the same languages in the most research work of noisy text normalizations. In our case, it is a little bit different and our purpose is to convert noisy transliterated text on social media to the formal style. In other words, the scripts of source and target texts are different, Roman and Cyrillic scripts, respectively.

モンゴル語には二つの書き方があります．-古典モンゴル語(ウイグルモンゴル語)とキリル文字 モンゴルではこの2つの文字体系が使われています．モンゴル人民共和国は1940年にロシアのキリル文字を修正したものを使い始めました．モンゴルのキリル文字は35文字です．以前はキリル文字を使っていましたが，最近ではFacebookやTwitterなどのソーシャルメディアでもラテン文字を使って文章を書く人が多くなってきました．ソーシャルメディア上でローマ字を使って音訳したテキストを書く場合，ルールはありません．そのため，一つの単語でも様々な形で書くことができます．ソーシャルメディアのテキスト処理は，NLPの重要なテーマの一つです．そのため，ここ数年，ソーシャルメディアに焦点を当てた研究が盛んに行われています．しかし，モンゴル語については，この分野の研究が不足しており，本研究はモンゴル語のテキスト正規化の最初の研究となります．テキスト正規化とは，音声・言語処理アプリケーションの前処理段階のことです．最初の正規化は，数字，日付，頭字語，略語などの非標準形の単語を，形式的なテキストの標準形に変換することでした．しかし，その後，この内容はソーシャルメディア上の非公式なテキストを形式的なテキストに変換するために拡張されました．ノイズの多いテキスト正規化の研究作業では，ソーステキストもターゲットテキストも同じ言語である．私たちの場合は少し異なり，ソーシャルメディア上のノイジーな音訳文をフォーマルなスタイルに変換することを目的としています．つまり，ソーステキストとターゲットテキストのスクリプトは，それぞれローマ字とキリル文字の異なるものです．


A spoken dialogue system with anaphoric analysis for spontaneous utterances

自由発話に対応した照応解析を備えた音声対話システム

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, we proposed a dialogue system that complements free speech with a dialogue history, in which the subject and object are omitted. We proposed a method of completing free speech by using centralization theory, dependency analysis and case frames. In addition, we introduced input sentence shaping, which converts free-speaking spoken sentences into written sentences using the Sequence- to-Sequence model. Although the conversion from spoken to written words had a correct answer rate of about 40%, some sentences were supplemented with missing case particles, which may be useful in finding the antecedent of zero pronouns. We compared the output of the dialogue system to see if the system returned appropriate responses, and showed that speech completion is effective in a dialogue system.

本研究では，主題や目的語が省略された自由発話 を対話履歴を用いて補完する対話システムを提案し た．自由発話を補完する方法として，中心化理論，係 り受け解析と格フレームを用いた目的語の補完を提 案した．また，自由発話の話し言葉の文をSequence- to-Sequence モデルによって書き言葉の文へ変換する 入力文整形を導入した． 話し言葉から書き言葉の変換は，約40%の正解率 であったものの，一部の文では欠落した格助詞が補完 されており，ゼロ代名詞の先行詞を求める上で有効で あると考えられる．また，実装した対話システムが適 切な返答を返すのかを検証するために出力結果の比 較を行い，発話の補完が対話システムにおいて有効 であることを示した．


Evaluation of Language Model for Spontaneous Speech Recognition Trained Using Written Language-to-Spoken Language Text Conversion

書き言葉から話し言葉へのテキスト変換を用いた話し言葉音声認識用言語モデルの評価

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

We converted a written text corpus to a spoken text corpus using a sequence-to-sequence model and trained a spoken language model. Although the accuracy of the conversion from written to spoken text was not very high, the learned language models were useful for spoken-speech recognition, as they captured the statistical characteristics of spoken words well. We also investigated what kind of spoken language features this language model is effective for. The results show that the present study is very effective for the insertion of filler words and spoken word-specific endings, and is also effective to some extent for colloquial expressions such as particle omissions.

Sequence-to-Sequence モデルを用いて書き言 葉のテキストコーパスを話し言葉のテキストコー パスへ変換し，話し言葉部認識用言語モデルの 学習を行った．書き言葉のテキストから話し言 葉テキストへの変換精度はあまり高いものであ るとは言えなかったが，学習した言語モデルは話 し言葉の統計的特徴をよくとらえており，話し言 葉音声認識用の言語モデルとして有用なもので あった．また，この言語モデルがどのような話し 言葉の特徴に対して有効であるのかを調査した． 結果としてフィラーワードの挿入や話し言葉特 有の語尾に対して非常に有効であり，助詞の省 略などの口語表現に対してもある程度の効果が あることが示された．


Construction of elderly Japanese speech corpus for acoustic modeling and analysis of the influence of age and dialects on elderly speech recognition

高齢者音声コーパス構築と音声認識への年齢・方言の影響の分析

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, acoustic models for elderly people's speech recognition were created using the existing corpus of speech corpus (JNAS, S-JNAS and CSJ) and the elderly people's speech in this corpus. The recognition accuracy was slightly improved in spite of the small amount of speech data in this corpus. WER tended to decrease with age. It was shown that each regional dialect has an effect on the recognition accuracy when learning an acoustic model. In the future, we would like to consider further improvement of the acoustic model by expanding the corpus, the impact of the regional dialects on the speech recognition, and an effective additional learning method for the acoustic models that were not obtained in this study.

本研究では高齢者音声認識の音響モデル作成 に既存の音声コーパス(JNAS，S-JNAS およ びCSJ)と本コーパスの高齢者音声を用いた． 本コーパスの音声データ量が少量であるにも 関わらず，若干認識精度が向上した．また， 年齢に伴うWER の低下傾向が示された．各 地域の方言が音響モデルの追加学習時に，認 識精度に影響を与えることが示された． 今後の課題としては，コーパスの規模を拡 大することで音響モデルの更なる向上と，各 地域の方言の音声認識への影響について検討 すること，また今回得られなかった音響モデ ルの有効な追加学習方法について検討したい．


Streaming speech recognition with Uni-directional LSTM and local attention

Uni-directional LSTMとLocal Attention を用いたストリーミング音声認識

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this paper, an end-to-end speech recognition model for streaming speech with unidirectional LSTM and local attention is proposed. We have confirmed that the introduction of local attention improves the recognition accuracy. We also confirmed that local attention is more effective for CTC output at high sub-sampling rates, which is important for streaming models. We believe that this is an important property for streaming models. In the future, we plan to improve the accuracy of out-of-domain recognition by extending the language model by taking advantage of the property of the attention mechanism.

本稿では, 単方向LSTM とlocal attention を用いたストリーミング可能なEnd-to-End 音声認識モデルを提案した. local attention を導入することによって認識精度の改善が確認できた. また, CTC 出力において, local attention は高サブサンプリングレートでの改善効果が大きいことが確認された. これはストリーミングモデルに対しては重要な特性だと考えられる.今後の課題として, 注意機構の特性を活かして, 言語モデルを拡張することによってドメイン外の認識精度を改善することを考えている.


Mapping of acoustic vector sequence and document vector sequence

深層学習モデルによる音響ベクトル系列から文書ベクトル系列へのメディア横断マッピング

情報処理学会全国大会講演論文集

情報処理学会全国大会講演論文集

In this study, we have constructed a model that allows for the mapping of acoustic features to document vectors. The proposed method uses RNN-LSTM for training time series data to enable cross-media mapping. We conducted evaluation experiments using the model and confirmed that the model mapped well in closed tests. In the future, we will conduct an open test to investigate the generalization performance.

本研究では，音響特徴量と文書ベクトルとの対応付けを可能とするモデルの構築を行った．提案手法では，時系列データの学習にRNN-LSTMを用いてクロスメディアでのマッピングを可能としている．構築したモデルを用いて評価実験を行ったところクローズドテストではうまくマッピングされることが確認された．今後はオープンテストでの調査を行い，汎化性能の検討を行う．


Construction of Geometric Problem Solving Assist Sys- tem Based on Integrative Understanding of Speech and Finger Pointing

音声と指差しの統合理解によるマルチモーダル幾何問題解答システムの構築

情報処理学会全国大会講演論文集

情報処理学会全国大会講演論文集

In this paper, two modalities, speech and pointing, are treated as inputs, and the system is designed to solve geometric problems by integrating each modality. The evaluation experiment showed that the GUI was rated higher than the previous study, but the usability of the voice recognition system was rated lower. However, this system is suitable for investigating the relationship between speech and pointing because it does not limit the input grammar and allows users to give free answers. The future work is to implement a mechanism to compensate for misrecognition and to improve the ability to understand the input, so that the input can be more natural. We also plan to conduct an experiment to investigate the relationship between speech and pointing.

本稿では，音声と指差しの2 つのモダリティを入力として扱い，それぞれのモダリティを統合理解することで，幾何問題を解答することができるシステムを構築した．評価実験により，以前の研究結果と比較して，GUI に関しては高評価であったが，特に音声認識のユーザビリティに関しては低評価となってしまった．しかし，入力文法を制限しないことで，ユーザが自由な解答を行えるため，音声と指差しの関係性についての調査を行うことに適したシステムといえる．今後の課題として，誤認識を補正するような仕組みを実装し入力理解能力を高めることで，より自然な入力に対応できるようにすることである．また，音声と指差しの関係性についての調査を行うための実験を行うことも考えている．


Environmental Sound Recognition Using Convolutional-LSTM

CNNとCLSTMを用いた環境音認識

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this paper, we attempted the task of detecting multiple acoustic events in input speech using the machine learning models, CNN, CLSTM and LSTM models. The results showed a recognition accuracy of about 56 in F-values using the audioSet dataset. Furthermore, comparisons between the LSTM model and the CLSTM model were conducted, and the CLSTM model showed better and more consistent accuracy.

本論文では，機械学習モデルであるCNN，CLSTM，LSTM モデルを用いて入力音声中に含まれる多重音響イベントの検出を行うタスクを試みた．その結果，audioSet のデータセットを用いてF 値で約56 の認識精度を得た．さらに，LSTM モデルとCLSTM モデルでの比較実験を行った結果，CLSTM モデルのほうが，安定して良い精度となった．


Small-footprint Magic Word Detection Using Convolutional LSTM

Convolutional LSTM を用いた省メモリMagic Word 検出

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, we propose a memory-saving MagicWord detection method using CLSTM. Compared with the model with LSTM only, the structure of CLSTM combined with LSTM or NIN achieves especially high performance. In particular, the clstm lstm nin 2 improves the baseline performance by 76.4%. A comparison between the structures before and after data expansion [8] shows that some of the CLSTM structures achieve higher performance with less data. In the future, we plan to improve the implementation of CLSTM and the structure of clstm lstm, and also to study a model that allows free configuration of MagicWord.

本研究では, CLSTM を用いて省メモリMagicWord 検出手法を提案した. LSTM のみを用いたモデルと比較して, 特にCLSTM にLSTM, もしくはNIN を組み合わせた構造が高い性能を達成した. 特にclstm lstm nin 2 は, ベースラインの性能を76.4%改善した. またデータ拡張前[8] と拡張後の比較を行う事で, 一部のCLSTM 構造が少データで高い性能が得られる事が分かった. 今後は, CLSTM の実装改善, 及びclstm lstm の構造改善に加え, 自由にMagicWord を設定できるモデルを検討していく.


A New Corpus of Elderly Japanese Speech for Acoustic Modeling, and a Preliminary Investigation of Dialect Dependent Speech Recognition

高齢者音声認識のための音声コーパス構築と方言への適応の効果

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

We planned to construct a corpus of audio data for an even older age group than S-JNAS, and have compiled a database of 221 audio data from 4 locations in Japan, with an average age of 79.2 years, based on Kaldi's CSJ recipe. The CSJ acoustic model was found to have the best recognition accuracy among the three methods. The CSJ acoustic model showed the best recognition accuracy.

我々はS-JNAS より更に高齢な年齢層の音声コーパス構築を計画し，現在までに全国4か所，平均年齢79.2 歳，221 名の音声をデータベース化した．Kaldi のCSJ レシピに基づき，JNAS，S-JANS あるいはCSJ で音響モデルを作成し，更に本コーパス音声データで適応化をする高齢者音声認識実験を行ったところ，3 者の内，CSJ 音響モデルが最も良い認識精度が得られた．これに各地域別の音声で再適応化すると地域別の音響モデルが高い精度である傾向がみられた．


E2E streaming speech recognition with CTC and Attention

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, an extension of the CTC model based on local attention is proposed for Japanese streaming speech recognition. For downsampling, maxpooling achieves better performance for CTC word recognition compared to conventional frame stacking. We also found that using local attention improves the performance at low frame rates, which is useful for low-resource streaming speech recognition. Finally, we are able to further reduce the WER with the confidence penalty. In the future, we would like to extend RNN-LM to eliminate the effect of blank and repetitive symbols.

本研究では, 日本語のストリーミング音声認識のために, 局所アテンションを用いたCTC モデルの拡張手法を提案した. ダウンサンプリングにおいて, 従来のフレームスタッキングと比較して, maxpooling はCTC 単語認識に対してより良い性能を達成した. また, 局所アテンションを使用すると, 低フレームレートでの性能が向上することが分かり, 低リソースストリーミング音声認識に役立つ. 最後に, 信頼ペナルティでWER を更に低下することが出来た.今後の課題として, 空白シンボルと繰り返しシンボルの影響を排除するために, RNN-LM を拡張したいと考えている.


Text Conversion of Written Language into Spoken Language for Language Model Training for Spoken Language Automatic Speech Recognition System

Sequence-to-Sequence modelを用いた話し言葉音声認識用言語モデルのための書き言葉から話し言葉へのテキスト変換

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this study, we proposed to convert written text to spoken text using the Sequence-to-Sequence model. If we can do this accurately and efficiently, we can create a large corpus of spoken text to improve the accuracy of spoken speech recognition. We first created the corresponding written sentences manually using the corpus of elderly dialogue transcription and the corpus of nominal speech to create a bilingual dataset of written and spoken words. We constructed a transformation model and converted a part of the BCCWJ corpus into spoken language. Although the accuracy of the conversion from written to spoken language was not good, we were able to convert some sentences very well. It was also shown that the language model trained on the converted sentences gave better perplexity to the spoken language than the one trained on the untransformed sentences, even if the written sentences were not correctly converted to spoken ones. Therefore, we believe that language models learned with a spoken text corpus created by converting written text to spoken text are effective for spoken speech recognition. We plan to add examples of successful transformations of test data to the training data in order to increase the training data, and to create a more accurate and large-scale text corpus of spoken language by using the Seq2Seq model with an Attention mechanism to accurately transform long sentences.

本研究では，Sequence-to-Sequence モデルを用いて書き言葉テキストを話し言葉テキストへ変換することを提案した．これを正確かつ効率的に行う事ができれば，話し言葉音声認識の精度を向上させるための大規模な話し言葉テキストコーパスを作成することが可能になる．我々は，まず高齢者対話書き起こしコーパスと名大会話コーパスを用いて，それに対応した書き言葉の文を人手で作成し，書き言葉と話し言葉の対訳データセットを作成した．これを用いて変換モデルを構築，BCCWJ コーパスの一部を話し言葉に変換した．書き言葉から話し言葉への変換の精度は良いとは言えなかったが，一部の文において非常に上手く変換を行うことができた．また，書き言葉の文を話し言葉に正確に変換できていなかったとしても，変換前の文を用いて学習した言語モデルより変換後の文を用いて学習した言語モデルの方が話し言葉に対して良いパープレキシティを得られる事が示された．よって，書き言葉テキストを話し言葉テキストに変換することによって作成された話し言葉テキストコーパスで学習した言語モデルは，話し言葉音声認識に有効であると考えられる．今後，学習データを増やすためにテストデータの変換成功例を学習データに加え，長文を正確に変換するためにAttention メカニズムを導入した Seq2Seq モデルを用いることにより，より正確で大規模な話し言葉のテキストコーパスを作成する予定である．


Development and Evaluation of Learning Support System for Geometric Problem Solving Using Finger Pointing and Speech

幾何問題における音声と指差しを用いた学習支援システムの構築と評価

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In this paper, we have constructed a system that can solve geometric problems by multi-modal interaction using voice and pointing. As a result, it is possible to draw a new auxiliary line in the problem figure, draw equal angles, and express them as mathematical formulas, and show the effectiveness of the proposed system through evaluation experiments.

本稿では，音声と指差しを用いたマルチモーダル インタラクションによって，幾何学問題を解答できる システムを構築した.音声と指差し，それぞれのモダリティを統合理解し，その結果を用いて，入力の意 図を理解させた.これにより，問題図形内に新たな補 助線を引いたり，等しい角度の描画やそれらを数式と して表現することができる.また，評価実験により， 提案システムの有効性を示すことができた.


Spoken dialog recording system for development of spoken dialog breakdown detection methods

音声対話破綻検出手法の開発に向けた音声対話データ収録システム

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In order to construct a voice dialogue database for the development of a voice dialogue failure detection method, voice dialogue experiments were conducted and voice data was recorded.The Wizard of Oz method was also used to prevent excessive dialogue failure. A voice dialogue system has been constructed and voice recording has been carried out.

音声対話破綻検出手法の開発に向けた音声対話データベースを構築するために音声対話 実験を行い，音声データの収録を行った.過 剰に対話破綻を引き起こさないためにも Wizard of Oz法を用いた音声対話システムを 構築し，音声収録を行った.WoZ 法を用いた 手法でも音声対話のみに引き起こされる対話 破綻を確認することができた.


Construction of spoken dialogue system integrating various dialog systems

様々な対話戦略を統合した音声対話システムの構築法

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

We proposed a dialogue system that included multiple dialogue systems. In the proposed dialogue system, we introduced a response sentence selection method that selects more natural response sentences from the generated response sentence candidates. Therefore, we proposed a method for scoring candidate sentences using a model trained with word vector representation as input and output. At present, we have not been able to obtain highly accurate results.

複数の対話システムを内包した対話システムを提 案した. 考案した対話システムには, 生成された応答 文候補から, より自然な応答文を選択する応答文選択 の方法を導入した. 応答文選択に, 単語のベクトル表 現を入出力として学習させたモデルを用いて, 候補文 をスコア付けする方法を提案した. 現状では, 精度の 高い結果を得ることはできなかった.


Selecting Type of Response for Chat-like Spoken Dialogue Systems using Multi-task Learning of LSTM

LSTM によるマルチタスク学習を用いた雑談音声対話システムの応答種別選択

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

In order to improve the conversation continuation rate of the chat dialogue system, we proposed a method for selecting the response type of the system by a framework using the Encoder-Decoder model by LSTM. We conducted an evaluation experiment of the proposed method using one-to-one speech data of the elderly and interviewers. By performing multitask learning using a predictor of the response utterance and a predictor of the response type, High accuracy has been achieved compared to simply predicting only the response type.

雑談対話システムの対話の継続率を改善するため に，LSTM による Encoder-Decoder モデルを用いた 枠組みによってシステムの応答種別を選択する手法 を提案した．高齢者とインタビュアーの 1 対 1 の対 話音声データを用いて提案手法の評価実験を行った ところ，応答発話の単語列の予測器と応答種別の予 測器でマルチタスク学習を行うことにより，応答種別 のみを単純に予測する場合と比べて高い精度を達成 できた．


指差しと口述説明を理解する幾何学問題学習支援システム

指差しと口述説明を理解する幾何学問題学習支援システム

Forum on Information Technology 2018 (FIT2018)

第17回情報科学技術フォーラム (FIT2018)


A Study on Speech Recognition Models for Super Elderly Spontaneous Speech

超高齢者の自然発話音声のための音声認識モデルの検討

本稿では，超高齢者の自然発話音声のための音声認識モデルの検討を行う．認識実験の結果，評価セッ トの音声とドメインが一致するコーパスから音響モ デルを学習するのがよいことが明らかとなった．


Mining OOV words from vocabulary shift in Twitter and linguistic adaptation of speech recognizer to the OOV words

Twitter中の使用単語の変化に基づく未知語の発見とそれに基づく音声認識用言語モデルの適応

本稿では，Twitterを用いて新しく使用されるようになった音声認識システムにとって正しく認識され ないと考えられる未知語の発見手法の提案と，発見した未知語に対応した言語モデルを作成し，音声認識システムに適用する手法の提案を行う．Twitter から取得したツイートを，新しいツイートと過去の ツイートとで比較することにより，ユーザー間の使用 単語の変化が取得でき，そこから新しく使用される ようになった未知語の取得が可能となる．提案手法を用いて作成した言語モデルでは，ベースラインと比較して補正パープレキシティ の改善が得られ，取得した未知語が含まれる評価セッ トにおいてパープレキシティ及び補正パープレキシ ティの改善が得られた．音声認識実験では，作成した 言語モデルを適用した音声認識システムで未知語が 含まれる文を認識した場合，音声認識システム全て において，ベースライン音声認識システムより良い 単語誤り率と未知語誤り率を得られた．ベースラインシステムと比較して相 対的に約 91%の未知語誤り率の改善が得られた．これによって，未知語誤り率の改善が全体的な単語誤り 率の改善へと繋がる結果となった．


Magic word detection method in continuous speech using LSTM neural network

LSTM Neural Networkを用いた連続発話中のMagic Word検出手法

本論文では, LSTM を用いた Magic Word 検出手法を提案する. BPTT 法により, Convolutional LSTM 及び, Network in network を用いた提案モデ ルの学習・評価を行う. ベースライン手法と比較し て, 提案モデル conv16 clstm16 は非常に良い性能を発揮した. 結果より, CLSTM 構造が Magic Word 検 出において有意であることが示された. また, 時空間 を結びつけた特徴を捉える事が Magic Word 検出に おいて有効である事が得られた.


RNNに基づく音響ベクトル時系列の文書ベクトルへのマッピング

RNNに基づく音響ベクトル時系列の文書ベクトルへのマッピング

電子情報通信学会技術研究報告

Institute of Electronics, Information and Communication Engineers

音楽の音響データと歌詞のデータをニューラルネットワークによって対応付ける．音響データをクロマベクトル系列にしてLSTMでベクトルに変換する．その変換先が歌詞ベクトル(Word2vecによる歌詞中の単語のベクトル化したものの平均)になるように学習し，対応付け可能であることを示した．


Construction of dialogue database for development of spoken dialogue breakdown detection methods

音声対話破綻検出手法の開発に向けた対話データベースの構築

音声対話破綻検出手法の開発に向けた音声対話データベースを構築するために音声対話 実験を行い，音声データの収集を行った．ユ ーザと音声対話システムが音声対話を行うことで対話文脈から対話破綻が引き起こされる場合，音声認識による誤認識のために対話破 綻を引き起こす場合などさまざまな要因によ って対話破綻が起こるという結果となった． 音声の誤認識による対話破綻は言語情報に基 づく対話破綻検出では検出することは難しく， 音声対話であることに起因する破綻の要因を 知ることができた．


OOV registration to language model for speech recognition

音声認識における言語モデルへの未知語登録法の検討

音声認識では事前に認識辞書に登録した単語は認識できるがそれ以外の未知語は一般に認識できない．しかし音声認識のタスクでは認識辞書にない単語を認識しなければならない場合が多数ある．そこで，言語モデルの学習時に未知語を登録するための「未知語トークン」を織り交ぜたデータベースを用い，認識時に未知語トークンを認識したい単語に置き換える簡単で有効な未知語登録手法を提案した．


Selecting Type of Response for Chat-like Spoken Dialogue Systems Based on LSTM-RNN Considering Order of Words

単語順を考慮したLSTM-RNN に基づく雑談音声対話システムの応答種別選択

雑談音声対話システムを構築することを考えた場合，相手の発話などから，次にどのような発話をすればよいか発話種別選択が必要になる．相手の発話の音響的特徴に基づいて，LSTMを用いて，相槌や発話健康体などの発話種別の選択を可能とする方法を提案した．


自動運転車の操作におけるマルチモーダルインタラクション

自動運転車の操作におけるマルチモーダルインタラクション

将来の自動運転車において，タクシー運転手に指示するかのように操作できるインタフェースを考えた．音声対話に指差しや視線の情報を統合して，交差点を曲がったり停車する場所を指定するなど様々な操作を自然な方法で実現できるようにした．


単語の分散表現に基づく事例ベース雑談音声対話システムのユーザ適応

単語の分散表現に基づく事例ベース雑談音声対話システムのユーザ適応

事例ベースの音声対話システムにおいて，限られた事例を，ユーザ固有の適切な事例に自動変換することにより，音声対話システムをユーザに適応する．ユーザのプロフィール情報からWeb検索によって得られた関連語を事例の単語と置き換える方法でユーザ適応を可能にした．


Selecting Response from Conversational Spoken Dialogue System Based on Distributed Representation of User Utterances

発話の分散表現に基づく雑談音声対話システムの応答種別選択

電子情報通信学会技術研究報告

雑談音声対話システムを構築することを考えた場合，相手の発話などから，次にどのような発話をすればよいか発話種別選択が必要になる．相手の発話の言語情報を，単語の分散表現で表現することで，相槌や発話健康体などの発話種別の選択を可能とする方法を提案した．


User adaptation of examples for example-based reminiscence therapy spoken dialog system using word embedding

回想法を指向した事例ベース雑談音声対話システムにおける単語の分散表現を用いたユーザへの事例適応

電子情報通信学会技術研究報告

認知症の予防・改善のために自然な雑談対話(回想法)を行う音声対話システムを開発する必要があ る．事例ベースの対話システムにおいて，ユーザのプロフィール情報を用いた対話事例のユーザ適応法を提案する． 情報検索により取得したユーザと関連が深い単語と対話事例の単語間の cos 類似度を word2vec によって計算し，閾 値以上の単語を置換することで，ユーザの話題に沿った事例を事前に生成する．本研究では，生成された事例の自 然さを人手で評価することで，手法の有効性を示した．また，word2vec による分散表現の加減算を用いることで， 類似度のみの場合に生成されていた不自然な事例の一部を自然な事例にすることができた．


Proposal ofreminiscence system to suppress dementia by voice dialogue

音声対話により認知症を抑制する回想法システムの提案

情報処理学会全国大会講演論文集

情報処理学会全国大会講演論文集

近年，認知症患者は増加し続けており，介護者の負 担は増大しつづけている．しかし，認知症の治療法は 未だ確立されておらず，いかに進行を抑制するかとい うことが認知症治療の課題となっている．認知症の進 行を抑制する手段の一つに回想法がある．回想法とは 患者と介護者が対話を行う治療法である．しかし，回 想法は認知症患者と何度も対話を行う必要があり，介 護者の負担が大きいという問題点がある．そこで本研 究では音声対話システムであるMMDAgent[1] を用い， 介護者の代わりに回想法を行うシステムを提案する．


Development of Spoken Dialogue System which Integrates and Shares Information based on ROS Architecture

ROSアーキテクチャに基づき情報統合・共有を行う音声対話システムの開発

本稿では，ROSアーキテクチャにて動作する，音声 対話システムについて述べた．音声対話システムに必 要な 5 つのモジュール(音声認識，言語理解，対話管 理，応答生成，音声合成)を構築し，さらに情報統合を 目的とした Information State モジュールを導入した． ROSアーキテクチャを導入したことにより，通信路 確保，データ形式の統一を円滑に図ることができたた め，提案システムのような複数モジュールを活用した 音声対話システムが実現できた．現在は，喫茶店実践， 教育実践などの実践アプリケーションを構築中であり， 複数モジュールが連携して動作する中で，音声対話シ ステムも活用され，本稿で提案した Information State がデータ共有の中心モジュールとして活用されている．


PRINTEPS: A Total Intelligent Application Development Platform based on ROS and Its Application

ROSに基づく総合知能アプリケーション開発プラットフォームPRINTEPSとその応用

人工知能学会 知識ベースシステム研究会

人工知能学会 知識ベースシステム研究会

本稿では，ROSに基づく総合知能アプリケーション 開発プラットフォームPRINTEPSのアーキテクチャ， PRINTEPSにおけるワークフローエディタ，ケースス タディとしてロボット喫茶店における入店時挨拶につい て述べる．ワークフローエディタは，「http://printeps.org」 にて，公開している．


The Architecture of PRINTEPS: A Total Intelligent Application Development Platform based on ROS

ROSに基づく総合知能アプリケーション開発プラットフォームPRINTEPSのアーキテクチャ

本稿では，ROS に基づく総合知能アプリケーション開発プラットフォーム PRINTEPS のアーキテクチャ，PRINTEPS におけるワークフローエディタ，PRINTEPS の評価指標につ いて述べる．ワークフローエディタは，「http://printeps.org」 にて，公開している．


Development Environment of Spoken Dialogue System Based on PRINTEPS

PRINTEPSにおける音声対話システム開発環境

本稿では，PRINTEPSアーキテクチャにて動作する，音声 対話システムの開発について述べた．音声対話システムに必 要な 5 つのモジュール(音声認識，言語理解，対話管理，応 答生成，音声合成)を構築し，これらを組み合わせて，音声対 話システムを構成している．PRINTEPSからは，対話から得 たい情報(対話したい内容:対話ゴール)を指定して音声対 話システムを呼び出すことで，音声対話システムはユーザと 音声対話をし，必要な情報を取得することができる．各対話 ゴールに対応する細かい対話処理ルールなどは，予め用意し，PRINTEPSによる実践知能アプリケーション開発者は，音声 対話に関する知識なしに，音声対話システムを構築・利用する ことが可能である．


User modeling for Robot Café Interaction in PRINTEPS

PRINTEPSにおけるロボット喫茶店の注文時ユーザモデリングの実現

人工知能学会全国大会論文集

人工知能学会全国大会論文集

本稿では，喫茶店という状況に焦点を当て，ユーザモデルに基づきコミュニケーションを変更する社会的ロボットを実装するために，ロボットが認識すべきユーザ情報について考察する．また，接客対話の収集と分析を行い，ロボットが社会的シグナルである視線や着席行動を認識できれば，社会的関係や，親密 度を推定することが可能であることが示された．そして，現在実装中のプロトタイプシステムについて記述し，システムの問題点について述べる．


PRINTEPS: Total Intelligent Application Development Tool based on Stream Reasoning and ROS

電子情報通信学会技術研究報告

本稿では，ストリーム推論と ROS に基づく総合知能アプリケーション開発ツール PRINTEPS(PRactical INTElligent aPplicationS)を提案する．本研究では，PRINTEPS のケーススタディとして，Pepper を接客用ロボットと して用いた喫茶店業務実践を取り上げる．特に，ストリーム推論と ROS を用いた来客検知および喫茶店サービスオ ントロジーとルールに基づく入店時挨拶について紹介する．


Development of the Communication Mechanism among Voice-Interactive Digital Signages

音声対話デジタルサイネージ間の通信機構の開発

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

音声対話デジタルサイネージ間の通信機構を提案した．これ により，今までは情報を受け取るだけであった利用者が情報 を発信したり，メイちゃんの継続的利用などによる利用者支 援が可能になる．


Improvement of successful speech recognition on MMDAgent used as Virtual Telephone Operator

MMDAgent による対話型電話交換システムの音声認識率改善 小林

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

平成27年度電気・電子・情報関係学会東海支部連合大会講演論文集

MMDAgentを用いた電話交換手システムにおける音声の誤認 識に対する改善案として，DTMF 音の認識機能の追加に加えて 文脈に応じた辞書ファイル切り替えを提案した．


Prototype of the Communication Mechanism among Voice-Interactive Digital Signages

音声対話デジタルサイネージ間の通信機構の試作

マルチメディア,分散,協調とモバイル(DICOMO2015)シンポジウム講演論文集

本学では，デジタルサイネージでの情報取得において，3D キャラクタとのリアルタイムでの音声対 話が可能な音声ツールキットとして MMDAgent が利用されている．MMDAgent は独立したシステムと して設計されているため，従来では複数端末間における連携を行うことが不可能である．本研究では，こ の問題点を解決するため，複数サイネージ間での協調動作を支援する通信機構を提案する．


エージェントを用いたスマートフォン向け 音声対話システム拡張機構の開発と評価

エージェントを用いたスマートフォン向け 音声対話システム拡張機構の開発と評価

3D キャラクタとのリアルタイムでの音声対話が可能な音声対話システムとしてMMDAgent が提案 されている．この動作環境を拡大し，利便性を向上させるためにMMDAgent を Android スマートフォン 上へ移植したスマートメイちゃんが提案されている．これらのツールキットにおいて採用されているシナ リオ定義手法では，複雑な対話シナリオの作成や，端末間通信による連携を必要とするシナリオの構築が 困難である．本研究では，これらの問題点を解決するため，スマートメイちゃんをソフトウェアエージェ ントにより拡張する機構を提案，実装し，有効性を確認するための評価実験を行った．エージェントを用 いてスマートメイちゃんの拡張を行うことで，複雑な応答文や条件分岐を持つシナリオの開発がより容易 となり，また，ネットワークと連携する必要があるシナリオの開発も，エージェント間通信の延長線上と 捉えることで格段に容易となる．評価実験の結果，提案機構によって問題点を解決できたことを確認した が，実用的な機構とするためにはいくつかの課題点も存在することが確認された．


Extraction of User Preference based on Voice Interaction

音声対話に基づくハイブリッド型ユーザ嗜好抽出手法

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

音声対話システムを用いた嗜好抽出技術について提案した．

音声対話システムを用いた嗜好抽出技術について提案した．


Construction of Creation Environment of Voice Interaction Scenario

クラウド型音声対話シナリオ作成環境の構築

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

平成26年度 電気・電子・情報関係学会東海支部連合大会講演論文集

大人数での対話シナリオの作成を行うための機構として， クラウド型対話シナリオ作成環境の構築を提案した．


Impressive Comparison of The Human Voice and Synthetic Speech in Response Sentence of Spoken Dialogue System

音声対話システムの応答文における合成音声と肉声の印象比較

日本音響学会 秋季研究発表会

日本音響学会 秋季研究発表会

本報告では，対話システムにおける応答文の合成音 声と人間の録音音声について，ユーザに与える印象・ 満足度について調査を行った．被験者実験の結果，録 音音声はエージェントのグラフィックの質と多少の差 異があったとしても，エージェントへの親しみや，話 しやすさの印象を被験者に与えることが示された．


Development and Experiment of Voice Interaction Agent based on Video/Audio Streaming Technology

映像音声ストリーミング技術を用いた音声対話エージェントの 開発と実証実験

平成25年度 電気関係学会東海支部連合大会講演論文集

平成25年度 電気関係学会東海支部連合大会講演論文集

本研究では，映像音声ストリーミング技術を用いて，利用 場所を問わずに 3D キャラクタと音声対話を行うことが可能 な，ビデオ通話型音声対話エージェント「モバイルメイちゃ ん」を提案した．また各種の実証実験により，提案システム の有効性を確認した．


An Effort for Stand-alone Mobile Voice Interaction Agents on Smartphones

スマートフォンのためのスタンドアローン型 モバイル音声対話エージェントの取り組み

平成25年度 電気関係学会東海支部連合大会講演論文集

平成25年度 電気関係学会東海支部連合大会講演論文集

本研究では，スマートフォン単体で動作可能な音声対話3D エー ジェントシステムを開発した．従来のスマートフォン向け音声対話 システムとは違って，遅延の少ないより自然な音声対話が可能に なった．今後の課題は，よりネットワークと連携した音声対話 システ ムの構築の仕組みを検討していく


Development of Dialog Scenario Editor aimed at popularization of Spoken Dialog System

音声対話エージェントのための Webブラウザを用いたシナリオエディタの開発

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

本論文では，音声対話エージェントのシナリオ構築環境を改善するべく，シナリオエディタの開発 を行う．このシナリオエディタを用いることで，対話シナリオを見やすくし，編集しやすくして，より簡 単に扱うことができるようにするのが目的である．開発したシナリオエディタには，大きく 3 つの特徴が ある．1 つ目の特徴は，様々なプラットフォームでの動作が可能ということである．MMDAgent 自体も， PC(windows，mac，Linux)や，スマートフォン(android)など様々なプラットフォームに移植されて おり，シナリオエディタについても，同様の環境での需要が考えられる．これらの環境で広く動作させる 為，web ブラウザベースでの開発を行なっている．


Smart Mei-chan: A Mobile Voice Interaction Agent using Smartphone Functions

スマートメイちゃん:スマートフォンの機能を有する モバイル音声対話エージェント

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

マルチメディア, 分散協調とモバイルシンポジウム 2013 論文集

本稿では，音声対話システム構築ツールキット MMDAgent を拡張し，GPS や NFC・GUI 等の Android スマートフ ォンの機能を効果的に活用するための仕組みを提案する．具体的には，全ての Android OSの機能を利用するためには Java 言語で開発する必要があるが，MMDAgent は C++言語での開発が想定されており，異なる言語間での連携は容易 ではないという問題があった．そこで，Java と C++の連携を実現するブリッジモジュールを開発し，容易にMMDAgent の各モジュールと Android の機能とを連携可能な Java プラグイン開発プラットフォームを提案した．また，本プラッ トフォームに基づく様々な Java プラグインの開発も行った．


Development of a Voice Interaction Agent using 3D Modeling for Stand-alone Smartphones

スマートフォン単体で動作する音声対話3Dエージェント 「スマートメイちゃん」の開発

情報処理学会 インタラクション

情報処理学会 インタラクション

本研究では，スマートフォン単体で動作する音声対話3Dエージェントシステムを開発した．従来のスマートフォ ン向け音声対話システムとは違って，提案システムでは，スマートフォン内で音声認識や音声合成などの処理を完結 することができるため，ネットワークに起因する遅延のない自然な音声対話が実現可能になった．さらに，スマート フォンに適した音声インタフェースを試作し，提案手法の評価を行った．


Analysis and Evaluation of Spoken Dialog System with Multiple Agents

複数の対話エージェントを用いた 音声対話システムの分析と評価

現在のほとんどの音声対話システムは，ユーザとシステムの1対1の対話を扱っているが，我々はシ ステム側のエージェントを2人にした三者対話システムの開発を行ってきた．対話ドメインは従来の「う どんとラーメンのどちらが好きか」の他に「北海道旅行と沖縄旅行のどちらに行きたいか」を追加し，そ れぞれ同じドメインの二者対話システムと三者対話システムをユーザに使用し，評価実験を行った．被験 者実験の結果，三者対話システムは，対話の弾み具合の向上や，対話の雑談らしさの印象を被験者に与え るという結果が指示された．


オープンキャンパスにおけるモバイル端末向け音声対話システムの活用

オープンキャンパスにおけるモバイル端末向け音声対話システムの活用

大学ICT推進協議会 年次大会2012

大学ICT推進協議会 年次大会2012

本研究ではオープンキャンパスにおいて高校生に学科案内やキャンパス案内を行う音声対話 システムを開発した．このシステムはスマートフォンとVoIPを用いて利用場所を問わずに音声対話 が利用可能であり，オープンキャンパス参加中の建物案内や大学周辺の地理案内に最適である．ま た，利用者は大学に関する情報を音声で気軽に入手することができる．本稿では，今年度のオープ ンキャンパスでの利用実績とユーザビリティの評価実験結果について報告する．


Development of spoken dialogue service based on video call named Mobile Meichan

ビデオ通話型音声対話サービス「モバイル メイちゃん」の開発

合同エージェントワークショップ&シンポジウム2012(JAWS2012)予稿集

合同エージェントワークショップ&シンポジウム2012(JAWS2012)予稿集

本研究では，スマートフォンと VoIP を用いて利用 場所を問わずに音声対話を行うことが可能な，ビデ オ通話型音声対話サービス「モバイルメイちゃん」 を提案した．また各種の実験により，提案サービス の有効性を実証した．


Analysis and Evaluation of Spoken Dialog System with One Agent and Multiple Agents

単一対話エージェントと複数対話エージェントを 用いた音声対話システムの分析と評価

現在のほとんどの音声対話システムは，ユーザとシステムの 1 対 1 の対話を扱って いるが，本報告ではシステム側のエージェントを 2 つにした三者対話システムの開発 を行った．また二者対話システムと三者対話システムをそれぞれユーザに使用しても らい，システムがユーザに与える影響・満足度についての分析を行った．対話ドメイ ンは「うどんとラーメンのどちらが好きか」とし，二者対話システムのエージェント にはユーザにうどんとラーメン両方を薦めさせた．三者対話システムのエージェント には，それぞれうどん好き，ラーメン好きという個性を与え，それぞれ自分の好きな 物をユーザに薦める対話形式とした．被験者実験の結果，三者対話システムは，エー ジェントへの親しみや対話の雑談らしさの印象を被験者に与えることが示された．