Extraction of keywords from disease-fighting blogs by fine-tuning the T5 model

2022 6th International Conference on Natural Language Processing and Information Retrieval

To measure lifestyle-related diseases such as heart disease and diabetes, which are on the increase, information on patients' lifestyles is necessary. With the growth of the Internet culture in recent years, a great deal of valuable information about patients' long fight against the disease, including lifestyle and condition changes, is now being written in the form of blogs and tweets. In this study, keywords related to changes in health status are extracted from "disease-fighting blogs" using Named Entity Recognition system, which is fine-tuned the "T5 Model", one of the latest deep learning and natural language processing models. This method can be applied to a system that informs patients and health care professionals how their lifestylehabits affect their health status.


Learning a Bimodal Emotion Recognition System Based on Small Amount of Speech Data

2022 8th International Conference on Systems and Informatics (ICSAI)

This paper presents a bimodal emotion recognition system based on the voice and text information using small amount of speech data. Specifically, speech is divided into voice and text to learn emotion classifiers for each modal. The probabilities obtained from these emotion classifiers are weighted based on Mehrabians rule and summed up for each emotion to calculate the final score for bimodal emotion recognition. To create a highly accurate system while solving the problem that there are few Japanese speech data with emotion labels, we propose a novel data augmentation method and employ a transfer learning approach based on a pre-trained VGG16 model and a fine-tuned Bidirectional Encoder Representations from Transformers (BERT) model on the tweets. In order to prove the effectiveness of the proposed method, we revealed the recognition results for 7 emotional states, i.e., anger, sadness, joy, fear, surprise, disgust, and neutral. The experiment result suggested that our novel data augmentation method improved the accuracy and that bimodal predictions based on voice and text-based outperformed the single-model predictions.


Facial Expression Emotion Recognition Based on Transfer Learning and Generative Model

Facial expression emotion recognition has been a popular research topic, which played an important role in assisting the natural human-machine conversation. The conventional method for emotion estimation from facial expressions is to learn a CNN-based image classification model from scratch, However, learning such model requires a large number of labeled facial expression images, which is still a limited resource until now. To solve this problem, we propose a data augmentation method based on StyleGAN2 to generate artificial expression images with respect to seven emotions and use them as the additional training data. We further train an expression emotion recognition model based on a VGG16 network through transfer learning. In this research, we proposed a method using transfer learning and augmented images of facial expressions using trained VGG16 and StyleGAN2 and conducted experiments to achieve higher recognition accuracy for racial expression emotion recognition. Our experiment based on the CFEE dataset suggested that an emotion recognition accuracy of 75.10% could be obtained through transfer learning and the accuracy could further improved to 82.04% with the augmented expression images.


A Corpus-based Analysis of Age-related Changes in the Acoustic Features of Elderly to Super Elderly Speech

Speech recognition technology is a convenient modality for elderly people with limited dexterity and eyesight since it allows them to operate smartphones and other devices, but speech recognition accuracy declines as people get older. Our corpus of elderly Japanese speech, called EARS (Elderly Adults Read Speech), includes many speakers over 80 years old, and we have used it to create acoustic models which improve recognition accuracy for elderly speech [1]. Although the acoustic features of elderly peoples speech differs from those adults [2, 3], the studies compared the acoustic features of the speech of elderly and super elderly Japanese people are not so many. In this paper, we investigated age-related changes in fundamental frequency (Fo), formant frequencies, laryngeal noise, MFCCs and vowel centralization in elderly to super elderly speakers (60-98 years old), using speech data from the EARS corpus and the S-JNAS corpus of elderly Japanese speech. We found that the speech of both genders exhibited an increase in F1 and decrease in F2 of the vowel/i, some similarities in mean and standard deviation in MFCCs, and a decrease in the mean and standard deviation of shimmer with increasing age. In contrast, different aging-related dynamics were observed for male and female speakers in fundamental frequency, formant frequencies other than those listed above, vowel centralization, most other MFCCs.


Implicit language information replacing method in Japanese encoderdecode ASR model

2022 9th International Conference on Advanced Informatics: Concepts, Theory and Applications (ICAICTA)

Recent years, automatic speech recognition (ASR) tasks often use language models as an adjunct to ASR models. The density ratio approach (DRA) is one of several language model integration methods. It is known that Japanese has a much larger number of characters than the alphabet language, and that there are variations in reading with homonyms and the same characters. It was unclear whether the implicit language information of character-based encoderdecoder ASR model using beam search algorithm is approximated by the external language model. In our experiments, We have applied an DRA to a Japanese encoderdecoder ASR model to reduce character error rate (CER) in cross-domain scenarios. Cross-domain CERs were calculated for the Japanese academic presentation speech (APS) corpus and the Japanese simulated presentation speech (SPS) corpus. This method achieved a relative error reduction of 11.0% and 22.5% with the RNN and Transformer models compared to the shallow fusion. To investigate the applicability of different speaking styles to different domains, We also conducted an experiment to replace the implicit language information inside the CSJ ASR model with Mainichi Shimbun language model. For the JNAS task, the DRA achieved a relative error reduction of 7.3% compared to the shallow fusion method.


End-to-End Spontaneous Speech Recognition Using Disfluency Labeling

Spontaneous speech often contains disfluent acoustic features such as fillers and hesitations, which are major causes of er- rors during automatic speech recognition (ASR). In this paper, we propose a method of disfluency labeling to address this problem. Our proposed method replaces disfluent phenomena in the transcription of speech data used for training with two types of labels, filler (#) and hesitation (@), and trains an end- to-end ASR model using this data, which makes it possible to recognize disfluent acoustic phenomena as recognition targets, like characters. In addition, by removing the disfluency labels that are included in the recognition results, the words that the speaker actually intended to say can be extracted from the dis- fluent speech. The results of our evaluation experiments show that both the character and sentence error rates were reduced for all of the ASR test sets when disfluency labeling was ap- plied, compared to the baseline method. The proposed method also outperformed other methods intended to reduce disfluency- related errors, even when more disfluent, spontaneous dialog speech was used. This study shows that explicit learning of two disfluent features, fillers and hesitations, is effective in sponta- neous speech recognition.


Analysis of Lifestyle Habits from Weblogs of Patients with Intractable Diseases Using Deep Learning

Proceedings of International Conference on Electrical, Computer and Energy Technologies (ICECET)

In recent years, patient-centered medicine has become widely accepted. To keep a record of their struggles,patients sometimes publish their diaries (disease blogs) on weblogs to be read by an unspecified number of people. In particular, writing a blog may be helpful in the case of intractable diseases of which there are few cases, and patients often feel isolated because they know few people with the same disease. In this study, we used deep learning technology to analyze the blogs written by patients with intractable diseasesand to determine how they live their daily lives and their feelings. If their lifestyles are understood, the relationship between the physical condition and mental changes of people fighting intractable diseases can be determined, and a system that shows behavioral guidelines for new users fighting similar intractable diseases can be built.


Elderly Conversational Speech Corpus with Cognitive Impairment Test and Pilot Dementia Detection Experiment Using Acoustic Characteristics of Speech in Japanese Dialects

Proceedings of the Thirteenth Language Resources and Evaluation Conference

There is a need for a simple method of detecting early signs of dementia which is not burdensome to patients, since early diagnosis and treatment can often slow the advance of the disease. Several studies have explored using only the acoustic and linguistic information of conversational speech as diagnostic material, with some success. To accelerate this research, we recorded natural conversations between 128 elderly people living in four different regions of Japan and interviewers, who also administered the Hasegawas Dementia Scale-Revised (HDS-R), a cognitive impairment test. Using our elderly speech corpus and dementia test results, we propose an SVM-based screening method which can detect dementia using the acoustic features of conversational speech even when regional dialects are present. We accomplish this by omitting some acoustic features, to limit the negative effect of differences between dialects. When using our proposed method, a dementia detection accuracy rate of about 91% was achieved for speakers from two regions. When speech from four regions was used in a second experiment, the discrimination rate fell to 76.6%, but this may have been due to using only sentence-level acoustic features in the second experiment, instead of sentence and phoneme-level features as in the previous experiment. This is an on-going research project, and additional investigation is needed to understand differences in the acoustic characteristics of phoneme units in the conversational speech collected from these four regions, to determine whether the removal of formants and other features can improve the dementia detection rate.


Risk Analysis of Developing Lifestyle-related Diseases based on the Content of Social Networking Service Posts

Innovation in Medicine and Healthcare, Part of the Smart Innovation, Systems and Technologies book series

Japans leading causes of death are cancer, cardiovascular disease, and diabetes, which account for approximately 60% of all deaths. All these diseases are closely related to lifestyle habits such as diet, exercise, and sleep and are called lifestyle-related diseases. Lifestyle-related diseases are characterized by a lack of subjective symptoms, making it difficult to notice the deterioration of the disease. In this study, we analyzed tweets related to diet, exercise, physical condition, and mental state from the contents posted by users on social networking services (SNS) to construct a system that can prevent lifestyle-related diseases more simply. We found that the results of this work can lead to the construction of a system than can detect risk factors leading to the development of lifestyle-related diseases, from the contents of users posts.


End-to-End Spontaneous Speech Recognition Using Hesitation Labeling

Proceedings, APSIPA Annual Summit and Conference 2021

Spontaneous speech often contains hesitations, such as stammering, word substitutions, filler words and repetitions, unlike speech that is produced when reading aloud. These addi- tional utterances create noise for Automatic Speech Recognition (ASR) systems, negatively affecting recognition accuracy. In this study, we propose an End-to-End (E2E) ASR system which can recognize these hesitations, as well as extra syllables, in spontaneous Japanese speech by training the ASR model using labeled data. Hesitation speech is then automatically labeled and ignored during speech recognition. Our experiments confirm that both the Character Error Rate (CER) and the Sentence Error Rate (SER) improved for all of the evaluation data sets in comparison to a baseline ASR method. In addition, when examining the actual recognition results, it was observed that the labels were inserted in the correct positions, suggesting that the model is able to correctly learn the meanings of the labels. Furthermore, by deleting the labeled utterances from there cognition results, we were able to obtain grammatically correct target sentences.


Advanced language model fusion method for encoder-decoder model in Japanese speech recognition

We apply an advanced language model fusion method to the encoder-decoder models of a Japanese automatic speech recognition (ASR) system to reduce character error rates (CERs) in cross-domain scenarios. Our method, which uses a Density Ratio approach based on Bayes theorem, is an extension of the Shallow Fusion method widely used for integrating the scores of speech recognition and language models. Since Japanese has a much larger number of characters than alphabet languages, and since there can be multiple possible meanings and pronunciations of the same kanji character, it is unclear whether the linguistic information inside a character- based end-to-end speech recognition is approximated by the language model. We conducted experiments using two types of encoder-decoder models, an RNN model and a Transformer model, and evaluated our results by calculating the cross-domain CERs of the ASR s text output when using the Japanese Academic Presentation Speech (APS) corpus and the Japanese Simulated Presentation Speech (SPS) corpus. When using the RNN model, our proposed method achieved a 1.2% lower CER in comparison to the Shallow Fusion method. When using the Transformer model, our method also outperformed the Shallow Fusion method, achieving a 0.7% lower CER.


Multi-speaker TTS system for low-resource language using cross-lingual transfer learning and data augmentation

We propose a multi-speaker text-to-speech (TTS) system for use with low-resource languages when only a very small amount of target language data is available. We investigate the effects of using high-resource language datasets and augmented data during model training, and compare different strategies for fine-tuning the model. After using a combination of cross-lingual transfer learning, a small amount of target language data and augmented target language data for training our low-resource TTS model, we then fine-tuned the pre-trained model using the original and augmented target language data. Our experimental results show that by sequentially training the model with high-resource language data, target language data and augmented target language data, followed by gradual fine-tuning using the original and augmented target language data, our system was able to achieve the most natural speech after text-to-speech conversion, achieving a native speaker mean opinion score of 3.50 on a scale of 0 to 5.


IEEE GCCE 2021 Tutorial "Research Life Hacks"


感情分析のためのカウンセリングマルチモーダルデータセットの構築および評価

感情分析のためのカウンセリングマルチモーダルデータセットの構築および評価

情報処理学会全国大会講演論文集

情報処理学会全国大会講演論文集

コロナ禍をきっかけとして，オンラインカウンセリングが急激に普及した．オンラインカウンセリングは，細かな表情や声色の変化の認識が難しいことが問題点として挙げられる．カウンセラーの判断を助け，業務効率化のために，クライアントの感情の自動分析が有効である．人間は相手の感情を読み取るとき，声色，表情，発話内容など複数の要素から総合的に判断を行っている．AIによる感情推定も同様に，複数の異なるモダリティを組み合わせて用いるマルチモーダル感情推定により，高精度な感情分析が可能になると考えられる．マルチモーダル感情推定には，学習用データとして，感情のラベルが付与されたマルチモーダルデータセットが必要となる．本研究では，オンラインカウンセリング中のクライアントの感情分析のためのマルチモーダルデータセットを構築し，その評価を行う．本データセットには，カウンセラーによる労務者を対象としたオンラインカウンセリングにおける労務者の様子を収録した動画と，第三者により付与された客観感情ラベルが含まれている．


Segmentation of Dental Panoramic X-ray Images Using the Deep Learning Model TransUNet

深層学習モデル TransUNet を用いた歯科パノラマ X 線画像のセグメンテーション

第22回情報科学技術フォーラム (FIT2023)

第22回情報科学技術フォーラム (FIT2023)

The Institute of Electronics, Information and Communication Engineers and Information Processing Society of Japan

歯科パノラマ X 線画像は歯の診療に使われる画像である．歯科パノラマの照合には専門的な知識が必要であり，歯科医師の負担軽減を目的として歯の自動診断システムの研究が行われてきた．その中で，深層学習技術を用いて歯の識別を行う状態分類モデルが開発されている．本研究では状態分類モデルの入力として必要な歯の輪郭情報を作成するため，深層学習技術を用いて歯科パノラマ X 線画像のセグメンテーションを行う．実験では，歯科クリニックで撮影，ラベル付 けされたデータを取り扱う．セグメンテーションモデルには，近年医療セグメンテーションタスクで成功を収めているTransUNet モデルを用いて実験を行った．


Automatic Classification Method for Dental Implants Using Deep Segmentation Model

深層セグメンテーションモデルによる歯科インプラントの自動分類手法

第22回情報科学技術フォーラム (FIT2023)

第22回情報科学技術フォーラム (FIT2023)

歯科インプラントとは，失った歯を補うための医療機器である．インプラントは，メーカーや種類が様々あり，それぞれで治療法が異なるため，歯科医師は治療時にインプラントの種類を把握しておく必要がある．本研究では，歯科医師の負担軽減を目的として，患者の歯科デンタル X 線画像から深層学習を用いたセグメンテーションモデルによってインプラントの領域を切り取り，画像分類モデルを用いてインプラントの分類を行う．切り抜きの精度は，IoU と Dice 係数でそれぞれ，0.923，0.857 となった．U-Net によってインプラントの領域を切り抜いた画像に対する分類の評価は，正解率，適合率，再現率，F 値がそれぞれ，0.851，0.852，0.884，0.840 となった．


Diagnosis of Teeth Condition in Dental Panoramic X-Ray Images and Validation of Generalization Performance

歯科パノラマX線画像における歯の状態診断及び汎化性能の検証

第22回情報科学技術フォーラム (FIT2023)

第22回情報科学技術フォーラム (FIT2023)

近年, 医療ビッグデータの深層学習技術への活用が盛んに行われており, 医療ビッグデータから診療情報や画像, カルテ情報等を用いて診断結果の提示や診断援助等ができるようになってきた. 本研究では, 歯科医師の負担軽減と診断援助を目的として, 深層ニューラルネットワークアーキテクチャを利用した歯科パノラマ X 線画像における歯の状態診断を行う. 実験では, 共同研究先の歯科クリニックで撮影, ラベル付けされたデータを取り扱う. 歯は複数の状態を持つため, 分類モデルはマルチラベル分類手法を用いて実装する. 結果として, う蝕や根尖病巣の識別が困難であった. また, 未知の撮影機材由来のデータでは精度の低下が見受けられた. そのため, ドメイン汎化手法を用いて, さらなる検証を行った.


インタビュー対話における問い返し文の生成に関する検討

インタビュー対話における問い返し文の生成に関する検討

言語処理学会 第29回年次大会 発表論文集

言語処理学会 第29回年次大会 発表論文集

遠隔勤務をしているとき，遠隔労働者が自分自身のストレスに気づけないことも多い．精神面の健康状態が深刻になる前に自分自身で気づくことができれば，健康を維持することにつながる．本研究では，遠隔労働者が健康状態をセルフチェックするためのバーチャルエージェント対話システムの構築を目的としている．本稿では，対話時に必要となる「問い返し」の生成手法について考察する．


Relationships Between Client Stress and Multimodal Emotion Estimation in Counseling Situations

クライアントのストレスとカウンセリング場面のマルチモーダ ル感情推定の関連性

JSKE 第18回日本感性工学会春季大会講演論文集

JSKE 第18回日本感性工学会春季大会講演論文集

This study aims to develop a technology to detect the degree of stress of remote workers, which has been increasing in recent years, from multimodal data such as video and audio data during interviews. In this paper, we use interview data obtained in preliminary experiments to analyze the relationship between emotions estimated from facial, audio, and verbal information and stress evaluation by interview. Using the emotion estimation results for each modal based on machine learning algorithm as input, we train a model to predict stress evaluation results, evaluate errors, and confirm the validity of stress evaluation using the emotion estimation results. In addition, by clustering the time-series change patterns of the emotion estimation results, we will analyze whether or not there is a relationship between each type of emotion and stress evaluation.

本研究では，近年増加傾向にあるリモートワーカーのストレス度合いを，面接時の映像・音声データなどのマルチモーダルデータから検出する技術の開発を目指す．本論文では，予備実験で得られたインタビューデータを用いて，顔・音声・言語情報から推定される感情とインタビューによるストレス評価との関係を分析する．機械学習アルゴリズムに基づく各モダルの感情推定結果を入力として，ストレス評価結果の予測，エラー評価，感情推定結果を用いたストレス評価の妥当性確認を行うモデルを学習する．また，感情推定結果の時系列変化パターンをクラスタリングすることで，各感情の種類とストレス評価との関連性の有無を分析する．


Development of health maintenance support system using spoken dialogue robots

音声対話ロボットを用いた健康維持支援システムの開発

HAI シンポジウム2023 講演論文集

HAI シンポジウム2023 講演論文集

Lifestyle-related diseases account for 30% of all medical costs and 60% of all deaths. It is important to maintain good lifestyle habits to protect one's health. In recent years, an increasing number of services and devices allow voice input. Speech recognition makes it easier to use computers. In our study, we develop a system that helps people improve their lifestyle habits by using a web application that analyzes the content of conversations with an interactive robot and suggests lifestyle habits and other information. Using the developed system, we actually collected lifestyle habits, analyzed them, and evaluated the system.

生活習慣病は医療費全体の3 割，死亡者の6 割を占めている．よい生活習慣を送ることが健康を守るうえで重要である．また，近年音声で入力できるサービスや機器が増えてきている．音声認識を使えば，より手軽に計算機を扱えるようになる．本研究では，対話ロボットとの対話内容を分析して生活習慣などを提示するWeb アプリケーションを用いて，生活習慣の改善を助けるシステムを開発する．開発したシステムを用いて実際に生活習慣を収集し，生活習慣の分析とシステムの評価を行った．


人工知能学会研究会資料 言語・音声理解と対話処理研究会

人工知能学会研究会資料 言語・音声理解と対話処理研究会

EMOtive A.I. is an autonomous dialogue system that combines the latest image recognition, voice recognition, speech synthesis, dialogue AI, action and drawing control based on psychological knowledge, and character expression by CG artists. EMOtive A.I. is an autonomous dialogue system that combines the latest image recognition, speech recognition, speech synthesis, and dialogue A.I., as well as behavior and drawing control based on psychological knowledge and character expression by CG artists. Following the interview and the real-time dialogue demonstration with Kaiyodo Senmu at the Wonder Festival 2022 summer main stage, the demo system will be exhibited at the Shibuya Ward event SIW2022 in November, where it interacted with any general user at the Seibu Shibuya store.

2015年に発表され「不気味の谷を超えた存在」と話題になった3DCGキャラクタ"Saya"をベースに，ヒトが親しみを感じる対話エージェントを実用化し，未来の街やモビリティがヒトに寄り添った世界となることを目指している．EMOtive A.I.は，最新の画像認識・音声認識・音声合成・対話AIや，心理学的知見に基づく行動及び描画制御，CGアーティストによるキャラクタ表現が融合した自律的な対話システムであり，ユーザの想いを言葉にして引き出すことを一つの目標としている．2022年3月の謎解きクリエイター松丸亮吾氏へのAIインタビュー，ワンダーフェスティバル2022夏メインステージでの海洋堂センム氏とのリアルタイム対話デモにつづき，11月に開催された渋谷区のイベントSIW2022にて，西武渋谷店で任意の一般ユーザーと対話したデモシステムを展示する．


Construction of a Dialogue Breakdown Detector for Spoken Dialogue Systems

音声対話システムにおける対話破綻検出器の構築

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

However, it is often the case that the system responds inappropriately to the user's utterances, resulting in the breakdown of dialogue. In recent years, research has been conducted to solve this problem, focusing on methods for detecting dialogue breakdowns based on linguistic information, with particular attention paid to chat-based dialogue systems. On the other hand, there are very few examples of research on speech-based dialogue systems, and further progress is desired.In this paper, we construct a detector model composed of neural networks and aim at estimating dialogue breakdowns based on acoustic features, which are information unique to spoken dialogue.

対話システムの普及が進み, ユーザは手軽にシステムと の対話を楽しむことが可能となったが, ユーザの発話に対 してシステムが不適切な応答をしてしまい, 対話が破綻し てしまうケースがしばしば見られる. 近年, この問題を解決 するために言語的な情報から対話破綻の検出を目指す手法 を中心に研究が進められており, 特にチャットベースの対 話システムを対象とした研究が盛んに行われている. 一方 で, 音声ベースの対話システムの研究例は非常に少ないた め, 更なる進展が望まれる. 本稿では, ニューラルネットで構成される検出器モデル を構築し, 音声対話特有の情報である音響特徴量から対話 破綻を推定することを目指す.


BERTによる雑談対話話題拡張

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

令和4年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

Dialogue systems require many response sentences when a person converses with a system, but preparing many response sentences requires a lot of manpower and is costly. In this study, we propose a method for automatically expanding the topics of response sentences by using text data available on the Internet, a unique expression extractor, and BERT[1].

対話システムは人とシステムが会話する際に応答文が多 く必要であるが，多くの応答文を用意することは多くの人 手が必要になりコストが大きい．本研究ではインターネッ トに存在するテキストデータと固有表現抽出器，BERT[1] を用いることにより自動で応答文の話題を拡張手法を提案する．


Evaluation of End-to-End Disfluency Shaping Speech Recognition System Using Spoken Dialogue

End-to-End 非流暢整形音声認識システムの対話音声による評価

Automatic Speech Recognition (ASR) is now widely used, has been extensively studied, and continues to improve significantly in accuracy. In particular, end-to-end (E2E) models, in which the mapping from input to output is learned in an integrated manner, are the mainstream ASR models these days [1]. Our everyday speech contains fillers such as "uh," "um," etc., which are one of the causes of misrecognition in speech recognition [2]. They are also unnecessary when using transcribed data. In order to deal with such nonfluent acoustic features, we replaced the filler and slurring parts of transcribed Japanese spontaneous speech with nonfluent labels, which we call symbols (filler "#", slurring "@"), and trained the ASR model as a single recognition target like a character in E2E. We constructed an "end-to-end non-fluent formatted speech recognition system," which obtains recognition results from non-fluent speech by shaping the non-fluent parts of the speech. We conducted evaluation experiments using conference lectures and mock lectures, and showed improvement in recognition accuracy [3, 4]. In this paper, we present an evaluation experiment using dialogue speech to demonstrate the effectiveness of the system for spontaneous speech of another domain.

自動音声認識 (Automatic Speech Recognition: ASR) は現在広く普及しており，その研究も盛んに 行われ，著しい精度の向上を続けている．特に，入力 から出力への写像を統合的に学習する，End-to-End (E2E) 型のモデルが最近の ASR モデルの主流である [1]．私たちの普段話す音声は，「えー」「あのー」等の フィラーや，言い淀みを含んでおり，音声認識の際， 誤認識の原因の一つとなっている [2]．また，これら は文字に起こしたデータを利用する場合に不要な情報 である．このような非流暢的音響特徴を処理するため に，我々は，日本語の自発的な発話において，書き起 こしのフィラーや言い淀み部分を非流暢ラベルに置き 換え，それを記号 (フィラー「#」，言い淀み「@」) とし，文字のように一つの認識対象として ASR モデ ルに E2E で学習させることで，非流暢な音声から， 非流暢部分を整形した認識結果を得る「End-to-End 非流暢整形音声認識システム」を構築した．学会講 演・模擬講演音声で評価実験を行い，認識精度の改善 を示した [3, 4]．本稿では，より自発性の高い別ドメ インの発話音声における，このシステムの有効性を 実証するために，対話音声による評価実験を行う．


Design of Encoder-Decoder speech recognition models augmented with out-of-domain acoustic information

ドメイン外音響情報で補強した Encoder-Decoder 音声認識モデルの設計

While various methods have been studied to improve recognition accuracy by augmenting the language information inside a speech recognition model with an external language model, there has been little research on augmenting the acoustic information in a speech recognition model. Therefore, we applied the idea of DRA to reinforce the acoustic information inside the speech recognition model with out-of-domain acoustic information. In the proposed method, the out-of-domain acoustic information extracted by subtracting the output probability of the out-of-domain language model from that of the out-of-domain speech recognition model is added to the target-domain speech recognition model.In our experiments, we used the trans- former model and RNN model as speech recognition models to verify the proposed method. Using the Japanese academic lecture speech recognition model and the Japanese simulated lecture speech recognition model, we calculated CERs and cross-domain CERs for each domain and compared them with the baseline and Shallow Fusion.

音声認識モデル内部の言語情報を, 外部言語モデル を用いて補強することで認識精度を改善する手法は 様々検討されている一方で, 音声認識モデルの音響情報を補強する研究はあまり行われていない．そこで 我々はDRA の考え方を応用し, 音声認識モデル内部の音響情報をドメイン外音響情報で補強しようと考えた．提案手法では, ドメイン外音声認識モデルの出力確率から, ドメイン外言語モデルの出力確率を減算することで抽出したドメイン外音響情報を, ターゲッ トドメイン音声認識モデルに加算する． 我々の実験では, 音声認識モデルとして, Trans- former モデルおよび RNN モデルを使用し, 提案法 を検証した．日本語学術講演音声認識モデルと日本語模擬講演音声認識モデルを用いて, それぞれのドメ インに対する CER およびクロスドメイン CER を算 出し, ベースラインおよび Shallow Fusion との比較 を行なった．


Acoustic characteristics of the elderlies in the super-elderly speech corpus EARS and S-JNAS

超高齢者コーパスとS-JNAS を用いた高齢者音声の音響的特徴の分析

Speech recognition is a convenient modality for elderly people who have limited fingers and eyesight to operate smartphones and other devices, but it has been reported that the accuracy of speech recognition decreases with age [1, 19]. Therefore, we have developed a large corpus of elderly adults' speech (EARS: Elderly Adults Read Speech), especially those over 80 years old, and used it to create an acoustic model to improve the recognition accuracy [2]. Although elderly people's speech has various acoustic features compared to those of adolescents and middle-aged people [5, 6, 7], there are not many reports on very elderly people. In this paper, we investigated the age-related changes of fundamental frequency (Fo), formant frequency, laryngeal noise, MFCC, and vowel centralization in the EARS corpus and the S-JNAS corpus of elderly speakers aged 60-98 years.

手指や視力が不自由な高齢者にとって音声認識は， スマートフォンなどの操作に便利なモダリティであ るが，高齢になるほど音声認識精度が低下すること が報告されている [1, 19].そこで我々は，特に 80 歳 以上の話者を多く擁する高齢者音声の大規模コーパ ス(EARS:Elderly Adults Read Speech) を構築し， 音響モデル作成に利用することで認識精度の向上を 図ってきた [2].高齢者音声は青年・中年のそれと比 べ多様な音響的特徴を有するが [5, 6, 7]，超高齢者 についての報告は多くない.そこで本稿では超高齢 者コーパスである EARS ならびに高齢者音声コーパ ス S-JNAS 話者の 60-98 歳を対象として，基本周波 数(Fo)，フォルマント周波数，喉頭雑音，MFCC, 母音中心化の年齢による推移を調査した.


SNS の投稿内容に基づく生活習慣病発症リスクの分析

SNS の投稿内容に基づく生活習慣病発症リスクの分析

言語処理学会 第28回年次大会 発表論文集

言語処理学会 第28回年次大会 発表論文集

The Association for Natural Language Processing

国内における死亡原因は，がん・循環器疾患・糖尿病などで全体の約 6 割を占めている．これらの病気はいずれも食事・運動・睡眠などの生活習慣と深い関りがあり，生活習慣病と呼ばれている．生活習慣病には自覚症状がほとんどないため，病気の悪化に気づきにくいという特徴がある．本研究では，より簡易的に生活習慣病を予防するシステムの構築を目指し，ソーシャル・ネットワーキング・サービス(SNS)を用いて，ユーザの投稿内容から食事・運動・体調・精神状態に関するツイートの分析を行った．調査の結果，本研究の成果がユーザの投稿内容から生活習慣病発症の危険因子を検出するシステムの構築につながることが分かった．


Designing an end-to-end speech recognition model with off-target acoustic information

タスク外音響情報を付加した End-to-End 音声認識モデルの設計

従来の音声認識器では DNN-HMM 音声認識モデル が使用されていたが，音響，辞書および言語モデル などの様々なモジュールで構成されている非常に複雑 なシステムであった.一方で End-to-End 音声認識は 複雑な処理を単一のニューラルネットワークを用いて 表現可能であるため，従来の音声認識システムを大 幅に簡素化することが可能となった．特に Encoder- Decoder モデルは音声認識や機械翻訳を含む自然言 語処理タスクにおいて，認識精度を著しく改善してい る. Encoder-Decoder 音声認識モデルは, 十分な量の 学習データがあれば, 高精度なモデルを作成すること が可能だが, 大量のテキストデータで学習した言語モ デルを併用することで, 豊富な言語情報を活用でき, さらに高い性能を得ることができる．音声認識モデ ルと言語モデルの統合方法として, Shallow Fusion[1] と呼ばれる手法がある．他にも, Deep Fusion や Cold Fusion も提案されている．このように, 音声認識モ デルと言語モデルの両方を利用する様々なアプロー チが存在する．近年, Shallow Fusion を確率的に改善 した Density Ratio Approach[2] と呼ばれる手法が提 案されており, この手法は音声認識モデル内部で学習 される言語情報である ``暗黙の言語情報'' を除去した 時の出力確率にターゲットドメイン言語モデルの出 力確率を加算することにより, 音声認識モデルの言語 情報を差し替えることが可能である．Density Ratio Approach に対して様々な研究が行われており, 既に 英語, スペイン語, イタリア語, 日本語において有効 であることが証明されている．[3, 4, 5] 音声認識モデルの認識精度を言語モデルによる文 脈情報の増強で改善する手法が様々検討されている 一方で, 音声認識モデルの音響情報を増強する研究は あまり行われていない．そこで我々は Density Ratio Approach の考え方を応用し, ドメイン外の音響情報 を付加するための手法を提案する．この手法では, ド メイン外音声認識モデルの出力確率から, ドメイン外 言語モデルの出力確率を減算することで抽出したタ スク外音響情報をターゲットドメイン音声認識モデ ルに加算する． 我々の実験では, 音声認識モデルとして, Trans- former モデルを使用した．日本語学術講演音声認識 モデルと日本語模擬講演音声認識モデルを用いて, そ れぞれのドメインに対する CER を算出した．いずれ の実験においても, Shallow Fusion および Baseline の認識精度を改善することはできなかった．


End-to-End Speech Recognition with Hesitation Identification and Removal Based on Disfluency Labeling

非流暢ラベルを用いた言い淀み整形End-to-End音声認識

The accuracy of Automatic Speech Recognition (ASR) continues to improve significantly with the introduction of end-to-end (E2E) models [1], but non-fluent acoustic features such as fillers are one of the main causes of misrecognition in speech recognition for spoken words.In speech recognition for spoken language, nonfluent acoustic features such as fillers are one of the main causes of misrecognition.To address this problem, we have developed a number of methods, including one that directly models the problem by using a Hidden Markov Model (HMM) or an N-gram language model [2], one that integrates a hidden event model with an acoustic or language model [3], one that uses a garbage model [4], and one that uses an acoustic or language model [5]. Garbage model [4], and other HMM-based methods have been proposed.These methods require capturing a wide range of acoustics within the structure of the HMM, making it difficult to design models.There are also methods [5][6] that identify faltering words and fillers by acoustic features and remove them before recognition, but in these approaches, the accuracy of detection by acoustic features may affect the accuracy of speech recognition.Lou et al. [7] attempted to have a recognizer produce fluent translations directly from nonfluent speech, and they used Connectionist Tempo- ral Classification (CTC), Long Short-Term Memory (LSTM), and E2E ASR. Memory (LSTM), or Transformer-based ASR models could produce fluent transcriptions without explicitly detecting non-fluent parts. In [8], the RNN-Transducer model explicitly labels and recognizes the non-fluent parts of speech as non-fluent parts of speech.In this study, in spontaneous speech in Japanese, we replaced the filler and the slurring parts of the transcriptions with non-fluent labels, and used them as symbols (in this study, slurring "@" and filler "#"), and recognized them as one recognition target like characters in the Joint CTC-Attention [9] Transformer The ASR model is trained with E2E to obtain recognition results from non-fluent speech by shaping the slurring.

End-to-End (E2E) 型のモデルの導入により，自動 音声認識 (Automatic Speech Recognition:ASR) の 精度は著しい向上を続けている [1] が，話し言葉を対 象とする音声認識では，フィラーをはじめとする非流 暢的音響特徴が誤認識の主要な原因の一つとなって いる． この問題に対し，言い淀みや語断片，フィラー等 をラベル化し，隠れマルコフモデル (Hidden Markov Model : HMM) や N-gram 言語モデルで直接モデル 化する方法 [2] や，隠れイベントとして音響モデルや 言語モデルと統合的にモデル化する方法 [3]，Garbage model を使った方法 [4] など，HMM ベースの方法が 提案されている．これらは HMM の構造の中で，広 範囲の音響を捉える必要があるため，モデルの設計が 困難である．また言い淀みやフィラーを音響的特徴に よって識別し，認識の前に除去する方法 [5][6] もある が，これらのアプローチでは音響的特徴による検出 精度が音声認識の精度に影響を与える可能性がある． E2E ASR の研究もいくつか行われている．Lou ら [7] は，非流暢発話から認識器が流暢な翻訳を直接生成 することを試みており，彼らは Connectionist Tempo- ral Classification (CTC)，長・短期記憶 (Long Short- Term Memory : LSTM)，または Transformer ベー スの ASR モデルが明示的な非流暢部分の検出なしに 流暢な書き起こしを生成できると期待した．[8] では， RNN-Transducer モデルにおいて，言い淀みを明示 的にラベル付けし，言い淀みとして認識している． 本研究では，日本語の自発的な発話において，書き 起こしの言い淀みやフィラー部分を非流暢ラベルに置 き換え，それを記号 (本研究では言い淀み「@」，フィ ラー「#」) とし，文字のように一つの認識対象とし て Joint CTC-Attention [9] Transformer ASR モデ ルに E2E で学習させることで，非流暢な音声から， 言い淀みを整形した認識結果を得る．


タスク外音響情報を付加したEnd-to-End音声認識モデルの設計

While various methods have been studied to improve the recognition accuracy of speech recognition models by enhancing contextual information using language models, there has been little research on enhancing acoustic information in speech recognition models.Therefore, we propose a method to add acoustic information outside the domain by applying the Density Ratio Approach.In this method, acoustic information outside the task domain, which is extracted by subtracting the output probability of the language model outside the domain from the output probability of the speech recognition model outside the domain, is added to the target domain speech recognition model.In our experiments, we used the trans- former model as the speech recognition model.We calculated CERs for each domain using the Japanese academic lecture speech recognition model and the Japanese simulated lecture speech recognition model.In both experiments, we could not improve the recognition accuracy of Shallow Fusion and Baseline.

音声認識モデルの認識精度を言語モデルによる文 脈情報の増強で改善する手法が様々検討されている 一方で, 音声認識モデルの音響情報を増強する研究は あまり行われていない．そこで我々は Density Ratio Approach の考え方を応用し, ドメイン外の音響情報 を付加するための手法を提案する．この手法では, ド メイン外音声認識モデルの出力確率から, ドメイン外 言語モデルの出力確率を減算することで抽出したタ スク外音響情報をターゲットドメイン音声認識モデ ルに加算する． 我々の実験では, 音声認識モデルとして, Trans- former モデルを使用した．日本語学術講演音声認識 モデルと日本語模擬講演音声認識モデルを用いて, そ れぞれのドメインに対する CER を算出した．いずれ の実験においても, Shallow Fusion および Baseline の認識精度を改善することはできなかった．


自然な対話を可能とする音声対話システムの実現に向けた研究

自然な対話を可能とする音声対話システムの実現に向けた研究

IEEE札幌支部合同学術講演会

IEEE札幌支部合同学術講演会


言い淀みを考慮したEnd-to-End音声認識

言い淀みを考慮したEnd-to-End音声認識

第19回情報学ワークショップ(WiNF2021)

第19回情報学ワークショップ(WiNF2021)


Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法

Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法

第19回情報学ワークショップ(WiNF2021)

第19回情報学ワークショップ(WiNF2021)


Lifestyle Extraction from Corpus of Disease Fighting Blogs

闘病ブログコーパスからの生活習慣の抽出

Proceedings of 2021 Shikoku-Section Joint Convention Record of the Institutes of Electrical, Electronic, and Information Related Engineers

令和3年度 電気・電子・情報関係学会 四国支部連合大会 講演論文集

令和3年度 電気・電子・情報関係学会四国支部連合大会

令和3年度 電気・電子・情報関係学会四国支部連合大会

闘病ブログは，患者の生活に関する行動情報(病状・食事・運動)について書かれているものがあり，疾患への理解や納得を得られるものも見られ，同病者の励 みとなっている．闘病ブログコーパスとは，闘病ブログを収集し，記事のタグ付けを行ったものである．本研究では年々増加傾向にある2 型糖尿病患者による闘病ブログコーパスから，闘病活動に関わる生活習慣の分析を行う．この分析結果より，病状悪化の危険因子や病状改善の手がかりとなる要素を，非医療従事者が自然言語処理および機械学習手法を用いて発見し，闘病者や糖尿病予備軍の人々に助言できるシステムの構築を目指す．


Response control of 3D CG Agent Saya in spoken dialog with human

3D CGエージェントSayaとの対話における応答制御

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


Developing a Spoken Dialog System with Real-time Control Using ROS

ROSを利用したリアルタイム制御が可能な音声対話システムの構築

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

近年，音声対話システムがパソコンやスマートフォ ンなどに標準搭載されるようになり，その存在は大変 身近なものとなってきている．しかし，これらの音声 対話システムにおいては，実際の人間同士の会話で見 られる相槌やオーバーラップなどの応答は未だ実現 されていない. ユーザ発話に対してシステムから割り 込んで応答を行うような対話を実現させるためには， リアルタイムの応答生成・応答タイミング決定を行う ことが可能な音声対話システムを構築する必要があ る．つまり，現在普及しているシステムでは，システ ムの設計から根本的に見直す必要があり，あいづちや オーバーラップを伴う対話の実現は困難である． 本研究で構築した音声対話システムは，構成モジ ュールが独立し，並列に動作する．さらにそれらを密 にリアルタイムに連携制御するために，モジュール 間の通信にはROS のアーキテクチャを導入した．ま た，対話内容の表示や音声解析結果のグラフィカルな 表示などに対応したダッシュボードも構築した．


Acoustic characteristics of the super-elderlies in the super-elderly speech corpus EARS

超高齢者音声コーパスEARSにおける超高齢者の音響的特徴

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集

近年，介護の人手不足を背景とした高齢者とコミュ ニケーションができる介護ロボットのニーズが高まっ ている．また音声認識は特に手指や視力が不自由な高 齢者にとって，スマートフォンなどの操作に便利なモ ダリティであり，高齢者音声の認識精度の一層の向上 が求められている．しかし，高齢者の音声認識精度は 青年・中年期のものと比べてword error rate (WER) が低下することが報告されている [1, 2, 3]．これらの 背景から，我々は高齢者音声の音響モデル作成に利 用するために，特に 80 歳以上の話者を多く擁する高 齢者音声の大規模コーパス(EARS:Elderly Adults Read Speech) を構築中である [4]． 高齢者音声は青年・中年のそれと比べ多様な変化が みられるが [5, 6, 7]，日本語話者の超高齢者について の報告は多くない．そこで本稿では超高齢者コーパス である EARS ならびに高齢者音声コーパス S-JNAS 話者(60-98 歳)の音響的特徴として，話速および母 音継続長を測定した． また，EARS を利用した高齢者音声認識(HMM-DNN および Transformer ベースの End-to-end)の 精度向上の簡便な方法として，EARS 音声に加工を 施さずにそのまま複数回繰り返して音響モデル作成 に使用した結果を報告する．


Language model replacement method for Encoder-Decoder speech recognition model which excludes im- plicit linguistic information

Encoder-Decoder音声認識モデルにおける暗黙的言語情報の置換法

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


End-to-End Spontaneous Speech Recognition Considering Hesitation

言い淀みを考慮した自由発話のEnd-to-End音声認識

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


Cross-lingual, multi-speaker text-to-speech synthesis for low resource languages

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


How language similarity affects the Mongolian ASR using cross-lingual transfer learning

日本音響学会研究発表会講演論文集

日本音響学会研究発表会講演論文集


Language Model replacement method for end-to-end speech recognition which excludes implicit linguistic information

End-to-end音声認識モデルにおける暗黙的言語情報の置換法

Recently, end-to-end speech recognition has attracted much attention because it is faster and more concise than conventional DNN-HMM speech recognition. It has also been reported that recognition performance is improved by employing a language model trained with a large amount of text data. Based on these observations, we propose a new language model integration method which we call Language Model Replacement. In our proposed method, we use a pre-trained speech recognition model and a pre-trained language model. In contrast to the Shallow Fusion method, our proposed method can replace the linguistic information implied in the ASR model with independently trained model based on Bayes' rule. In our experiments, the ASR linguistic information implicitly trained using the Japanese language Academic Presentation Speech corpus is replaced with the language model trained using the Japanese language Simulated Public Speech corpus. We then compare ASR performance for Japanese speech recognition tasks using the Character Error Rate (CER). Our proposed Language Model Replacement method achieved 1.3 percent lower CER in comparison to the Shallow Fusion method.

近年，End-to-end 音声認識が従来の DNN-HMM 音声認識と比べ，高速かつ簡潔であることから注目されている．さらに大量のテキストデータによって学習された言語モデルを併用することで，認識精度が向上すると報告されている．本稿では，音声認識モデルと言語モデルの一般的な統合方法とされる Shallow Fusion を応用した新しい言語モデルの統合方法である Language Model Replacement を提案する．提案法では，事前学習済み音声認識モデルと事前学習済み言語モデルを用いる．提案法ではベイズ則に基づき，音声認識モデルに暗黙的に含まれる言語情報を差し替えることが可能となっている．我々の実験では，学術講演音声データを使用して学習された音声認識モデル内部の言語情報を，模擬講演テキストデータで学習した言語モデルによって差し替えた．模擬講演ドメインにおける提案法の CER は Shallow Fusion での認識精度と比較して，1.3 ポイント上回った．


End-to-End Speech Recognition of Non-fluent Speech by Hesitation Labeling

言い淀みラベル付けによる非流暢発話のEnd-to-End音声認識

Conventional ASR systems show high accuracy for fluent speech, but the accuracy is low for non-fluent speech such as that of the elderly. In this study, we experimented with end-to-end speech recognition to see how the accuracy of non-fluent speech is affected by labeling the speech as "stilted" and making it a target of recognition. The results showed that the sentence error rate was improved in all the evaluated data, and the results were valid, indicating that the model can learn the meaning of the labels.

従来のASRシステムでは流暢な発話音声においては高い精度を発揮するが,高齢者音声等の非流暢発話では低くなってしまう.本研究ではEnd-to-End音声認識において,言い淀みをラベル付けして認識対象とすることによって,非流暢発話の精度がどう変化するか実験を行った.その結果,文誤り率はすべての評価データで改善し,モデルがラベルの意味を学習できていることが期待できる有効な結果を得られた.


Tooth detection and segmentation from panoramic radiographs using Mask R-CNN

Mask R-CNNを用いたパントモ画像からの 歯牙検出及びセグメンテーション

令和2年度電気・電子・情報関係学会四国支部連合大会 講演論文集

令和2年度電気・電子・情報関係学会四国支部連合大会 講演論文集

In Japan, the number of diagnostic items in dental diagnosis is considerably larger than in other countries, and it is necessary to reduce the burden of diagnosis on dentists because it is time-consuming for dentists to write dental formulae from scratch. Since interpretation of pantomime images is essential for diagnosis, understanding of dental health status, and planning of treatment, processing of pantomime images is an important issue for automation. In this study, tooth detection and segmentation from pantomime images are performed automatically. In this paper, we describe the method.

歯科診断における日本の診断項目数は海外と比べてかなり多く，歯科医師が 1 から歯式を書くこ とは手間がかかるため，歯科医師の診断負担軽減 が必要である．診断，歯の健康状態の把握，治療 計画の立案にはまずパントモ画像の解釈が不可欠 であることから，パントモ画像の処理は自動化の 重要な課題である． 本研究では自動でパントモ画像から歯牙検出・ セグメンテーションを行う．本稿では，その方法 について述べる．