Constructing multimodal counseling dataset for depressive states and feature analysis

Proceedings of the 2024 8th International Conference on Natural Language Processing and Information Retrieval

In recent years, depression caused by stress and anxiety has been on the rise worldwide, and the number of people taking leave due to depression and other mental illnesses has been increasing in Japan as well. However, there is a serious shortage of counselors and psychiatrists, making early detection difficult. In this study, for early detection of depression, 25 Japanese university students were interviewed by a professional counselor for about 30 minutes, and a multimodal dataset consisting of text, audio, video, and heart rate data was constructed during the interview. Before and after the interviews, a questionnaire about the subjects current psychological state was also conducted. The constructed dataset was analyzed by extracting features using GiNZA, OpenSMILE, and OpenFace, and comparing them with the results of the questionnaire. In the future, we plan to conduct interviews with mentally ill subjects and collect data from them.


Reliability of Emotion Analysis using Multi-task Cascaded Convolutional Neural Networks for Understanding Emotions from Human Facial Expressions

5TH INTERNATIONAL CONFERENCE ON TECHNOLOGICAL COMPETENCY AS CARING IN NURSING AND HEALTH SCIENCES 2024


Development and validation of a Japanese version of the Cognitive Distortion Scale.

10th World Congress of Cognitive and Behavioral Therapies


Relationship between autism spectrum characteristics and decision-making style


Effectiveness of the group social cognition program on jumping to conclusion bias in adolescents with autism spectrum disorder.


Effects of processing conditions on plasma L-glutamate levels in non-psychiatric healthy subjects.

6th Congress of AsCNP Asian College of Neuropsychopharmacology


Altered plasma metabolites related to one-carbon metabolism in schizophrenia.

WFSBP Asia Pacific Regional Congress of Biological Psychiatry


Pharmacometabolomic changes following antidepressants in patients with major depressive disorder.

5th Congress of Asian College of Neuropsychopharmacology


Gene expression-based diagnostic marker for bipolar disorder.


Altered Serotonin transporter mRNA expression in the peripheral leukocytes of obsessive-compulsive disorder.

30th CINP World Congress of Neuropsychopharmacology


A genome-wide association study of the long-term clinical response to SSRI or SSRI with antipsychotics in obsessive-compulsive disorder in the Japanese population


Blood diagnostic biomarkers for major depressive disorder using DNA methylation profiles.


Association between the COMT Val158Met polymorphism and the clinical response to SSRI or SSRI with antipsychotics in obsessive-compulsive disorder.


モダリティ間の違いがうつ状態に与える影響

モダリティ間の違いがうつ状態に与える影響

第27回日本感性工学会大会

第27回日本感性工学会大会


早期うつ状態検出のためのマルチモーダル対話データセットに基づくうつ状態検出モデルの性能評価

言語処理学会 第31回年次大会発表論文集

言語処理学会 第31回年次大会発表論文集

Depression caused by stress and anxiety is increasing worldwide, and it is also becoming a serious problem in Japan. However, early detection is difficult due to a shortage of counselors and psychiatrists. In this study, we used a dataset consisting of language, audio, video, heart rate, and questionnaire data from counseling interviews that our research group has been building, and we trained and evaluated the latest Mamba-based multimodal depression detection model. As a result, we found that pre-training using existing large-scale datasets and fine-tuning on this dataset were effective in improving model performance.

ストレスや不安によるうつ病が世界的に増加しており, 日本でも深刻な問題となっている. しかし, カウンセラーや精神科医の不足により早期発見が困難である. 本研究では, 我々の研究グループで構築しているカウンセリング面談時の言語・音声・動画・心 拍及びアンケートデータから成るデータセットを用いて, 最新の Mamba ベースのマルチモーダルうつ状態検出モデルの学習・評価を行った. その結果, 既存の大規模データセットを用いた事前学習と本データセットでの微調整が, モデル性能の向上に効果的で あることが分かった.


Constructing multimodal counseling dataset for depression detection and feature analysis

マルチモーダルなカウンセリングデータセットの構築と特徴量の分析

ITヘルスケア誌 第17回年次学術大会抄録集

Japan Association of Applied IT Healthcare

In recent years, depression caused by stress and anxiety has been on the rise worldwide, and the number of people taking leave due to depression and other mental illnesses has been increasing in Japan as well. However, there is a serious shortage of counselors and psychiatrists, making early detection difficult. In this study, for early detection of depression, 25 Japanese university students were interviewed by a professional counselor for about 30 minutes, and a multimodal dataset consisting of verbal, audio, video, and heart rate data was constructed during the interview. Before and after the interviews, a questionnaire about the subjects' current psychological state was also administered. The constructed dataset was analyzed by extracting features using GiNZA, OpenSMILE, and OpenFace, and comparing them with the results of the questionnaire. In the future, we plan to conduct interviews with mentally ill subjects and collect data from them.

近年，ストレスや不安を原因とするうつ病は世界的に増加傾向にあり，日本でもうつ病などの精神疾患による休職者が増加している．しかし，カウンセラーや精神科医の不足は深刻で，早期発見が困難な状況にある．本研究では，うつ病の早期発見のため，日本の大学生25名を対象に，専門のカウンセラーによる約30分間の面接を行い，面接中の言語，音声，映像，心拍数データからなるマルチモーダルデータセットを構築した．面接の前後には，被験者の現在の心理状態に関する質問票も実施した．構築したデータセットは，GiNZA，OpenSMILE，OpenFaceを用いて特徴量を抽出し，アンケート結果と比較することで分析を行った．今後は，精神疾患者へのインタビュー調査を実施し，データを収集する予定である．


タヴィストッククリニックのGender Identity Development Service(GIDS)が閉鎖に至った経緯とその背景

GID(性同一性障害)学会第25回研究大会・総会

GID(性同一性障害)学会第25回研究大会・総会


ADの灰白質体積と神経心理検査および髄液アミロイドβの関連性の検討

ADの灰白質体積と神経心理検査および髄液アミロイドβの関連性の検討

【第42回日本認知症学会学術総会

【第42回日本認知症学会学術総会


認知症の灰白質体積と神経心理検査および髄液アミロイドβの関連性の検討

認知症の灰白質体積と神経心理検査および髄液アミロイドβの関連性の検討

第45回日本生物学的精神医学会年会

第45回日本生物学的精神医学会年会


大うつ病性障害患者における治療前後の血中代謝物濃度の変化

大うつ病性障害患者における治療前後の血中代謝物濃度の変化

第45回日本生物学的精神医学会年会

第45回日本生物学的精神医学会年会


双極性障害における血中代謝物の変化

双極性障害における血中代謝物の変化

第33回日本臨床精神神経薬理学会学術集会

第33回日本臨床精神神経薬理学会学術集会


年齢の影響を統制したASD傾向とヒント課題の関連

年齢の影響を統制したASD傾向とヒント課題の関連

第87回大会日本心理学会

第87回大会日本心理学会


社会認知ならびに対人関係のトレーニング(SCIT) の思春期自閉スペクトラム症への適応と工夫

The 8rd annual meeting for Cognitive Enhancement in Psychiatric Disorders


統合失調症患者におけるDNMT1と3aの遺伝子発現量の検討

統合失調症患者におけるDNMT1と3aの遺伝子発現量の検討

第16回日本統合失調症学会

第16回日本統合失調症学会


青年期自閉スペクトラム症の社会性の障害とヒント課題の関連

青年期自閉スペクトラム症の社会性の障害とヒント課題の関連

第62回日本児童青年精神医学会

第62回日本児童青年精神医学会


COVID-19による学業への不安が大学生の抑うつ症状，不安症状，不眠症状や社会機能に及ぼす影響

第62回日本児童青年精神医学会

第62回日本児童青年精神医学会


精神疾患を抱える子ども達の不登校の背景にある要因

精神疾患を抱える子ども達の不登校の背景にある要因

第62回日本児童青年精神医学会

第62回日本児童青年精神医学会


COVID-19によって生じた学業への不安が将来に対する否定的自動思考を介して抑うつ症状に与える影響

日本心理学会第85回大会

日本心理学会第85回大会


社会認知リハビリテーションプログラムの児童思春期自閉スペクトラム症における社会認知機能への効果とQOLとの関連

第60回日本児童青年精神医学会

第60回日本児童青年精神医学会


うつ病患者における養育環境のDNAメチル化修飾への影響の検討

うつ病患者における養育環境のDNAメチル化修飾への影響の検討

第16回日本うつ病学会総会

第16回日本うつ病学会総会


統合失調症における網羅的血漿ホモシステイン濃度関連遺伝子同定研究

統合失調症における網羅的血漿ホモシステイン濃度関連遺伝子同定研究

第41回日本生物学的精神医学会

第41回日本生物学的精神医学会


感冒症状後にチック症状と強迫症状の出現増悪を認め，PANDASが疑われた1例

感冒症状後にチック症状と強迫症状の出現増悪を認め，PANDASが疑われた1例

第115回日本精神神経学会学術総会

第115回日本精神神経学会学術総会


統合失調症患者における血清葉酸濃度の検討

統合失調症患者における血清葉酸濃度の検討

第14回日本統合失調症学会

第14回日本統合失調症学会


双極性障害患者におけるアミノ酸系神経伝達物質の異常

双極性障害患者におけるアミノ酸系神経伝達物質の異常

第15回日本うつ病学会総会

第15回日本うつ病学会総会


うつ病患者の末梢血グルタミン酸濃度のメタ解析

うつ病患者の末梢血グルタミン酸濃度のメタ解析

第15回日本うつ病学会総会

第15回日本うつ病学会総会


うつ病の末梢白血球におけるSGK1遺伝子発現

うつ病の末梢白血球におけるSGK1遺伝子発現

第15回日本うつ病学会総会

第15回日本うつ病学会総会


血清ピリドキサール(ビタミンB6)と統合失調症の関連研究

血清ピリドキサール(ビタミンB6)と統合失調症の関連研究

第13回日本統合失調症学会

第13回日本統合失調症学会


統合失調症患者の否定的・肯定的自動思考と臨床要因との関連

統合失調症患者の否定的・肯定的自動思考と臨床要因との関連


強迫性障害の末梢白血球におけるセロトニントランスポーター遺伝子のメチル化とmRNA解析

第9回脳科学クラスター・ミニリトリート

第9回脳科学クラスター・ミニリトリート


幻覚妄想状態の治療後に前頭葉機能低下が残存したパーキンソン病の一例

幻覚妄想状態の治療後に前頭葉機能低下が残存したパーキンソン病の一例

第58回中国・四国精神神経学会

第58回中国・四国精神神経学会


行動特性に隠れててんかん発作が見逃されていた広汎性発達障害の一例

行動特性に隠れててんかん発作が見逃されていた広汎性発達障害の一例

第58回中国・四国精神神経学会

第58回中国・四国精神神経学会


うつ病における血漿グルタミン，グルタミン酸，グルタミン/グルタミン酸比

うつ病における血漿グルタミン，グルタミン酸，グルタミン/グルタミン酸比

第27回日本臨床精神神経薬理学会

第27回日本臨床精神神経薬理学会


Altered Serotonin transporter mRNA expression in the peripheral leukocytes of obsessive-compulsive disorder

第47回日本神経精神薬理学会・第39回日本生物学的精神医学会 合同年会

第47回日本神経精神薬理学会・第39回日本生物学的精神医学会 合同年会


DNA methylation of the serotonin transporter gene in obsessive-compulsive disorder.

第39回日本生物学的精神医学会

第39回日本生物学的精神医学会


C-reactive protein and schizophrenia; A Mendelian Randomization approach.

第12回日本統合失調症学会

第12回日本統合失調症学会


GWASによる強迫性障害の薬物反応性関連パスウエイの同定

GWASによる強迫性障害の薬物反応性関連パスウエイの同定

第26回日本臨床精神神経薬理学会

第26回日本臨床精神神経薬理学会


児童養護施設で暮らす小6男児の癇癪弱化と職員へのペアレントトレーニング

児童養護施設で暮らす小6男児の癇癪弱化と職員へのペアレントトレーニング

第42回日本認知・行動療法学会

第42回日本認知・行動療法学会


リスペリドン持効性懸濁注射液が有効であった神経性無食欲症男児の症例

リスペリドン持効性懸濁注射液が有効であった神経性無食欲症男児の症例

第46回日本神経精神薬理学会

第46回日本神経精神薬理学会


思春期の摂食障害女児の症例

思春期の摂食障害女児の症例

第28回日本総合病院精神医学会総会

第28回日本総合病院精神医学会総会


うつ病患者における5HTTLPR，DNAメチル化，遺伝子発現の関連研究

うつ病患者における5HTTLPR，DNAメチル化，遺伝子発現の関連研究

第25回日本臨床精神薬理学会

第25回日本臨床精神薬理学会


日本人におけるセロトニントランスポーター多型とうつ病との関連研究

日本人におけるセロトニントランスポーター多型とうつ病との関連研究

第37回日本生物学的精神医学会

第37回日本生物学的精神医学会


強迫性障害の治療反応性とセロトニントランスポータ遺伝子多型との関連

強迫性障害の治療反応性とセロトニントランスポータ遺伝子多型との関連

第37回日本生物学的精神医学会

第37回日本生物学的精神医学会


細胞異種性を考慮した末梢血白血球のDNAメチル化の性差の検討

細胞異種性を考慮した末梢血白血球のDNAメチル化の性差の検討

第37回日本生物学的精神医学会

第37回日本生物学的精神医学会


HTR2A -1438G/A多型と強迫性障害の治療反応性との遺伝関連研究

HTR2A -1438G/A多型と強迫性障害の治療反応性との遺伝関連研究

第7回日本不安症学会学術大会

第7回日本不安症学会学術大会


ゲノムワイド関連解析による強迫性障害の薬物反応性予測遺伝子多型の検討

ゲノムワイド関連解析による強迫性障害の薬物反応性予測遺伝子多型の検討

第7回日本不安症学会学術大会

第7回日本不安症学会学術大会


BDNF Val66Met多型と強迫性障害;メタ解析ならびに治療反応性

BDNF Val66Met多型と強迫性障害;メタ解析ならびに治療反応性

第24回日本臨床精神神経薬理学会

第24回日本臨床精神神経薬理学会


COMT Val158Met多型と強迫性障害の遺伝子関連ならびにメタ解析研究

COMT Val158Met多型と強迫性障害の遺伝子関連ならびにメタ解析研究

第36回日本生物学的精神医学会

第36回日本生物学的精神医学会


リスペリドン持効性懸濁注射液の使用が有効であった神経性無食欲症の一症例

リスペリドン持効性懸濁注射液の使用が有効であった神経性無食欲症の一症例

第53回中国・四国精神神経学会

第53回中国・四国精神神経学会


胸腹部の不快感を主訴としたレストレスレッグズ症候群の一症例

胸腹部の不快感を主訴としたレストレスレッグズ症候群の一症例

第49回日本心身医学会総会

第49回日本心身医学会総会


双極性障害における血中メタボローム解析

双極性障害における血中メタボローム解析

第42回躁うつ病の薬理・生化学的研究懇話会

第42回躁うつ病の薬理・生化学的研究懇話会


ヒント課題を用いた中高生における心の理論の評価

ヒント課題を用いた中高生における心の理論の評価

第20回精神疾患と認知機能研究会

第20回精神疾患と認知機能研究会


双極性障害における血中代謝物の変化

双極性障害における血中代謝物の変化

第13回脳科学クラスターミニリトリート

第13回脳科学クラスターミニリトリート


思春期のうつ状態に対する診断と治療 ~ 標準的診断・治療と私見∼

思春期のうつ状態に対する診断と治療 ~ 標準的診断・治療と私見∼

徳島児童・青年精神保健研究会

徳島児童・青年精神保健研究会


うつ病におけるキヌレニン経路の変化

うつ病におけるキヌレニン経路の変化

第40回躁うつ病の薬理・生化学的研究懇話会

第40回躁うつ病の薬理・生化学的研究懇話会


メタ認知的モニタリングと否定的・肯定的自動思考との関連

メタ認知的モニタリングと否定的・肯定的自動思考との関連


うつ病におけるキヌレニン経路の変化

うつ病におけるキヌレニン経路の変化

第12回脳科学クラスターミニリトリート

第12回脳科学クラスターミニリトリート


うつ病におけるキヌレニン経路の変化

うつ病におけるキヌレニン経路の変化

第5回メタボロームシンポジウム

第5回メタボロームシンポジウム


社会認知リハビリテーションによる児童思春期自閉スペクトラム症の社会認知機能の変化

第19回精神疾患と認知機能研究会

第19回精神疾患と認知機能研究会


児童思春期自閉スペクトラム症の社会認知障害に対する社会認知ならびに対人関係のトレーニング(Social Cognition and Interaction Training: SCIT)の効果検証


統合失調症患者における神経認知機能と否定的・肯定的認知の関連.

統合失調症患者における神経認知機能と否定的・肯定的認知の関連.


広汎性発達障害の行動特性に隠れて見逃されていたてんかん発作

広汎性発達障害の行動特性に隠れて見逃されていたてんかん発作


うつ病のメタボローム解析

うつ病のメタボローム解析

第2回メタボローム解析シンポジウム

第2回メタボローム解析シンポジウム


うつ病の末梢血におけるメタボローム解析

うつ病の末梢血におけるメタボローム解析

第35回躁うつ病の薬理・生化学的研究懇話会

第35回躁うつ病の薬理・生化学的研究懇話会