EmoLLM - メンタルヘルス支援に焦点を当てた大規模言語モデル

EmoLLMとは何ですか？

EmoLLMは、メンタルヘルス支援に特化した大規模言語モデルであり、マルチモーダルな感情理解を通して、ユーザーに感情的なガイダンスと心理的なサポートを提供します。テキスト、画像、動画など様々なデータ形式を組み合わせ、高度なマルチビュー視覚投影技術を用いて様々な角度から感情的な手がかりを捉え、ユーザーの感情状態をより包括的に理解します。EmoLLMは、複数のオープンソース大規模言語モデルに基づいて微調整されており、感情認識、意図理解、ユーモア検出、憎悪検出といった感情関連タスクをサポートします。

EmoLLMの主な機能

• ユーザーを理解する対話を通じて、ユーザーの感情状態と心理的ニーズを特定する。
• 感情的なサポートユーザーのストレスや不安を和らげるための精神的なサポートを提供します。
• 心理カウンセリング認知行動療法とその他の手法を組み合わせることで、ユーザーが感情管理能力と対処戦略を改善できるよう支援します。
• ロールプレイさまざまなユーザーのニーズに基づいて、心理学者、優しいお姉さん、父親のような恋人など、さまざまな役割を担う人物との多様な対話体験を提供します。
• 個別指導ユーザーからのフィードバックと進捗状況に基づいて、お客様一人ひとりに合わせた心理カウンセリングソリューションを提供します。
• 精神保健評価科学的なツールを用いて、利用者の精神状態を評価し、潜在的な心理的問題を診断する。
• 教育と予防メンタルヘルスに関する知識を提供し、ユーザーがメンタルヘルスの問題を予防する方法を理解できるよう支援します。
• 複数ターン対話のサポート：複数回の対話データセットを通じて、継続的な心理カウンセリングとサポートを提供する。
• 社会支援システム家族、仕事、地域社会、文化的背景がメンタルヘルスに与える影響を考慮し、社会的支援システムに関するガイダンスを提供する。

EmoLLMの技術原則

• 多視点視覚投影EmoLLMは、マルチビュー視覚投影技術を用いて、複数の角度から視覚データに含まれる感情的な手がかりを捉えます。単一の視点から感情情報を分析し、グラフベースの表現を構築することで、オブジェクトの特徴間の関係性を捉えます。コンテンツ情報と関係情報を統合的にマイニングすることで、感情分析タスクにより適した特徴を抽出できます。
• 感情ガイダンスプロンプト（EmoPrompt）EmoPromptは、マルチモーダル大規模言語モデル（MLLM）が感情を正しく推論できるように導くための手法です。タスク固有の例を導入し、それらをGPT-4Vの思考連鎖（CoT）生成機能と組み合わせることで、モデルの感情理解の精度を保証します。
• マルチモーダルコーディングEmoLLMは、テキスト、画像、音声など、さまざまな入力を処理するために複数のモーダルエンコーダを統合しています。例えば、視覚情報の処理にはCLIP-VIT-L/14モデルを、音声信号の処理にはWHISPER-BASEモデルを、テキストデータの処理にはLLaMA2-7Bベースのテキストエンコーダを使用します。
• コマンドの微調整EmoLLMは、QLORAやフルファインチューニングなどの高度な指示微調整技術に基づいて、元の言語モデルを改良し、メンタルヘルスの分野における複雑な感情的状況によりよく適応するようにします。

EmoLLMのプロジェクトアドレス

• GitHubリポジトリ：https://github.com/yan9qu/EmoLLM
• arXiv技術論文：https://arxiv.org/pdf/2406.16442

EmoLLMの応用シナリオ

• メンタルヘルスカウンセリング利用者に精神的なサポートとアドバイスを提供する。
• 感情分析ソーシャルメディア上の感情モニタリング、メンタルヘルスモニタリングなどに使用されます。
• マルチモーダル感情課題例えば、画像や動画における感情認識など。