Emotion-LLaMA - 音声、画像、テキスト入力を統合した、マルチモーダルな感情認識および推論モデル。 - AiBoss

Emotion-LLaMAとは何ですか？

Emotion-LLaMAは、音声、視覚、テキスト入力を統合し、特定の感情エンコーダーを介して情報を組み合わせるマルチモーダルな感情認識および推論モデルです。このモデルは、LLaMAの改良版をベースに、感情認識機能を強化するための指示を追加して調整されています。研究者らは、トレーニングと評価を容易にするためにMERRデータセットを構築し、モデルが複数のシナリオから学習し、現実世界の状況に適用できるようにしました。Emotion-LLaMAは、MER2024チャレンジのMER-NOISEトラックで84.52%のWAF（警告認識）を達成するなど、複数のデータセットとチャレンジで優れたパフォーマンスを発揮し、他のチームを凌駕しました。その独創的なアーキテクチャは、LLaMAの利点を最大限に活用し、重要な感情の手がかりを組み込んでいます。

Emotion-LLaMAの主な機能

マルチモーダル感情認識感情に特化したエンコーダーを通して、音声、画像、テキスト入力をシームレスに統合することで、複雑な感情表現をより正確に認識できます。顔の表情、身振り、状況的手がかりを含む画像や動画を処理し、最も可能性の高い感情カテゴリを予測し、予測された感情ラベルと対応する信頼度スコアを表示します。
感情的推論Emotion-LLaMAは、音声やテキストを伴う動画クリップなどのマルチモーダル入力が与えられると、自然言語による解釈を生成し、データ内の表情、音声の手がかり、言語コンテンツを分析し、一貫性のある人間らしい解釈を生成します。感情予測に役立つ特定の手がかりやパターンを強調表示することで、透明性と解釈可能性の高い感情理解を必要とするアプリケーションに価値を提供します。
データセットの構築とトレーニングのサポートMERRデータセットは、複数の感情カテゴリを網羅する、粗粒度サンプル28,618個と細粒度サンプル4,487個を含むデータセットとして構築されました。これにより、モデルはさまざまなシナリオから学習し、実世界のアプリケーションに一般化することが可能となり、大規模なマルチモーダル感情モデルのトレーニングと評価のための貴重なリソースを提供します。
優れたパフォーマンスEMERデータセットにおけるキューオーバーラップとラベルオーバーラップで最高スコアを達成したり、MER2023-SEMIチャレンジでF1スコア0.9036、MER2024-NOISEチャレンジでF1スコア0.8452を達成したり、DFEWデータセットでのゼロショット評価でChatGPT-4Vを上回るなど、複数のデータセットとチャレンジで優れたパフォーマンスを発揮しています。

Emotion-LLaMAの技術原理

マルチモーダル入力融合Emotion-LLaMAは、感情に特化したエンコーダーを通して、音声、画像、テキストの入力をシームレスに統合します。音声エンコーダーとしてHuberTモデルを、画像エンコーダーとしてマルチビューエンコーダー（MAE、VideoMAE、EVAなど）を活用することで、顔のディテール、ダイナミクス、コンテキストを捉え、感情表現をより包括的に理解することを可能にします。
機能の配置と指示の調整このモデルは、異なるモダリティの特徴を共有空間に統合し、調整された指示を備えた改良型LLaMAモデルを採用しています。これにより、モデルは感情関連のタスクをより適切に理解・処理できるようになり、感情認識能力と推論能力が向上します。
データセットの構築モデルのトレーニングと評価を支援するため、研究者らはMERRデータセットを構築しました。このデータセットには、複数の感情カテゴリを網羅する、粗粒度サンプル28,618件と細粒度サンプル4,487件の注釈付きサンプルが含まれています。このデータセットにより、モデルはさまざまなシナリオから学習し、実世界のアプリケーションに一般化することが可能になります。
Transformerアーキテクチャに基づいていますEmotion-LLaMAの中核となるアーキテクチャはTransformerに基づいており、自己回帰生成メカニズム、マルチヘッド自己注意メカニズム、フィードフォワードニューラルネットワーク（FFN）、残差接続、位置エンコーディングを利用して、効率的な自然言語生成と感情推論を実現しています。

Emotion-LLaMAのプロジェクトアドレス

GitHubリポジトリ：https://github.com/ZebangCheng/Emotion-LLaMA
arXiv技術論文：https://arxiv.org/pdf/2406.11161
オンラインでデモを体験してください：https://huggingface.co/spaces/ZebangCheng/Emotion-LLaMA

Emotion-LLaMAの応用シナリオ

人間とコンピュータの相互作用インテリジェントアシスタントやチャットボットなどのシナリオでは、ユーザーの感情状態をリアルタイムで分析することで、ユーザーの感情に基づいた応答を生成することができ、よりパーソナライズされた対話体験を提供するとともに、機械が人間のユーザーの感情的なニーズをよりよく理解し、それに応えることを可能にする。
教育教師はEmotion-LLaMAを使って生徒の感情状態を理解し、より的を絞った指導支援を提供することができます。
メンタルヘルスサポートメンタルヘルスのカウンセリングや介入において、モデルは利用者の感情状態を特定し、カウンセラーにより正確な感情分析を提供し、治療プロセスを支援するためのタイムリーな心理的介入とサポートを提供するのに役立つ。
顧客サービス企業は、顧客の感情状態を分析することで、よりパーソナライズされた、きめ細やかなサービスを顧客サービスシステムにEmotion-LLaMAを適用することができる。
ソーシャルメディア分析ソーシャルメディア上のコメントや投稿に対して感情分析を行うことで、企業はユーザーの感情傾向を把握し、貴重な市場インサイトを得ることができる。