AB
AB
AiBoss

すべてのカテゴリ

project

EmoTalk3D - ファーウェイと復旦大学が共同で発表した3Dデジタルヒューマンフレームワーク

EmoTalk3Dは、ファーウェイ・ノアズアーク研究所、南京大学、復旦大学が共同開発した3Dデジタルヒューマンフレームワークです。そのコア技術は、豊かな感情表現を持つ3D会話アバターを合成する能力にあります。EmoTalk3Dは、キャプチャと再現が可能で、…

EmoTalk3Dとは何ですか？

EmoTalk3Dは、ファーウェイ・ノアズアーク・ラボ、南京大学、復旦大学が共同開発した3Dデジタルヒューマンフレームワークです。そのコア技術は、豊かな感情表現を持つ3D会話アバターを合成できる点にあります。EmoTalk3Dは、人間の唇の動き、表情、さらにはしわやその他の微細な顔の動きといった、より繊細な感情表現まで捉え、再現することができます。「音声から形状、そして外観へ」というマッピングフレームワークを通して、EmoTalk3Dは音声の特徴から3D幾何学的シーケンスを予測し、3Dアバターの外観を合成します。

EmoTalk3Dの主な機能

  • 感情表現の統合入力された音声信号に基づいて、喜び、悲しみ、怒りなど、さまざまな感情状態を含む、対応する感情表現を伴う3Dアバターアニメーションを合成することができます。
  • 口の動きが同期する発話と同期した非常に正確な唇の動き。3Dアバターの唇の動きは、実際の発話時の発音と一致します。
  • マルチビューレンダリングさまざまな角度からの3Dアバターのレンダリングをサポートしており、異なる視点から見ても高品質かつ一貫性のある表示を保証します。
  • 動的なディテールキャプチャ顔の微細な表情や、会話中の表情の細かな変化（しわや微妙な表情の変化など）を捉えて再現することができる。
  • 感情表現の制御ユーザーは必要に応じて3Dアバターの感情表現を制御することができ、リアルタイムでの感情の調整と制御を実現できる。
  • 高忠実度EmoTalk3Dは、高度なレンダリング技術を用いて、高解像度で非常にリアルな3Dアバターを生成します。

EmoTalk3Dの技術的原理

  • データセットの作成（EmoTalk3Dデータセット）：複数の視点からのビデオデータが収集され、各フレームの感情注釈と3D顔形状情報が含まれていました。このデータセットは複数の被験者から得られたもので、各被験者は異なる感情状態下で複数の視点から撮影した動画を収録している。
  • 音声特徴抽出：事前学習済みのHuBERTモデルを音声エンコーダーとして使用し、入力音声を音声特徴量に変換する。感情タグは、感情抽出器を使用して音声の特徴から抽出されます。
  • Speech-to-Geometry Network (S2GNet)：音声特徴量と感情タグを入力として使用し、動的な3D点群シーケンスを予測します。ゲート付き周期ユニット（GRU）はコアアーキテクチャとして機能し、4Dメッシュシーケンスを生成します。
  • 3D形状から外観へのマッピング：予測された4D点群に基づいて、ジオメトリ・トゥ・アピアランス・ネットワーク（G2ANet）を使用して3Dアバターの外観が合成されます。外観は、通常のガウス分布（静的な外観）と動的なガウス分布（顔の動きによって生じるしわ、影など）に分解されます。
  • 4次元ガウスモデル：3Dガウススプラッティング技術は、3Dアバターの外観を表現するために使用されます。各3Dガウス分布は、位置、スケール、回転、透明度によってパラメトリックに表現されます。
  • 動的なディテール合成：FeatureNetおよびRotationNetネットワークを使用して、しわや微妙な表情といった動的な詳細を予測します。
  • 頭部の健全性：顔以外の部位（髪、首、肩など）については、均一に分布した点からモデルを構築するために最適化アルゴリズムが使用されます。
  • レンダリングモジュール：動的ガウス分布と正規化ガウス分布を融合することで、自由な視点を持つ3Dアバターアニメーションがレンダリングされます。
  • 感情のコントロール：感情タグを手動で設定し、その時系列を変化させることで、生成されるアバターの感情表現を制御できる。

EmoTalk3Dプロジェクトのアドレス

EmoTalk3Dの応用事例

  • バーチャルアシスタントとカスタマーサービスインテリジェントなカスタマーサービス担当者またはバーチャルアシスタントとして、より自然で感情豊かな対話体験を提供します。
  • 映画およびビデオ制作映画、テレビ、ビデオゲームにおいて、リアルなキャラクターやアニメーションを生成し、視覚体験を向上させる。
  • 仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションにおいて没入感のある体験を提供し、ユーザーとのよりリアルなインタラクションを可能にする。
  • ソーシャルメディアとライブストリーミングユーザーはEmoTalk3Dを使用して独自の3Dアバターを作成およびカスタマイズし、ソーシャルメディアプラットフォームやライブストリームで使用することができます。
  • 広告とマーケティング広告やブランドプロモーション用の魅力的な3Dキャラクターを作成します。
戻る