PoseTalk - テキストと音声に基づいて、話す顔のアニメーションを生成するオープンソースプロジェクト。 - AiBoss

PoseTalkとは何ですか？

PoseTalkは、テキストと音声に基づく姿勢制御およびモーション洗練手法を用いて、一度の処理で話す顔の動画を生成するオープンソースプロジェクトです。画像、音声、姿勢を駆動する音声から話す顔の動画を合成し、ユーザーに効率的かつ便利な頭部アニメーション生成方法を提供します。PoseTalkの中核となるのは、テキストプロンプトと音声キューに基づいてポーズポテンシャル空間にモーションポテンシャルを生成し、自然でリアルな頭部の動きを実現することです。Pose Latent Diffusion（PLD）モデルとカスケードネットワークであるCoarseNetおよびRefineNetを通して、高品質なリップシンクと頭部の姿勢生成を実現し、バーチャルアンカー、オンライン教育、ソーシャルメディアなど、さまざまなアプリケーションに適しています。

PoseTalkの主な機能

テキストと音声によるジェスチャー生成PoseTalkは、テキストによる指示と音声入力に基づいて頭部のポーズを生成し、頭部の動きにおける長期的な意味と短期的な変化を反映します。
ポテンシャル拡散モデル（PLD）PoseTalkは、ポーズポテンシャル空間において動作ポテンシャルを生成し、自然でリアルな頭部の動きを可能にします。
カスケード型ネットワーク改良戦略CoarseNetとRefineNetという2つのカスケードネットワークに基づいて、まず大まかな動きを推定して新しいポーズのアニメーション画像を生成し、次に唇の動きを洗練させて唇の同期性能を向上させます。
高いリップシンク品質PoseTalkは、モーション精緻化戦略により、音声と高度に同期した頭部アニメーションを生成し、特にリップシンクにおいて優れた性能を発揮します。
多様なポーズ生成ユーザーは、さまざまなテキストプロンプトを使用してPoseTalkにさまざまなポーズを生成させることができ、生成されるアニメーションの多様性とカスタマイズ性を高めることができます。

PoseTalkの技術的原則

ポーズ潜在拡散（PLD）モデルニューラルパラメトリック頭部モデルの表現空間内で動作することで、人間の頭部の微細なディテールを捉えます。PLDモデルは、テキスト情報と音声情報を頭部の姿勢と動きの情報に変換し、その後のアニメーション生成の基盤を提供します。
カスケード型ネットワーク改良戦略PoseTalkは、CoarseNetとRefineNetという2つのカスケードネットワークを使用して、自然な話し声の動画を合成します。CoarseNetは、大まかな動きを推定し、新しいポーズのアニメーション画像を生成する役割を担います。RefineNetは、唇の動きを低解像度から高解像度へと段階的に推定することで、より細かい唇の動きを学習し、唇の同期性能を向上させます。
音声特徴抽出PoseTalkは、事前学習済みのオーディオエンコーダー（Wave2Vec 2.0モデルなど）に基づいて、入力オーディオ信号から特徴量を抽出します。これらのオーディオ特徴量はテキスト情報と組み合わされ、頭部モデルの動きを制御することで、生成された頭部アニメーションをオーディオと完全に同期させ、唇の動き、表情、その他の側面において高い一貫性を実現します。
訓練と推論トレーニング段階では、PoseTalkは変分オートエンコーダー（VAE）を用いて、頭部の姿勢と眼球の動きを表す低次元の潜在空間を学習します。推論段階では、PLDが自然な姿勢シーケンスを予測し、ビデオ生成モデルを用いて、音声特徴量と生成された姿勢シーケンスからリアルな話し声のビデオを合成します。

PoseTalkプロジェクトのアドレス

プロジェクト公式サイト：posetalk.github.io/
arXiv技術論文：https://arxiv.org/pdf/2409.02657

PoseTalk アプリケーションシナリオ

バーチャルアシスタントとデジタルヒューマンPoseTalkは、バーチャルアシスタントやデジタルヒューマン向けにリアルな頭部アニメーションを生成するために使用され、より自然で魅力的なインタラクティブ体験を提供します。
映画およびゲーム制作エンターテインメント業界では、PoseTalkは高品質なキャラクターアニメーションを生成するために使用され、キャラクターの頭の動きや表情をよりリアルにし、視聴者の没入感を高めます。
オンライン教育とトレーニング遠隔学習環境では、PoseTalkは教師や講師のアバターを生成するために使用され、より魅力的な学習体験を提供します。
ソーシャルメディアとコンテンツ制作ユーザーはPoseTalkに基づいて、パーソナライズされたアニメーションアバターや絵文字を作成することができ、ソーシャルメディアコンテンツの楽しさとインタラクティブ性を高めることができます。