Playmate - FunWan Technologyチームが開発した顔アニメーション生成フレームワーク。 - AiBoss

プレイメイトとは何ですか？

Playmateは、広州Quwan Technologyチームが開発した顔アニメーション生成フレームワークです。3D暗黙的空間誘導拡散モデルに基づき、2段階のトレーニングプロセスを用いて音声と指示に従って顔の表情と頭の姿勢を正確に制御し、高品質な動的ポートレート動画を生成します。Playmateは、モーション分離モジュールと感情制御モジュールを活用することで、生成される動画をきめ細かく制御し、動画の品質と感情表現の柔軟性を大幅に向上させています。Playmateは、音声駆動型ポートレートアニメーションにおける大きな進歩であり、感情と姿勢を正確に制御し、多様なスタイルの動的ポートレートを生成することで、幅広い応用可能性を秘めています。

プレイメイトの主な機能

オーディオドライバー静止画と音声クリップだけで、自然な口の動きと表情の変化を実現する、対応するダイナミックなポートレート動画を生成できます。
感情のコントロール指定された感情状態（怒り、嫌悪、軽蔑、恐怖、喜び、悲しみ、驚きなど）に基づいて、特定の感情を表現した動的な動画を生成します。
姿勢制御運転画像制御結果に基づいて姿勢を生成する機能をサポートし、様々な頭部の動きやポーズを可能にする。
独立した制御これにより、顔の表情、唇の動き、頭の姿勢を個別に制御することが可能になります。
多様なスタイルリアルな顔、アニメーション、芸術的な肖像画、さらには動物など、さまざまなスタイルのダイナミックな肖像画を生成できるため、幅広い用途に利用できます。

プレイメイトの技術原則

3D暗黙的空間誘導拡散モデル3D暗黙的空間表現に基づき、表情、唇の形、頭の姿勢などの顔の特徴を分離します。適応型正規化戦略に基づき、動きの特徴の分離精度をさらに向上させ、生成される動画の表情や姿勢がより自然になるようにします。
2段階のトレーニングフレームワーク：
- フェーズ1音声条件付き拡散トランスフォーマーを訓練し、音声キューから直接モーションシーケンスを生成する。モーション分離モジュールに基づいて、顔の表情、唇の動き、頭の姿勢を正確に分離する。
- フェーズ2感情制御モジュールを導入することで、感情状態を潜在空間に符号化し、生成されるビデオに対するきめ細かな感情制御を可能にする。
感情制御モジュール感情制御モジュールは、DiT（拡散変換ブロック）に基づいて実装されています。2つのDiTブロック構造を用いることで、感情条件を生成プロセスに組み込み、感情をきめ細かく制御することが可能になります。分類器フリーガイダンス（CFG）戦略を採用し、CFGの重みを調整することで、生成される動画の品質と多様性のバランスを取ります。
効率的な拡散モデルトレーニング音声特徴は、事前学習済みのWav2Vec2モデルを使用して抽出され、音声特徴と動き特徴は自己注意機構に基づいて整合されます。順方向および逆方向のマルコフ連鎖に基づいて、ガウスノイズが対象の動きデータに段階的に追加され、拡散変換器を使用してノイズを予測および除去し、最終的な動きのシーケンスを生成します。

プレイメイトのプロジェクトアドレス

プロジェクト公式サイト：https://playmate111.github.io/Playmate/
GitHubリポジトリ：https://github.com/Playmate111/Playmate
arXiv技術論文：https://arxiv.org/pdf/2502.07203

プレイメイト応募シナリオ

映画およびテレビ制作仮想キャラクターのアニメーションを生成し、特殊効果を強化し、キャラクターを置き換えることで、手作業による制作コストを削減し、特殊効果のリアリティを向上させます。
ゲーム開発これは、仮想キャラクターの生成、インタラクティブなストーリーラインの作成、NPCアニメーションの制作を支援し、ゲームのインタラクティブ性と没入感を向上させます。
仮想現実（VR）と拡張現実（AR）仮想キャラクターとのやり取り、仮想会議、仮想ソーシャルインタラクションにおいて、自然な表情と口の動きを実現し、ユーザーエクスペリエンスを向上させる。
インタラクティブメディアライブストリーミング、ビデオ会議、バーチャルアンカー、インタラクティブ広告などに活用することで、コンテンツをより鮮やかで興味深いものにし、インタラクティブ性を高めることができます。
教育と訓練これは、仮想教師の生成、シミュレーション訓練、語学学習などに利用でき、教育コンテンツを学生にとってより魅力的なものにし、現実的な訓練環境を提供する。