project
FaceShot - 同済大学と上海AI研究所が共同開発したポートレートアニメーション生成フレームワーク。
FaceShotは、同済大学、上海AI研究所、南京理工大学が共同開発した、学習不要の斬新なポートレートアニメーション生成フレームワークです。外観に基づくランドマークマッチングモジュールと座標ベースのランドマーク再配置モジュールを利用して、様々なキャラクターアニメーションを生成します。
FaceShotとは何ですか？
FaceShotは、同済大学、上海AIラボ、南京理工大学が共同開発した、学習不要の斬新なポートレートアニメーション生成フレームワークです。外観に基づくランドマークマッチングモジュールと座標ベースのランドマーク再配置モジュールを用いて、様々なキャラクターの正確かつ堅牢なランドマークシーケンスを生成します。潜在拡散モデルによる意味的対応関係に基づき、幅広いキャラクタータイプにわたる顔の動きのシーケンスを生成します。生成されたランドマークシーケンスは、事前学習済みのランドマーク駆動型アニメーションモデルに入力され、アニメーション動画が生成されます。FaceShotは、現実世界のポートレートランドマークのみに依存するという制約を克服し、あらゆる様式化されたキャラクターや動画に適用可能で、あらゆるランドマーク駆動型アニメーションモデルと互換性のあるプラグインとして使用できるため、全体的なパフォーマンスを大幅に向上させます。
FaceShotの主な機能
- キャラクターアニメーション生成様々なタイプのキャラクターの元の特徴を維持しながら、滑らかで自然な表情アニメーションを生成します。
- 分野横断型アニメーション人間が撮影した動画を駆動して、人間以外のキャラクター（おもちゃ、動物など）のアニメーションを再生する機能をサポートしており、ポートレートアニメーションの応用範囲を拡大しています。
- 研修は不要です高品質なアニメーションは、キャラクターごと、あるいは運転動画ごとに追加のトレーニングや微調整を行うことなく、直接生成できます。
- 互換性プラグインとして、ランドマーク駆動型のアニメーションモデルとシームレスに統合できます。
FaceShotの技術原理
- 外観誘導型ランドマークマッチングモジュール潜在拡散モデルの意味的対応関係に基づき、事前の外観知識と組み合わせることで、あらゆるキャラクターに対して正確な顔の特徴点を生成します。拡散特徴は、DDIMの逆処理を用いて参照画像とターゲット画像から抽出され、画像キューに基づいて異なるドメイン間の外観の違いが低減されます。特徴点のマッチングにはコサイン距離を用いて意味的な一貫性を確保し、マッチング効果をさらに最適化するために外観ギャラリーが導入されています。
- 座標に基づくランドマーク再配置モジュールこのモジュールは、座標変換に基づいて動画内の微妙な顔の動きを捉え、それに合わせた一連のランドマークを生成します。モジュールは、グローバルモーションとローカルモーションの2つの段階に分かれています。グローバルモーションは顔全体の移動と回転を計算し、ローカルモーションは目、口、鼻、眉毛、顔の境界線などの部位の相対的な位置調整と点位置調整を行います。シンプルな座標変換式に基づいて、このモジュールはグローバルおよびローカルの顔の動きを正確に捉え、安定した一連のランドマークを生成できます。
- ランドマーク主導のアニメーションモデルこのモジュールは、生成されたランドマークシーケンスを事前学習済みのアニメーションモデル（MOFA-Videoなど）に入力し、最終的なアニメーション動画を生成します。ランドマークシーケンスは、アニメーションモデルのU-Netに追加条件として入力され、モデルがランドマークシーケンス内の動きを正確に追跡できるようにします。このアプローチに基づき、アニメーションモデルはランドマークシーケンスを使用して、駆動動画と整合性のあるアニメーション効果を生成し、キャラクターの視覚的なアイデンティティを維持しながら、高品質なポートレートアニメーション生成を実現します。
FaceShotプロジェクトの住所
- プロジェクト公式サイト：https://faceshot2024.github.io/faceshot/
- GitHubリポジトリ：https://github.com/open-mmlab/FaceShot
- arXiv技術論文：https://arxiv.org/pdf/2503.00740
FaceShotの応用事例
- 映画とエンターテイメント映画やテレビシリーズのキャラクターに鮮やかなアニメーションを生成し、視覚効果を高めます。
- ゲーム開発ゲームキャラクターのアニメーションを素早く生成し、表現力と楽しさを向上させます。
- 教育教育コンテンツをより魅力的なものにし、生徒の学習意欲と教師との相互作用を高めるため。
- 広告とマーケティングブランドイメージとユーザーエンゲージメントを高めるために、アニメーション化されたブランドマスコットを作成する。
- VR/ARアプリケーション仮想キャラクターのアニメーションを生成することで、没入感とインタラクティブな体験を向上させます。