AniPortrait - テンセントのオープンソース写真リップシンク動画生成フレームワーク
AniPortraitは、アリババが以前リリースしたEMOと同様の、写真の口パク動画生成のためのオープンソースAIフレームワークです。音声と参照用のポートレート画像から、高品質なアニメーションを生成できます。
AniPortraitとは何ですか？
AniPortraitは、アリババのEMOと同様に、写真からリップシンクを行うためのオープンソースのAI動画生成フレームワークです。音声と参照ポートレート画像から高品質なアニメーションを生成できます。AniPortraitは2段階で動作します。まず、音声から3D顔の特徴を抽出し、2D顔マーカーに変換します。次に、拡散モデルとモーションモジュールを使用して、これらのマーカーを一貫性のあるリアルなアニメーションに変換します。このフレームワークの利点は、生成されるアニメーションの自然さと多様性が高く、顔の動きの編集と再現に柔軟性があることです。
アニポートレート公式サイトへの入り口
- GitHubリポジトリ:https://github.com/Zejun-Yang/AniPortrait
- arXivの研究論文：https://arxiv.org/abs/2403.17694
- ハグ顔モデル：https://huggingface.co/ZJYang/AniPortrait/tree/main
- Hugging Face Demo：https://huggingface.co/spaces/ZJYang/AniPortrait_official
アニポートレートの特徴
- 音声駆動型アニメーション生成：AniPortraitは、入力された音声ファイルに基づいて、唇の動き、表情、頭の姿勢など、音声と同期した顔のアニメーションを自動的に生成できます。
- 高品質な視覚効果：AniPortraitは、拡散モデルとモーションモジュールを使用することで、高解像度で視覚的にリアルなポートレートアニメーションを生成し、優れた視覚体験を提供します。
- 時間的一貫性：このフレームワークは、アニメーションの時間的な連続性を保証し、キャラクターの動きを急激なジャンプや矛盾なく、滑らかで自然なものにします。
- 柔軟性と制御性：AniPortraitは、3D顔表現を中間特徴量として利用することで、アニメーション編集における柔軟性を提供し、ユーザーが生成されたアニメーションをさらにカスタマイズおよび調整することを可能にします。
- 顔の表情や唇の動きを正確に捉える：改良されたPoseGuiderモジュールとマルチスケール戦略により、AniPortraitは微妙な唇の動きや複雑な表情を正確に捉え、再現することができます。
- 参照画像との整合性：このフレームワークは、参照画像から外観情報を統合することで、生成されたアニメーションが元の肖像画と視覚的に一致することを保証し、それによって同一人物の不一致という問題を回避します。
AniPortraitの動作メカニズム
AniPortraitは主にAudio2LmkとLmk2Videoという2つのモジュールで構成されています。
1. Audio2Lmkモジュール（音声から2D顔マーカーへの変換）
Audio2Lmkモジュールの目的は、音声入力から一連の表情と唇の動きを抽出し、3D顔メッシュと頭部姿勢情報を生成することです。まず、事前学習済みのwav2vecモデルを使用して音声特徴を抽出します。このモデルは音声中の発音とイントネーションを正確に識別し、これはリアルな顔アニメーションを生成する上で非常に重要です。次に、これらの音声特徴を使用して、2つの全結合層を介して画像を3D顔メッシュに変換します。頭部姿勢予測にもwav2vecネットワークをバックボーンとして使用しますが、姿勢は音声のリズムとイントネーションに大きく関係するため、重みは共有されません。さらに、トランスフォーマーデコーダを使用して姿勢シーケンスをデコードし、クロスアテンション機構を介して音声特徴をデコーダに統合します。最後に、透視投影を使用して3Dメッシュと姿勢情報を2D顔マーカーのシーケンスに変換します。
2. Lmk2Videoモジュール（2D顔マーカーからビデオへの変換）
Lmk2Video モジュールは、参照ポートレート画像と一連の顔マーカーに基づいて、時間的に一貫性のある高品質のポートレート動画を生成する役割を担います。AnimateAnyone ネットワークアーキテクチャに着想を得て、バックボーンとして Stable Diffusion 1.5 を使用し、マルチフレームのノイズの多い入力を一連のビデオフレームに変換する時間的モーションモジュールを組み込んでいます。さらに、SD1.5 と同じ構造の ReferenceNet を導入し、参照画像から外観情報を抽出してバックボーンネットワークに統合することで、動画全体で一貫した顔の識別を保証します。唇の動きのキャプチャ精度を向上させるため、PoseGuider モジュールの設計は、ControlNet のマルチスケール戦略を採用し、参照画像マーカーを追加の入力として使用することで強化されています。クロスアテンションモジュールは、各フレームにおける参照マーカーとターゲットマーカー間の相互作用を促進し、ネットワークが顔マーカーと外観の関係をよりよく理解できるようにします。