project
HunyuanPortrait - テンセント渾源と清華大学などが共同開発した肖像アニメーション生成フレームワーク。
HunyuanPortraitは、TencentのHunyuanチームが清華大学、中山大学、香港科技大学と共同で開発した拡散ベースのフレームワークです。高度に制御可能でリアルなポートレートアニメーションを生成するために使用されます。
HunyuanPortraitとは何ですか？
HunyuanPortraitは、テンセントのHunyuanチームが清華大学、中山大学、香港科技大学と共同で開発した拡散ベースのフレームワークです。高度な制御性とリアルさを備えたポートレートアニメーションの生成に使用されます。与えられたポートレート画像を外観の参照画像、ビデオクリップを駆動テンプレートとして、駆動ビデオ内の表情と頭の姿勢に基づいて、参照画像の人物をアニメーション化します。HunyuanPortraitは、時間的な一貫性と制御性の点で既存の手法を凌駕し、高い汎化性能を発揮し、異なる画像スタイルにおいても外観と動きを効果的に分離します。仮想現実、ゲーム、ヒューマンコンピュータインタラクションなど、幅広い分野で活用されています。
HunyuanPortraitの主な機能
- 高度に制御可能なポートレートアニメーション生成外観の参考として一枚のポートレート画像を用い、運転のテンプレートとして動画クリップを使用することで、運転動画内の表情や頭の姿勢を参考ポートレートに正確に転写し、自然で滑らかなアニメーションを生成する。
- 強いアイデンティティの一貫性顔の構造や動きの強さに大きな違いがある場合でも、同一性の歪みを避けるために、参照肖像画の同一性の特徴を維持する必要があります。
- リアルな顔の動きを捉える視線の方向や口の動きの同期など、顔の表情の微妙な変化を捉え、非常にリアルなポートレートアニメーションを生成します。
- 時間一貫性最適化生成された動画は、時間的な連続性と滑らかさが非常に高く、背景のちらつきやぼやけといった問題を回避しています。
- スタイルの一般化能力アニメ風や写実的な写真スタイルなど、さまざまな画像スタイルに対応し、幅広い用途に使用できます。
HunyuanPortraitの技術原理
- 暗黙的な条件制御暗黙的表現を用いて動き情報を符号化することで、複雑な顔の動きや表情の変化をより正確に捉え、不正確なキーポイント抽出によるアーティファクトや歪みを回避します。符号化された動き情報は制御信号として使用され、アテンション機構に基づくノイズ除去U-Netに注入されることで、アニメーション生成プロセスをきめ細かく制御することが可能になります。
- 安定したビデオ拡散モデル拡散モデルフレームワークに基づき、潜在空間において拡散およびノイズ除去処理を実行することで、生成品質と学習効率を向上させます。画像はVAEを用いてRGB空間から潜在空間へマッピングされ、UNetに基づいてノイズ除去処理を行うことで、高品質なビデオフレームを生成します。
- 拡張された特徴抽出器このアプローチでは、推定された動きの強度（顔の表情の歪みの度合いや頭部の動きの振幅など）に基づいて動きの特徴表現を強化し、さまざまな動きの強度への適応性を向上させます。ArcFaceとDiNOv2の背景を組み合わせることで、マルチスケールアダプタ（IMAdapter）を使用してポートレートの同一性の一貫性を高め、生成されたアニメーションが異なるフレーム間で一貫した同一性の特徴を維持するようにします。
- 訓練と推論戦略色ジッターやポーズガイダンスなどの手法は、訓練データの多様性を高め、モデルの汎化能力を向上させるために使用されます。また、特定の骨のエッジをランダムに削除するなど、さまざまな訓練強化戦略が採用され、異なる入力条件下でのモデルの安定性を向上させます。
- 注意機構UNetにマルチヘッド自己注意機構とクロスアテンション機構を導入することで、モデルの空間情報と時間情報の認識能力が向上し、生成される動画のディテールの豊かさと時間的な一貫性が改善されます。
HunyuanPortraitのプロジェクトアドレス
- プロジェクト公式サイト：https://kkakkkka.github.io/HunyuanPortrait/
- GitHubリポジトリ：https://github.com/Tencent-Hunyuan/HunyuanPortrait
- ハギングフェイスモデルライブラリ：https://huggingface.co/tencent/HunyuanPortrait
- arXiv技術論文：https://arxiv.org/pdf/2503.18860
HunyuanPortraitの応用事例
- 仮想現実（VR）と拡張現実（AR）ユーザー体験を向上させるために、リアルな仮想キャラクターを作成する。
- ゲーム開発プレイヤーの没入感を高めるために、パーソナライズされたゲームキャラクターを生成する。
- 人間とコンピュータの相互作用より自然なバーチャルアシスタントやカスタマーサービスロボットを開発し、インタラクティブな体験を向上させる。
- デジタルコンテンツ制作映像制作、広告、映画やテレビの特殊効果において、高品質なアニメーションコンテンツを迅速に生成するために使用されます。
- ソーシャルメディアとエンターテイメントユーザーは、自分の写真からアニメーション絵文字や仮想アバターを作成し、インタラクティブ性を高めることができます。
- 教育と訓練より魅力的な教育体験を提供するために、個々のニーズに合わせた仮想教師や研修担当者の役割を作成します。