HiFiVFS - テンセントとVIVOが共同で発表した、高忠実度ビデオ顔交換フレームワーク - AiBoss

HiFiVFSとは何ですか？

HiFiVFS（High Fidelity Video Face Swapping）は、TencentとVIVOが開発した高忠実度ビデオ顔交換フレームワークです。Stable Video Diffusion（SVD）フレームワークをベースに、HiFiVFSはマルチフレーム入力と時間的注意機構を用いてビデオ生成の安定性を確保しています。トレーニング段階では、属性制御とアイデンティティ類似性を強化するために、Fine-Grained Attribute Learning（FAL）とDetailed Identity Learning（DIL）が導入されています。FALはアイデンティティの感度低下と敵対的学習に基づいて属性の分離を実現し、DILは顔交換により適したアイデンティティ特徴を用いて類似性を向上させます。HiFiVFSは潜在空間でトレーニングおよびテストされ、結果を示すために、プロセス全体が元の画像空間で可視化されています。

HiFiVFSの主な機能

高精細ビデオ顔交換この機能は、ソース画像の顔の特徴をターゲット動画の顔の特徴に置き換えますが、ポーズ、表情、照明、背景などのターゲット動画の属性は保持します。
タイミングの安定性マルチフレームビデオに時間的注意機構を適用することで、ビデオフレーム間の連続性と安定性が確保され、従来の方法で発生する可能性のあるタイミングのジッター問題を回避できます。
きめ細かな属性制御きめ細かい属性学習（FAL）に基づいて、照明やメイクアップなど、従来の顔交換技術では維持が困難だった動画内のきめ細かい属性を抽出し、制御します。
強化された同一性類似性詳細識別学習（DIL）に基づき、より詳細な顔認識特徴量を用いることで、顔交換後の顔と元の画像の人物との類似性を向上させます。

HiFiVFSの技術原理

SVDフレームワークに基づく高解像度のテキストからビデオ、画像からビデオへの合成を目的に設計された、安定ビデオ拡散（SVD）フレームワークに基づいて構築されています。
マルチフレーム入力単一フレームの画像のみを処理する方式とは異なり、HiFiVFSは複数フレームのビデオ入力を処理するため、ビデオの時間的な安定性を維持するのに役立ちます。
時間注意機構この技術は、時間的注意機構に基づいてビデオフレーム間の相関性を高め、それによってビデオの安定性をさらに向上させる。
きめ細かい属性学習（FAL）：
- 属性の分離アイデンティティの脱感作と敵対的学習に基づき、FALはアイデンティティから切り離された、きめ細かな属性特徴を抽出することができる。
- 属性制御の強化FALは敵対的学習に基づいて属性の制御を強化し、顔交換された動画が元の動画の属性をより良く保持できるようにする。
詳細アイデンティティ学習（DIL）：
- 識別特徴抽出DILは顔認識モデルのより深い特徴を利用して、より詳細な顔識別情報を取得します。
- 同一性類似性の向上DILは、これらの詳細な個人識別情報を顔交換プロセスに組み込むことで、顔交換結果と元の人物との類似性を向上させます。

HiFiVFSプロジェクトの住所

プロジェクト公式サイト：cxcx1996.github.io/HiFiVFS
arXiv技術論文：https://arxiv.org/pdf/2411.18293v1

HiFiVFSの応用シナリオ

映画およびビデオ制作映画やビデオ制作においては、これは特定のストーリー展開の要件や特殊効果の制作に合わせて、俳優の表情やアイデンティティを置き換えたり変更したりすることを指します。
ゲーム開発ゲーム開発においては、リアルなキャラクターの表情アニメーションを作成するために使用され、より豊かで本格的なインタラクティブ体験を提供する。
仮想現実（VR）と拡張現実（AR）VRやARアプリケーションでは、ユーザーの仮想アバターの顔の特徴を生成または変更するために使用され、パーソナライズされた没入感のある体験を提供します。
ソーシャルメディアソーシャルメディアプラットフォームでは、ユーザーは顔交換フィルターや表情変更など、楽しい顔交換を行うことで、インタラクティブな楽しさを高めることができる。
広告とマーケティング広告主は、広告の魅力を高め、パーソナライズするために、有名人やモデルの顔の特徴を広告に利用する。