SVFR - テンセントYouTuと厦門大学が共同開発した、汎用的な動画顔復元のための統一フレームワーク。

SVFRとは何ですか？

SVFR（Stable Video Face Restoration）は、テンセントユートゥーラボと厦門大学が共同開発した、汎用的なビデオ顔復元のための統一フレームワークです。SVD（Stable Video Diffusion）の生成事前情報とモーション事前情報に基づいて、ビデオ顔復元（BFR）、カラー化、復元タスクを統合し、統一された顔復元フレームワークを通じてタスク固有の情報を統合します。SVFRは、タスク認識を強化するために学習可能なタスク埋め込みを導入し、異なるサブタスク間で共通の特徴表現の学習を促進するために、新しい統一潜在正則化（ULR）を採用しています。復元品質と時間的安定性をさらに向上させるために、顔事前学習と自己参照細線化も、トレーニングと推論のための補助戦略として導入されています。

SVFRの主な機能

• ビデオ顔面再構築（BFR）動画内の顔のディテールと鮮明度を高め、ぼやけたり損傷したりした顔をより鮮明で自然なものにします。
• 顔の着色白黒動画や色が歪んだ動画の顔に鮮やかな色を加えることで、視覚効果を高めることができます。
• 顔面修復（インペインティング）動画内の顔の欠落部分（隠れたり破損したりした部分など）を修復し、顔の細部を完全に復元します。

SVFRの技術原理

• タスク統合SVFRは、ビデオ顔復元（BFR）、カラー化、および復元タスクを統合し、これらのタスクを統一されたフレームワークで処理することで相乗効果を実現します。この統合的なアプローチは、異なるタスク間の補完的な情報を活用することで、全体的な復元結果を向上させます。
• 生成と運動の事前情報SVFRは、安定ビデオ拡散（SVD）の生成情報と動きの事前情報を活用することで、インペインティング性能を向上させます。SVDは強力な生成機能と動き情報を提供し、モデルがビデオ内の顔の動きをより適切に理解・処理し、時間的な連続性を確保するのに役立ちます。
• タスク埋め込み学習可能なタスク埋め込みを導入することで、モデルが特定のタスクを識別する能力が向上します。これにより、モデルは入力データのタスクタイプをより深く理解し、より正確な修復を実行できるようになります。
• 統一ポテンシャル正則化（ULR）ULR法は、異なるサブタスク間での特徴共有を促進するために採用されています。異なるタスクからの中間特徴を共有潜在空間に統合することで、ULRはモデルがより汎用的な特徴表現を学習し、修復の品質を向上させるのに役立ちます。
• 顔面事前学習復元精度をさらに向上させるため、SVFRは顔の事前学習を導入しています。顔のランドマークなどの構造的な事前情報を用いることで、モデルは顔の構造情報をより自然に埋め込むことができ、顔の構造異常やテクスチャの歪みを回避できます。
• 自己参照の洗練推論フェーズにおいて、SVFRは自己参照型の精緻化戦略を採用し、以前に生成されたフレームを参照して現在のフレームの修復結果を最適化することで、時間的な安定性を向上させます。この戦略により、動画内の顔の滑らかな遷移と一貫性が確保されます。

SVFRプロジェクトの住所

• プロジェクト公式サイト：https://wangzhiyaoo.github.io/SVFR
• GitHubリポジトリ：https://github.com/wangzhiyaoo/SVFR
• arXiv技術論文：https://arxiv.org/pdf/2501.01235

SVFRの応用シナリオ

• 映画・テレビのポストプロダクション古い映画に映るぼやけたり損傷した顔の画像を修復し、鮮明で自然な顔のディテールを復元することで、視聴体験を向上させます。
• オンライン動画コンテンツ制作撮影条件の悪さによって顔の描写が不十分になった動画クリップを修復することで、動画全体の品質が向上し、視聴者の関心も高まります。
• デジタルアーカイブの復元この機能は、長期間保存され画質が劣化してしまったビデオアーカイブ内の顔の特徴を復元し、貴重な歴史的映像を保存することです。