Follow-Your-Canvas - テンセントと清華大学が共同開発した高解像度ビデオ拡張技術。

Follow-Your-Canvasとは何ですか？

Follow-Your-Canvasは、テンセントのHunyuanチームが清華大学をはじめとする複数の機関と共同開発した高解像度動画拡張技術です。分散処理とレイアウトアライメントという2つのコア設計により、元の動画とのシームレスな統合を維持しながら、あらゆる解像度の動画コンテンツを拡張し、高品質なコンテンツを生成します。高解像度動画の拡張に適しており、GPUメモリの制限を克服し、大規模な動画レンダリングタスクを処理し、様々な解像度とアスペクト比において最適な結果を実現します。

Follow-Your-Canvasの主な機能

• 高解像度出力: 動画コンテンツを4Kから8K、あるいはそれ以上の解像度など、あらゆる解像度に拡張できます。
• ビデオメモリサイズに制限されないビデオメモリの容量に制限されることなく、大規模なビデオ外挿処理を処理できます。
• 時空間的一貫性拡張処理中は、最終的な出力ビデオの品質が元のビデオのスタイルと一致するように、ビデオの空間的および時間的な一貫性を維持してください。
• リッチな新しいコンテンツを生成する指定された拡張領域に、元の動画のスタイルに合わせた新しいコンテンツを生成し、全体的な視覚効果を高めます。
• 大規模ビデオ拡張機能512×512ピクセルの動画を1152×2048ピクセル（約9倍）の解像度に拡大するなど、大規模な動画拡張において非常に優れた性能を発揮します。

Follow-Your-Canvasの技術的原理

• 空間ウィンドウ分割動画は複数の空間ウィンドウに分割され、それぞれのウィンドウが独立してコンテンツを生成した後、それらがシームレスに統合されます。これにより、システムはGPUメモリの制限を受けることなく、あらゆるサイズと解像度の動画を処理できます。
• レイアウトエンコーダーレイアウトエンコーダは、ソースビデオのグローバルレイアウト情報を抽出し、各ウィンドウの生成プロセスに注入することで、新しく生成されたコンテンツが元のビデオのレイアウトと一致するようにします。
• 相対領域埋め込み（RRE）これは、ソースビデオとターゲットウィンドウ間の相対的な位置関係を提供し、各ウィンドウの生成プロセスをさらにガイドし、元のビデオレイアウトと一致する拡張コンテンツを生成し、空間的および時間的な一貫性を向上させます。
• 分散型発電各ウィンドウのコンテンツ生成は複数のGPU上で並列処理され、生成されたウィンドウは最終的なビデオにシームレスに結合される。

Follow-Your-Canvasのプロジェクトアドレス

• プロジェクト公式サイト：follow-your-canvas.github.io
• GitHubリポジトリ：https://github.com/mayuelala/FollowYourCanvas
• arXiv技術論文：https://arxiv.org/pdf/2409.01055

Follow-Your-Canvasの応用シナリオ

• 動画のリサイズスマートフォンで撮影した縦向き動画を横向き動画に拡大表示することで、ソーシャルメディアへの投稿やワイドスクリーンテレビでの視聴など、さまざまな再生ニーズに対応します。
• 超ワイドスクリーン映像生成通常の動画を超ワイド動画に拡張することで、より広い視野を提供し、映画館や超ワイドモニターでの再生に適しています。
• パノラマビデオ制作動画拡張技術に基づき、通常の動画をパノラマ動画に変換することで、視聴体験を向上させます。仮想現実（VR）や360度動画制作に適しています。
• 高解像度ビデオ出力最大16K解像度のビデオ出力に対応可能で、映画制作や高品質コマーシャルなど、高精細ビデオを必要とする用途に適しています。