VideoPainter - 香港中文大学、テンセント、その他複数の組織が共同で開発した、動画修復・編集フレームワーク。 - AiBoss

VideoPainterとは何ですか？

VideoPainterは、香港中文大学、テンセントARCラボ、東京大学、マカオ大学などの機関によって開発されたビデオ復元・編集フレームワークです。任意の長さのビデオコンテンツを処理するために特別に設計されています。デュアルブランチアーキテクチャに基づき、軽量なコンテキストエンコーダと事前学習済みの拡散モデルを組み合わせることで、効率的な背景の保持と前景の生成を実現しています。このフレームワークはプラグイン操作をサポートしており、ユーザーはニーズに応じて復元効果を柔軟に調整できます。VideoPainterは、長いビデオにおけるオブジェクトの一貫性を維持するために、IDリサンプリング技術を導入しています。VideoPainterは、現在最大規模のビデオ復元データセットであるVPDataとVPBenchを構築しており、39万本以上のビデオクリップを収録し、大規模なトレーニングと評価をサポートしています。VideoPainterは、ビデオ品質、マスク領域の保持、テキストの整列など、複数の指標において優れたパフォーマンスを発揮し、ビデオ復元・編集分野に新たなブレークスルーをもたらしています。

VideoPainterの主な機能

あらゆる長さのビデオ修理短いクリップから長い動画まで、さまざまなコンテンツを処理し、不明瞭になったり破損したりした部分を修復します。
背景の保存と前景の生成デュアルブランチアーキテクチャに基づいて、背景の正確な保持と前景の高品質な生成を実現します。
テキストガイド付きビデオ編集テキストコマンドを使った動画編集に対応しており、動画内のオブジェクトの追加、削除、置換、変更などが可能です。
オブジェクトの一貫性を維持する長時間の動画全体を通してオブジェクトの同一性を維持し、オブジェクトのずれや変化を防いでください。
プラグイン制御さまざまな拡散モデルやLoRA（低ランク適応）モデルとの組み合わせをサポートしており、多様なビデオ生成および編集ニーズに対応します。

VideoPainterの技術的原則

デュアルブランチアーキテクチャ：
- 背景背景の特徴は、軽量なコンテキストエンコーダを使用して抽出され、事前学習済みの拡散モデルに注入されることで、背景の一貫性が確保されます。
- 前景の枝拡散モデルの生成能力に基づき、テキストプロンプトに従って前景コンテンツを生成し、背景の特徴と組み合わせることで、高品質な復元を実現します。
軽量コンテキストエンコーダこの手法はわずか2層で構成され、主要モデルパラメータの6%を占めるに過ぎません。背景特徴を抽出し、それらをグループ化して拡散モデルに注入します。選択的特徴融合に基づき、前景情報と背景情報の混同を避けるため、背景特徴がモデルに注入されます。
IDリサンプリング技術トレーニング中は、対象領域のID情報が強化され、モデルが修復領域を認識する能力が向上します。推論中は、前のビデオセグメントの修復領域の特徴が現在のセグメントと組み合わされ、長尺ビデオにおけるオブジェクトの一貫性が確保されます。
プラグイン制御さまざまな拡散モデルやLoRAモデルとの統合をサポートしており、ユーザーはニーズに応じてビデオの復元や編集に適したモデルを選択できます。テキストからビデオへの変換（T2V）および画像からビデオへの変換（I2V）モデルにも対応しており、その適用範囲をさらに拡大しています。
大規模データセットの構築高度な画像認識モデル（SAM2、Grounding DINOなど）を用いて、正確なセグメンテーションマスクと詳細なテキスト記述を自動的に生成します。39万本以上のビデオクリップを収録したVPDataとVPBenは、大規模なトレーニングと評価をサポートするために構築されています。

VideoPainterのプロジェクトアドレス

プロジェクト公式サイト：https://yxbian23.github.io/project/video-painter/
GitHubリポジトリ：https://github.com/TencentARC/VideoPainter
ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/VideoPainter
arXiv技術論文：https://arxiv.org/pdf/2503.05639

VideoPainterの応用事例

映画およびテレビ番組の修復と制作古い映画やテレビシリーズの破損した映像を修復したり、特殊効果を追加したり、シーンを修正したりする。
広告とマーケティング高品質なビデオコンテンツを素早く生成し、背景や小道具を追加または置き換え、パーソナライズされたカスタマイズを実現します。
動画制作とライブ配信動画内のエラーや干渉をリアルタイムで修正したり、仮想小道具を追加したり、視覚効果を向上させたりすることができます。
VRおよびARアプリケーション没入感のあるビデオコンテンツを生成したり、仮想シーンを修復または修正したり、リアリティ感を高めたりする。
教育と訓練教育効果を高めるために、教育ビデオを作成したり、古代の書籍の画像を復元したり、仮想デバイスや注釈を追加したりする。