UniEdit - トレーニングや最適化が不要な統合型ビデオ編集フレームワーク

UniEditとは何ですか？

UniEditは、浙江大学、マイクロソフトリサーチ、北京大学の研究者によって開発された革新的なビデオ編集フレームワークです。ユーザーは、モデルの微調整を行うことなく、ビデオの動きや外観を編集できます。このフレームワークの最大の利点は、ビデオの時間的側面（動きの変更など）と空間的側面（スタイルの適用、オブジェクトの置換、背景の変更など）の両方で編集タスクを同時に処理できる点にあります。

UniEdit公式サイトへの入り口

• 公式プロジェクトホームページ：https://jianhongbai.github.io/UniEdit/
• arXivの研究論文：https://arxiv.org/abs/2402.13185
• GitHubリポジトリ:https://github.com/JianhongBai/UniEdit（ソースコードは公開待ちです）

UniEditの機能

• ビデオオブジェクトアクション編集UniEditは、テキストコマンドに基づいて動画内のオブジェクトの動作を編集できます。例えば、動画内でギターを弾いているアライグマの動作を編集して、リンゴを食べさせたり、手を振らせたりすることができます。
• 動画のスタイル化このフレームワークは動画のスタイル変換をサポートしており、ユーザーは動画の内容を変更することなく、テキストによる説明を通して動画の視覚的なスタイルを変更できます。例えば、動画を油絵風のスタイルに変換することが可能です。
• 動画の背景変更UniEditを使うと、動画の背景を編集・変更できます。例えば、動画に映っている人物を全く別のシーンに配置することが可能です。
• ビデオオブジェクトの置換UniEditフレームワークは、剛体オブジェクトと非剛体オブジェクトの置換をサポートしており、ユーザーは動画内の静的オブジェクトまたは動的オブジェクトを置き換えることができます。
• トレーニングや微調整は不要です。UniEditは追加のトレーニングや微調整を必要としないため、モデルの導入と使用が大幅に簡素化され、ユーザーはすぐにビデオ編集を開始できます。

UniEditの仕組み

1. 逆処理：UniEditはまず、入力ビデオに対して反転処理を行い、ランダムノイズ表現に変換します。この処理では通常、事前学習済みの拡散ビデオ生成モデル（LaVieなど）を用いた反転処理が行われ、一連のノイズ除去ステップを経て、ノイズの多い状態から元の状態へと徐々に変換されます。
2. 編集パスを生成する：UniEditは、反転処理を基盤として、事前学習済みのUNetモデルを用いてノイズ除去を行い、編集済み動画を生成します。この処理は、ターゲットテキストプロンプトによって提供される条件に基づいて実行され、生成された動画コンテンツがユーザーの編集意図と一致することを保証します。
3. 復興支援部門：UniEditは、ソースビデオの未編集コンテンツを保持するために、補助的な再構成ブランチを導入しています。このブランチは、同じ逆ノイズから開始しますが、指定されたソースビデオのテキストキューに基づいてノイズ除去を実行し、元のビデオフレームを再構成します。再構成プロセスから得られた特徴は、コンテンツの一貫性を維持するために、メイン編集パスの空間自己注意層に注入されます。
4. 補助動作参照部門：UniEditは、モーション／アクション編集を可能にするために、ターゲットとなるテキストキューに基づいてモーション特徴を生成する補助的なモーション参照ブランチを導入しています。これらの特徴は、時間的自己注意レイヤーを介してメインの編集パスに挿入され、ビデオ内のモーション変化をガイドします。
5. コンテンツの保持とモーションインジェクション：メイン編集パスにおいて、UniEditは空間自己注意層の値特徴を置き換えることで、ソースビデオの内容を保持します。同時に、時間自己注意層に動きの特徴を注入することで、動き編集を実現します。
6. 空間構造制御：外観編集において、UniEditはメイン編集パス内の空間自己注意層のクエリとキーフィーチャを置き換えることで、ソースビデオの空間構造を保持します。これにより、ビデオのスタイルや外観を変更する際に、オブジェクトのレイアウトと位置が維持されます。
7. テキストガイド付き編集：ユーザーは、動画編集プロセスをガイドするためのテキスト説明を提供します。UniEditはこれらのテキスト説明を解析し、動画編集のためのガイド信号に変換することで、ユーザーが望む編集効果を実現します。