RelightVid - 上海AI研究所が復旦大学をはじめとする複数の大学と共同で開発した、動画の照明調整モデル。 - AiBoss

RelightVidとは何ですか？

上海AI研究所、復旦大学、上海交通大学、浙江大学、スタンフォード大学、香港中文大学が共同開発したRelightVidは、ビデオの再照明のための時間的に一貫性のある拡散モデルです。テキストキュー、背景ビデオ、またはHDR環境マップに基づいて入力ビデオのきめ細かく一貫性のあるシーン編集をサポートし、シーン全体の再照明と前景を保持する再照明をサポートします。このモデルは、実際のビデオと3Dレンダリングデータを組み合わせた独自の強化パイプラインに基づいて、高品質のビデオ再照明データペアを生成します。事前学習済みの画像照明編集拡散フレームワーク（IC-Light）に学習可能な時間レイヤーを挿入することで、ビデオの再照明効果を強化します。RelightVidは、時間的な一貫性と照明の詳細を維持する上で大きな利点があり、ビデオ編集と生成の分野に新たな可能性をもたらします。

RelightVidの主な機能

テキスト条件付き再点灯ユーザーが入力したテキストの説明に基づいて、動画の照明が調整されます。例えば、「葉の間から太陽の光が差し込み、木漏れ日と影を作り出している」や「柔らかな朝の光、ゴールデンアワー」などです。
背景映像：条件付き照明、強い照明背景動画を照明条件として使用し、前景オブジェクトの照明を動的に調整することで、前景と背景の照明を均一にします。
HDR環境マップ条件付きヘビーライティングHDR環境マッピングを使用して照明を正確に制御し、高品質な重照明効果を実現します。
シーン全体の照明調整前景と背景の照明を調整し、シーン全体の照明条件に合わせる。
前景保持再照明この機能は背景を維持したまま前景を再照明するため、前景の被写体を強調する必要がある場面に適しています。

RelightVidの技術原理

拡散モデルの拡張RelightVidは、事前学習済みの画像リライティング拡散モデル（IC-Lightなど）をベースとしており、拡張されたアーキテクチャによりビデオ入力にも対応しています。フレーム間の時間的依存関係を捉えるための時間レイヤーを導入することで、リライティングの時間的な一貫性を確保しています。
マルチモーダル条件付き関節トレーニング：このモデルは、背景動画、テキストプロンプト、HDR環境マップを条件として同時に使用できます。条件はエンコーダに基づいてモデルに組み込まれ、クロスアテンションメカニズムに基づいて協調編集が実現されます。
照明不変アンサンブル（IIE）入力ビデオは明るさが強調され、予測されたノイズは平均化されることで、さまざまな照明条件下でのモデルの堅牢性が向上し、アルベドの変化が防止されます。
データ拡張パイプライン（LightAtlas）実際のビデオデータと3Dレンダリングデータに基づいて高品質な再照明データペアが生成され、モデルに照明に関する豊富な事前知識を提供し、複雑な照明シーンへの適応性を向上させます。

RelightVidプロジェクトのアドレス

プロジェクト公式サイト：https://aleafy.github.io/relightvid/
GitHubリポジトリ：https://github.com/Aleafy/RelightVid
arXiv技術論文：https://arxiv.org/pdf/2501.16330
オンラインでデモを体験してください：https://huggingface.co/spaces/aleafy/RelightVid

RelightVidの応用事例

映画およびテレビ制作映画やテレビシリーズのシーンにおける照明効果を、撮り直しをすることなく、さまざまなストーリー展開の要件や監督の創造的なアイデアに合わせて調整できます。
ゲーム開発ゲーム内のシーン照明を動的に変化させることで、没入感と視覚効果を高め、時間や天候の変化に適応させる。
拡張現実（AR）ARアプリケーションでは、仮想要素の照明をリアルタイムで調整して現実環境の照明に合わせることができ、それによってユーザーエクスペリエンスが向上する。
動画広告とマーケティングさまざまなブランドやイベントのプロモーションニーズに対応し、視覚的な魅力を高めるために、広告動画用の多様な照明スタイルを迅速に生成できます。
動画コンテンツ制作これは、ビデオブロガーやコンテンツクリエイターが、さまざまな天候や時間帯のシーンをシミュレートするなど、ビデオの照明や雰囲気を簡単に変更して、クリエイティブなコンテンツを豊かにするのに役立ちます。