project
TransPixar - 香港中文大学、Adobe、その他の組織との共同開発により生まれた、透明な背景の動画を生成するためのオープンソース技術。
TransPixarは、香港中文大学、Adobe Research、香港科技大学、SmartMooreが共同でオープンソース化した、高度なテキストからビデオへの生成手法です。これは、事前学習済みのRGBビデオモデルを拡張し、透明度情報を含むRGBAビデオを生成します。
TransPixarとは何ですか？
TransPixarは、香港中文大学、Adobe Research、香港科技大学、SmartMooreが共同でオープンソース化した高度なテキストからビデオへの生成手法であり、事前学習済みのRGBビデオモデルを拡張して、透明度情報を含むRGBAビデオを生成します。拡散変換（DiT）アーキテクチャに基づき、TransPixarはアルファ専用トークンとLoRAベースの微調整を導入することで、高い一貫性を維持しながらRGBチャンネルとアルファチャンネルの同時生成を実現します。TransPixarは、元のRGBモデルの利点を維持しつつ、アテンションメカニズムを最適化し、限られた学習データで多様かつ高度に整合したRGBAビデオを生成できます。TransPixarは、煙や反射などの透明要素を含むビデオの作成をサポートし、非常にリアルな視覚効果を提供します。TransPixarは、エンターテインメント、広告、教育など幅広い分野で応用が期待され、視覚効果（VFX）やインタラクティブコンテンツ制作に新たな可能性をもたらします。
TransPixarの主な機能
- RGBAビデオ生成テキスト記述からRGBカラーチャンネルとアルファ透明度チャンネルを含む動画を生成し、複雑な視覚効果を作成します。
- 透明効果処理煙や反射など、透明な特性を持つ要素の生成をサポートしており、背景シーンにシームレスに統合できるため、視覚効果（VFX）などのアプリケーションに適しています。
- 高品質なビデオ生成RGBAビデオを生成する際にも、元のRGBビデオ生成モデルの高い品質を維持し、ビデオの鮮明さとディテールを保証します。
- 複数のシナリオへの適応性人間の動き、自然の風景、動的な効果など、さまざまなシーンやオブジェクトタイプのビデオ生成に適しており、優れた汎用性を備えています。
- テキストベースのコンテンツ作成入力されたテキスト記述に基づいて、対応する動画コンテンツを生成し、テキストから動画への自動生成を実現することで、コンテンツ制作の効率性と創造性を向上させます。
TransPixarの技術原則
- 拡散コンバーター (DiT) アーキテクチャDiTモデルに基づき、自己注意機構を用いてビデオフレーム間の長距離依存性を捉え、きめ細かなモデリングとビデオコンテンツの生成を可能にする。
- アルファチャンネル生成DiTモデルにアルファ専用トークンを導入し、それをRGBトークンと組み合わせてアルファチャンネルを生成することで、RGBAビデオの出力がサポートされます。
- LoRAの微調整LoRA（低ランク適応）微調整方式は、アルファトークンの投影を微調整し、RGB生成の品質を維持しながら、アルファチャネルの生成を最適化します。
- アテンションメカニズムの最適化本システムは、RGBA生成プロセスにおけるアテンションメカニズム（テキストからRGBへのアテンション、RGBからテキストへのアテンション、RGBからアルファへのアテンションなど）を分析・最適化します。アテンション計算を調整することで、RGBチャネルとアルファチャネル間の強力なアライメントと高品質な生成を実現します。
- データセットの拡張とトレーニング戦略適切なデータ前処理とトレーニング戦略に基づき、限られたRGBAビデオデータセットでトレーニングを行うことで、モデルの多様なシーンやオブジェクトタイプへの適応性が向上し、生成されるコンテンツの多様性と一貫性が強化されます。
TransPixarのプロジェクトアドレス
- プロジェクト公式サイト：https://wileewang.github.io/TransPixar/
- GitHubリポジトリ：https://github.com/wileewang/TransPixar
- arXiv技術論文：https://arxiv.org/pdf/2501.03006
- オンラインでデモを体験してください：https://huggingface.co/spaces/wileewang/TransPixar
TransPixarの応用事例
- エンターテインメントSF映画のポストプロダクションを支援するため、惑星爆発のエフェクトクリップを素早く生成します。
- 広告消費者の注目を集めるため、新型電気自動車の外観や走行性能を紹介する広告動画を作成する。
- 教育物体に力が加わり、運動する様子を捉えた動画を作成し、物理法則の説明に役立て、生徒の理解を深める。
- 拡張現実（AR）パリのリアルなパノラマ動画を生成し、VR観光アプリケーションに没入感のある体験を提供します。
- クリエイティブ産業ファンタジー世界を舞台にした動画を制作することで、デジタルアートの表現形式と創造空間を拡大する。