Kaleido - Zhipu AI によるオープンソースのマルチエージェント ビデオ生成フレームワーク

Kaleidoとは何ですか？

Kaleidoは、Zhipu AIが開発したオープンソースのマルチエージェント動画生成フレームワークです。マルチエージェント動画生成における被写体の一貫性と背景の分離という課題を解決します。革新的なデータ構築パイプラインとR-RoPE（Reference Rotary Positional Encoding）メカニズムにより、被写体と背景情報を効果的に分離し、マルチエージェント環境における被写体の特徴の一貫性を維持します。Kaleidoはマルチエージェント動画生成において最先端（SOTA）の性能を実現し、動画生成分野に強力なオープンソースソリューションを提供するとともに、開発者が高品質なマルチエージェント動画を作成するのに役立ちます。

Kaleidoの主な機能

• マルチエージェント一貫性生成このフレームは、動画内の複数の被写体（人物、物体など）間の視覚的な一貫性を維持し、複雑なシーンや複数人によるやり取りにおいても、被写体の特徴を安定的に維持することができます。
• 背景分離このフレームワークは、被写体と背景情報を効果的に分離し、生成されたビデオにおいて参照画像から無関係な背景の詳細を排除し、被写体がさまざまな背景に適応しやすくする。
• 高品質なビデオ生成最適化されたデータ構築およびトレーニング手法により、広告や映画・テレビ番組制作など、さまざまな用途に適した高品質で高忠実度のビデオコンテンツを生成します。
• 柔軟な状態制御このフレームワークは、複数の参照画像とテキストプロンプトを使用した動画生成をサポートしており、クリエイターにより柔軟な創作空間を提供します。

カレイドの技術原則

• データ構築パイプラインKaleidoは、革新的なデータ構築パイプラインを採用することで、複数被写体の動画生成における背景の絡み合いや被写体の一貫性といった課題に対処しています。このパイプラインは、クロスペアデータ合成（異なるインスタンスの被写体と背景を組み合わせる）と背景インペインティング技術によって、トレーニング中にモデルが被写体の特徴を分離するように強制し、参照画像からの背景情報の単純な複製を回避します。被写体の位置特定、セグメンテーション、品質フィルタリングなどの多段階データ拡張により、データの多様性と高品質が確保され、複雑なシーンにおけるモデルの生成能力が向上します。
• R-RoPE（Reference Rotary Positional Encoding）Kaleidoは、異なる参照画像とビデオトークンを正確に区別するために、R-RoPEメカニズムを導入しています。参照画像のトークンに独立した回転位置エンコーディングを提供することで、注意計算中に異なる被写体とビデオフレーム間の境界が明確に確立されます。R-RoPEは、空間的な変位によって参照画像トークンがモデルの時空間埋め込み空間内で一意の位置を占めることを保証し、複数の被写体間の特徴の混同を効果的に回避し、複数被写体生成の時空間的な一貫性を大幅に向上させます。
• モデルアーキテクチャと条件注入Kaleidoは、拡散モデルとDiffusion Transformerアーキテクチャに基づいており、シンプルかつ効率的な条件付き注入戦略によって、複数の参照画像をビデオ生成プロセスと組み合わせます。このモデルは、参照画像トークンとビデオノイズ表現をシーケンス次元に沿って連結し、R-RoPEメカニズムを使用して画像情報とビデオ情報を区別します。

Kaleidoのプロジェクトアドレス

• プロジェクト公式サイト：https://criliasmiller.github.io/Kaleido_Project/
• GitHubリポジトリ：https://github.com/zai-org/Kaleido
• ハギングフェイスモデルライブラリ：https://huggingface.co/zai-org/Kaleido-14B-S2V
• arXiv技術論文：https://arxiv.org/pdf/2510.18573

Kaleidoのアプリケーションシナリオ

• 映画およびテレビ制作Kaleidoは、キャラクターの複数の参照画像に基づいて高品質のアニメーション動画を生成することができ、アニメーターが初期アニメーション素材を迅速に作成し、制作効率を向上させるのに役立ちます。
• 広告の創造性Kaleidoは、マルチテーマ動画生成を通じて広告主に柔軟な素材生成ソリューションを提供し、複数の製品や人物が登場する広告動画を迅速に生成することを可能にします。
• バーチャル試着eコマース分野において、Kaleidoはユーザーが仮想の服を試着したり、仮想のアクセサリーを身に着けたりする動画を生成することができ、ユーザーエクスペリエンスを向上させることができる。
• 仮想キャラクターとのインタラクション仮想アンカーや仮想キャラクター向けに、自然でインタラクティブな動画を生成し、ライブストリーミングやゲームなどのシナリオにおいて、より豊かでダイナミックな効果を発揮できるようにします。
• 教育と訓練これは、実験プロセスや共同作業のシナリオなどを複数の対象者を通して紹介する教育ビデオを作成するために使用でき、それによって教育の直感性と楽しさを向上させることができます。