project
WorldScore - スタンフォード大学が開発した、世界生成モデルのための統一評価ベンチマーク。
WorldScoreは、スタンフォード大学が提案した、世界生成モデルのための統一評価ベンチマークです。世界生成を次シーン生成タスクの連続に分解し、明示的なカメラ軌道に基づくレイアウト仕様によって、異なるレベルのパフォーマンスを実現します。
WorldScoreとは何ですか？
WorldScoreは、スタンフォード大学が提案した、世界生成モデルのための統一評価ベンチマークです。世界生成を次シーン生成タスクの連続に分解し、カメラ軌道に基づくレイアウト仕様を明示的に指定することで、様々な手法を統一的に評価します。WorldScoreは、生成された世界の3つの重要な側面、すなわち制御性、品質、およびダイナミズムを評価します。このベンチマークには、静的および動的、屋内および屋外、リアルおよび様式化された世界など、多様な世界を網羅した3000のテストサンプルを含む、厳選されたデータセットが含まれています。
WorldScoreの主な機能
- 統一評価フレームワークWorldScoreは、さまざまな世界生成モデルの性能を測定するための統一的な評価フレームワークを提供します。世界生成タスクを次の段階のシーン生成タスクに分解し、明示的なカメラ軌跡に基づくレイアウト仕様によって、異なる手法の統一的な評価を実現します。
- 評価項目生成された世界は、制御性、品質、ダイナミズムという3つの重要な側面から評価される。
- マルチシーン生成WorldScoreは、複数シーンの生成をサポートし、連続シーンを生成する際のモデルのパフォーマンスを評価できる唯一のベンチマークです。
- 団結3D、4D、画像から動画への変換（I2V）、テキストから動画への変換（T2V）モデルを統一的に評価することができ、包括的な評価フレームワークを提供する。
- 長期的サポート複数のシナリオを生成し、長大なシーケンス生成タスクにおけるモデルのパフォーマンスを評価することをサポートします。
- 画像条件画像ベースの条件付き生成をサポートしており、画像から動画への生成タスクに適しています。
- 複数のスタイルこのデータセットには複数の視覚スタイルを持つデータが含まれており、異なるスタイルでデータを生成するモデルの能力を評価するために使用できます。
- カメラ制御: 生成されたシーンが指定されたカメラの動きに適合していることを確認するために、モデルがカメラの軌跡を追跡する能力を評価します。
- 3Dの一貫性シーンのジオメトリの安定性を評価し、生成された3Dシーンが異なる視点間でも一貫性を保つようにします。
WorldScoreの技術原則
- 多様なデータセットWorldScoreデータセットには、動的構成と静的構成の両方を含むマルチメディアデータが含まれており、画像からビデオへの変換や画像から3Dへの変換タスクに適しています。
- 動的構成これには、画像、視覚的な動き、視覚的なスタイル、動きの種類、スタイル、カメラの経路、オブジェクト、キューなどのフィールドが含まれます。
- 静的構成これには、画像、ビジュアルモーション、ビジュアルスタイル、シーンタイプ、カテゴリ、スタイル、カメラパス、コンテンツリスト、ツールチップリストなどのフィールドが含まれます。
- データセットのサイズデータセットはトレーニングセットとテストセットに分割され、動的構成では1000サンプル、静的構成では2000サンプルが含まれています。
- カメラの軌跡に基づいたレイアウト仕様カメラの軌跡に基づいた明確なレイアウト仕様を用いることで、様々な手法を統一的に評価することが可能になる。
- マルチモーダルデータサポート画像、動画、3Dモデルなど、複数のデータ形式に対応しているため、マルチモーダルコンテンツ生成タスクに適しています。
WorldScoreのプロジェクトアドレス
- プロジェクト公式サイト：https://haoyi-duan.github.io/WorldScore/
- GitHubリポジトリ：https://github.com/haoyi-duan/WorldScore
- arXiv技術論文：https://arxiv.org/pdf/2504.00983
- HuggingFaceデータセット：https://huggingface.co/datasets/Howieeeee/WorldScore
WorldScoreベンチマーク比較
WorldScoreは、以下に詳述するように、既存のベンチマークとはいくつかの点で異なります。
| ベンチマーク | 例の数 | 複数のシナリオ | 団結 | 長いシーケンス | 画像条件 | 複数のスタイル | カメラ制御 | 3Dの一貫性 |
|---|---|---|---|---|---|---|---|---|
| TC-Bench | 150 | ❌ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ |
| EvalCrafter | 700 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| FETV | 619 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| VBench | 800 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| T2V-CompBench | 700 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| Meng et al. | 160 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| Wang et al. | 423 | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ | ❌ |
| ChronoMagic-Bench | 1649 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| WorldModelBench | 350 | ❌ | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ |
| WorldScore | 3000 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
WorldScoreの応用事例
- 画像から動画への変換高品質なビデオコンテンツを生成するため、ビデオ制作、アニメーションデザイン、その他の分野に応用できます。
- 画像から3Dへの変換2D画像を3Dモデルに変換し、仮想現実、拡張現実、および3Dモデリングアプリケーションで使用します。
- データセットのサポートこのデータセットには、動的構成と静的構成の両方を含むマルチメディアデータが含まれており、さまざまなタスクに適しており、研究者がモデルを最適化および改善するのに役立ちます。
- 研究開発WorldScoreデータセットは、研究者に対し、新しい3D/4Dシーン生成アルゴリズムの開発と検証のための標準化されたテストプラットフォームを提供する。
- 自動運転シナリオの生成自動運転システムの訓練やテストのためにリアルな3Dシーンを生成することで、自動運転システムの安全性と信頼性の向上に役立ちます。