WonderPlay - スタンフォード大学とユタ大学が共同開発した、動的な3Dシーン生成フレームワーク

WonderPlayとは何ですか？

WonderPlayは、スタンフォード大学がユタ大学と共同開発した新しいフレームワークです。単一の画像とユーザー定義のアクションから動的な3Dシーンを生成する機能を備えています。物理シミュレーションとビデオ生成技術を組み合わせたこのフレームワークは、物理ソルバーを使用して大まかな3Dモーションをシミュレートし、ビデオジェネレーターを駆動してよりリアルなビデオを合成し、そのビデオで動的な3Dシーンを更新することで、シミュレーションと生成の間の閉ループを実現します。WonderPlayは、さまざまな物理マテリアル（剛体、布、液体、気体など）とさまざまなアクション（重力、風、点力など）をサポートしています。ユーザーは、簡単な操作とシーンとのインタラクションを通じて、多種多様な動的効果を生成できます。

WonderPlayの主な機能

• 単一画像による動的シーン生成画像とユーザー定義のアクション入力を使用して、アクションの物理的な結果を示す動的な3Dシーンを生成します。
• 複数の材料サポート剛体、布地、液体、気体、エラストマー、粒子など、さまざまな物理的材料を対象としており、多様なシナリオにおける多様なニーズに対応します。
• アクションレスポンス重力、風、点力などのモーション入力をサポートしており、ユーザーは直感的にシーンを操作・相互作用することで、さまざまなダイナミックな効果を生み出すことができます。
• 視覚的および物理的なリアリズム物理シミュレーションの精度と映像生成の豊かさを組み合わせることで、物理法則に則り、視覚的にリアルな動的なシーンを生み出す。
• インタラクティブな体験インタラクティブなビューアを搭載しているため、ユーザーは生成された動的な3Dシーンを自由に探索でき、没入感を高めることができます。

WonderPlayの技術的原理

• ハイブリッド生成シミュレーターこのシステムは、物理ソルバーとビデオジェネレーターを統合しており、物理ソルバーを用いて大まかな3Dダイナミクスをシミュレーションし、ビデオジェネレーターを駆動してリアルなビデオを合成し、そのビデオを用いて動的な3Dシーンを更新することで、シミュレーションと生成の間の閉ループを実現しています。
• 空間変動デュアルモード制御動画生成段階では、動画ジェネレータは動き（フローフィールド）と外観（RGB）という2つのモード信号によって制御されます。ジェネレータの役割はシーン領域に応じて動的に調整され、生成される動画が動的な動きと外観の両面で物理シミュレーションの結果に近づくようにします。
• 3Dシーンの再構築背景と物体は入力画像から再構築されます。背景は高速層状ガウス曲面（FLAGS）で表現され、物体は位相連結性を持つ「位相ガウス曲面」として構築されます。物体の材質特性は推定され、その後のシミュレーションと生成の基礎となります。

WonderPlayのプロジェクトアドレス

• プロジェクト公式サイト：https://kyleleey.github.io/WonderPlay/
• arXiv技術論文：https://arxiv.org/pdf/2505.18151

WonderPlayの応用事例

• AR/VRシーンの構築ユーザーとシーン間の動的なインタラクションをサポートする、没入感のある仮想環境を作成するために使用されます。
• 映画およびテレビの特殊効果制作特殊効果制作を支援し、視覚効果を向上させるために、動的なシーンプロトタイプを迅速に生成します。
• 教育と職業訓練物理現象や作業環境をシミュレーションすることで、教育・訓練の実践性を高める。
• ゲーム開発ゲームのリアリティと楽しさを高めるために、ダイナミックなシーンとインタラクティブな効果を生成する。
• 広告とマーケティングダイナミックな広告コンテンツを作成し、インタラクティブな体験を提供し、視聴者のエンゲージメントを高めます。