project
GameFactory - 香港大学とKuaishouが共同で開発した、汎用性の高いゲームシナリオフレームワーク。
GameFactoryは、香港大学とKuaishou Technologyが共同で提案した革新的なフレームワークで、ゲームビデオ生成におけるシーン一般化の問題を解決します。このフレームワークは、事前学習済みのビデオ拡散モデルをベースに、オープンドメインのビデオデータと小規模で高品質な画像を組み合わせています。
GameFactoryとは何ですか？
GameFactoryは、香港大学とKuaishou Technologyが共同で提案した革新的なフレームワークであり、ゲーム動画生成におけるシーンの一般化という課題を解決することを目的としています。このフレームワークは、事前学習済みの動画拡散モデルに基づき、オープンドメインの動画データと小規模ながら高品質なゲームデータセットを組み合わせ、多段階の学習戦略を採用することで、制御可能なゲーム動画生成を実現します。
GameFactoryの主な機能
- シーン一般化能力GameFactoryは、単一のスタイルやプリセットシーンに限定されず、多様なゲームシーンを生成できるため、生成されるビデオはよりリアルで変化に富んだものになります。
- 動作制御可能性GameFactoryは、モーションコントロールモジュールを通して、生成されるビデオ内のキャラクターやオブジェクトの動きを正確に制御することができます。
- 高品質データセットのサポートモーションコントロールによる動画生成をサポートするため、GameFactoryはGF-Minecraftデータセットを使用しました。このデータセットには、多様なシーンと詳細なモーション注釈を含む、70時間分のMinecraftゲームプレイ動画が収録されています。
- インタラクティブなビデオ生成GameFactoryは、長さ無制限のインタラクティブなゲーム動画の生成をサポートしています。ユーザーは、コマンドを入力したり、動画とインタラクトしたりすることで、動画コンテンツの変更を制御できます。
GameFactoryの技術原則
- 事前学習済みビデオ拡散モデルGameFactoryは、オープンな動画データで事前学習された動画拡散モデルに基づいており、多様なゲームシーンを生成することができ、従来の手法が特定のゲームスタイルやシーンに限定されていた制約を打破します。
- 3段階のトレーニング戦略
- フェーズ1我々はLoRA（低ランク適応）を用いて、事前学習済みモデルを対象ゲーム領域に合わせて微調整し、元のパラメータの大部分を保持します。これにより、オープン領域におけるモデルの汎化能力が維持されます。
- フェーズ2このアプローチでは、事前学習パラメータとLoRAを固定し、モーション制御モジュールの学習に重点を置くことで、スタイル信号と制御信号の混同を回避します。目標は、生成されたビデオがユーザー入力に基づいて正確にモーションを制御できるようにすることです。
- フェーズ3LoRAの重みを削除しつつモーションコントロールモジュールのパラメータを保持することで、特定のゲームスタイルに限定されることなく、様々なオープン領域シナリオにおいて制御されたゲームビデオを生成できるようになります。
- モーションコントロールモジュールGameFactoryは、自己回帰型モーションコントロールをサポートし、長さ無制限のインタラクティブなゲームビデオを生成できるモーションコントロールモジュールを導入しました。
- GF-Minecraftデータセットモーションコントロール動画の生成を支援するため、研究チームは高品質なモーション注釈付き動画データセットGF-Minecraftを公開しました。このデータセットには、多様なシーンと詳細なモーション注釈を特徴とする70時間分のMinecraftゲームプレイ動画が含まれています。このデータセットは、以下の3つの主要な要件を満たすように設計されています。
- カスタマイズ可能なアクション大規模かつ低コストなデータ収集をサポートします。
- 偏りのないアクションシーン行動の組み合わせの多様性を確保し、発生確率の低い事象にも対応できるようにする。
- 多様なシナリオ環境設定（異なる生物群集、気象条件、時間帯など）を事前に構成することで、シーンの多様性を高めます。
GameFactoryのプロジェクトアドレス
- プロジェクト公式サイト：https://vvictoryuki.github.io/gamefactory
- arXiv技術論文：https://arxiv.org/pdf/2501.08325
GameFactoryの応用シナリオ
- ゲーム開発GameFactoryは、事前学習済みのビデオ拡散モデルとモーションコントロールモジュールを使用して、多様なゲームシーンとインタラクティブなビデオコンテンツを生成します。
- ゲームコンテンツの革新GameFactoryのオープン・ドメイン生成機能により、従来のゲームエンジンの限界を打ち破り、全く新しいゲームスタイルやシナリオを生み出すことが可能になります。
- 自動運転そのモーションコントロールモジュールとシーン生成機能は、自動運転環境をシミュレートし、多様な運転シナリオを生成するために使用できる。
- 具現化されたAI多様なインタラクティブなシナリオを生成することで、身体化された知能に関する研究を支援する。