GameGen-X - 香港科技大学が複数の他機関と共同で開発した、インタラクティブなオープンワールドゲーム生成アルゴリズム。

GameGen-Xとは何ですか？

GameGen-Xは、香港科技大学や中国科学技術大学などの研究者によって開発された拡散変換モデルです。オープンワールドゲームの動画を生成し、インタラクティブに制御するために使用されます。このモデルは、革新的なキャラクター、動的な環境、複雑なアクション、多様なイベントの作成など、ゲームエンジンの機能をシミュレートできます。テキストコマンドやキーボード操作など、マルチモーダルな信号を用いてユーザーがゲームコンテンツに影響を与え、ゲームプレイをシミュレートすることをサポートします。GameGen-Xは大規模データセットOGameDataで学習されており、ゲームコンテンツの設計と開発における生成モデルの可能性を示しています。

GameGen-Xの主な機能

• 高品質なゲーム動画制作GameGen-Xは、革新的なキャラクター、ダイナミックな環境、複雑なアクション、そして多様なイベントを備えたオープンワールドゲームの動画を生成できます。
• 対話型制御機能ユーザーは、構造化されたテキストコマンドやキーボード操作などのマルチモーダルな制御信号に基づいてゲームコンテンツに影響を与え、制御することができ、それによってキャラクターのインタラクションやシーンコンテンツを動的に調整することが可能になります。
• ゲームプレイシミュレーションこのモデルは、現在のゲームセグメントに基づいて将来のコンテンツを予測および変更し、ゲームプレイと体験をシミュレートします。
• マルチモーダル入力処理テキスト、動画、キーボード入力など、複数の入力方法に対応しているため、コンテンツ生成がより柔軟かつ多様になります。
• データセットの構築150以上のゲームから100万以上のビデオクリップを含むOGameDataデータセットに基づいており、モデルトレーニングのための豊富な素材を提供します。

GameGen-Xの技術原則

• 拡散変換器モデルGameGen-Xは、ノイズを徐々に導入し、逆のプロセスを通じてデータを生成することを学習する拡散モデルに基づいています。
• 2段階のトレーニングプロセス：
  • ベースモデルの事前学習テキストからビデオを生成するタスクとビデオの連続生成タスクに基づいた事前学習により、モデルは高品質なオープン・ドメインのゲームビデオの長いシーケンスを生成できるようになります。
  • コマンドの微調整事前学習に基づいて、InstructNetモジュールを使用してさらなる学習を行い、生成されるコンテンツをきめ細かく制御します。
• InstructNetモジュールInstructNetは、ゲームに関連するマルチモーダル制御信号の専門家を統合し、ユーザー入力に基づいてモデルが潜在表現を調整できるようにすることで、キャラクターのインタラクションとシーンコンテンツの統一的な制御を実現します。
• 3次元時空間変分オートエンコーダー（3D-VAE）これは、ビデオクリップを潜在的な特徴量に圧縮し、冗長な情報を削減し、トレーニング効率を向上させるために使用されます。
• マスク付き時空間拡散変換器（MSDiT）空間的注意、時間的注意、および相互注意のメカニズムを組み合わせることで、テキストプロンプトに誘導されるゲーム動画を効果的に生成することができます。
• マルチモーダルエキスパートシステム構造化テキスト、キーボード入力、ビデオプロンプトなど、さまざまな制御信号を処理し、それぞれの制御信号が効果的に使用されるようにします。

GameGen-Xのプロジェクトアドレス

• プロジェクト公式サイト：gamegen-x.github.io
• GitHubリポジトリ：https://github.com/GameGen-X/GameGen-X
• arXiv技術論文：https://arxiv.org/pdf/2411.00769

GameGen-Xの応用シナリオ

• ゲーム開発とプロトタイピングゲーム開発者は、ゲームのプロトタイプを迅速に作成し、ゲームのコンセプトをテストおよび検証することで、開発の初期段階における時間とコストを削減できます。
• ゲームコンテンツ制作コンテンツ制作者は、新しいゲームレベル、環境、キャラクターを生み出し、ゲームのプレイアビリティと多様性を拡大する。
• インタラクティブなストーリーテリングインタラクティブ映画やストーリー主導型ゲームでは、プレイヤーの選択に基づいて、さまざまなストーリー展開やシーンがリアルタイムで生成される。
• ゲームのテストとシミュレーションゲームテスターは、さまざまなゲームシナリオをシミュレーションして、ストレステストやパフォーマンス最適化を実施する。
• 教育と訓練教育分野では、生徒がインタラクティブなゲームを通して複雑な概念やスキルを習得できるように、仮想学習環境が構築されている。