GameGen-O - テンセントのゲーム動画生成モデルで、キャラクター、シーン、アクション、イベントを自動生成する。 - AiBoss

GameGen-Oとは何ですか？

GameGen-Oは、Tencentが開発したゲーム動画生成モデルで、Transformerアーキテクチャをベースに、オープンワールド型ビデオゲームの生成に特化して設計されています。このモデルは、ゲームキャラクター、動的な環境、複雑なアクションの生成など、ゲームエンジンの様々な機能をシミュレートできます。インタラクティブな制御にも対応しており、ユーザーはテキスト、アクションシグナル、動画プロンプトを通してゲームコンテンツを操作できます。GameGen-Oの開発には、大規模なデータ収集と処理が伴い、初のオープンワールド型ビデオゲームデータセット（OGameData）が作成されました。また、基本モデルの事前学習と指示調整を含む2段階のトレーニングプロセスを経て開発が進められました。このモデルのリリースは、ゲーム開発業界に大きな影響を与え、開発コストと時間を削減すると同時に、プレイヤーにより大きな創造の自由度を提供します。

GameGen-Oの主な機能

キャラクター生成ユーザーのテキストコマンドに基づいて、カウボーイ、宇宙飛行士、マジシャンなど、さまざまなキャラクターを生成できます。
環境生成さまざまなゲームスタイルやシナリオに適応する、ダイナミックなゲーム環境を作り出すことができる。
行動創出運転、飛行、射撃など、複雑なキャラクター動作の生成をサポートします。
イベント生成天候の変化や自然災害など、ゲーム内で様々なイベントを発生させることができる。
対話型制御ユーザーはテキスト、操作信号、ビデオプロンプトを通じてゲームコンテンツを操作でき、インタラクティブなゲーム体験を実現できます。

GameGen-Oの技術原則

オープンドメイン生成GameGen-Oは、キャラクター、環境、アクション、イベントなど、さまざまな種類のゲーム要素を生成することができ、ゲームの可能性を広げます。
対話型制御機能このモデルはゲームコンテンツを生成でき、InstructNetの分岐を介してユーザーによるインタラクティブな制御をサポートしており、キャラクターの行動、環境レイアウト、イベントの発生などを変更できる。
OGameDataデータセットGameGen-Oを訓練するために、研究チームは大規模なオープンワールドビデオゲームデータセットであるOGameDataを構築した。このデータセットには、150以上のゲームから4,000時間以上のビデオクリップが含まれており、さまざまなゲームジャンルとスタイルを網羅している。
2段階トレーニングこのモデルは2段階のトレーニング戦略を採用しています。第1段階は基本的なモデルの事前トレーニングで、高品質のゲーム動画を生成する方法を学習します。第2段階は指示による微調整で、ユーザーコマンドに基づいてコンテンツを生成および制御する能力をモデルに付与します。
技術革新GameGen-Oは、2+1D VAEビデオ圧縮、ハイブリッドトレーニング戦略、マスクドアテンションメカニズムなど、さまざまな高度な技術を採用し、モデルの安定性と生成品質を確保しています。
データセットの構築とトレーニングプロセスインターネットから32,000本の未編集動画を収集し、人間の専門家がそれらを精査した後、GPT-4oを用いてラベル付けを行い、高品質な学習データを作成しました。モデルの基本学習段階では、変分オートエンコーダーを用いて動画セグメントを圧縮し、異なるフレームレートと解像度を用いたハイブリッド学習戦略を採用しました。
InstructNetモデルの微調整段階では、学習可能なInstructNetを使用して、テキスト、動作信号、ビデオキューなどのマルチモーダル入力を受け入れ、生成されたコンテンツをインタラクティブに制御できるようにした。

GameGen-Oのプロジェクトアドレス

プロジェクト公式サイト：gamegen-o.github.io
GitHubリポジトリ：https://github.com/GameGen-O/GameGen-O/

GameGen-Oの応用シナリオ

ゲームプロトタイプの作成開発者はGameGen-Oを使用することで、ゲームのプロトタイプを迅速に作成したり、さまざまなゲーム要素をテストしたり、ゲームをゼロから構築する際の時間と労力を節約したりすることができます。
環境とシーンの生成GameGen-Oは、ダイナミックなゲーム環境や複雑なシーンを作成し、ゲーム世界に豊かな視覚効果を加えることができます。
アクションとイベントの生成このモデルは、複雑なキャラクターの動きや、津波、竜巻、火災といったゲーム内の様々なイベントの生成をサポートしており、ゲームのインタラクティブ性と難易度を高めます。
ゲーム開発の補助GameGen-Oは、開発作業の一部をAIモデルに置き換えることでゲーム開発プロセスを支援し、開発効率を向上させることができます。
研究と教育研究者や教育者にとって、GameGen-Oは、ビデオゲームAI開発、インタラクティブ制御、没入型仮想環境といった分野を探求するための研究ツールとして活用できる。