AnimeGamer - テンセントが香港城市大学と共同開発した、アニメの世界を体験できるシミュレーションシステム。 - AiBoss

AnimeGamerとは何ですか？

AnimeGamerは、Tencent PCGと香港城市大学が共同開発した、無限に続くアニメライフシミュレーションシステムです。マルチモーダル大規模言語モデル（MLLM）をベースとしており、プレイヤーは自由形式の言語コマンドを用いて、アニメキャラクターとしてダイナミックなゲーム世界に没入できます。プレイヤーは『崖の上のポニョ』の宗介などのキャラクターを操作し、ゲーム世界とインタラクトすることが可能です。このゲームは、文脈に沿ったダイナミックなアニメーションショット（動画）の生成や、キャラクターの状態（体力、社交性、娯楽性など）の更新をサポートしています。従来のゲームシステムと比較して、AnimeGamerはキャラクターの一貫性、意味の一貫性、モーションコントロールにおいて優れており、プレイヤーに没入感のあるアニメゲーム体験を提供します。

AnimeGameの主な機能

ロールプレイングと交流プレイヤーは『崖の上のポニョ』の宗介など、アニメキャラクターの役割を演じ、ゲームの世界と交流することで、異なるアニメのキャラクター同士が出会い、交流することを可能にする。
動的なアニメーション生成プレイヤーのコマンドに基づいて、キャラクターのアクションやシーンの変化を示す動的なアニメーションショット（動画）をリアルタイムで生成し、アニメーションは文脈に沿ったダイナミックなものです。
キャラクターのステータス更新キャラクターの行動や相互作用に基づいて、キャラクターのスタミナ、社交性、娯楽性といった値を動的に更新し、ゲーム世界におけるキャラクターのステータス変化を反映させる。
複数ターンにわたる対話型インタラクションこのシステムは、自然言語に基づいたプレイヤー間の複数ターンにわたる対話をサポートし、過去の文脈に基づいて一貫性のあるゲーム状態を生成することで、一貫性のあるゲーム体験を提供します。
ゲームコンテンツをカスタマイズするプレイヤーは、お気に入りのキャラクターやシーンをカスタマイズできます。

AnimeGameの技術的原理

マルチモーダル大規模言語モデルAnimeGamerは、テキスト情報と画像情報を含むマルチモーダルデータを理解し、生成するために、マルチモーダル大規模言語モデル（MLLM）を使用します。
動作認識型マルチモーダル表現このゲームでは、アニメーションショットを視覚参照、動作記述、動作強度という3つの要素に分解します。エンコーダーはこの情報を統合してマルチモーダル表現を作成します。ビデオ拡散モデルを用いてアニメーションを高品質の動的ビデオにデコードすることで、生成されたアニメーションショットが文脈的な一貫性とダイナミズムを備えるようにします。
ビデオ拡散モデルビデオ拡散モデル（CogVideoXなど）は、アニメーションショットのデコーダーとして機能し、マルチモーダル表現を動的なビデオにデコードします。モーション強度を追加条件として導入することで、生成されるビデオにおけるモーションの振幅を制御し、アニメーションをより自然でリアルなものにすることができます。
文脈の一貫性過去のアニメーションショットのマルチモーダル表現をコンテキスト入力として使用することで、モデルは後続のゲーム状態を予測し、生成されたアニメーションショットがコンテキスト内で一貫性を保つことを保証できます。これは、ゲームの一貫性と没入感を維持するために非常に重要です。
役割ステータス管理このゲームは、MLLM（マルチレベルモデリング）を用いて、キャラクターの体力、社交性、娯楽性といったステータスを予測・更新します。これらのステータス更新は、ゲーム世界におけるキャラクターの行動や相互作用を反映しています。このようにキャラクターのステータスが動的に更新されることで、ゲームのリアリティとインタラクティブ性が向上します。

AnimeGameのプロジェクトアドレス

プロジェクト公式サイト：https://howe125.github.io/AnimeGamer.github.io/
GitHubリポジトリ：https://github.com/TencentARC/AnimeGamer
ハギングフェイスモデルライブラリ：https://huggingface.co/TencentARC/AnimeGamer
arXiv技術論文：https://arxiv.org/pdf/2504.01014

AnimeGameの応用シナリオ

パーソナライズされたエンターテイメントプレイヤーは好きなアニメキャラクターやシーンを選び、言語コマンドに基づいた独自のアドベンチャーストーリーを体験できます。
創造的なインスピレーションそれはクリエイターにインスピレーションを与え、キャラクター同士の相互作用や新たなストーリー展開を生み出す。
教育支援それは、学生が言語表現力と論理的思考力を身につけるのに役立ちます。
社会的交流プレイヤーはアニメ風の冒険物語を作成し、友達と共有することができます。
ゲーム開発これは開発者がゲームコンテンツを迅速に生成し、開発コストを削減するのに役立ちます。