Hunyuan-GameCraft - Tencent Hunyuanが開発したインタラクティブなゲーム動画生成フレームワーク

Hunyuan-GameCraftとは何ですか？

Hunyuan-GameCraftは、TencentのHunyuanチームと華中科技大学が共同開発した、高ダイナミックレンジのインタラクティブゲーム動画生成フレームワークです。キーボードとマウスの入力を共通のカメラ表現空間に統合することで、きめ細かなモーションコントロールと複雑なインタラクティブ入力に対応します。このフレームワークは、ハイブリッド履歴条件付き学習戦略を採用しており、動画シーケンスを自己回帰的に拡張することで、ゲームシーン情報を保持し、長期的な時間的一貫性を確保します。モデル蒸留技術に基づき、Hunyuan-GameCraftは推論速度を大幅に向上させ、複雑なインタラクティブ環境でのリアルタイム展開に適しています。大規模なAAAゲームデータセットで学習されたこのモデルは、優れた視覚的忠実度、リアリズム、モーション制御性を示し、既存のモデルを大きく凌駕します。

Hunyuan-GameCraftの主な機能

• 高ダイナミックレンジインタラクティブビデオ生成単一の画像とそれに対応するプロンプトから、非常にダイナミックでインタラクティブなゲームビデオコンテンツを生成し、キーボードとマウスの入力に基づくリアルタイムのユーザー制御をサポートします。
• 微動制御標準的なキーボードとマウスの入力を共通のカメラ表現空間に統合することで、速度や角度の制御といった複雑で細かなインタラクティブ入力をサポートします。
• 長期ビデオ生成長時間の連続ビデオシーケンスの生成、過去のシーン情報の保持、およびシーンのクラッシュ防止をサポートします。
• リアルタイムインタラクション推論速度を大幅に向上させ、レイテンシを低減し、リアルタイムのインタラクションをサポートし、ユーザーエクスペリエンスを向上させます。
• 高い視覚忠実度大規模なAAAゲームデータセットで学習させた生成された動画は、高い視覚的忠実度とリアリティを備えており、さまざまなゲームシナリオやアートスタイルに適しています。

Hunyuan-GameCraftの技術原理

• 統一アクション表現キーボードとマウスの入力（W、A、S、Dキー、矢印キーなど）は、連続的なカメラ表現空間にマッピングされます。入力されたカメラ軌跡は、軽量モーションエンコーダに基づいて特徴ベクトルにエンコードされ、滑らかなモーション補間を実現します。
• ハイブリッド型歴史的状況トレーニング戦略過去のコンテキスト統合とマスク指標に基づいて、ビデオシーケンスは自己回帰的に拡張されます。各自己回帰ステップでは、過去のノイズ除去済みブロックが条件として使用され、新しいノイズ潜在変数のノイズ除去プロセスをガイドすることで、シーン情報を保持し、自己回帰生成における誤差蓄積問題を解決します。
• モデル蒸留段階的一貫性モデル（PCM）に基づき、モデル蒸留が実現され、元の拡散プロセスと分類器を自由に誘導してコンパクトな8段階の一貫性モデルに蒸留することで、推論速度を大幅に向上させ、計算オーバーヘッドを削減します。
• 大規模データセットでのトレーニングこのモデルは、100タイトル以上のAAAゲームから収集した100万件以上のゲームプレイ録画データを用いて学習されており、幅広い網羅性と多様性を確保しています。綿密に注釈を付けた合成データセットを用いた微調整により、精度と制御性が向上しています。

Hunyuan-GameCraftプロジェクトのアドレス

• プロジェクト公式サイト：https://hunyuan-gamecraft.github.io/
• GitHubリポジトリ：https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0
• ハギングフェイスモデルライブラリ：https://huggingface.co/tencent/Hunyuan-GameCraft-1.0
• arXiv技術論文：https://arxiv.org/pdf/2506.17201

Hunyuan-GameCraftの公式サンプル

単一のアクションシーンでは、風車が自然に回転するなど、映像はダイナミックかつ自然である。

• Prompt：A picturesque village scene featuring quaint houses, a windmill, lush greenery, and a serene mountain backdrop under a bright blue sky.
  中国趣のあるコテージ、風車、緑豊かな木々、そして明るい青空の下、静かな山々を背景にした、絵のように美しい田園風景。

マルチアクションシーンでは、視点と動きを同時に切り替えることができます。

• Prompt：A sunlit courtyard features white adobe buildings with arched doorways and windows, surrounded by lush greenery and palm trees, creating a serene Mediterranean ambiance.
• 中国陽光が降り注ぐ中庭には、アーチ型のポーチと窓を備えた白い日干しレンガ造りの建物が立ち並び、豊かな緑とヤシの木に囲まれ、穏やかな地中海風の雰囲気を醸し出している。

歴史的な一貫性があり、カメラを移動させてから再び戻しても歪みは発生しない。

• Prompt：A medieval stone castle stands tall under a dark sky, its glowing windows contrasting with the surrounding snow-covered landscape.
• 中国暗い空の下、中世の石造りの城がそびえ立ち、その輝く窓は周囲の雪景色と鮮やかなコントラストをなしている。

Hunyuan-GameCraftの応用シナリオ

• ゲームビデオ制作ゲーム開発者が初期段階でゲームのコンセプトやデザインを検証できるよう、ゲームトレーラー、デモビデオ、ゲーム内カットシーンを迅速に生成します。
• ゲームテストゲームのパフォーマンスとプレイヤー体験をテストするためのゲームシーンとインタラクションを自動的に生成し、手動テストの作業量を削減します。
• ゲームコンテンツの拡張既存ゲーム向けに新しいレベル、シーン、インタラクティブコンテンツを生成することで、ゲームの寿命を延ばし、プレイヤーのエンゲージメントを高める。
• インタラクティブなビデオコンテンツこのシステムは、動画プラットフォームやソーシャルメディア向けにインタラクティブな動画コンテンツを生成し、ユーザーがコマンドを入力して動画の進行を制御できるようにすることで、まったく新しい視聴体験を提供する。
• 仮想現実（VR）と拡張現実（AR）VRおよびARアプリケーションにおいて、没入感のあるインタラクティブなコンテンツを生成し、ユーザーの没入感とエンゲージメントを高める。