Lumine - ByteDanceの3Dオープンワールド汎用AIエージェント

Lumineとは何ですか？

LumineはByteDanceが開発した汎用AIエージェントで、3Dオープンワールドゲームにおいてリアルタイムでの知覚、推論、行動を可能にします。Qwen2-VL-7B-Baseモデルをベースに、Lumineは人間のようなインタラクションパラダイムを通して、知覚、思考、行動を統合します。Lumineはゲーム環境をリアルタイムで認識し、戦闘、パズル解決、NPCとのやり取り、GUI操作など、複雑なタスクを実行できます。Lumineは『原神』で数時間かかるメインクエストをクリアするなど、非常に優れたパフォーマンスを発揮し、他のゲームでもゲーム横断的な汎化能力を示しました。多段階のトレーニングを通して、Lumineは自律的な思考力と操作能力を徐々に向上させ、具現化された知能の今後の発展に新たな方向性を示しています。

Lumineの主な機能

• タスク実行数時間かかることもある『原神』のメインストーリーをクリアするなど、複雑で長時間を要するタスクを自律的に完了できる。
• 戦闘能力敵を動的に追跡し、正確に射撃し、キャラクターを切り替えてコンボ攻撃を行い、効率的に宝箱を開けましょう。
• パズルを解く能力風神の瞳を集めたり、元素の記念碑を起動したりするなど、様々なパズル課題の解決をサポートします。
• NPCとのインタラクションNPCと安定した会話ができ、タスクを完了できる。
• GUI操作アイテムの作成やテレポートアンカーの使用など、人間プレイヤーと同様の2Dインターフェース操作を実行する。
• ゲーム間の一般化追加の調整は不要です。他のゲーム（崩壊3rdやThe Tideなど）のミッションもクリアできます。

ルミネの技術原理

• 知覚空間このシステムは、200ミリ秒ごとにゲーム映像の1フレームを処理し、過去の推論パターンを保持し、意思決定のための文脈情報を提供する。
• ハイブリッド思考戦略急激な環境変化や計画の失敗といった重大なシナリオでは推論を行い、単純なシナリオでは直接行動を出力することで、効率性を向上させる。
• キーボードとマウスの操作モデリングすべての操作をマウスの動きとキーの押下シーケンスとして定義し、高品質のデータを使用して3段階のトレーニングを実行します。
  • 事前トレーニング基本的な視覚運動能力を習得する。
  • 指揮官の指示後の訓練言語コマンドとアクションを関連付けます。
  • 意思決定推論トレーニング長期的な課題を完了するために、自主的に計画を立て、修正する方法を学ぶ。
• リアルタイム最適化コンテキストを管理し、複数の側面から最適化することで、遅延が削減され、リアルタイムのインタラクションが確保されます。

Lumineのプロジェクトアドレス

• プロジェクト公式サイト：https://www.lumine-ai.org/
• arXiv技術論文：https://arxiv.org/pdf/2511.08892

Lumineの応用事例

• ゲーム開発とテストゲームの自動化テストで使用されるこのツールは、開発者が脆弱性、パフォーマンスの問題、ユーザーエクスペリエンスの問題を迅速に発見するのに役立つだけでなく、インテリジェントなNPCの挙動やタスク設計の生成にも役立ち、ゲーム開発の効率を向上させます。
• ゲームとエンターテイメントAIは、チームメイトまたは対戦相手として、プレイヤーにより挑戦的で楽しいインタラクティブな体験を提供したり、シングルプレイヤーゲームで複雑なタスクの完了を支援したりすることで、ゲームのクリア率を向上させます。
• 教育と訓練仮想トレーニング環境で使用され、学生や専門家へのタスクトレーニングを提供したり、教育ゲームでの学習を支援したりすることで、学生がタスクや課題を通して知識やスキルを習得できるようサポートします。
• 仮想世界とメタバース仮想キャラクターとして、彼らはメタバース内でユーザーと交流し、仲間やサービスを提供したり、ユーザーが仮想世界でタスク、ストーリー、インタラクティブなコンテンツを作成するのを支援したり、ユーザー体験を豊かにしたりする。
• 産業および製造業これは、産業シミュレーション環境におけるタスクとプロセスの最適化を可能にし、効率的な作業パターンの設計を支援するとともに、インテリジェントロボットのトレーニングに使用され、自律的な意思決定能力と運用能力の向上に役立ちます。