WorldVLA - アリババDAMOアカデミーと浙江大学が共同開発した自己回帰型アクションワールドモデル - AiBoss

WorldVLAとは何ですか？

アリババDAMOアカデミーと浙江大学が共同開発したWorldVLAは、視覚言語行動（VLA）モデルと世界モデルを単一のフレームワークに統合した自己回帰型行動世界モデルです。このモデルは、行動と画像の理解に基づいて将来の画像を予測し、環境の基本的な物理法則を学習して行動生成を改善することを目的としています。行動モデルは、画像の観察に基づいて後続の行動を生成し、視覚的理解を助け、ひいては世界モデルの視覚的生成を支援します。WorldVLAは、独立した行動モデルと世界モデルよりも優れた性能を発揮し、両者の相乗効果を強調しています。自己回帰アプローチを使用して一連の行動を生成する際の性能低下の問題に対処するため、注意マスキング戦略が提案されており、現在の行動を生成する際に以前の行動を選択的にマスキングすることで、行動ブロック生成タスクの性能を大幅に向上させています。

WorldVLAの主な機能

行動創出画像と言語コマンドに基づいて後続のアクションを生成し、継続的なアクションプランニングをサポートします。
画像予測これは、現在の画像と動作に基づいて将来の画像状態を予測し、視覚的予測の精度を向上させる。
環境理解環境の物理法則を学び、視覚的および運動的な理解能力を高める。
双方向強化モーションモデルとワールドモデルは互いに補完し合い、全体的なパフォーマンスを向上させる。

WorldVLAの技術的原理

統一フレームワークWorldVLAは、視覚言語行動（VLA）モデルと世界モデルを単一のフレームワークに統合します。画像エンコーダ、テキストエンコーダ、行動エンコーダという3つの独立したエンコーダを使用して、異なるモダリティからのデータを統一された語彙のタグにエンコードし、クロスモーダルな理解と生成を可能にします。
自己回帰生成このモデルは、自己回帰的なアプローチを用いて動作と画像を生成します。動作モデルは過去の画像と音声コマンドに基づいて動作を生成し、世界モデルは過去の画像と動作に基づいて将来の画像状態を予測します。
注意マスキング戦略WorldVLAは、一連のアクションを生成する際に自己回帰モデルのパフォーマンスが低下する可能性に対処するため、アテンションマスキング戦略を提案する。この戦略では、現在のアクションを生成する際に過去のアクションを選択的にマスキングすることで、エラーの伝播を抑制し、アクションブロック生成のパフォーマンスを向上させる。
双方向強化WorldVLAは、世界モデルと行動モデルの相互作用を通じて双方向の性能向上を実現します。世界モデルは、将来の状態を予測することで、行動モデルが環境の物理法則をより深く理解するのに役立ちます。一方、行動モデルは、行動を生成することで、世界モデルが将来の画像状態をより正確に予測するのに役立ちます。
トレーニング戦略WorldVLAは、トレーニング中にハイブリッドアプローチを採用し、アクションモデルデータとワールドモデルデータを組み合わせることで、モデルがアクション生成機能と画像予測機能を同時に学習できるようにします。このハイブリッドトレーニング戦略により、モデルは単一のアーキテクチャ内で複数の機能を実行できます。

WorldVLAのプロジェクトアドレス

GitHubリポジトリ：https://github.com/alibaba-damo-academy/WorldVLA
ハギングフェイスモデルライブラリ：https://huggingface.co/collections/jcenaa/worldvla-685b9df63bdfe8cb67cc71b2
arXiv技術論文：https://arxiv.org/pdf/2506.21539

WorldVLAの応用事例

ロボットの目標指向型タスクこれは、ロボットが視覚的および音声的な指示に基づいて、物体をある場所から別の場所に移動させるなど、目標指向型のタスクを完了するのに役立ちます。
複雑な環境下での精密な操作散らかったデスクトップや狭い空間といった複雑な環境下でも、高度な適応性を備えた動作を生成し、正確な操作を完了させます。
人間と機械の協働作業人間とコンピュータの協働シナリオにおいて、人間の行動や意図を理解し、それに対応する協働行動を生成し、協働効率を向上させること。
将来シナリオのシミュレーションと予測将来の画像状態を予測することは、ロボットが事前に計画を立て、行動の結果を評価するのに役立ちます。例えば、自動運転における道路状況の予測などが挙げられます。
教育・研究プラットフォーム教育ツールおよび研究プラットフォームとして、学生や研究者がロボット制御と視覚予測の原理を理解し、実践するのに役立ちます。