VLN-R1 - 香港大学と上海AIラボが共同開発した、身体化された知能フレームワーク

VLN-R1とは何ですか？

VLN-R1は、香港大学と上海人工知能研究所が共同開発した、斬新な身体化知能フレームワークです。大規模視覚言語モデル（LVLM）に基づき、一人称視点のビデオストリームを連続的なナビゲーションアクションに直接変換します。このフレームワークは、Habitat 3Dシミュレーターを使用したVLN-Egoデータセットを基盤とし、長期短期記憶サンプリング戦略を用いて過去と現在の観測のバランスを取ります。トレーニングは2つのフェーズに分かれています。教師ありファインチューニング（SFT）では、モデルのアクションシーケンステキスト予測を専門家のデモンストレーションに合わせ、強化学習ファインチューニング（RFT）では、時間減衰報酬（TDR）メカニズムに基づいて、複数ステップの将来のアクションを最適化します。VLN-R1はVLN-CEベンチマークで優れた性能を発揮し、身体化ナビゲーションにおけるLVLMの有効性を証明し、タスク固有の推論能力を向上させ、高いデータ効率性を示しています。

VLN-R1の主な機能

• 連続環境ナビゲーションこれは一人称視点のビデオストリームを直接処理するため、インテリジェントエージェントは、あらかじめ定義されたノードに限定されることなく、連続した3D環境内を自由に移動できる。
• 行動創出正確なナビゲーション制御を実現するために、4つの基本的な動作コマンド（前進、左折、右折、停止）を生成します。
• データ効率の良いトレーニング教師ありファインチューニング（SFT）と強化学習ファインチューニング（RFT）に基づき、限られたデータで効率的なモデル学習を実現し、それによってナビゲーション性能を向上させる。
• ドメイン間適応強化学習による微調整（RFT）に基づき、このモデルは少量のデータしかなくても、新しいナビゲーションタスクや環境に迅速に適応できる。
• タスク固有の推論時間減衰報酬（TDR）メカニズムに基づき、複数ステップにわたる将来の行動予測を最適化することで、長期的なナビゲーション性能を向上させる。

VLN-R1の技術原理

• データセットの構築VLN-Egoデータセットは、Habitat 3Dシミュレーターに基づいて生成され、一人称視点のビデオストリームとそれに対応する将来の行動予測が含まれており、モデルトレーニングのための豊富なデータを提供します。
• 長短期記憶サンプリング動画入力を処理する際、過去のフレームの重要性とリアルタイム入力の感度を動的にバランスさせるために、長短期記憶サンプリング戦略が用いられ、ナビゲーション中にモデルが短期的な関連性と長期的な文脈情報の両方を考慮するようにしています。
• 監視微調整（SFT）モデルの予測テキストと専門家のデモンストレーションテキスト間の交差エントロピー損失を最小化することにより、モデルの動作シーケンス予測が実際の動作と一致し、モデルが言語指示を正確に理解し、対応する動作を生成できるようになります。
• 強化された微調整（RFT）グループ相対方策最適化（GRPO）に基づく強化学習手法を提案する。この手法は、時間減衰報酬（TDR）メカニズムを用いて、複数ステップの将来の行動予測を評価および最適化し、それによって長期的なナビゲーションタスクにおけるモデルのパフォーマンスを向上させる。
• 大規模視覚言語モデル（LVLM）高度なLVLM（Qwen2-VLなど）による視覚および言語入力の処理に基づき、一人称視点のビデオストリームからナビゲーションアクションへの直接マッピングを実現し、モデルの汎化能力と適応性を向上させています。

VLN-R1プロジェクト住所

• プロジェクト公式サイト：https://vlnr1.github.io/
• GitHubリポジトリ：https://github.com/Qi-Zhangyang/GPT4Scene-and-VLN-R1
• arXiv技術論文：https://arxiv.org/pdf/2506.17221

VLN-R1の応用シナリオ

• 家庭用サービスロボット家庭用サービスロボットは、所有者の自然言語による指示に基づいて家の中を自由に移動し、掃除や物の回収といった作業をこなすことで、生活の利便性を向上させる。
• 産業オートメーション工場作業場では、ロボットは作業員の指示に従って柔軟に移動し、資材の運搬や設備のメンテナンスを行うことで、生産効率を向上させることができる。
• スマート倉庫目標は、倉庫ロボットが指示に従って棚の間を正確に移動し、商品の保管と取り出しを効率的に完了させ、倉庫管理を最適化することである。
• 健康管理この技術は、病院や介護施設におけるロボットの運用を支援し、医療スタッフや患者の指示に従って移動することで、薬や食事の配達といった作業を完了させ、医療スタッフの負担を軽減する。
• インテリジェント交通システムこれは、自動運転車が複雑な都市環境において、交通信号や指示に従って走行することを支援し、運転の安全性と柔軟性を向上させる。