VLAC - 上海AIラボがオープンソース化した大規模な具現化報酬モデル - AiBoss

VLACとは何ですか？

VLACは、上海人工知能研究所が開発した、具現化された報酬モデルです。InternVLマルチモーダルモデルをベースに、インターネット動画データとロボット操作データを統合し、実世界におけるロボット強化学習のためのプロセス報酬とタスク完了推定値を提供します。VLACは、正常な進行と異常/停滞した動作を効果的に区別し、コンテキスト学習を通じて少ないサンプル数で迅速な汎化をサポートします。強化学習の安定性と有効性を確保するために、局所平滑化と負の報酬メカニズムを備えています。VLACは報酬信号を出力するだけでなく、ロボットの動作コマンドも出力し、ロボットが自律的に学習し、実世界の新しいシナリオに迅速に適応できるよう支援します。VLACは、トレーニング効率をさらに向上させるために、人間とロボットの協働モードをサポートしています。

VLACの主な機能

プロセス報酬と完了予定値を提供するこれは、現実世界におけるロボットの強化学習に対して、継続的かつ信頼性の高い監視信号を提供し、タスクが完了したかどうかを判断し、完了の進捗状況を推定します。
正常な行動と異常な行動を区別するロボットの動作中に、正常な推進動作、異常な動作、または停止した動作を効果的に識別し、非効率的な探査を回避する。
小規模サンプルサイズでの迅速な一般化をサポート文脈内学習を用いることで、少数のサンプルから迅速な汎化を実現し、新しいシナリオにおけるモデルの適応性を向上させることができる。
ロボットの動作コマンドを出力する報酬信号を提供するだけでなく、ロボットが実行すべき行動指示も出力できるため、ロボットが自律的に学習し、行動を調整するのに役立つ。
強化学習フレームワークの構築VLACを基盤としたVLA強化学習フレームワークは、ロボットが現実世界での相互作用における新しいシナリオに迅速に適応することを可能にし、タスクの成功率を向上させます。
人間とコンピュータの協働モードをサポート様々な人間とコンピュータの協働パラダイムを採用することで、トレーニングの柔軟性をさらに高め、学習効率を向上させることができる。

VLACの技術原理

マルチモーダル融合InternVLマルチモーダル大規模モデルに基づき、視覚や言語などの複数のモダリティからのデータを統合することで、タスクや環境の包括的な理解を向上させる。
データ駆動型報酬生成インターネット上の動画データとロボットの動作データを活用することで、学習を通じて高密度の報酬信号が生成され、強化学習のための安定したフィードバックが提供される。
タスク進捗状況の見積もりモデルがタスクをリアルタイムで理解する能力を活用することで、タスク完了の進捗状況を推定し、強化学習のためのプロセス報酬を提供することができる。
異常行動の検出ロボットの動作データを分析することで、異常な動作や停滞した動作を特定し、非効率的な探索を回避し、学習効率を向上させることができる。
文脈学習メカニズムこれは文脈内学習をサポートしており、少数のサンプルで新しいタスクに迅速に適応することを可能にし、それによってモデルの汎化能力を向上させます。
アクション指示の生成報酬信号を与えながら、ロボットの動作コマンドを生成し、知覚から動作までの閉ループ制御を実現する。
強化学習フレームワークの統合目標は、プロセス報酬とタスク完了を組み合わせたVLA強化学習フレームワークを構築し、現実世界におけるロボットの学習能力と適応能力を向上させることである。
人間と機械の協働強化モデルの学習プロセスは、専門家によるデータ再生や手動による探索支援など、人間とコンピュータの協働を通じてさらに最適化することができる。

VLACのプロジェクトアドレス

プロジェクト公式サイト：https://vlac.intern-ai.org.cn
GitHubリポジトリ：https://github.com/InternRobotics/VLAC
ハギングフェイスモデルライブラリ：https://huggingface.co/InternRobotics/VLAC

VLACアプリケーションシナリオ

ロボット強化学習これは、現実世界の強化学習においてロボットにプロセス報酬とタスク完了予測を提供し、ロボットが新しいタスクや環境に迅速に適応できるよう支援します。
人間と機械の協働作業人間と機械の協働モードをサポートし、専門家データの再生、手動による支援や探索などを通じて、ロボットトレーニングの柔軟性と効率性を向上させます。
複数ロボットによる協調学習マルチロボット環境において、VLA強化学習フレームワークは、複数のロボットが現実世界で同時に相互作用し学習することを可能にし、タスクの成功率を向上させます。
複雑なタスクの分解と学習複雑なタスクは複数のサブタスクに分割され、ロボットが複雑なタスクを段階的に完了できるように、各サブタスクに対して報酬信号が提供される。
新しい状況に迅速に適応するロボットは、小さなサンプルから迅速に一般化する能力を活用することで、新しいシナリオを素早く学習し適応することができ、それによってタスク完了率を向上させることができる。