MiniCPM-Robot - Wallfacer Intelligence オープンソースの具現化された知能 VLA モデルシリーズ

MiniCPMロボットとは何ですか？

MiniCPM-Robotは、Wallfacer Intelligenceがオープンソース化した軽量の具現化知能（VLA）モデルシリーズです。15億個のパラメータを持つ汎用操作モデルMiniCPM-RobotManipと、9億個のパラメータを持つ追跡・ナビゲーションモデルMiniCPM-RobotTrackが含まれており、どちらもPhyAI推論フレームワークでサポートされています。これらのモデルは、ビジュアルトークン圧縮とストリーミングコンテキストメモリ技術を採用しており、ロボットアームによる長距離精密操作や、ロボット犬による屋内・屋外ターゲット追跡をサポートします。ネットワーク環境が弱い場合でもエッジ上でローカルに実行でき、推論レイテンシは120msと低く、主流ベンチマークでトップクラスの性能を発揮します。

MiniCPMロボットの主な機能

• MiniCPM-RobotManipこのシステムは、ロボットアームを制御して長距離作業（サンドイッチ作りなど）を完了させ、複数のカメラ入力をサポートし、タスクの進行状況や過去の動作を記憶できるコンテキストメモリ機能を備えています。
• MiniCPM-RobotTrackこのシステムは、ロボット犬が自然言語による指示に基づいて指定されたターゲットを継続的に追跡することを可能にし、単一ターゲット追跡、複数人による干渉追跡、および曖昧なターゲット追跡をサポートし、ネットワークが弱い環境やネットワークがない環境でもローカルで動作できます。

• 環境準備：
  • GitHubリポジトリをクローンし、依存関係をインストールしてください。
  • 必要なハードウェア：RobotManipロボットアーム、またはYushu Go2 Eduロボット犬（RobotTrack）。
• モデル読み込みHugging Faceから対応するモデル重みをダウンロードします。PhyAIフレームワークを使用してモデルをロードし、量子化と演算子最適化を実行します。
• カメラへのアクセス: 手首カメラとメインビューカメラ (RobotManip) またはロボット犬の元のカメラ (RobotTrack) を設定します。
• コマンド入力自然言語によるコマンドを入力します（例：「黒い服を着た人物を追え」または「サンドイッチを作れ」）。
• ワンクリックスタートこのシステムはオープンソースのスクリプトを実行し、視覚的および音声的な入力を受け取り、ロボットの動作コマンドを出力して、それを実行します。

MiniCPM-Robotの主な利点

• 最小限のパラメータで、最高レベルのパフォーマンスを実現1.5Bパラメータは、LIBERO、Calvin、RoboTwin2などの評価において、π0.5などのより大規模なモデルに匹敵します。RMBeenのコンテキスト記憶スコアは約53ポイントで、π0.5の約10ポイントをはるかに上回っています。
• 推論遅延が半減H100におけるフレームごとの判定遅延は約120msであり、これはπ0.5（234ms）の半分に近い値である。
• 純粋なエンドサイド操作このロボット犬は、ローカルの演算能力を用いて5Hz以上の周波数で安定して追跡することができ、ネットワークが切断された場合でも動作を継続できる。