Seerは、上海AI研究所が北京大学をはじめとする複数の機関と共同で開発した、エンドツーエンドの運用モデルです。

Seerとは何ですか？

Seerは、上海AI研究所、北京大学コンピュータ科学技術学院、北京大学ソフトウェア・マイクロエレクトロニクス学院が共同開発したエンドツーエンドの運用モデルです。ロボットの視覚予測と動作実行の高度な連携を実現しています。このモデルは、過去の情報と目標信号（音声コマンドなど）を組み合わせて将来の状態を予測し、逆動力学モデルを使用して動作信号を生成します。Transformerアーキテクチャに基づき、Seerはマルチモーダル入力データを処理し、視覚、音声、ロボット本体の信号を効果的に融合します。実際のロボットタスクにおいて、Seerの動作成功率は現在のSotaモデルよりも43%高く、さまざまな複雑なシナリオで優れた汎化能力を発揮します。制御アルゴリズムのベンチマークであるCALVIN ABC-Dベンチマークでは、Seerは平均タスク完了長4.28を達成し、類似モデルの中で総合的にトップとなっています。

予言者の主な機能

行動予測現在の視覚状態と目標に基づいて、適切なロボット動作を予測する。逆動力学モデルに基づいて、目標達成に必要な中間動作シーケンスを推定する。
視覚的予測Seerは条件付き視覚予測機能を備えており、一定時間内のRGB画像を予測することができます。これにより、ロボットは将来の視覚状態を「予見」することができ、より適切な計画と行動調整が可能になります。
マルチモーダル融合この技術は、視覚、言語、ロボットの状態など、複数のモダリティからの情報を統合することで、複雑なタスクの理解と実行を実現します。マルチモーダルエンコーダーをベースとし、異なるモダリティの特徴を統合することで、動作予測と視覚予測のための包括的なコンテキスト情報を提供します。
一般化能力大規模なロボットデータセットで事前学習を行った後、Seerは高い汎化能力を発揮し、未知のシーン、新しい物体、異なる照明条件下、高強度の干渉に直面した場合でも安定した性能を維持します。
データ効率Seerは事前学習段階で大量のデータから豊富な事前知識を学習するため、下流タスクでは微調整に必要なデータは少量で済み、良好なパフォーマンスを実現できます。これにより、データ収集とラベル付けのコストを削減できます。

シーアの技術原理

エンドツーエンドアーキテクチャエンドツーエンドのアーキテクチャに基づき、視覚予測と逆動力学予測が密接に統合されています。トレーニング中、視覚予測モジュールと逆動力学モジュールが連携して最適化を行うことで、モデルは視覚情報と動作情報を最大限に活用し、より正確な動作予測を実現します。
トランスフォーマーアーキテクチャ本システムは、Transformerアーキテクチャを用いて視覚状態情報と動作情報を処理します。Transformerは、視覚情報と動作情報のシーケンスにおける複雑な依存関係を捉えることができ、モデルに強力な特徴抽出および表現機能を提供します。
ファーストルックトークンとアクショントークンSeerは、予測トークンと行動トークンを導入します。予測トークンは将来のRGB画像を予測し、行動トークンは現在の観測と予測された将来の観測の間の中間的な行動を推定します。これら2つのトークンは、入力RGB画像、ロボットの状態、および言語トークンを用いたマルチモーダルエンコーダに基づいて融合され、一方向アテンションマスクを使用して深層情報統合を実現します。
一方通行の注意マスクSeerは、独自の単方向アテンションマスクを採用しており、アクショントークンが過去と未来の予測情報を完全に統合することを可能にします。これにより、モデルは多層ネットワークにおいてより深い情報融合を実現し、アクション予測の精度と堅牢性を向上させます。
大規模な事前学習と微調整Seerはまず、大規模なロボットデータセット（DROIDなど）で事前学習を行い、豊富な視覚情報と動作に関する事前知識を習得します。その後のタスクでは、少量の微調整データに基づいてモデルを調整し、特定のタスクシナリオや目的に適応させます。

シーアのプロジェクトアドレス

プロジェクト公式サイト：https://nimolty.github.io/Seer
GitHubリポジトリ：https://github.com/OpenRobotLab/Seer
arXiv技術論文：https://arxiv.org/pdf/2412.15109

Seerの応用シナリオ

産業オートメーションこのシステムは、ロボットが自動車部品を正確に取り付けるように誘導し、組み立て効率と品質を向上させる。
サービスロボットこれにより、サービスロボットは必要に応じて客室に正確に商品を届けることができ、顧客体験の向上につながります。
健康管理仮想手術ロボットの中核として、医学生が外科手術のスキルを学習・練習するのを支援する。
物流と倉庫管理自動仕分けシステムは、荷物を迅速かつ正確に指定された経路に仕分け、仕分け効率を向上させます。
教育業界教育事例として、これは学生がロボットプログラミングにおける高度な技術やアルゴリズムをより深く理解するのに役立ちます。