UniAct - 清華大学、SenseTime、北京大学、上海AI研究所が共同開発した、具現化された基礎モデルフレームワーク。 - AiBoss

UniActとは何ですか？

UniActは、異なるロボット間の行動の異質性という問題に対処する、斬新な具現化された基盤モデルフレームワークです。共通の行動を学習することで、異なるロボット間で共有される基本的な行動特性を捉え、物理的な形状や制御インターフェースの違いによって生じる行動の異質性を排除します。UniActのアーキテクチャは、共通行動抽出器、共通行動空間、および異種デコーダで構成されています。共通行動抽出器は、視覚言語モデルに基づいて、観察とタスク目標を通して共通の行動を抽出します。共通行動空間は、各ベクトルが基本的な行動を表すベクトル量子化コードブックとして実装され、異種デコーダは、共通の行動をロボット固有の制御信号に変換します。

UniActの主な機能

一般的なアクションコーディングUniActは、さまざまなロボットの基本的な動作（「目標位置への移動」や「障害物の回避」など）をベクトル化によって共通のコードブックに量子化します。各トークンは、プラットフォーム間で共有可能な共通のスキルを表します。
軽量設計と高性能UniAct-0.5Bモデルはわずか5000万個のパラメータしか必要とせず、実機およびシミュレーションによるタスクテストにおいて、14億個のパラメータを持つOpenVLAモデルを上回る性能を発揮した。
新しい環境やロボットに素早く適応するUniActは、新しい環境でモデルを微調整するために必要な専用のティーチングデータポイントがわずか50個で済むため、新しいロボットや制御インターフェースへの迅速な適応が可能です。軽量デコーダーを追加することで、新しいロボットプラットフォームにも容易に拡張できます。
ドメイン横断的なデータ活用UniActは、その普遍的な動作空間を通じて、ドメイン横断的なデータをより効果的に活用してトレーニングを行うことができ、異なるロボットや環境間でのより効率的な汎化を実現できる。
一貫した行動パターン様々な展開シナリオやロボットの種類において、同じ一般的な動作は一貫した行動パターンを示すことがあります。これは、具現化されたエージェントを制御するための新しい便利な方法を提供します。オペレーターは、コードブックから対応する一般的な動作を選択するだけで、様々な種類のロボットにタスクを完了するように指示できます。

UniActの技術原則

ユニバーサルアクションスペースUniActは、ベクトル量子化によって離散的で普遍的な動作空間を構築します。この空間はベクトル化されたコードブックとして設計されており、各ベクトル埋め込みは共通の基本動作を表します。これらの基本動作は、「目標位置への移動」や「障害物の回避」など、さまざまな状況下で異なるロボットが共有する基本的な動作パターンです。このようにして、UniActは異なるロボットの動作を統一的に表現し、動作空間の異質性を排除することができます。
ユニバーサルアクションエクストラクターUniActは、ビジュアル言語モデル（VLM）に基づく汎用アクション抽出器を用いて、一般的なアクションを識別・抽出します。観察結果とタスク目標が与えられると、抽出器は一般的なアクションを選択する確率を出力します。このようにして、UniActは複雑な視覚的・言語的入力から、タスクの進行に直接関連する一般的なアクションを抽出でき、単に観察された変化を認識するだけにとどまりません。この抽出方法は、外部要因（環境変化や人為的介入など）による干渉を回避し、アクション空間の純粋性と一貫性を確保します。
異種デコーダUniActは、一般的な動作を特定のロボットに固有の実行可能なコマンドに変換するために、異種デコーダを導入しています。これらのデコーダは、さまざまなロボットプラットフォーム向けに設計されており、ロボット固有の特性（関節トルクやカメラビューなど）に基づいて、一般的な動作を特定の制御信号に変換できます。このようにして、UniActはさまざまな種類のロボットに柔軟に対応し、効率的なクロスプラットフォーム制御を実現します。
軽量な建築と効率的なトレーニングUniActは軽量なモデルアーキテクチャを採用しており、パラメータ設定を低くしても優れた性能を維持します。UniActは行動クローニング損失を用いて学習され、動作ラベルの性質に基づいて適切な損失関数（離散動作の場合は交差エントロピー、連続動作の場合は平均二乗誤差など）を選択します。この効率的な学習方法により、UniActは新しい環境や新しいロボットにも迅速に適応できます。

UniActのプロジェクトアドレス

プロジェクト公式サイト：https://2toinf.github.io/UniAct/
GitHubリポジトリ：https://github.com/2toinf/UniAct
arXiv技術論文：https://arxiv.org/pdf/2501.10105

UniActの応用シナリオ

自動運転と高度道路交通システムUniActの技術原理とアーキテクチャは、自動運転の分野にも応用可能です。UniActは、一般的な運転行動パターンを学習することで、自動運転システムに対してより効率的な動作計画と制御を提供できます。
医療用ロボットUniActは、リハビリ支援ロボットや手術ロボットなど、医療ロボット分野に応用可能です。UniActの汎用的な動作空間により、医療ロボットは様々な患者のニーズや手術シナリオに、より柔軟に対応できるようになります。
産業オートメーション産業オートメーション分野において、UniActは様々な産業用ロボットの制御に利用でき、効率的な生産プロセスの最適化を実現します。UniActは、多様なロボットプラットフォームやタスク要件に迅速に対応することで、産業生産の柔軟性と効率性を大幅に向上させることができます。
スマートホームとサービスロボットUniActは、スマートホームや家庭用サービスロボットの分野に応用可能です。ユニバーサルな動作空間を通して、サービスロボットは人間とより自然に交流し、様々な家事をこなすことができます。