AB
AB
AiBoss

すべてのカテゴリ

project

HMA - MITがMeta社などと共同で開発した、ロボットの動作動画の動的モデリング手法。

HMA（Heterogeneous Masked Autoregression）は、MIT、Meta、イリノイ大学アーバナ・シャンペーン校が開発した、ロボットの動きの動画のダイナミクスをモデル化するためのオープンソース手法です。HMAは異種事前学習に基づいており、...

HMAとは何ですか？

異種マスク自己回帰（HMA）は、MIT、Meta、およびイリノイ大学アーバナ・シャンペーン校が開発した、ロボットの動きの動画のダイナミクスをモデル化するためのオープンソース手法です。異種事前学習に基づき、HMAは異なるロボットエンティティ、ドメイン、タスクからの観測とアクションシーケンスをマスク自己回帰技術と組み合わせて使用し、動画予測を生成します。HMAは、それぞれ高速かつ高忠実度な生成のために離散型と連続型の両方をサポートし、異なるアクション周波数、次元、アクション空間を含むアクション空間の異質性に対応します。モジュール型ネットワークアーキテクチャに基づいて、効率的なリアルタイムインタラクションを実現します。HMAは、動画シミュレーション、ポリシー評価、合成データ生成、模倣ポリシーとしての使用など、ロボット学習において幅広い応用が期待され、拡張性とリアルタイム機能の面で優れた性能を発揮します。

HMAの主な機能

  • ビデオシミュレーション仮想環境でのインタラクションやテストに使用するため、さまざまな環境におけるロボットの動きをシミュレートする高品質のビデオシーケンスを生成する。
  • 戦略評価高精度シミュレーターとして、ロボットの戦略の性能を評価し、実際の環境でその戦略がどのように機能するかを予測します。
  • 合成データ生成ロボットの学習データセットを強化し、戦略の汎化能力を向上させるために、大量の合成データを生成する。
  • 模倣戦略これは、観察結果に基づいてロボットの行動を予測するための模倣学習戦略として直接使用できる。

HMAの技術的原則

  • 異種事前学習：
    • データソースさまざまなロボット、タスク、ドメインからの大量の観測データと動作シーケンスデータを用いて事前学習されており、単純な動作空間から複雑な動作空間までを網羅しています。
    • アクション異質性処理各ドメインごとに専用のモーションエンコーダとデコーダを設計することで、異なるモーション空間を共有の潜在空間にマッピングし、モーション周波数、次元、モーション空間の異質性に対応します。
    • モジュール式建築ネットワークアーキテクチャは、複数の動作入力モジュール（「幹」）と動作出力モジュール（「頭部」）に加え、共有コアとなる時空間変換器（「幹」）を備えており、効率的な事前学習と柔軟な拡張を可能にしている。
  • マスク自己回帰：
    • マスクターゲットトレーニング中、モデルはマスクオートエンコーダーに基づいてターゲットランダムマスク部分にラベルを付け、マスクされていないラベルに基づいてマスク部分を予測することにより、シーケンスの同時分布を学習します。
    • 自己回帰生成推論中、モデルはマスクを段階的に除去し、将来のビデオフレームとアクションシーケンスを生成します。これは効率的であると同時に、高い生成品質を維持します。
    • 2つのバリエーションHMAは、離散型バリアント（ベクトル量子化マーカーを生成）と連続型バリアント（ソフトマーカーを生成）をサポートしており、それぞれ高速生成と高忠実度生成に使用されます。

HMAプロジェクトの住所

HMAの適用シナリオ

  • リアルタイムビデオシミュレーションこのシステムは、さまざまな環境におけるロボットの動きを迅速に動画化することができ、仮想的な相互作用テストに利用することで、戦略の有効性を検証し、実際の導入コストを削減できる。
  • 戦略評価高精度シミュレーターとして、ロボット戦略の性能を評価し、実際の環境で戦略がどのように機能するかを予測し、戦略の最適化を支援します。
  • 合成データ生成大量の合成データを生成してトレーニングデータセットを拡張し、特にデータが少ない場合に、ポリシーの汎化能力を向上させる。
  • 模倣学習これは、現在の観測に基づいてロボットの動作を予測し、環境の変化に迅速に対応し、タスク実行効率を向上させるための模倣戦略として直接使用できる。
  • 長期計画と管理HMAは、長尺動画の生成と動作予測をサポートし、ロボットが長期的な計画立案やモデル予測制御を実行するのを支援し、複雑なタスクの完了率を向上させます。
戻る