RDT - 清華大学が開発した、双腕ロボット普及のためのオープンソース基盤モデル - AiBoss

RDTとは何ですか？

RDT（Robotics Diffusion Transformer）は、清華大学人工知能研究所のTSAILチームが開発した、双腕ロボットにおける拡散型操縦タスクのための世界最大規模の基盤モデルです。10億個のパラメータを持つRDTは、人間の介入なしに、バーテンダー業務や犬の散歩といった複雑なタスクを自律的に完了できます。人間の動きを模倣学習することで、RDTは高い汎化能力と操作精度を発揮し、未知の物体やシーンにも対応可能です。清華大学チームは、ロボット技術の開発と応用を促進するため、RDTのコード、モデル、およびトレーニングデータセットをオープンソース化しました。

RDTの主な機能

両腕の協調的な運用ロボットの2本の腕を連携させて、バーテンダー業務や犬の散歩といった複雑な作業を完了させる。
自律的なタスク実行それは、人間の直接的な制御なしに、これまで前例のない全く新しいタスクを自律的に完了することができる。
高精度な動作RDTは、ロボット犬を直線的に動かすなど、極めて高い操作精度が求められる精密な操作を実行できる。
言語指導の理解人間の自然言語による指示を理解し、それに従って対応する動作を実行できる。
少数ショット学習RDTは学習能力が高く、数回のデモンストレーションだけで新しいスキルを習得できる。

RDTの技術的原則

マルチモーダル入力コーディングRDTは、言語、視覚、動作の様式を組み合わせ、異なる符号化方法に基づいて入力を処理する。
- アクションコーディング: フーリエ特性を持つ多層パーセプトロン（MLP）。
- 画像エンコーディング整列したSigLIPに基づく。
- 言語エンコーディングT5-XXL言語モデルを使用してください。
トランスフォーマーバックボーンネットワークRDTはTransformerを基幹ネットワークとして使用し、ロボットの動作に合わせて重要な変更を加えている。
- QKNormとRMSnormセンサーの誤動作によって引き起こされる極端な値の問題を軽減するため。
- 非線形MLPデコーダ非線形ダイナミクスを近似する能力を向上させます。
- 交互注入情報過多を防ぐため、画像とテキストのバランスを適切に保つ。
事前学習と微調整RDTは、汎化性能を高めるために大規模な実体データセットで事前学習され、その後、双腕操作性を向上させるために高品質の双腕ファインチューニングデータセットでファインチューニングされます。
統合行動空間異なるロボットからのデータのフォーマットを統一するために、統一された運動空間を構築し、モデルが異なるデータから共通の物理法則を学習できるようにする。
一般化および運用精度テストRDTの汎化能力と運用精度を評価し、実用化における有効性を確保するために、難易度の高い課題を設計する。

RDTのプロジェクトアドレス

プロジェクト公式サイト：rdt-robotics.github.io/rdt-robotics
GitHubリポジトリ：https://github.com/thu-ml/RoboticsDiffusionTransformer
ハギングフェイスモデルライブラリ：https://huggingface.co/robotics-diffusion-transformer/rdt-1b
arXiv技術論文：https://arxiv.org/pdf/2410.07864

RDTの応用シナリオ

飲食サービスこれは、バーテンダー業務、調理、配膳などの作業を自動化するために使用でき、それによって外食産業の効率性と革新性を向上させることができる。
ホームアシスタント家庭環境では、掃除、片付け、洗濯などの家事をこなすことができ、犬の散歩などペットの世話もできる。
医療支援医療スタッフが日常的な看護業務（薬剤の配布や医療機器の移動など）を行うのを補助する。
産業オートメーション製造業においては、精密な組み立て、品質検査、および資材の取り扱いに用いられる。
災害救援災害現場、特に人間が立ち入ることが困難な環境や危険な環境において、捜索救助活動を実施する。