GR00T-Teleop - NVIDIAがApple Vision Proを介した人間の動きをキャプチャする技術を発表

GR00T-Teleopとは何ですか？

NVIDIA Isaac GR00Tの一部であるGR00T-Teleopは、遠隔操作データの取得に重要な技術を活用しています。Apple Vision ProヘッドセットとNVIDIA CloudXR接続をベースとし、特別に設計されたヒューマノイド遠隔操作専用のCloudXRランタイムを使用して、ハンドトラッキングデータをIsaac Labなどのシミュレーションプラットフォームにストリーミングし、ロボットの環境の没入型ビューをデバイスにストリーミングします。この構成により、ロボットの直感的でインタラクティブな制御が可能になり、高品質の遠隔操作データの収集が容易になるとともに、その後の合成軌道生成やロボットトレーニングの基盤が構築されます。

GR00T-Teleopの主な機能

• 接続機器これは、NVIDIA CloudXRテクノロジーをベースにしたApple Vision Proなどの高精細ヘッドマウントディスプレイに接続し、シミュレーション環境とのリアルタイムなインタラクションを可能にする。
• データストリーム伝送このデバイスは、デバイスが取得したハンドトラッキングデータをシミュレーションプラットフォーム（Isaac Labなど）にストリーミングし、ロボットの環境の没入型ビューをデバイスにストリーミングすることで、オペレーターがロボットの視点からリアルタイムでシーンを確認できるようにします。
• 遠隔操作および制御手の動きなどのデバイス入力に基づいて、ロボットの直感的かつインタラクティブな制御が可能になり、オペレーターはロボットを遠隔操作して様々な作業を実行させることができる。
• データ収集遠隔操作中は、手の動きやロボットの動作軌跡など、高品質な遠隔操作データが記録・収集され、その後の合成軌跡生成やロボット学習のための基礎データとして活用される。

GR00T-Teleopの技術原理

• NVIDIA CloudXRテクノロジーCloudXRは、デバイスとシミュレーションプラットフォーム間の低遅延・高帯域幅のデータ伝送を実現します。コンピューティングタスクをクラウドまたはエッジサーバーにオフロードすることで、デバイスはより複雑なシナリオやデータストリームを処理しながら、スムーズなユーザーエクスペリエンスを維持できます。
• ハンドトラッキング技術ヘッドマウントディスプレイ装置に内蔵されたハンドトラッキングセンサー（光学センサー、赤外線センサーなど）を使用することで、オペレーターの手の動きや姿勢をリアルタイムで捉え、手の三次元位置、回転角度、指の屈曲度を正確に識別し、手の動きをロボットモデルにマッピングします。
• シミュレーションプラットフォームの統合このシステムは、Isaac Labなどのシミュレーションプラットフォームと緊密に連携し、ハンドトラッキングデータをリアルタイムでシミュレーション環境に入力してロボットモデルの動きを制御します。シミュレーションプラットフォームは、物理エンジンと運動学アルゴリズムを使用して、ロボットの各関節の運動軌跡と姿勢変化を計算し、オペレーターの手の動きに対応したロボットの動きを生成し、環境ビューをレンダリングします。

GR00T-Teleopプロジェクトのアドレス

• プロジェクト公式サイト：https://developer.nvidia.com/blog/

GR00T-Teleopの応用シナリオ

• ロボットトレーニング人間の行動に関するデータを収集し、ロボットに人間の動きを模倣するように訓練することで、ロボットの自律性と適応性を向上させる。
• 複雑なタスクの実行医療手術の補助や精密製造など、繊細な作業を必要とするタスクをロボットが完了するのを支援する。
• 危険な環境下での作業遠隔操作ロボットを用いて、原子力放射線環境、深海探査、宇宙探査などの危険な環境で作業を実行させる。
• 遠隔での共同作業と教育これにより、専門家とオペレーター間のリアルタイムなやり取りが可能になり、遠隔での機器メンテナンス指導やロボットの教育デモンストレーションなどに利用できます。
• シミュレーション訓練仮想現実技術を組み合わせることで、オペレーターは軍事訓練における仮想戦場ミッションなどの仮想環境でロボットを制御する訓練を受ける。