Gen2Act - Google、カーネギーメロン大学、スタンフォード大学が共同で、ロボットの操作を誘導するための人間のような動画を生成する戦略を発表した。 - AiBoss

Gen2Actとは何ですか？

Google、カーネギーメロン大学、スタンフォード大学が共同開発したロボット操作戦略であるGen2Actは、予測的なWebデータからの動きの情報に基づいて人間のような動画を生成し、これらの動画を使用してロボットが新しいタスクを実行する際のガイドとして機能します。この戦略は、利用可能な大量のWeb動画データを活用することで、ロボット動画を直接生成する際の複雑さを回避しています。Gen2Actの中核は、ゼロショットの人間動画生成にあり、事前学習済みの動画生成モデルと少量のロボットインタラクションデータを組み合わせて戦略を学習させます。実際のアプリケーションでは、Gen2Actは高い汎化能力を発揮し、他の方法と比較して成功率が大幅に向上し、馴染みのないオブジェクトタイプを操作したり、新しい動作を実行したりすることができます。Gen2Actは、「コーヒーを淹れる」といった複数のステップからなる作業を継続的に実行するなど、複雑なタスクの長期実行をサポートします。この方法は、大規模なロボットデータ収集の必要性を軽減し、閉ループ戦略を使用して操作の精度を動的に調整および向上させます。

Gen2Actの主な機能

ゼロショットビデオ生成Gen2Actは、事前に学習済みの動画生成モデルを直接使用して、言語で記述されたタスクとシーン画像に基づいて、タスク固有の微調整を行うことなく、人間がタスクを実行する動画を生成することができます。
新しいタスクへの一般化Gen2Actは、生成された人間のビデオガイダンスに基づいて、ロボットが訓練データには含まれていない新しいタスクを実行できるようにするもので、馴染みのない種類の物体を操作したり、新しい動作を実行したりすることが含まれます。
クローズドループ戦略実行Gen2Actは、生成されたビデオとロボットのリアルタイム観測を組み合わせることで、閉ループ戦略に基づいてロボットの動作を動的に調整し、シーンの変化に応じてタスクを正確に実行します。
長時間タスク処理Gen2Actは単一のタスクを完了することも、タスクシーケンスを連結することで、「コーヒーを淹れる」など、複数の連続した手順を含む複雑で長時間かかる一連のタスクを実行することもできます。
データ要件を削減するGen2Actはロボットのデモンストレーションに必要なデータ量が少なく、データ収集のコストと作業量を大幅に削減します。

Gen2Actの技術的原理

人間によるビデオ生成： 事前学習済みの動画生成モデルに基づき、言語で記述されたタスクとシーンの最初のフレーム画像から、人間がタスクを実行している様子を捉えたゼロショット動画が生成される。
動画からモーションへの変換： 閉ループ戦略に基づき、生成された人間の動画をロボットの動作に変換する。この戦略では、動画から得られる視覚的特徴と点の軌跡を用いて、暗黙的に符号化された動作情報を予測する。
視覚的特徴抽出： 生成されたビデオとロボットの観測履歴から、ViTエンコーダーとTransformerエンコーダーを使用して特徴量を抽出した。
点軌道予測： Transformerは、動画内の点の動きの軌跡を予測するために使用され、補助的な損失学習戦略が採用されています。
行動クローン喪失： この技術は、予測された動作と実際の動作との誤差を最小限に抑える最適化戦略を用いて、動画における人間の行動を模倣します。

Gen2Actのプロジェクトアドレス

プロジェクト公式サイト：https://homangab.github.io/gen2act/
arXiv技術論文：https://arxiv.org/pdf/2409.16283

Gen2Actの応用シナリオ

ホームオートメーション家庭環境において、Gen2Actは電子レンジのオン/オフ、コーヒーメーカーの操作、物の整理など、家電製品の制御が可能で、ホームオートメーションの実現に役立ちます。
産業オートメーション製造業において、Gen2Actは複雑な組み立て作業を実行したり、柔軟性と適応性が求められる環境において、手作業を代替または支援したりすることができる。
サービス業飲食業や小売業において、Gen2Actはロボットを誘導し、注文受付、料理の提供、棚の整理といった作業を完了させる。
医療支援医療分野において、Gen2Actは手術の補助や医療物資の運搬など、繊細な作業を行うロボットの開発を支援している。
災害救援災害救援現場では、Gen2Actはロボットを制御し、未知の環境下で捜索救助活動を実施する。