Being-M0 - 北京大学と中国人民大学が共同開発した、ヒューマノイドロボット向けの汎用動作生成モデル。

Being-M0とは何ですか？

Being-M0は、北京大学、中国人民大学などが共同で開発した、ヒューマノイドロボット向けの初の大規模汎用動作生成モデルです。業界初の数百万件の動作シーケンスを収録したデータセットであるMotionLibをベースに、Being-M0は革新的なMotionBookエンコーディング技術を用いて、動作シーケンスを効率的に2次元画像として表現・生成します。Being-M0は、動作生成における大規模データセットと大規模モデルの利用可能性を実証し、動作生成の多様性と意味的整合性の精度を大幅に向上させ、人間の動作から複数のヒューマノイドロボットへの効率的な転送を可能にし、汎用動作知能の基盤を築きます。

Being-M0の主な機能

• テキスト駆動型アクション生成入力された自然言語による記述に基づいて、対応する人間の行動シーケンスを生成します。
• アクション転送このモデルは、生成された人間の動作をUnitree H1、H1-2、G1などの様々なヒューマノイドロボットプラットフォームに転送することができ、ロボットが人間と同様の動作を実行できるようにする。
• マルチモーダルデータサポートBeing-M0は、RGBビデオや深度情報など、複数のデータ形式をサポートし、複数人によるインタラクティブなシナリオにも対応できるため、複雑なシナリオにおけるモーション生成をサポートします。

Being-M0の技術原理

• 大規模データセット MotionLib業界初の数百万ものアクション生成用データセットであるMotionLibをベースにしたこのデータセットには、120万を超えるアクションシーケンスが含まれており、既存の最大規模の公開データセットの15倍の規模を誇ります。このデータセットは、自動処理ワークフローを用いて公開データセットやオンラインプラットフォームから収集され、その後、きめ細かな精度でアノテーションが施されました。
• MotionBookエンコーディング技術MotionBookエンコーディング技術に基づき、動作シーケンスは単一チャンネルの2次元動画としてモデル化され、時間軸と関節軸に沿って独立したエンコーディング空間を構築することで、動作の多次元構造的特徴を完全に保持します。次元削減投影により、従来のコードブック検索ステップが不要となり、動作語彙容量が2桁増加します。
• 最適化と学習を組み合わせた2段階ソリューション動作伝達に関しては、最適化と学習の2段階ソリューションが採用されている。最適化段階では、多目的最適化手法に基づいてロボットの運動学的制約を満たす動作シーケンスを生成する。学習段階では、軽量なMLPネットワークを用いて人間の動作からヒューマノイドロボットの動作へのマッピング関係を学習し、効率的な動作伝達を実現する。

Being-M0のプロジェクトアドレス

• プロジェクト公式サイト：https://beingbeyond.github.io/Being-M0/
• arXiv技術論文：https://arxiv.org/pdf/2410.03311

Being-M0の応用シナリオ

• 人型ロボットの制御ロボットがテキストによる指示に基づいて動作を実行できるようにする。
• アニメーション制作高品質なモーションシーケンスを迅速に生成し、制作効率を向上させます。
• 仮想現実と拡張現実インタラクティブなアクションをリアルタイムで生成することで、没入感が向上します。
• 人間とコンピュータの相互作用ロボットが人間の指示をよりよく理解し、協働作業の効率を向上させるため。
• 動作分析とリハビリテーションアスリートのトレーニングや患者のリハビリテーションを支援する。