EgoSuite-Open100K - Lightwheel Intelligenceがオープンソース化した、あらゆるモードに対応した人間の行動データセット。

EgoSuite-Open100Kとは何ですか？

Lightwheel Intelligenceが発表したEgoSuite-Open100Kは、物理AIと身体化知能を対象とした、10万時間分のフルモーダルな人間の行動を収録した世界初のオープンソースデータセットです。このデータセットには、家庭や産業など7つの主要な環境を網羅した、実世界のシーンを一人称視点で撮影した1万5000本以上の動画が含まれています。頭部と手首の両方の視点から撮影され、21関節の手のポーズ、体の姿勢、イベントの意味という3つの詳細な注釈レイヤーを備えています。このデータセットはHugging FaceとAtomGitで無料で公開されており、学術利用と商用利用の両方に対応しています。ロボットトレーニングにおいて最も不足しているリソースである、高品質な人間の行動データのボトルネックを解消することを目的としています。

EgoSuite-Open100Kの主な機能

• 大規模な人間行動データの収集これは、10万時間分の人間による実際の操作を一人称視点で撮影した動画を提供し、物理AIのトレーニングに必要な行動に関する豊富な事前データを提供する。
• デュアルビュー同期録画このシステムは、頭部に装着したメインビューと手首のクローズアップビューを組み合わせることで、指の動きの細部を捉えつつ、動作全体の連続性を確保します。
• 3層構造のフルモーダル注釈このモデルは、フレームごとに手の21の関節ポーズ、全体的な姿勢、およびイベントレベルのセマンティック情報でラベル付けされており、モデルが「どのように動くか」と「なぜ動くか」の両方を学習できるようになっています。
• シナリオ横断的な一般化範囲このデータセットは、家庭、産業、医療など、7つの主要な環境カテゴリと128のシーンタイプを網羅しており、キッチンシーンのみをカバーしていた既存のデータセットの限界を打ち破っています。
• オープンソースでビジネスフレンドリーHugging FaceとAtomGitは完全にオープンで、学術研究とビジネス研修の両方で無料で利用でき、データの独占を打破します。
• 統一データ標準EgoVerse国際データ評議会の標準規格に準拠することで、異なるデバイスやチーム間でのデータフォーマットの互換性の問題という、業界が抱える課題を解決します。
• 体間移動のサポートデータ量は10万時間に達し、これによりモデルは人間の動作を様々なロボットの身体に適用できるようになる。
• 閉ループ型生態学的基盤これは、RoboFinalsのシミュレーション評価とRoboStackの実機展開と連携して、「収集-トレーニング-評価-フィードバック」という継続的な学習インフラストラクチャを構築します。

EgoSuite-Open100Kの技術原理

• データスケールとスケーリング法則物理的なAIスケーリング法則に基づくと、このデータセットは人間の一人称視点ビデオ10万時間に達しており、異種身体間転移能力の出現にとって重要な転換点にある。
• デュアルビュー取得アーキテクチャこのシステムは、頭部に装着したメインビューと手首のクローズアップを組み合わせたデュアルビュー同時取得方式を採用し、全体的な動作状況と指の動きの細かい部分の両方を捉えます。
• フルモーダルアライメント注釈 この動画は、手の21関節の姿勢、体の姿勢、イベントレベルのセマンティクス、奥行き情報など、あらゆるモダリティと完全に整合し、注釈が付けられており、マルチモーダルなトレーニング信号を構築します。
• 標準化されたデータ形式これは、データ収集フォーマットと注釈仕様を統一するためにEgoVerse国際データ標準に準拠しており、異なるソースからのデータをデバイスやモデル間で再利用できるようにするものです。
• 継続的な学習ループこれは、SimFoundryシミュレーションプラットフォームおよびRoboStackデプロイメントシステムと連携して動作し、人間のデータを用いた事前トレーニング、シミュレーションの評価と検証、そして現実世界のシナリオからのフィードバックの反復という、継続的な学習ループを形成します。

WeChatでフォローして「オープンソース「、参加するAIオープンソースプロジェクトに関するディスカッショングループ

EgoSuite-Open100Kの使い方

• データを取得するHugging Face HubまたはAtomGitにアクセスして、最初のオープンソースデータ群をダウンロードしてください。このデータは、アプリケーションを使用せずに、学術的または商業的なモデルトレーニングに直接使用できます。
• データのサブセットを選択しますタスクの要件に応じて、EgoStandard（ヘッドマウント型メインビュー）またはEgoPro（手首のクローズアップビュー）のいずれかを選択してください。これらはそれぞれ、全身動作の学習または精密な把持操作に適しています。
• 多段階アノテーションの分析付属の21関節の手のポーズ、体の姿勢、およびイベントレベルの意味的注釈を使用して、ポリシーモデルまたはVLAモデルのトレーニング用のマルチモーダル入力信号が構築されます。
• トレーニングプロセスへのアクセスこのデータセットは、ロボットポリシーネットワークへの入力として事前学習済みコーパスとして使用され、10万時間分の過去の人間の行動データは、現実世界のシナリオにおけるモデルの汎化能力を向上させるために使用されます。
• シミュレーション検証と組み合わせるこのデータセットで学習させたモデルは、Lightwheel Intelligent SimFoundryシミュレーションプラットフォームまたはRoboFinals評価システムを使用することで、低コストかつ大規模に再現性高く検証できます。