EgoSuite-Open100K - 光轮智能开源的全模态人类行为数据集

EgoSuite-Open100K是什么

EgoSuite-Open100K 是光轮智能推出的全球首个10万小时级全模态人类行为开源数据集，面向物理AI与具身智能。数据集包含15,000+真实场景的第一人称视频，覆盖家居、工业等7大类环境，采用头部与腕部双视角采集，配备手部21关节位姿、身体姿态及事件语义三层精细标注。数据集已在Hugging Face和AtomGit免费开放，支持学术与商业用途，能解决机器人训练中最稀缺的高质量人类行为数据瓶颈。

EgoSuite-Open100K的主要功能

• 大规模人类行为采集：提供10万小时第一人称真实人类操作视频，为物理AI训练提供充足的行为先验数据。
• 双视角同步记录：采用头戴主视角与腕部特写视角组合，既保证全局动作连贯性，又捕捉手指精细操作细节。
• 三层全模态标注：逐帧标注手部21关节位姿、全身姿态及事件级语义信息，让模型同时学会”怎么动”和”为什么动”。
• 跨场景泛化覆盖：涵盖家居、工业、医疗等7大类环境、128种场景类型，突破现有数据集单一厨房场景的局限。
• 开源与商业友好：在Hugging Face和AtomGit完全开放，学术研究与商业训练均可免费使用，打破数据垄断。
• 统一数据标准：遵循EgoVerse国际数据委员会规范，解决不同设备、团队间数据格式不兼容的行业痛点。
• 支撑跨具身迁移：数据量达到10万小时级别，使模型能够将人类动作泛化到不同形态的机器人本体上。
• 闭环生态底座：与RoboFinals仿真评测和RoboStack真实部署联动，形成”采集-训练-评测-反馈”的持续学习基础设施。

EgoSuite-Open100K的技术原理

• 数据规模与Scaling Law：基于物理AI Scaling Law，数据集规模达到10万小时人类第一视角视频，处于跨具身迁移能力涌现的关键拐点。
• 双视角采集架构：采用头戴主视角与腕部特写双视角同步采集，分别捕获全局动作上下文和手指精细操作细节。
• 全模态对齐标注 对视频进行全模态对齐标注，包含手部21关节位姿、身体姿态、事件级语义及深度信息，构建多模态训练信号。
• 标准化数据格式：遵循EgoVerse国际数据标准统一采集格式与标注规范，使不同来源的数据具备跨设备、跨模型复用能力。
• 持续学习闭环：与SimFoundry仿真平台和RoboStack部署系统联动，形成人类数据预训练、仿真评测验证、真实场景反馈迭代的持续学习闭环。

微信关注回复“开源”，加入AI开源项目交流群

如何使用EgoSuite-Open100K

• 获取数据：访问 Hugging Face Hub 或 AtomGit 下载首批开源数据，无需申请即可直接用于学术或商业模型训练。
• 选择数据子集：根据任务需求选用 EgoStandard（头戴主视角）或 EgoPro（腕部特写视角），分别适用于全身动作学习或精细操作抓取。
• 解析多层标注：利用配套的手部21关节位姿、身体姿态和事件级语义标注，构建多模态输入信号用于策略模型或VLA模型训练。
• 接入训练流程：将数据集作为预训练语料输入机器人策略网络，利用10万小时人类行为先验提升模型在真实场景中的泛化能力。
• 结合仿真验证：通过光轮智能 SimFoundry 仿真平台或 RoboFinals 评测系统，对基于该数据集训练的模型进行低成本、可复现的规模化能力验证。