10Kh RealOmni-Open : Gen Robot.AI开源的具身智能数据集
AI智库导航-aiguide.cc为您提供最新的AI新闻资讯和最新的AI工具推荐,在这里你可以获得用于营销的AI聊天机器人、AI在商业管理中的应用、用于数据分析的AI工具、机器学习模型、面向企业的AI解决方案、AI在商业客户服务中的应用、AI和自动化工具等。
主要介绍
10Kh RealOmni-Open是Gen Robot.AI团队开源的具身智能数据集,专注于家庭场景下的机器人操作任务。该数据集包含超过10,000小时的数据、100万+任务剪辑,存储总量达95TB,是目前行业内规模最大的开源具身智能数据集之一。数据采集自3000个真实家庭,涵盖10个常见家庭任务,每项技能拥有超过1万段剪辑,确保技能的深度和丰富性。
功能特点
- 大规模数据覆盖:包含超10,000小时数据和100万+任务剪辑,存储总量达95TB。
- 聚焦核心技能:专注于10个常见家庭任务,每项技能有超过1万段剪辑,确保技能的深度和丰富性。
- 高质量数据采集:画面清晰度高(1600×1296像素,30fps),轨迹精度达到亚厘米级别,同时包含夹抓的开合角度和位移信息。
- 真实场景泛化:数据采集自3000个真实家庭,99.2%为双手长程任务,平均剪辑长度为1分37秒,记录了完整的动作过程,适合多种真实场景的应用。
- 多模态数据:包含视觉、听觉等多种模态数据,同时记录夹抓的开合角度和位移信息。
- 高效数据存储:采用MCAP格式存储,便于开发者按需调用。
- 易用性支持:提供网页工具和开源工具包,支持中英文双语,遵循CC-BY-SA-4.0协议,允许商用,且提供详细使用指导。
优缺点
- 优点:
- 规模庞大:是目前行业内规模最大的开源具身智能数据集之一。
- 技能深度:每项技能有超过1万段剪辑,确保技能的深度和丰富性。
- 高质量画面:画面清晰度高,分辨率达1600×1296,帧率为30fps,能够全方位录制环境和操作细节。
- 高精度轨迹:轨迹精度达到亚厘米级别,通过高精度IMU硬件和云端重建技术实现,适合机器人学习。
- 真实场景采集:数据来自3000个真实家庭,场景和目标泛化能力强,操作自然,避免了单一场景和重复动作的问题。
- 缺点:
- 数据量大:存储总量达95TB,对存储和计算资源要求较高。
- 使用门槛:虽然提供了易用性支持,但对于非技术用户来说,仍需要一定的学习成本。
如何使用
- 访问项目主页:通过项目官网或GitHub仓库了解数据集的详细介绍、任务类型和数据集信息。
- 下载数据集:从Hugging Face数据集平台或魔搭、百度百舸等国内平台下载数据集,包含视频样本和标注信息。
- 使用网页工具:利用提供的网页工具浏览和查询数据集,无需编写代码即可查看数据详情。
- 参考使用指导:阅读项目提供的详细使用指导文档,了解如何加载和使用数据集。
框架技术原理
10Kh RealOmni-Open数据集基于真实家庭场景下的机器人操作任务进行采集,通过高精度IMU硬件和云端重建技术实现轨迹精度的亚厘米级别。数据集采用MCAP格式存储,便于开发者按需调用。同时,数据集提供了多模态数据,包括视觉、听觉等多种模态数据,以及夹抓的开合角度和位移信息,支持机器人视觉与动作协同的研究。
创新点
- 大规模真实数据采集:在超过3000个家庭中累计收集百万小时规模的数据,确保数据的真实性和泛化能力。
- 多模态数据融合:整合了超大FOV原始图像、轨迹、语意标注、关节动作等多种模态信息,数据精度、质量行业领先。
- 无本体数据采集方式:将数据采集的源头从“机器人”转移到了“人”,通过穿戴GenDas无感设备直接在真实环境中记录人类的操作过程,采集多维度、多场景下的实际操作数据。
评估标准
- 数据规模:评估数据集的总时长、任务剪辑数量和存储总量。
- 技能深度:评估每项技能的任务剪辑数量和场景、目标的丰富性。
- 数据质量:评估画面的清晰度、轨迹的精度和多模态数据的完整性。
- 场景泛化能力:评估数据集在不同家庭场景和任务中的泛化能力。
应用领域
- 家庭服务机器人训练:为家庭服务机器人提供丰富的任务数据,帮助机器人学习和优化日常家务技能,如整理物品、清洁桌面等。
- 强化学习研究:为强化学习算法提供大规模的真实环境数据,支持算法在复杂任务中的训练和优化,提升机器人的决策能力。
- 机器人视觉与动作协同研究:通过多模态数据,支持机器人视觉与动作协同的研究,帮助机器人更好地理解和执行任务。
- 技能迁移与泛化研究:基于多样化的家庭场景和任务,支持机器人技能的迁移和泛化研究,能适应不同的环境和任务需求。
项目地址
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...