近来，Meta Reality Labs 宣告开源一个名为 HOT3D 的数据集，该数据集根据 Project Aria 眼镜和 Quest 3 头显所搜集的数据，旨在加快机器人练习和提高其操作能力。

　　虽然近年来机器人在履行各种使命上取得了明显前进，但在双手操作和物体交互方面，与人类比较仍有很大的距离。因而，世界各地的科研团队一直在积极探索优化办法，其间运用 VR 搜集的自中心练习数据成为了一个重要的研讨方向。

　　从特斯拉、英伟到达小鹏，渐渐的变多的公司开端测验运用 XR 技能来辅佐机器人练习。经过佩带头显设备，人型机器人能准确地复刻并映射人类操作员的动作，一起完成第一人称视频的实时传输和准确操控输出。这种解决方案不只提高了练习功率，还具有长途数据搜集的优势，使得全球各地的注释人员无需亲临现场即可为项目作出贡献。

　　Meta 此次开源的 HOT3D 数据集，正是为了推进这一范畴的逐渐开展。该数据集包括了经过 Project Aria 眼镜和 Quest 3 头显搜集的高质量 3D 视频，这些视频展现了自中心人类用户抓取和操作各种物体的进程，为剖析手与目标的交互供给了名贵的资源。

　　具体来说，HOT3D 数据集供给了超越 833 分钟（超越 3.7 万张图画）的图画流，涵盖了 19 名被试与 33 种不同目标的交互场景。此外，该数据集还包括多模态信号、全面的实在值注释以及手和目标的3D模型，为研讨人员供给了丰厚的数据支撑。

　　为了评价 HOT3D 数据集在机器人和计算机视觉研讨中的潜力，Meta 研讨人员运用该数据集练习了三个不同使命的基线模型。试验成果为，与其他模型比较，运用 HOT3D 进行练习的相关模型在各项使命中的体现均更为超卓。

　　Meta 团队指出：“在咱们的试验中，咱们充沛证明了多视角自中心数据在三个盛行使命中的有效性。”这一发现不只验证了 HOT3D 数据集的价值，也为未来的机器人练习和计算机视觉研讨供给了新的思路和办法。