Glovity
结合手部运动、触觉和第一人称视觉信息,记录人类在真实操作过程中的动作与接触经验。
问题是:可穿戴系统如何把人手的意图和接触迁移到机械臂与灵巧手,并把这些轨迹留作后续学习数据。Glovity 是 CobotAI 的 TeleX 产品线:手套与颈戴式控制器采集手部位姿,映射到机械臂和灵巧手,并记录多模态示范。
我负责该产品线的开发,覆盖触觉手套、空间力反馈和 TeleX-SDK,具体包括手部跟踪、机械臂与灵巧手映射,以及数据采集流程。该平台也用作工业具身智能采集终端,并在 InnoEX 2026 等场合公开演示。
相关论文由 Yuyang Gao、我和郑湃教授在香港理工大学完成。首屏视频是遥操作涂胶;下方片段是其余内部演示:位姿采集、灵巧手映射、遥操作采集,以及非固定工位上的第一人称录制。
通过手套采集手部位姿。
将手部动作映射到灵巧手。
遥操作示范数据采集。
第一人称视角示范数据录制。