项目

Glovity

结合手部运动、触觉和第一人称视觉信息,记录人类在真实操作过程中的动作与接触经验。

时间 · 2025.06 – 至今进行中

问题是:可穿戴系统如何把人手的意图和接触迁移到机械臂与灵巧手,并把这些轨迹留作后续学习数据。Glovity 是 CobotAI 的 TeleX 产品线:手套与颈戴式控制器采集手部位姿,映射到机械臂和灵巧手,并记录多模态示范。

我负责该产品线的开发,覆盖触觉手套、空间力反馈和 TeleX-SDK,具体包括手部跟踪、机械臂与灵巧手映射,以及数据采集流程。该平台也用作工业具身智能采集终端,并在 InnoEX 2026 等场合公开演示。

相关论文由 Yuyang Gao、我和郑湃教授在香港理工大学完成。首屏视频是遥操作涂胶;下方片段是其余内部演示:位姿采集、灵巧手映射、遥操作采集,以及非固定工位上的第一人称录制。

通过手套采集手部位姿。

将手部动作映射到灵巧手。

遥操作示范数据采集。

第一人称视角示范数据录制。