项目

HapticDP

融合视觉、力与触觉信息的机器人操作策略,用于接触密集型精细任务。

时间 · 2026.01 – 至今进行中

核心问题是:策略能否保留较慢的视觉规划,同时用力觉和触觉在接触阶段做更高频率的精化,而不是回放开环动作片段。我开发了 HapticDP:视觉引导的全局规划与更快的力触觉局部回路共用一个 U-Net,使机器人能在擦拭、打磨、插入和螺钉旋拧等接触任务上以 50 Hz 做滚动时域控制。

示范数据通过 Apple Vision Pro 混合现实追踪和可穿戴触觉手套采集,执行平台为配备灵巧手的双臂机器人。我搭建了这套双边遥操作采集链路,使视觉、力和触觉流保持对齐,供后续策略训练使用。

本工作在香港理工大学工业及系统工程学系 RAIDS 课题组开展,导师为郑湃教授。本页相关论文包括一篇视觉触觉综述,以及 CIRP Annals 上关于双臂灵巧装配的研究。

当前实验覆盖插入、擦拭/打磨和螺钉旋拧。首屏视频是打磨,下方片段是插入。

插入实验(网页片段)。