研究

我的研究主要关注一个问题:如何让机器人更有效地从人类操作中学习?相比只学习运动轨迹,我更关心人在操作过程中真正依赖的信息,包括接触位置、力度变化、滑移、操作阶段和失败后的纠正动作。目前主要研究触觉遥操作、力触觉机器人学习,以及基于第一人称人类示范的机器人技能学习。

01

MR 与触觉遥操作

如何将人的动作与意图实时映射到远端机器人,并把接触信息反馈给操作者,让远程精细操作更自然、更准确?

我正在结合 MR 头显、手部追踪和 Glovity 可穿戴系统,研究更自然的机器人遥操作。相关工程实践还包括 AR 辅助飞机钻孔,让操作者在接触和纠错时仍能介入。

使用触觉手套遥操作双臂机器人完成打磨任务。
02

力触觉机器人学习

视觉能够告诉机器人“看到了什么”,但接触任务还需要知道“碰到了什么、用了多大力、是否发生滑动”。

我关注如何融合视觉、力和触觉信息,让机器人学习插入、装配、打磨等接触式操作技能。此前的工作还包括 6D 位姿估计与点云补全,用于提高杂乱场景中的机器人抓取稳定性。

双臂机器人完成从抓取、放置到插入的六步装配流程。
03

从第一人称示范中学习机器人技能

人类可以自然完成大量复杂操作,但这些经验很难直接迁移给机器人。

我关注如何从第一人称视觉、手部运动和触觉信息中提取关键操作经验,并将其转化为机器人可学习的技能表示。

第一人称相机视角下的双臂机器人装配工位。

常用方法与技术

  • 模仿学习
  • 扩散策略
  • 视触觉传感
  • 遥操作
  • 人机协作
  • 6D 位姿估计
  • 点云融合