伯克利提出新型传感器,为机器人赋予灵敏触觉

将门2019年度创新峰会
还有5天啦!
戳图了解报名&详情
From:BAIR 编译:T.R
我们拥有灵巧的双手,可以在键盘上优雅的舞蹈、可以在摇杆上精确的控制、甚至可以在设备上进行精密的装调,这一切都离不开敏锐准确的触觉。对于机器人来说,仅仅依靠视觉和力传感对于很多复杂任务是远远不够的。没有触觉它们就无法准确感知边缘的位置、表面的强度和接触点的质地,此外很多时候相机的视线还会挡住无法进行视觉伺服。但为机器人赋予优异的触觉感知却不是一件容易的事,科学家们尝试了多种不同的传感器但每一种都有着各自无法克服的缺点。
近日,来自伯克利的研究人员们结合视觉研发出了一种新型的触觉传感器,并通过强化学习算法指导机器人准确的定位并操作目标,在触觉的帮助下实现了精确的控制。为了给机器人提供准确的触觉感知,研究人员利用柔性的硅胶和彩色LED灯制成了基于视觉的触觉传感器。通过采集物体与传感器表面接触造成的色彩变化图像,来获取触觉信息。这种传感器最大的优势在于可以直接通过视觉提供目标的几何信息,并可基于几何信息推断接触力的大小。上图中我们可以明显的看到传感器与管子接触时产生的形变,这种形变与目标外形可力相关,并可以由传感器上灯光色彩的视觉变化准确的反映出来。这与上图中MIT之前的传感器GelSight十分类似,都是基于光学手段来记录下接触造成的形变。利用这样的传感器可以帮助机器人寻找合适的抓取位置提高抓取成功率。类似的触觉传感器GelSight

打造触觉传感器在研究过程中,科研人员将触觉传感器安放到了下图中三轴移动平台的末端执行器上,传感器的接触面朝下以便与被测物体接触。三轴平台可在相对工作平面的xyz方向由步进电机控制移动,在电机精度的帮助下这一平台可以实现0.04mm的粗略精度,可有效地完成一系列精密操作。传感器被朝下安放在左上方的末端执行器上。

研究人员对下面三个代表性的操作任务进行了研究:1.重置小球位置:机器人通过传感器表面的感知,将金属小球移动到目标位置。难度主要在于对小球的控制力如果不准确的话会造成它脱离传感器和执行器的控制,滚出控制平面。2.操作游戏手柄杆:游戏控制杆是我们进行游戏操作的常见设备,触觉在其中扮演了重要的角色。这一任务的特殊性在于摇动摇杆时需要接触-离开-再接触的移动过程来得到相应的控制。3.滚骰子:这一任务的目标是滚动20面的筛子,在操作过程中十分容易划出操作平面。不过这个任务的好处在于对应的面有数字,可以通过光学传感器看到对应目标面的数字。三个任务的示意图
上面的三个任务都是通过与触觉相关的视觉目标图像来控制的,这意味着机器人的目标在于操作物体在触觉硅胶面上产生对应的触觉接触图样,机器人基于这一图像感知到物体的三维位姿并推测出需要的力。

深度触觉模型预测控制研究人员为了使用高维的图像信息来指导上述的是三个任务,提出了一套通用的强化学习算法——触觉模型-预测控制(tactile MPC)。这套框架建立在先前视觉研究上,通过图像预测任务的路径和目标位置。这三个任务可以使用同一套超参数来完成,无需人工调优的参与。深度触觉预测控制模型的架构图
触觉算法主要通过行为-条件视觉动力学或自动收集数据上的视频预测模型进行工作。模型从传感器的原始像素中进行学习,基于机器人的预测动作和背景触觉图像就能够预测出未来的触觉图像,无需额外的位置传感器或末端执行器的辅助。

视觉预测模型架构

为了训练一个通用的视觉预测模型,研究人员收集了丰富多样的数据,而这些数据很大程度上是机器人自己收集的。通过一些重置机制保证目标不脱离工作台,机器人可以完全自主的收集数据,记录下瑞吉运动序列的轨迹,以及每一步对应的位置和触觉图样。对于上述的三个任务每一个需要花费36h用于数据收集,但不需要人类的介入。随机数据的收集
下面展示了模型对于三个任务的表现,输入期望的目标图像模型将输出一系列图像序列轨迹来指导机器人移动。任务一:滚动小球的操作任务二:操作游戏摇杆

任务三:滚动筛子

可以看到对于不同的任务可以使用同一套超参数获取达到目标的轨迹序列,证明这套模型具有较强的通用性。研究人员通过这种新型传感器和视觉预测模型的方法解决了机器人控制中的触觉问题,为复杂物体的操作提供了新的思路,未来工作将会拓展到更为复杂的操作任务和通用部件的位置控制及装配上。
如果想要了解详细信息,请点击下面的链接:
视频:
https://sites.google.com/view/deeptactilempc
论文:
https://arxiv.org/pdf/1903.04128.pdf
ref:
https://bair.berkeley.edu/blog/2019/03/21/tactile/
paper: https://arxiv.org/pdf/1903.04128.pdf
https://arxiv.org/pdf/1812.00568.pdf
https://arxiv.org/abs/1708.00922
headpic from:h ttps://dribbble.com/shots/3729084-88-tactile-resistance
https://dribbble.com/shots/2857585-Joystic-k-The End-

将门是一家以技术创新为切入口的早期创新发掘机构,旗下设有将门创新服务、将门技术社群以及将门投资基金。


将门创新服务专注于使创新的技术落地于真正的应用场景,激活和实现全新的商业价值,服务于行业领先企业和技术创新型创业公司。



将门技术社群专注于帮助技术创新型的创业公司提供来自产、学、研、创领域的核心技术专家的技术分享和学习内容,使创新成为持续的核心竞争力。


将门投资基金专注于投资通过技术创新激活商业场景,实现商业价值的初创企业,关注技术领域包括机器智能、物联网、自然人机交互、企业计算。在两年的时间里,将门投资基金已经投资了包括量化派、码隆科技、禾赛科技、宽拓科技、杉数科技、迪英加科技等数十家具有高成长潜力的技术型创业公司。


如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:bp@thejiangmen.com

点击右上角,把文章分享到朋友圈
将门创投
让创新获得认可!
微信:thejiangmen
bp@thejiangmen.com


点击“?在看”,让更多朋友们看到吧~

为您推荐

发表评论

邮箱地址不会被公开。 必填项已用*标注