工业4.0之利器：复合机器人

fBP安检之家

最早RGB-D是微软推出的，不但有视觉（RGB）的信息，还有深度的信息。这是我们用RGB-D传感器把实验室的环境建立出来了。fBP安检之家

fBP安检之家

单目相机进行视觉里程时会产生累计误差，但这误差可以通过闭环来解决。fBP安检之家

fBP安检之家

ORB-SLAM推出解决了传统视觉SLAM的缺点，在技术上完全可以代替激光SLAM，为视觉SLAM使用化也起了非常大的作用。fBP安检之家

fBP安检之家

实验室利用ORB-SLAM算法开发基于全景的相机SLAM，有两个鱼眼镜头构成的相机，这种相机网上都可以买到，价格非常便宜，2000多元钱一个。用360度球形全方位视角信息来定位，在室内环境中物体位置发生变化，对定位不会感到影响。fBP安检之家

但是在室外情况，有很多情况天空没有参照物的特征信息，为此我们就开发了基于多相机的视觉定位系统，根据双目相机可以得到距离信息原理，我们开发了算法，不但能计算环境的点云位置信息，还可以得到尺度。通过这样系统可以在室外马路上进行定位与导航。fBP安检之家

但是我们知道，无论是激光也好，视觉也好，有一个共同的缺陷。遇到玻璃物体的时候，就无法定位，测量信号穿过玻璃没有反射。在环境非常黑暗的情况下，也无法定位。这时候就可用超声机械波信号进行SLAM。fBP安检之家

fBP安检之家

我们实验室也开发了一种超声SLAM算法。我们知道在汽车上超声避障用得非常多，同样通过超声也可以进行SLAM。右上角图（a）是超声建立的地图，图（b）是激光建立的地图，遇到玻璃会产生一些误区。fBP安检之家
物体时变与移动抓取规划fBP安检之家
硬件上在移动机器人加上机械臂，软件有物体的识别和运动规划，就可以构成一个复合机器人的架构。fBP安检之家

fBP安检之家

有了复合机器人以后，首先要教它干什么，第一步，需要它去抓的东西。操作流程，通过对物体3D的扫描、学习，使它产生记忆。其中也运用到了现在用得非常多的深度学习，从各种角度上给它多看（学习），就像见多识广。这样只要看到物体的一个角，就知道这个对象位置。在空间上，通过匹配，知道物体的位置，识别姿态。这样的话，就可以通过识别姿态后，我们就知道控制机器人往哪方面去抓。告诉我们机器人，你要跑到哪儿去，怎么抓，通过规划和策略，它可以产生移动动作。fBP安检之家

还有一种案例是在一个筐里面有很多元器件，怎么去抓，基于激光感知是通常的方法。我们采用了单目相机，单目相机没办法感知这些尺度信息，我们提出方法和算法，也能计算出这些物体的位置和精度。把这样的东西跟机器人结合，就可以通过运动学产生运动轨迹规划。fBP安检之家

fBP安检之家

很多情况下，物体模型是不知道的，比如说我们要打扫卫生，捡垃圾，机器人针对无模型的自动抓取，根据特征点，判断能抓起来的都抓。fBP安检之家

刚才解决了移动抓取问题，又经过了有模型和无模型的识别，把这些技术集成在一台设备上，有移动台，上面有一个机械臂。在无人仓库中硬件开始使用机器人搬运货物，但最后把货物捡出来还是需要人，这也是一个行业痛点。fBP安检之家

京东为此搞了一个挑战赛，我们梯队就报名参加了，从大中华区300多支队伍初赛胜出，作为十支队之一到天津参加自动抓取的挑战赛决赛。我们这支队伍初赛、预赛得分点数应该都是最高的。fBP安检之家

比赛中，首先是在工作环境中找到货架，货架安放的物品是随机的。品种有一些是事先告知，有一些是未知。裁判发布启动命令的时候，告知抓取品种和数量，机器人启动后人就不能干涉，全靠它自主把这个东西抓起来。累计得分点数我们的点数最高，最后进入决赛，冠亚军表演赛。