走进汉振
INTO HANCHINE
汉振分享 | 3D视觉测量助力智能制造业柔性升级
日期:2019年06月27日

工业4.0与中国制造2025风潮的兴起,对于制造系统而言,在保证质量的前提下对生产效率、生产灵活性提出了更高的要求,带动了生产制造企业对视觉测量设备更大的需求。目前,中国工业处于快速发展时期,应用领域逐步扩大,视觉测量的市场容量呈爆发式增长,尤其是3D视觉技术得到快速发展。

在欧美等工业发达国家因对生产效率、生产质量要求的不断提高,传统的2D视觉技术、接触式测量技术已难以满足特定要求,特别是汽车行业等高端制造领域,汽配零部件由于其形状的复杂各异性,尺寸是否合格直接影响汽车使用的安全性和舒适性。

据称,宝马是全球首家引入3D视觉测量的汽车制造商,通过在机器人末端搭载3D视觉相机来获取整车的三维数据,如下图1所示,将误差控制在0.1mm以内,使生产初期的小到不可察觉的偏差、问题被发现,极大提升整车测量效率,有效控制批量生产的产品质量。


3D测量是当前热门的技术方向,从测量方式上可分为接触式和非接触式,其中接触式主要以三坐标机和粗糙度轮廓仪为典型代表,均使用采样头的探针接触物体表面,探针沿工件的几何型面移动时,可测得被测几何面上各点的坐标值,这些值通过相应的软件进行处理,可精确计算出被测工件的几何尺寸、形状和位置公差等,虽测量精度高,但装置复杂且测量速度慢。有些公司将探针伺服机构改为可以精确定位的随动式机械臂,虽装置简化,速度及灵活性也有了一定的提高,但其技术性能仍滞后于市场需求。

非接触式主要以机器视觉测量为主,2D视觉测量因无法测量Z向高度信息,仅适用于XY平面的测量,应用面更广的3D视觉测量方法从原理可以分为:光谱共焦法、干涉测量法、飞行时间法、摄影测量法、结构光条纹法等,本文主要以基于结构光条纹法的3D视觉测量展开叙述。

常用的三种测量方式优缺点对比如下表1所示:

光谱共焦、干涉测量等3D测量方式因其成像原理导致设备体积大、成像速度慢、测量视野小等问题,不适用于特殊领域的3D视觉柔性测量,如下图所示:


基于结构光条纹法的3D视觉测量系统主要由3D视觉相机、相机移动载体、工件平台、电控系统等组成,虽有体积小、精度高等优势,但受其单幅测量范围和视觉遮挡的限制,需要对工件表面多次拍摄才能获取完整的三维数据,通过数模比对才能测量整个工件。下面将从3D视觉测量的关键流程来介绍。


好的数据是测量结果好坏的第一关键,采用合适的3D视觉相机,如单幅测量范围175mm*110mm,单幅测量精度0.02mm,将3D相机固定在机器人末端或龙门架上进行多次数据采集,其工作原理为:通过光源投射一束具有编码图案的结构光到物体表面,图案会被物体形状高度调制而发生变形,相机拍摄到被调制变形的图案数据后通过解码计算可获得物体的三维点云,经过多次拍摄获得的多片点云如图3所示:


3D视觉测量系统从实现方式上可分为龙门式、机器人式及其它衍生方式,如下图4和图5所示:


简单来讲,两种方式并无本质区别,只是3D视觉相机的挂载载体不同而已,工作方式大体相同,3D相机通过移动载体来实现整个工件表面三维数据的获取。两种测量方式的具体使用方法却有不同,龙门式需要采用大行程精密结构,并且对平台也有着稳定性和平面度要求;机器人式则需要采用高重复定位精度的机器人,否则直接影响综合测量结果。

3D视觉测量结果影响因素较多,如:移动机构的机械精度、3D视觉相机测量精度、机器人的重复性定位精度、手眼标定精度、点云拼接精度等,最为关键的因素是与算法相关的点云拼接、手眼标定等,点云拼接算法的差异导致的数据拼接结果并不相同。 

两种实现方式的综合对比如下表2所示:


点云拼接是第二关键,点云是在同一个空间坐标系下表达目标空间分布和目标表面特性的海量点集合,从空间分布特征可与分为无序和有序点云。无序点云是指点与点之间的拓扑关系不明晰,呈散乱分布,没有明显的空间分布特征,例如接触式三维测量设备获取的零散三维点或多幅点云数据拼接融合后的点集。有序点云是指点与点之间的空间分布关系可以用可用行和列的形式记录,类似于图像或者矩阵的结构分布,例如面结构光或双目立体、TOF等三维扫描仪(3D视觉相机),有序分布有利于点云的邻域操作,可提高邻近点搜索等相关算法的效率。


点云拼接方式主要分为标记点和“无”标记点方式。标记点方式需要人工辅助,需要耗费大量时间在工件表面贴上实体标签或利用旋转台来辅助拼接,如3D打印领域的三维扫描,在实际使用时存在一定的局限性,不适用于本文所讲的3D视觉柔性测量。“无”标记点方式则基于几何或图像特征配准方法,两种配准方法均只适用于一定的拼接场合,在对不同物体表面进行测量时稳定性较差,基于几何特征的配准算法无法拼接几何对称或平面的物体,而对于表面纹理并不丰富的被测物体来说,基于图像纹理的配准算法测量稳定性较差,所以3D视觉测量往往采用少标记点或光学标签来辅助基于几何特征和图像特征的点云自适应拼接,在两次拍摄的图片上查找图像特征点以实现两片点云的对应点查找,将点云拼接稳定性提高。


点云拼接从技术实现过程上大致分为:粗配准、精配准及全局优化。


自动拼接就是把不同坐标系下的三维点自动变换到同一坐标系下,在不同视角下的两片点云间的关系可通过一个刚性变换矩阵H来表示。对其中一片点云中的三维点P(x,y,z),利用齐次坐标的表现形式为:


通过变换矩阵H,将点P移动到相邻点云中的P’(x’,y’,z’),表现形式为:


其中H可以用旋转矩阵R和平移向量T来表示,RT矩阵求解常用方法四元数法和奇异值分解法。

采用PFH或SIFT算法确定多视点云的对应点时会因计算误差和环境噪声的影响而存在误匹配,直接影响旋转平移RT矩阵的计算效率和正确性,因此一般会结合随机抽样一致性算法(RANSAC)来匹配特征点,对含有异常数据的样本进行建模,经多次抽样迭代使之收敛,最终排除错误匹配对,一定程度上增加拼接稳定性。

要实现自动拼接,需要在两片点云中找到匹配的三维点对,通常要多于4个三维点对。在多次测量中根据相位测量原理,将二维特征点的坐标转换成三维坐标,因相位调制度的限制,某些点的三维坐标无法得到,需根据二维特征点的对应关系映射到这些点的三维点的对应关系上,相当于贴标记点来找对应关系。根据每两片点云之间的匹配关系,求解出旋转平移矩阵RT,实现拼接。

以图3中的6片点云为例,基于几何特征和图像特征自适应拼接,得到拼接融合点云如图6所示: 


从2D到3D、从接触式到非接触式的工业应用,是技术的进步,也是需求的驱动。集光、机、电、算技术于一体的3D视觉测量技术,主要用于对物体空间外形及结构进行三维扫描以获得物体表面的空间坐标。从狭义上讲,3D视觉测量是通过计算机分析处理已获得的三维点云数据,让计算机不仅具有和人眼一样的视觉感受,而且能够获得人眼所不能直接获得的经过量化的空间参数。

从产业竞争角度看,国内在3D视觉测量方面主要以代理为主,本土技术含量略滞后于国外,高端制造领域均被国际厂商垄断,国内企业缺乏核心竞争力;从产品技术角度看,如何从低速低效的离线抽检走向高速高效的在线全检是实现工业4.0智能化生产的关键。浙江汉振以此为契机正大力研发自动化三维光学测量系统,已形成完整的汽配制造等行业全自动三维视觉柔性测量解决方案。