- 09/18
- 2019
-
QQ扫一扫
-
Vision小助手
(CMVU)
摘要: 以智能制造业表面缺陷在线自动检测为应用背景,系统地综述了自动光学(视觉)检测(以下统称自动光学检测,AOI)技术。内容涉及AOI技术的基本原理、光学成像方法、系统集成关键技术、图像处理与缺陷分类方法等。对AOI系统集成中的关键技术,如视觉照明技术、大视场高速成像技术、分布式高速图像处理技术、精密传输和定位技术和网络化控制技术等进行了概述;对表面缺陷AOI主要光学成像方法的基本光学原理、功能和应用场合进行了总结;对表面缺陷检测中的图像处理、缺陷几何特征定义、特征识别与分类算法进行了系统阐述,重点介绍了周期纹理表面缺陷图像中的纹理背景去除方法,复杂和随机纹理表面缺陷的深度学习检测、识别与分类方法。
关键词: 机器视觉; 表面缺陷;自动光学检测;视觉检测;图像处理;分类
ing and defect classification at the application background of automated online surface defect inspection in intelligent manufacturing industry. The key technologies of system integration in automated optical inspection, such as visual lighting, high speed imaging in a large field of view, distributed high-speed image processing, precision transmission and positioning for the inspected objects, and networked control, are briefly summarized. The basic optical principles, functions and applications of the optical imaging methods commonly used in automated optical defect inspection are comprehensively reviewed. The image processing, defect geometric feature definition, feature recognition and classification algorithm for surface defect inspection are systematically summarized. Particularly, the methods of texture background removal in the images with periodic textures, and the detect detection, recognition and classification methods for complex and random texture surface based on depth learning are reviewed.
Abstract: The authors comprehensively review technique of automated optical (visual) inspection(AOI) technique from aspects of the basic principle, optical imaging method, key techniques of system integration, image processKey words: machine vision; surface defect;automated optical inspection, vision inspection; image processing; classification
1引言
在产品生产制造过程中,由于生产环境不理想、制造工艺不规范等各种技术原因,产品表面难免会产生多种缺陷,如印制电路板上出现孔 划伤 、断路、短路和污染[1][2],液晶面板的基板玻璃和滤光片表面含有针孔、划痕、颗粒[3],带钢表面产生裂纹、辊印、孔洞和麻点[4],铁路钢轨出现凹坑、鼓包、划痕、擦伤、色斑和锈蚀[5],这些缺陷不仅影响产品外观,更重要的是影响产品性能,严重时甚至危害生命安全,对用户造成巨大经济损失,因此,制造业对产品的表面质量控制非常重视。
表面缺陷的传统检测方法为人工目视检测法,如手机盖板与外壳、软包锂电池外表面,手机背光源模组,液晶显示屏cell段和module段半成品表面等,国内很多厂家主要采用人工目视法检测[6];但该方法存在主观性强、人眼空间和时间分辨率有限、不确定性大、易产生歧义和效率低下等缺点,已很难满足现代工业高速、高精度的检测要求。随着电子技术、图像传感技术和计算机技术的快速发展,利用基于光学图像传感的表面缺陷自动光学(视觉)检测(以下统称自动光学检测,AOI)技术取代人工目视检测表面缺陷,已逐渐成为表面缺陷检测的重要手段,因为这种方法具有自动化、非接触、速度快、精度高、稳定性高等优点。
表面缺陷AOI技术目前广泛应用于工业、农业、生物医疗等行业,尤其在精密制造与组装行业,如手机、液晶面板、硅片、印制电路板等领域,表面缺陷技术发展异常迅速,各种高新技术检测装备层出不穷。鉴于篇幅限制,本文只对精密制造与组装行业的表面缺陷检测技术进行综述,并只涉及2D检测技术。
2AOI基本原理与关键技术
AOI技术是集成光学传感技术、运动控制技术与信号处理技术,在工业生产过程中执行测量、检测、识别和引导等任务的新兴科学技术[7][8]。
图 1 为TFT-LCD液晶显示面板剖截面示意图,它主要由多层二维或2.5维平板类零件组成,如底部背光源模组、TFT-LCD基板玻璃、光刻在基板玻璃上的TFT-LCD阵列、ITO导电膜、滤光片、偏振片、表面基板玻璃等,图中还给出了部分缺陷示例。为了提高产品的合格率,降低生产成本,在生成过程中,加工、检测、组装和检测等交织在一起,整个制造工艺链离不开AOI技术,其能保证制造过程中产品质量的100%控制。
鉴于液晶面板制造过程对表面缺陷检测要求高,实现难度大,采取的AOI具有非常好的代表性,因此本节以液晶面板表面缺陷在线检测为例,概述AOI技术的基本原理、系统集成中的主要关键技术。
图1 TFT-LCD平板显示器模组结构及缺陷示意图
2.1 AOI的基本组成原理
AOI技术是基于人眼视觉成像与人脑智能判断的原理,采用光学照明与图像传感技术获取被测对象的信息,通过数字图像处理增强目标特征,再采用模式识别、机器学习、深度学习等算法从背景图像中提取特征信息,并进行分类与表征,然后反馈给执行控制机构,实现产品的分类、分组或分选、生产过程中的质量控制等[6][9]。
AOI的基本原理如图 2 所示,在工业应用领域,AOI实际上是一种智能化的自动光学成像与处理系统,即用各种光学成像技术与系统(如相机)模拟人眼的的视觉成像功能,用计算机处理系统代替人脑执行实时图像处理、特征识别与分类等任务,最后把结果反馈给执行机构,代替人手进行操作。AOI能够实现的主要功能包括测量、检测、识别与引导四个方面。对于尺寸比较小的零部件,用图 2所示的基本单元就可以解决实际问题。但在很多情况下,为了实现大视场、高分辨率、快速的在线任务,往往需要多个基本单元组合共同实现高要求、复杂功能。
图 2 AOI基本原理
图 3 多传感器AOI系统组成原理图
图 1 所示的高世代液晶基板玻璃、滤光片、TFT阵列、ITO膜、背光模组等表面缺陷检测的AOI系统,可能需要有多个图 2 所示的基本单元集成在一起,协同工作,共同完成高难度检测任务。图 3 为常用的多传感器成像、高速分布式处理AOI系统原理架构,由光源,相机阵列、显微复检、集群并行处理系统、控制系统、主控计算机、服务器组成,以及与工厂数据中心互联的工业局域网组成。
图 4 为液晶基板玻璃检测AOI系统结构示意图,其具有表面缺陷检测、显微复检等功能。从图中可以看出,完整的AOI系统不仅集成了照明与光学成像单元,还需要有被测件支撑传输单元、精密运动机构与控制单元、高速并行图像处理单元等。因此,开发一套AOI系统,还必须解决下文2.2-2.4节所述的几个关键技术。
图 4 TFT和Filter阵列AOI检测系统结构示意图
2.2 大视场高分辨率高速成像技术
AOI系统的成像技术可以分为点扫描成像、线扫描成像和帧成像三种方式,光学成像视场与检测分辨率之间始终是一对矛盾体,要解决大视场高分辨检测带来的挑战,可行的应对方法有扫描成像方法和阵列成像方法,或者通过两者之间的组合实现。扫描成像方法又可以分为点扫描、行扫描和帧扫描方法。
点扫描方法可以通过缩小扫描点光斑的大小和提高扫描采集密度实现大视场高分辨率检测,视场越大分辨率越高,检测时间就越长,因此有时难以满足生产节拍对检测速度的要求,但是点扫描成像方法由于在各个扫描点成像状态一致,可以分辨出比其他方法更多的特征,通过布置多个传感器(如雪崩二极管或photomultiplier tube, PMT),实现多通道角度分辨成像。如图 5(a)所示,利用不同的通道检测不同的特征,不仅能检测表面缺陷,还可以检测表面微观曲率的变化,实现特征光学方法分离,减少后续图像处理的难度[10][11]。通过在表面法线两侧不同的角度方向放置多个接收器,可以用不同的接收器分别检测表面图案、油污、指纹、划痕、表面曲率变化等,图5(c)~(f)展示了瓷砖表面表面点扫描多通道成像检测结果,图5(b)为常规扫描仪扫描得到的图像,只能看到表面图案,通过比较可以看出点扫描角度分辨多通道成像检测的优势。需要说明的是:图5(c)~(f)是伪彩色图像,每个图像由邻近三个通道三幅图像合成得到。
行扫描和帧扫描属于阵列扫描方法,虽然成本较高,但极大地提高了检测速度,因此在自动生产线上得到广泛应用,如图 4 所示的检测系统采用一排线阵相机实现大视场高分辨高速扫描检测。所有的相机具有相同的参数且在远程主机的控制下同步工作,对于单台相机的检测视场小于相机外形尺寸的情况,需要线阵相机多次来回扫描,采取图像拼接技术实现整个幅面的检测。尤其在OLED(organic light-emitting diode) 和晶圆检测制造行业,对表面缺陷在线检测分辨率的要求达到了优于1μm,以及对检测速度提出的苛刻要求,采用线阵相机阵列扫描有时都难以同时满足高分辨率和高速度的指标,或者在光学系统上不容易实现,因此需要采用高速面阵相机进行帧扫描。
图 5 点扫描角度分辨多通道成像检测, (a) 多通道成像原理,(b)文档扫描仪扫描得到的图像,(c)点扫描暗场成像获得的表面图案;(d)点扫描低角度成像获得的表面油污与指纹图案;(f)点扫描同轴明场成像获得的表面梯度图
为了提高生产效率,检测速度和分辨率的不断提高,需要更大靶面更快速的线阵和面阵相机,因而产生了新一代的线阵与面阵图像传感器。目前商用的用于机器视觉行业的线阵相机像素可达16K,有的线阵相机还采用TDI (time delay integration) 多线积分的方式提高感光灵敏度和扫描速度;面阵相机在500万像素分辨率、位深10bit时也能达到近600帧/秒。这些新型CMOS传感器可以在极高的速度下拍摄高分辨率影像,因此对数据传输率也提出了极高的要求,促使数据传输接口从传统的GigE Vision和CameraLink接口标准升级到CoaxPress接口标准,单根同轴电缆可以高达6.25Gb•s-1的速度传输数据,传输速度得到极大改善,为开发高速扫描成像系统提供了技术保障。
对于像TFT-LCD玻璃基板与彩色滤光片这样大幅面表面缺陷的检测,为了解决高速高分辨率之间的矛盾,有时还需要采取全视场扫描成像和局部显微复检(review)成像两种成像方式。全视场扫描成像是用多个线阵相机排列成一行,进行一个来回或多个来回高速扫描,扫描分辨率一般大于10μm,通过高速线阵扫描成像,初步确定缺陷的种类与位置。为了解缺陷产生的原因,再采取显微复检成像技术,局部观察缺陷的微观信息。为了克服被测件平整度的变化,以及克服机台微小振动对显微镜成像清晰度的影响,需要采用具有自动对焦功能的显微成像技术及系统。典型的自动对焦方法有光学三角法、临界角法、傅科刀口法、共焦法、投影条纹法和像散法等[12],这些方法各有优缺点,目前AOI系统中,在业界得到广泛应用的是激光三角法和投影条纹法。
2.3分布式高速并行图像处理技术
图像高速并行处理速度决定了整个系统的检测效率,例如6代液晶屏生产线的玻璃基板尺寸为1500mm×1800mm,要求在10s内完成扫描检测过程,假设选用16K4线扫描相机,输出位深为8bits•pixel-1,像元大小为5µm,缺陷检测分辨率为20µm,根据采样定理,要检测10µm大小的缺陷,必须至少对应2个像素间距,因此选用10台相机同时扫描一行,这样检测一块玻璃基板在10s内需要处理的图像数据量为109GB。
一台计算机很难完成如此庞大的图像数据采集与处理量,可行的办法是采用网络聚合大量的计算资源和存储资源形成虚拟超级计算机。因此,可以采用FPGA图像采集与预处理卡+多核CPU分布式机群的二级主从式并行处理技术方案,或采用普通图像采集卡+GPU多核处理器+多核CPU分布式机群的三级并行处理方案,如图3和图6所示。在这种处理技术中,相机输出的图像先由图像预处理卡分为2n块,因此每块卡只采集相应的1/2n图像(通常n取0、1或2),由FPGA图像处理模块进行高速硬件预处理(如傅里叶和小波变换),然后再传给工控机CPU进一步处理。
图 6 分块并行高速处理原理架构
多级并行处理的最底层是集成有图像采集卡分布式机群,负责采集相机传来的图像,并进行分块和预处理,以提高处理速度和减轻后面处理单元的负担。分布式机群由多台工控机通过高速千兆网络链接起来,每个工控机中安装一个图像采集预处理卡进行图像采集和预处理。多级并行的中间层是多核CPU,执行的是中粒度计算,处理算法中逻辑较强的部分以及算法中不能并行执行的部分。
图 7 手机背光源在线AOI系统机构示意图
2.4 精密传输、定位与运动控制技术
在AOI系统中,上下料机构、精密传输机构、定位机构与运动控制技术等是整个检测系统中极其重要的部分,直接影响整个系统的检测性能。如图 7 所示的手机显示屏背光模组表面缺陷检测系统,包含了自动上料、编码、对准、检测、分选、返修识别等几个部分[6],各个部位对被测工件准确定位和协同工作,才能保证检测的顺利进行。
对于清洁度要求特别高的场合,传输运载方法与机构的合理设计更加重要。常用的传输方法有转盘、圆皮带、平皮带、滚轮、气浮等。转盘、圆皮带、平皮带一般适合重量轻、小零件的运载传输,基本都是接触式传输,容易产生接触性损伤、杂质污染和基材变形等问题。滚轮和气浮传输承载系统适合大型零件的传输,如液晶屏基板玻璃的传输等。滚轮传输也是接触式传输,同样存在污染和划伤等问题,因而不能用于承载像高世代平板显示屏组件,如6代以上的液晶玻璃基板、滤光片、液晶模组等大尺寸零件。因为组件表面必须具备超光洁度,任何3μm以上的划痕和污物都会影响最终显示屏的显像质量并导致次品的产生,而最合适的方案是采用开放式静压气浮技术非接承载方法。
3AOI中的光学成像技术
从广义上来说,任何以光学图像传感方式(如X光成像、太赫兹成像等)对被测物体进行自动测量或检测的技术都可以被认为是AOI技术。在AOI技术中,不仅仅是简单地使用照明光源和相机直接对物体成像实施自动检测,在很多场合为了获得物体不同被测量特征,必须合理选用光学成像方法,这是实现AOI技术的前提。下文从光的物理特性出发,介绍AOI技术中的常用光学成像方法。
3.1角度分辨检测技术
光束照射到被测表面后根据粗糙度的不同会发生镜面反射、方向散射和均匀散射三种现象,其中镜面反射服从镜面反射定律,随着表面粗糙度和起伏程度的增加,其能量在空间分布将发生变化。方向散射发生在光线波长与表面粗糙度投影尺寸可比的情况下,散射光在空间中的能量分布为非均匀的,在某一个空间角内具有能量分布最大值;均匀散射即朗伯散射,在反射面以上的半空间球面中,每个角度方向上的发光强度都相等,可用BSDF(Bidirectional Scatter Distribution Function)双向散射分布函数来表述[10][13][14]。
光线反射及散射过程不仅与表面粗糙度微观纹理高度概率密度函数、均方根高度、均方根斜率和功率谱密度等粗糙度参数有关,还受到表面粗糙和缺陷等表面微观几何尺度上峰谷起伏对光线传播的遮挡,即阴影效应,散射模型可用图 8 近似描述[15][16][17]。
图 8 表面散射一般性的模型
在图 8 中,散射光场包含四个成分,分别为漫反射光瓣(diffuse lobe)、镜面反射光瓣(specular lobe)、镜面反射峰(specular spike)和由微观纹理引起的菊花瓣,详细内容参考文献[18][19]。根据光的散射特性,针对不同的表面缺陷,产生了不同的光学散射角度分辨AOI技术,分别为同轴、明场、暗场、漫反射、背光等照明检测技术,如图 9 所示。
图 9 典型的照明方式。(a)明场照明;(b)同轴明场照明;(c)暗场照明;(d)低角度暗场照明;(e)漫反射照明;(f)背光照明
在明场照明成像方式中,相机位于入射光的正对面,大部分光线进入相机。如果表面是完美的漫反射表面,则相机成像的是均匀的明亮图像,当被成像区域有缺陷时,反射光将在其他方向上散射,相机成像在明亮背景中会产生暗点。相反,对于暗场照明成像,相机远离镜面反射方向,如果表面是镜面,进入相机的散射光非常微弱,相机抓取的是暗灰色图像。但是,如果照明区域存在缺陷,入射光在缺陷处向各个方向散射,相机拍摄的图像出现明亮的缺陷标记。明场照明常用于检测粗糙表面的缺陷,暗场照明常用于镜面检测,如光学表面的划痕[14]。背光照明光源和相机位于被测物的两侧,光线穿透被测物进入相机,如果被测物不透光,就会产生投影,形成高对比度和清晰的轮廓。背光照明主要用于检测不透明物体的外围轮廓特征,以及透明物体内部气泡、杂质异物等[20]。漫反射照明是照明光线从不同的角度方向照明被测表面,用于压制表面纹理、皱褶可能在相机像面上形成阴影干扰,帮助均化背景表面的亮度。
两种被测表面不同的照明效果比较见图 10 ,图10(a)为用明场环形照明的效果图,图10(b)为暗场照明的效果图,由于待测物体表面是突起部分,暗场照明对这种突起表现得更加清晰,背景也更加平滑。图10(c)为明场照明对易拉罐瓶底的照明效果,图10(d)为漫反射圆顶照明对同样的易拉罐瓶底的照明效果;从图10可以看出,由于易拉罐瓶底是曲面光滑的,明场照明的背景和特征反差很小,光线不均匀,有镜面反射;而漫反射照明背景光线很平滑,印在瓶底的数字可以很清楚地读出来[21]。
图 10 不同照明效果比较。(a)明场环形光照明;(b)低角度线性暗场照明;(c)环形光明场照明;(d)漫反射照明
图 11是一种辊轧钢板表面缺陷与相机、光源角度分辨关系实验统计结果[22],图中pit为小的辊型凹陷,pinhead为辊印造成的小痘疤像肿胀或肿块,hole为材料缺陷引起的表面深度凸起,sticker为退火后亚表面层粘连分离,lamination为重辊压分离引起的亚表面缺陷,rust为红色或白色表面氧化层,scale为氧化物辊压嵌入材料里面,scratch为沿着辊压行驶方向在表面形成的小豁口,rub为分层滑动形成的多个方向的划痕群,silver为来自层压的嵌入式的缺陷,pincher为轧辊表面宽度不均匀引起的辊痕。
在角度分辨检测中,表面法线方向、相机光轴方向、照明入射光线方向之间的角度分布,会明显地影响相机对缺陷信息的灵敏度与分辨能力[9],合理布置这些角度关系才能在相机获取的图像中得到所需的目标信息,并且能够抑制背景噪声、增强缺陷信号的信噪比。如何确定它们之间的关系,需要很强的实践经验,并且需要进行大量的实验验证。通常遵从下列三个准则可以得到符合要求的初步结果:即最大化感兴趣特征的对比度、最小化其他不感兴趣特征(背景)对比度和具有一个解决稳健性的办法[21][23]。
图 11 钢板表面缺陷与相机、光源的角度分辨关系。(a)相机与光源之间的角度关系;(b)角度分辨缺陷种类
3.2 色彩分辨检测技术
图像的颜色不仅与被测物表面的颜色有关,而且与光源的颜色有关,不同颜色的物体对不同颜色的光具有选择吸收性,如一束白光照射在红色物体上,只有红光被反射,其他颜色的光被吸收,物体呈红色;如果选用红光照射在红色物体上,则反射光线较强;如果选用与红光波长相距较远的单色光照射在红色物体上,则反射光线几乎没有[24][25]。
光源的颜色对表面缺陷AOI系统生成图像的分辨率有很大影响[26][27]。在AOI中,根据被检测对象颜色选择不同颜色的光源照明,可以有效提高图像的分辨率。光源颜色的选择主要取决于以下两个方面:被测物体的颜色和接收元件图像传感器的感色度。如果使用的是彩色图像传感器,那么用白色光源照明是最合适的,因为白光包含各种色光,能够反映更丰富的信息;如果使用的是黑白图像传感器,那么应该注意:在被测物体颜色比较复杂的情况下,如果要保证所有颜色都不丢失,选择白色光源最合适;如果需要滤除掉其中的某种颜色,增强目标色和背景色的对比度,需要考虑如何选择光源颜色。颜色的选择要遵循照明色与物体(色彩)之间的色相性:色温近则图像的颜色就亮,反之色温远图像的颜色就暗。光的三原色为红(R)、绿(G)、蓝(B),其叠加为白色,可见光颜色可以通过RGB三原色的不同比例组合得到;而色彩的三原色为青(C)、紫(M)、黄(Y),色彩的三原色叠加为黑色。光照在物体上只反射与自身颜色相同的色光,不同的色光照在互补色物体上完全不反光。
颜色可以分为冷色和暖色。暖色有红色、黄色和橙色;冷色有绿色、蓝色和紫色。如图 12 色盘所示。在色盘中,左边为暖色,右边为冷色。如果要增大对比度,那么在选用照明光源颜色的时候需要选择相反类型的颜色,比如暖色的光照射到冷色的物体上会使视野中物体颜色变暗;暖色的光照射到暖色的物体上会使视野中物体颜色变亮。要使对比度达到最大,需使用色盘中直接相对的颜色,比如当照射红色物体的时候,用绿光照射比用紫光照射使视野中物体颜色更深。
图 13 为红、绿、蓝三种颜色光源照射不同颜色物体表面,用黑白相机生成图像的灰度变化。红光照射红色、橙色、黄色或紫色,颜色变浅,红光照射绿色、青色或蓝色,颜色变深;绿光照射红色、蓝色或紫色,颜色变深,红光照射橙色变浅灰色,绿光照黄色、绿色或青,颜色变浅;蓝光照射红色、橙色、黄色或绿色,颜色变深,蓝光照射青色、蓝色或紫色,颜色变浅。选择合适的照明颜色,可以获取更高质量的图像,图 14 为铝合金瓶盖顶部在红色与蓝色光照明下,黑白成像产生的不同图像效果[28][29]。用红色照明,中心部位的生产日期和产品批号对比度非常大,周边的背景文字得到抑制,在判别时不会受到周围的文字干扰。而用蓝色成像照明成像时,周边文字图像清晰。
色彩分辨在工业AOI检测中应用广泛,如在PCB 电路板回炉焊工序中,也用RGB分层彩色环形LED照明光源照明焊盘,检测焊接质量[7][30][31][32][33]。
(本文连载请在学术论文专区搜索:自动光学(视觉)检测技术及其在缺陷检测中的应用综述(二))
- 上一条:基于SVG的空间关联规则挖掘
- 下一条:偏振相机,创造成像新可能