一 引言：

   AOI（automatically optical inspection）是光学自动检测，顾名思义是通过光学系统成像实现自动检测的一种手段，是众多自动图像传感检测技术中的一种检测技术，核心技术点如何获得准确且高质量的光学图像并加工处理。

   AOI检测技术应运而生的背景是电子元件集成度与精细化程度高，检测速度与效率更高，检测零缺陷的发展需求。AOI检测的最大优点是节省人力，降低成本，提高生产效率， 统一检测标准和排除人为因素干扰，保证了检测结果的稳定性，可重复性和准确性，及时发现产品的不良，确保出货质量。在人工智能技术与大数据发展进步的今天，AOI检测不仅仅是一部检测设备，对大量不良结果进行分类和统计，可以发现不良发生的原因，在工艺改善和生产良率提升中也正逐步发挥着更重要的作用，因此，可以预期未来AOI检测技术将在半导体与电子电路检测中将会发挥越来越重要的作用。

二 AOI检测基本原理与设备构成：

   AOI检测原理是采用摄像技术将被检测物体的反射光强以定量化的灰阶值输出，通过与标准图像的灰阶值进行比较，分析判定缺陷并进行分类的过程。与人工检查做一个形象的比喻，AOI采用的普通LED或特殊光源相当于人工检查时的自然光，AOI采用的光学传感器和光学透镜相当于人眼，AOI的图像处理与分析系统就相当于人脑，即“看”与“判”两个环节。因此，AOI检测的工作逻辑可以简单地分为图像采集阶段（光学扫描和数据收集），数据处理阶段（数据分类与转换），图像分析段（特征提取与模板比对）和缺陷报告阶段四个阶段（缺陷大小类型分类等）。为了支持和实现AOI检测的上述四个功能，AOI设备的硬件系统也就包括工作平台，成像系统，图像处理系统和电气系统四个部分，是一个集成了机械，自动化，光学和软件等多学科的自动化设备。

（1）图像采集阶段（光学扫描和数据收集）

   AOI的图像采集系统主要包括光电转化摄影系统，照明系统和控制系统三个部分。因为摄影得到的图像被用于与模板做对比，所以获取的图像信息准确性对于检测结果非常重要，可以想象一下，如果图像采集器看不清楚或看不到被检测物体的特征点，那么也就无法谈到准确的检出。

   下面我们对光电转化摄影系统，照明系统和控制系统三个部分逐一分析介绍。

   首先，光电转化摄影系统指的是光电二极管器件和与之搭配的成像系统。是获得图像的”眼睛”, 原理都是光电二极管接受到被检测物体反射的光线，光能转化产生电荷，转化后的电荷被光电传感器中的电子元件收集，传输形成电压模拟信号。二极管吸收光线强度不同时生成的模拟电压大小不同，依次输出模拟电压值被转化为数字灰阶0-255值，灰阶值反映了物体反射光的强弱，进而实现识别不同被检测物体的目的。

   光电转化器可以分为CCD（charge Coupling diode）和CMOS（ complementary metal oxide semiconductor ）两种。因为制作工艺与设计不同，CCD与CMOS传感器工作原理主要表现为数字电荷传送的方式的不同，工作原理如下图所示，CCD采用硅基半导体加工工艺，并设置了垂直和水平移位寄存器，电极所产生的电场推动电荷链接方式传输到中央模数转换器。这样的结构与设计很难集成很多的感光单元，制造成本高且功耗大；而CMOS采用无机半导体加工工艺，每像素设计了额外的电子电路，每个像素都可以被定位，而无需CCD中那样的电荷移位设计，对图像信息的读取速度远远高于CCD芯片，因光晕和拖尾等过度曝光而产生的非自然现象的发生频率要低得多，价格和功耗比CCD光电转化器也低，但其缺点是半导体工艺制作的像素单元缺陷多，灵敏度会有一些问题，同时，为每个像素电子电路提供所需的额外空间不会作为光敏区域。芯片表面上的光敏区域部分（定义为填充因子）小于CCD芯片。从理论上讲，这个原因导致可以收集的图像信息光子数会有所减少，所以，CMOS光电转化元件一般需要搭配高亮度光源，噪音也比较大。

   不论CCD还是CMOS结构，一个光电转化器单元即为一个像素点，若干个光电转化器以行列的方式进行排列形成矩阵就构成了图像传感器。衡量图像传感器性能主要是有解析度，尺寸或面积，灵敏度，信噪比等，其中解析度与尺寸是最重要的指标。图像传感器拍摄被检测物体画面时，光电转化器的尺寸越小像素密度越小就可以将物体“看”得更细致。因此，理论上光电转化器件的像素数量应该越多越好。但像素数量的增加会提高制造成本和导致成品率下降。因此，将光学透镜与光电转化器件结合在一起，可以将微小的被检测物体放大成像在光电转化器件上，也可以实现高解析度检测效果，所以，实际AOI检测设备会根据客户的需求进行配置。

   近年来，CMOS制作工艺的半导体技术化，加上其快的扫描和图像传输速度优势，CMOS面扫描图像传感器也开始被采用在工业级AOI检测设备中， 逐步形成了线扫描CCD图像传感器和CMOS面扫描图像传感器两种主流技术。

下图例为线扫面图像传感器工作例：

   线扫描图像传感器的扫描宽度方向只有一个像素，通过移动来获得图像，没有自身放大电路且噪音小，所有一般解析度比较好。被检测物体的同一位置信号在扫描过程中会被多次收集，光电转化后的信号累加输出，所以即使其中一个光电传感器出现问题也不影响检查结果，但缺点是要求平台的运动精度非常高，采集区域要准确。

   面扫描图像采集器CMOS的每一个光电二极管都可以独立输出电压信号，因此，输出速度非常快，节省了工作时间，因此，对运动平台的移动精度要求没有线扫描那么严格，但缺点是信号没有了积分过程，要求被检测物体反射光要足够强，感光二极管出现问题后会造成假点和误判，信号的噪音也会相应增强。

   近年来，平板显示行业的玻璃基板尺寸不断增加和工艺节拍不断缩短，对自动光学检测设备的检测速度 （TACT time）提出了更高的要求。以色列奥宝科技利用了CMOS图像传感器极高的图像信息独区和处理速度优势，基于对CMOS 图像传感器的深刻理解基础上，客制化的开发了数据传输与帧频速度高的面阵相机，并系统解决了面阵CMOS传感器，光源以及同步性等系统问题，成功开发了基于面阵CMOS 图像传感器的AOI检测系统，在保证产业要求的工艺节拍同时，克服了CMOS图像传感器填充因子小和信噪比偏高先天劣势，检测能力及各项指标都得到了行业内的认可。

   除光电传感器外，AOI图像采集过程中照明系统也非常重要，选择最佳光源目的是保证被检测物体的特征区别于其他背景，涉及到光源的光谱特性，光源颜色，色温特性。高效率长寿命，高亮度且均匀的光源是必须考虑的参数，高亮度均匀性好的光源可以提高信噪比，而长寿命高效率则可以提高设备的稳定性，降低工作负荷。

   照明光源按照波长分类可以分为可见波长光源，特殊波长光源。可见波长光源也就是一般现代工业AOI检测设备中最常用的红绿蓝LED光源。特殊波长光源一般是指红外或紫外波长光源，一些特殊材料在可见光范围内吸收差别不大，灰阶变化不明显时可以考虑采用特殊波长光源，比如说利用紫外光能量高可以激发荧光材料的原理，检测具有荧光发光特性物质微残留时紫外光源就是一种比较有效的手段，因材料成分与红外光谱有对应关系的原理，红外光源对不具有发光性质的有机化合物残留缺陷检出就有很大的作用，甚至可以实现成分分析。特殊光源中，利用偏振光与物体相互作用后偏振态的变化，利用光学干涉原理的白光干涉（white light interferometry）在特定缺陷检测中的得到了应用，例如通过相干光的干涉图案计算出对应的相位差和光程差，可以测量出被测物体与参考物体之间的差异，且分辨率与精度为可以达到亚波长，测量三维物体形貌与高度也正成为AOI检测的新需求。（下图为侧光源与同轴光源实例）

   除波长参数外，光源的入射角度也是提高检出的重要参数。根据光源入射角度的不同分为同轴光源，侧光和背光三种，选择某种角度的光源是由光在被检测物体表面散射特性的差异最大化来决定的。同轴光源的灯源排列密度高，亮度高且均匀，能够凸显物体表面不平整，克服表面反光造成的干扰，主要用于检测物体平整光滑表面的碰伤、划伤、裂纹和异物。 同轴光基本是红、绿、蓝三色光源，也可以是不同波长光源的任意组合。侧光源与同轴光源的平行照射理念正好相反，低角度光源从很小的角度将光线直接照射到被检测物体上。由于光的方向几乎与物体表面平行，物体表面高度的任何变化都会改变反射光到光电传感器的光路，从而突出变化，适合有一定高度的缺陷物检出。侧光源的角度与高度变化时，有一定高度的被检出物体的强反射面（阳面）和弱反射面（阴面）的角度和反射光强度都会有变化。为检出结果的判定提供了丰富的信息。背光源的原理则是利用被检测物体中不同部分光透过率差异实现检出的方法，硬件上与其他光源的摆放位置不同，光源不与光电传感器同侧，而是置于光电传感器的对面，接受被检测物体透过光的强弱，适合被检测物体中有缺失部分检出。

   基于对平板显示工艺的深入理解，以色列奥宝科利用CMOS扫描帧频快的特点，将上述不同光源类型，强度与待检测面板的材料进行有针对性考察，在不增加工作节拍的同时进行多种扫描条件的交叉确认，实现了极低的误检出，极高的检测精度和准确率。

   AOI图像采集的最后一个关键步骤是控制系统，光电传感器的FOV （视窗）有限，物体高速运动中准确地抓拍到清晰的图像，软硬件协调动作非常重要，如下图所示，当图像传感器与机台移动速度不匹配时造成图像的拉伸，收缩等变形，所以，载物移动平台XY方向移动与图像采集光电传感器的同步移动影响到数据的准确，要在固定光照，等间距下拍摄一幅清晰的图像，高精度的导轨，电机和运动控制程序是非常必要的。

（2）数据处理阶段（数据分类与转换）

   数据处理阶段是图像的预处理阶段，是采集图像的加工处理过程，为图像比对提供准确可靠的图片信息，主要包含了背景噪音减少，图像增强和锐化等过程。图像背景噪音减小一般为图像的低通滤波平滑法，图像增强和锐化则是提高被检测特征的对比度，突出图像中需要关注的特征，忽略不需要关注的部分，方法是图像二值化处理，经过二值化处理的图像数据量明显减少，能凸显出需要关注的轮廓。

   首先滤波的定义是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。在AOI检测中，噪声是造成图像退化的因素之一，起因是AOI图像获取，传输过程中，外界杂散光，光电二极管电子噪声及温度，光源的不稳定不均匀，机械系统的抖动，传感器温度等原因导致，不可避免的使得图像因含有噪音而变得模糊。给图像识别，图像切割等后续处理工作带来了困难。因此，为了获得真实的图像信息，除去噪声的滤波处理必不可少。

   滤波的过程简单说就是图像平滑技术，空域滤波与频域滤波是滤波经常采用的方法。具体讲空域滤波是一种邻域处理方法，通过直接在图像空间中对邻域内像素进行处理，达到平滑或锐化，图像空间中增强图像的某些特征或者减弱图像的某些特征。频域滤波指的是允许或者限制一定的频率成分通过。在数字图像处理中，线性滤波通常是利用滤波模板与图像的空域进行卷积来实现。滤波的方法很多，要达到好的使用效果和目的，必须对图像中的噪音类型有所了解，才能做到有的放矢。

   空域滤波中邻域处理平滑的具体方法有均值，中值和K领域均值三种，合理性各有利弊。 均值滤波是采用邻域平均法，基本思想是对一个像素和他临近区域的全体像素取平均值，然后把这个计算出来的均值赋予给输出的图像的相应像素，实现图像的平滑处理。属于线性滤波。 中值滤波是把一个像素点邻域窗口内的所有像素点灰阶值的中间值作为该像素点的灰阶值，是基于排序统计理论的信号处理技术，对于随机噪声处理能力好，属于典型的非线性滤波技术。K邻域均值滤波技术是结合了中间值滤波和均值滤波的特点，主要思想是在待处理像素点邻域内，找到一像素灰阶值最接近的K个像素点，计算这K个像素点灰阶均值来代替原像素点的灰阶值，对于孤立不规则的像素点起到很好的滤波作用。

   图像的平滑除了在空间域中进行外，也可以在频率域中进行。频域滤波简单说就是在频域里，采用简单平均法求频谱的直流分量。可以构造一个低通滤波器，使低频分量顺利通过而有效地阻于高频分量，再经过反变换来取得平滑的图像。频域滤波可以分为高斯滤波，巴特沃斯滤波，梯形滤波等。由于噪声主要集中在高频部分，阻挡高频率噪声处理后就可达到平滑图像的目的。

   除图像平滑处理外，图像增强处理也是图像预处理的常用方法，分为频域和空域两种。频域增强是在图像的变换域上对图像进行运算，然后再将计算后的图像进行逆向变换转到空间域。空域增强则是直接在空域对图像的像素进行运算处理，常见的是直方图处理和灰阶变化。空域增强的方法主要是直方图法，还有差影法和灰度变化法。

   图像直方图（HE， Histogram Equalization）指图像中任意一个像素分布在某灰阶等级上的概率密度，反映出各个灰阶的分布概率，是一种经典的统计性质的图像增强处理法，用于增强动态范围偏小的图像反差，图像整体对比度得到明显增强。当选取合适的阈值做削波处理后，将有图像传感器产生的灰阶图像中低于该灰阶的部分与高于该灰阶的部分做绝对黑白灰阶处理，对比度得到大大增强，有利于缺陷的观察与判定。

   合适阈值消波是根据不同应用场合有不同的阈值取值方法。二值化是最简单的处理方法，就是包像素点的灰阶值定义为0和255两种极端值，这样就可以让整个图像有突出的黑白效果，给图像设定适当的阈值，经过二值化处理后的图像数据量明显变少。此外还有全局阈值法，最小偏态法和自适应阈值等，全局阈值法是根据整个图像的灰阶值范围来决定，就是取灰阶平均值阈值作为唯一的阈值进行二值化处理，有时取整个图像的灰阶值的直方图，进而确定合适的阈值，一般情况下选择两个波峰之间的波谷最低位置作为图像二值化处理的阈值。

   关于最小偏态法，是随机样本的数据平均值是样品的一阶统计距，衡量数据的平均值，样本的方差是样本的二阶统计中心距，用来衡量数据的离散程度，偏态是样本的三阶统计距，用来衡量数据的正太分布。当阈值取得合理时，被阈值划分后的背景与物体的灰阶值分布就会最接近正太分布。自适应阈值分割法，是加入了学习的方法，能够根据图像的不同，选择最优化的阈值。

   直方图细分为直方图拉伸法和直方图均衡法，直方图拉伸法是通过对比度拉伸来调整直方图，进而增强前后景物的灰阶差实现增强效果；直方图均衡法是领用累积函数来修正灰阶值从而达到对比度增强的目的。直方图某种意思上也是图像分割的手段。直方图增强属于间接对比度增强方法，

   差影处理法是将图像的背景去除来强化图像中新增加元素的差影处理手段。将标准图像部分与检测图像部分做差影处理，通过设定临界阈值也可以将图像中的缺陷部分找寻出来，是直方图二值化的另外一种表现形式 属于直接对比增强方法。

   灰度变换法，灰阶变化是解决过度曝光或曝光不足而导致图像的灰阶值分布不均匀的问题，通过灰度变换包图像的灰度再一次均匀化来达到图像增强对比的效果，扩大了动态灰阶范围，突出图像的特征。

   图像锐化处理是指补偿不清楚图像的轮廓，增强灰阶跳变的部分和图像的边缘， 因为图像平滑处理的同时也会破坏图像的边界轮廓，使得边界变得模糊。图像平滑的过程是一个积分或平均值的计算，因此，锐化就是其反方向的微分运算，具体方法有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是欧几里得空间的一个二阶微分算子，表示为梯度的散度，在图像处理中被用于线性锐化滤波器使用。微分算子的物理意义，微分标识一个物理量的变化快慢，图像处理中微分预算的值愈大说明区域灰阶值的变化与快，边缘就会越突出。Sobel算子会产生一个相应的梯度矢量，包含了两组3X3的矩阵，横向与纵向。边缘模糊是图像中的高频分量被衰减，所以，采用高通滤波方法就可以让图像边缘清楚化。

   关于频域增强方法是通过改变图像中不同频率分量来实现的，不同的滤波器滤除的频率和保留的保留的频率不同，可获得不同的增强效果，其方法步骤分为先将图像从图像空间转换到频域空间，如傅里叶变化，然后在频域空间对图像增强，如玉频率滤波器相乘， 最后增强后的图像再从频域空间转化到图像空间，做傅里叶的反变换。

（3）图像分析段（特征提取与模板比对）

   图像分析阶段就是将图像中包含的边，角和区域等拥有独有属性的特征，使用数学手段通过编程实现图像属性的量化表达。进而进行图像的分割后比对完成分析处理。

   边缘的表现形式是组成两个图像区域之间边界（或边缘）的像素。 表现为局部一维结构。实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集，可以认为灰阶相同点的集合。角是图像中点的特征，在局部它有两维结构，现在的主流算法是直接在图像梯度中寻找高度曲率，可以在图像中本来没有角的地方发现具有同角一样的特征的区域。区域的表现形式是面形式的区域结构，区域的大小可能仅由一个像素组成，也可能是一个比较多的像素组成的面，如果面积比较大，则体现的形式即是灰阶值相同的区域。

   特征提取的方法主要是HOG，LBP和HAAR三种主要手段，HOG （Histogram of Oriented Gradient）方向梯度直方分布图，它的大致做法是将归一化的图像分割为若干小块，再在每一小块内进行亮度梯度的直方统计，最后将所有区块的亮度梯度的直方统计串联起来，就构成图像的HOG特征；LBP（Local Binary Patterns）即局部二值模式，它通过遍历图像，将每一个像素点周围的像素与其相比较，比较值大于等于为1，比较值小于为0，得出四周的二值将这些二值连起来得到一个二进制的数，转换为10进制之后变为该像素的LBP值，所以LBP特征维度大小是和原图一样大的（边缘部分会做特殊处理）。Haar特征起初是用于人脸表示。它包括了三类特征边缘特征的线性，中心和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。

   图像分割主要有两种方法：一是鉴于度量空间的灰度阈值分割法。它是根据图像灰度直方图来决定图像空间域像素聚类，但它只利用了图像灰度特征，并没有利用图像中的其它有用信息，使得分割结果对噪声十分敏感。二是空间域区域增长分割方法。它是对在某种意义上如灰度级、组织、梯度等具有相似性质的像素连通集构成分割区域。该方法有很好的分割效果，但缺点是运算复杂，处理速度慢。其它的方法还有如边缘追踪法、锥体图像数据结构法、标记松弛迭代法、基于知识的分割方法等等。  

   特征提取后进入图像分析阶段的逻辑比较阶段，主要包含了模板匹配和模式分析二个方面。模板匹配就是先设定已知模板，已知模板是AOI检测中没有缺陷的实物影像或最小重复单元影像，通常情况下PCBAOI检测中以实物影像为已知模板，FPD AOI检测中则是最小重复单元。将采集到的图像与模板影像进行重合比对，然后平移到下一个单元进行同样比对，出现灰阶有差异的部分就被怀疑为缺陷，这里我们给灰阶差异设定一个阈值，当灰阶差超过设定阈值后，就被判定为真正的缺陷。从细节上讲，阈值的设定过于严格出现误判的概率就会增加，而阈值设定过于宽松漏检出的概率就会增加，因此，被检测物体的特征提取可以提高比对的对位精度，进而对检测结果起到了决定性的作用。

   此外，缺陷部分是否上报时，系统算法主要有增加比对次数和范围（Multi check）。增加对比次数，也就是比对的维度从一维扩展到二维，甚至三维。以下图为例，当要判定红色单元是否为缺陷时，通常的算法是纵向或横向的一维比较，随着算法的逻辑关系的不断优化，先进行纵向重复模板对比，再增加横向，对角线，甚至更外围的模板比较，可以大大提高检测结果的准确度。

   此外，模板比较时即便进行了多次数比较，仍有不容易判定的情况，这时可以追加多重判定算法，以下图为例，例如一种光源检测时所得到的信息往往是有限的，将多种光源扫描的信息合并在一起综合判定，会进一步提高判定的准确性。其中，典型的多角度判定方法之一是多重阈值设定模式（MTS：multi Thresholds system），针对不同缺陷物质的特性对不同波长光的敏感度不同分别设定阈值，一般采集不同光学波长下的灰阶值，并追加三者之间判定的逻辑关系达到提高检出正确性。在实际应用中，将以上方法相结合，通过对采集图像进行预处理去噪，对影响增强，进行多重逻辑关系判定可以达到很好的效果。

   随着现代电子产品的高精细化发展，微小缺陷的检出要求越来越高，提高图像传感器解析度是一种比较直接的选择，对细微缺陷点，线宽有更强识别能力，但检测能力提升的同时，也必须考虑到设备成本问题，      IP（image  processor）处理量大，数据处理能力要求高，甚至出现影响产能等负面问题，因此，不会单独提高硬件成本，搭配合适的光源，提高后台算法逻辑对同一缺陷进行复判是各AOI公司重点研发的方向。

参考文献：

【1】自动光学(视觉)检测技术及其在缺陷检测中的应用综述。卢荣胜 , 吴昂 , 张腾达 , 王永红  光学学报 2018年08期

【2】 www.baslerweb.com

【3】https://ndt.hamamatsu.com/eu/en/image_devices/tdi_line_scan_cameras.html

【4】http://www.teledynedalsa.com/en/learn/knowledge-center/tdi-primer/

【5】 数字工业相机中CMOS传感器的最新发展 雷晓峰，李烨，传感器世界， 2017 Vol.23  Page 6-10

【6】 CCD和CMOS图像传感器性能比较， 黄美玲， 张伯珩， 边川平， 李露瑶，达选福，科学技术与工程， 2007，Vol 7， No2， Page 1671-1815

【7】 机器视觉照明光源关键技术研究, 李俊， 天津理工大学, 2006, 硕士论文

【8】基于线阵扫描的自动光学检测系统关键技术研究, 陈镇龙, 电子科技大学, 2013, 博士论文

【9】自动光学检测仪的图像采集处理系统的研究, 魏建英， 电子科技大学， 2009， 硕士论文

【10】自动光学检测系统中图像处理技术研究, 王雁玲, 天津大学, 2009, 硕士论文

【11】 基于计算机视觉的自动光学检测关键技术与应用研究，谢飞， 南京大学，2013，博士论文