传统的数字全息要求表面微观结构一致，差别较大则无法形成干涉图案，此时可使用比较数字全息，如图 44 所示，参考物体的全息图采用图 44 （a）的光路结构录制，在图 44 （b）的光路中使用空间光调整器把参考全息图投射到被测物体上，再用相机接收全息图进行比较，相机安装在录制光路中的照明光源位置，保存方向一致。参考全息方法的最大优点在于所有状态的全息图可以先存储，后重构处理和比较，不需要额外的参考光波分离不同的全息图。粗糙表面的全息成像可能比较麻烦，因为参考图案将变成散斑图案，没有条纹结构，但可以通过参考相位的多步相移获得解析[98][99]。

   2）数字散斑干涉技术。对粗糙表面的检测，还有一种比较有效的方法是采用电子散斑干涉技术（ESPI）。与全息干涉类似，ESPI也是测量不透明物体变形的光程差或透明物体折射率的变化。ESPI记录的散斑图可以被认为是像平面全息图，因为它实际上是通过成像镜头对被测体进行聚焦成像的全息图。由于ESPI的散斑图采用了数字采集和处理，所以ESPI也被称为电子散斑干涉（DSPI），另一种称呼是TV全息（TV-holography）。但与全息不同的是，全息采用全息图重构技术，而ESPI采用散斑图相关技术，有关数字散斑与数字全息之间的详细差异参考文献[100]。

   ESPI的基本原理如图 45 所示[91]，以激光散斑作为被测物变化信息的载体，利用被测物体在受激光照射后产生干涉散斑场的相关条纹来检测双光束波前后之间的相位变化。若使图 45 中的mirror位置变动产生相移，即使用相移技术，ESPI的测试灵敏度将提高了两个数量级。ESPI在无损检测领域具有非常重要的地位[101]，尤其是相移ESPI，近些年来得到迅猛发展，被广泛用于对复合材料、焊缝质量和粗糙表面进行无损检测[102][103][104]。

   由于相移ESPI灵敏度极高，对测量系统的光束的相干性和抗震性能要求很高。为进一步提高ESPI的抗震性能，美国的Hung[105]将错位技术引入电子散斑中，提出了错位散斑干涉技术(shearography)，其基本原理如图 46 所示[91]，错位散斑干涉也被称为散斑剪切干涉，该技术的优点是两束物光互相干，不需额外引入参考光，从而简化了光路，其所用的激光器相干长度较小，降低了对测量环境的隔振要求。

   近年来，国内外研究人员围绕shearography技术做了大量研究，如在原有的剪切散斑光路中植入4f变换光路，扩大视场角，与传统剪切散斑系统相比，新系统的视场角不再受分光棱镜尺寸影响，只取决于镜头焦距和CCD靶面尺寸。且镜头外置，通过更换镜头满足不同的测量要求[106]。图 47 (a)为使用4f光路的大视场迈克尔逊剪切散斑干涉系统原理图，图46(b)和图46(c)展示了同等测试距离下，使用4f的大视场迈克尔逊剪切散斑干涉系统和未使用4f的传统系统测量得到的相位条纹结果，可见4f系统的视场范围明显增大。

   随着实时动态无损测量的需求越来越多，为了解决快速测量问题，空间域相位提取方法如空间相移法[106]、空间载波相移技术[107]和空间Fourier 变换法等[108]，目前成为研究热点。

   错位散斑干涉技术目前已被广泛应用于无损检测，尤其是在线质量控制与跟踪[109]。国外已经有较成熟的剪切散斑干涉检测系统，在国内外航空航天等部门都有用户。经过不断的研究发展，该技术在航空、航天、材料和机械等领域得到广泛应用，可对航天飞行器和飞机机身、机翼控制面、游艇壳体、风力发电叶片及雷达罩等复合材料构件的分层、脱粘、假粘、皱折、裂纹、撞击损伤等缺陷进行无损检测[110][111]。Shearography技术还可应用于残余应力表征、振动分析、应变测量和材料特性检测等。

   目前在国内的一些高校和公司也开发了剪切散斑干涉系统，应用在大学及实验室开展教学和科研，但与国外剪切散斑无损检测仪器相比还有一定的差距。在国家重大科学仪器开发专项的支持下，合肥工业大学研究团队等正在进行剪切散斑无损测量系统的研制与开发。图 48 为采用研制系统测量的航空多层复合蜂窝板缺陷图样。

4图像处理、缺陷识别与分类

   图像处理、缺陷识别及分类是AOI中的核心技术，关乎系统的功能能否成功实现。通常表面检测生成的图像含有大量噪声，有些表面图像还含有纹理背景，如太阳能电池阵列、薄膜晶体管液晶显示器（TFT-LCD）和彩色滤光片阵列等，会影响缺陷检测的速度和识别的准确性，对在线检测非常不利。

   缺陷图像的处理通常需要经历图 49 所示的6个阶段，即缺陷图像获取、图像预处理、缺陷检测、缺陷标记、缺陷特征提取和blob分析、缺陷分类。

   为了准确地检测出缺陷，一般要通过一些预处理方法，如对图像进行增强，提高被检特征的对比度；减小背景噪声的影响，提高信噪比等。缺陷检测的方法可以分为三大类：统计方法、结构方法和滤波方法。统计方法有基于直方图缺陷方法和局部二值图案方法等；结构方法采用传统的形态学操作[112][4]；滤波可在空域或频域进行，空域滤波主要通过各种模板对图像进行卷积运算，频域滤波为间接处理方法，在频域中对图像进行运算处理。

   根据图像背景情况和图像处理的难易程度，待处理的图像可以分为三种类型：均匀背景的图像、周期纹理背景的图像和复杂随机纹理背景的图像。均为背景的图像相对比较容易处理，因为从均匀背景中比较容易分割出缺陷，并进行识别和分类。从周期纹理背景图像中分辨微小缺陷难度较大，首先需要通过滤波的方法去掉纹理，将其变成均匀背景的图像，再进行缺陷提取、识别与分类。随机纹理背景图像缺陷检测与识别最难，均匀背景和周期纹理背景图像中的算法不适用于随机纹理背景图像，不过目前可以采取深度学习等机器学习的方法解决。

4.1 缺陷及其类型

   表面缺陷(surface imperfection)是在加工、储存或使用期间，非故意或偶然生成的实际表面的单元体、成组的单元体和不规则体[113]。在缺陷检测中，不同产品有不同的缺陷定义，但对缺陷进行分类基本上都依据以下几个主要特征，即几何特征、灰度和颜色特征、纹理特征。

   表面几何缺陷是工业产品表面最常见的缺陷类型，不同的产品和行业对缺陷的定义可能不同，常见的几何缺陷有亮点、暗点、针孔、凸起、凹坑、沟槽、擦痕和划痕等。有关缺陷的名词术语和图示可参考文献[113][114]。

   颗粒物有灰尘、物体本体颗粒等，如液晶基板玻璃表面上的玻璃粉尘颗粒，大小一般在微米量级，通常颗粒物的AOI检测方法与异物、表面瑕疵和微观裂纹的检测方法不同，所采取的技术手段也有差异。

   异物是指根据产品标准规定表面不应该含有的物质，是混入原料或产品里的除对象物品以外的物质。在生产使用过程中，由于生产环境指标偏离规定标准，产品表面往往容易被污染、腐蚀、氧化，或者由于制造工艺不规范、设备老旧、人为疏忽等原因引入和形成异物，如产品表面附着毛发、绒线、塑料、手套毛线等异物。异物对产品的使用性能常有极大影响，是否为异物需要根据产品标准界定。如何减少表面异物一直是产品制造行业的一大难题。

   表面微观裂纹通常是材料在应力或环境（或两者同时）作用下产生的裂隙，裂纹分为微观裂纹和宏观裂纹，已经形成的微观裂纹和宏观裂纹在应力或环境(或两者同时)作用下，不断长大，扩展到一定程度，即造成材料的断裂[115]。如液晶基板玻璃四周加工后容易产生应力集中和微裂纹，导致运输和后续加工过程中发生延展。裂纹实际可归类为几何缺陷，将裂纹单独列为一类，主要是因为微观裂纹通常检测非常困难，需要采取与常规的几何缺陷检测不同的方法。

   需要指出的是，在实际表面上存在缺陷并不表示该表面不可用，缺陷的可接受程度取决于表面的用途与功能，通过用适当的参数来表征，如长度、宽度、高度、深度、方向、单位面积上的缺陷数等[4][113][112]，并建立缺陷分类与评判标准。

4.2 背景分离与缺陷分割

   物体表面可分为均匀背景的表面、周期纹理背景的表面和随机纹理背景的表面，在工业产品中，均匀背景表面和周期纹理背景的表面非常常见，如玻璃、薄膜、硅片、液晶显示器ITO镀膜层等都是均匀背景的表面，太阳能电池阵列、液晶平板显示器中的TFT-LCD阵列、彩色滤光片阵列等都是周期纹理背景表面。在表面缺陷检测时，均匀背景表面中的缺陷比较容易提取，而周期纹理背景表面图像中含有重复的纹理背景，缺陷的灰度值和周期纹理背景的灰度值处于同一水平，严重干扰缺陷检测。传统的边缘检测和阈值分割等方法不能将缺陷准确地检测出来，必须在不影响缺陷原始特征的情况下首先消除周期纹理背景，转变成均匀背景的表面，然后再分割提取缺陷，才能提高检测缺陷的成功率。随机纹理背景表面缺陷的分割提取最困难，因为纹理背景是随机的没有规律，这部分内容将在下文介绍。

周期纹理背景的表面缺陷检测主要有三种方法。

   1）频率滤波方法。频域滤波是滤除周期纹理背景的常用方法。将图像信号从空域变换到频域，在频域中滤除重复性纹理背景的频率信号，保留缺陷所在的局部异常信息，再进行相应的逆变换，重构图像，得到无重复纹理背景的图像。常用的频域滤波方法有傅里叶变换（DFT）、Gabor变换、离散余弦变换(DCT)、小波变换（DWT）等，这些方法准确性、计算量、可靠性、对特征旋转和缩放的不变性、噪声敏感性、在线和离线使用的可操作性等方面的比较参考文献[116]。

   傅里叶变换方法根据检测系统的实际情况可分为一维傅里叶变换[117]或二维傅里叶变换[118]，用来消除周期性重复的纹理背景，但算法中的关键参数高度依赖图像的分辨率，通常需通过实验确定，或采取一定的措施实现自动选取[119][120][121][122]。该方法对周期性纹理背景中的一般缺陷非常有效，但当缺陷接近背景纹理方向时，该方法不再有效；虽然可以利用对噪声和旋转不敏感的二维DFT重构法，但需要预先知道纹理方向的数目，且高能量阈值参数难以确定[123]。傅里叶变换的另一个缺点是其仅在频域有局部分析的能力，在时域里不存在局部分析的能力，因此容易受到表面图像上灰度局部不均匀性的干扰，遇到这种情况时通常不能很好地消除周期性重复纹理背景。

   Gabor变换是窗函数为高斯窗的傅里叶变换，为特殊窗口傅里叶变换或短时傅里叶变换（STFT），不仅能在整体上提供信号的全部信息，还能提供任一局部时间内信号变化剧烈程度信息，即可同时提供时域和频域局部化的信息，克服了傅里叶变换不能局部化分析的缺点，有良好的频域描述能力，可在频域不同尺度、不同方向上提取相关的特征[124][125][126]。但Gabor变换的时频窗口的大小、形状不能随频率的变化而变化，不具备自适应能力；另外Gabor变换是非正交的，不同特征分量之间有冗余，分析计算量大。

   小波分析方法是窗口大小（即窗口面积）固定但形状、时间窗和频率窗都可改变的时频局部化分析方法，克服了傅里叶变换的时域局部分析的缺点，被广泛用于周期性重复纹理背景的消除。通过选择合适的小波参数，基于小波的多分辨率方法能够有效地去除图像上全局的周期性纹理背景。为了减小小波参数选择难度，可以利用小波分解将原始图像分解为不同频率的子图像，包括不同水平级的低频子图像（近似子图像）和高频子图像（细节子图像），而高频子图像包括水平高频、垂直高频和对角高频子图像，选择合适水平级的子图像进行重构，消除周期性纹理背景，保留缺陷信息[127][128]。但合适的子图像选择过程较复杂，且小波分析方法没有区分缺陷信号和噪声信号的频率差异，检测准确率有待研究。

   离散余弦变换通过剔除代表纹理结构的主频率，保留其他频率来重构图像。该方法对图像上的光照变化不敏感，但图像上大尺寸缺陷中心部分在高通滤波时容易被剔除，且内嵌于纹理结构中的缺陷难以检测[129][130]。

   频域滤波方法的基本流程如图 50 所示，包括图像获取、选取合适的变换函数将图像从空域变化到频域、选取合适的频域滤波器对频域图像进行滤波、滤除周期性成分、反变换到空域和图像分割处理。

   图 51 展示了频域滤波法的效果，图 51 (a)为TFT阵列及其表面上的纤维缺陷，根据频域滤波法的基本原理，先将图像按行进行一维DFT变换，在一维傅立叶频域中消除周期纹理背景中的频率成分，接着进行一维离散傅立叶反变换（IDFT）得到空间域一维行图像。傅立叶重构方法能有效移除周期性背景图案，同时保留局部异常，最后利用传统的双阈值方法分离缺陷与背景；图 51 (b)为二值化图像，可以看出，纤维缺陷能够被很好地检测出来；图 51 (c)为经过缺陷区域的第92行图像；图 51 (d)为经过一维傅立叶反变换的第92行重构图像，此时周期纹理背景已经消除。

   2）图像矩阵法。将图像视为矩阵，采用独立成分分析（ICA）或奇异值分解法（SVD）等进行分解，选择合适的分解值对相应矩阵进行改进，并重构图像。例如TFT阵列检测，可用ICA进行纹理剔除检测缺陷[131]。该方法首先对无缺陷TFT阵列表面图像运用ICA，得到解混矩阵W和相关的独立分量ICs，然后选择合适的独立分量ICs来改善解混矩阵，最后通过改善的解混矩阵重构待测TFT阵列表面图像，即可消除TFT基板表面图像的重复纹理结构，并保留局部异常。但该方法只能在重构图像中确定缺陷的大概位置，不能保存待检缺陷的大小和形状，无法实现缺陷类型分类；也可采用鲁棒主成分分析（RPCA）的检测方法[132][133]，采用凸优化的方法对待测图像矩阵进行矩阵变换，使之分解成无缺陷的低秩矩阵图像和有缺陷的稀疏矩阵图像，RPCA算法中ρ很重要，其值影响算法的收敛速度，同时也对分割结果产生影响。不同缺陷的参数ρ不同，难以自适应地选择合适的参数ρ。在奇异值分解法中，不同的奇异值代表了纹理图像上不同程度的细节，图像的大部分信息由少数较大的奇异值代表，如TFT-LCD面板图像中周期性重复纹理背景；而其余的小奇异值则代表图像中的局部细节信息，如噪声或缺陷。通过选定合适的奇异值个数，剔除代表周期纹理背景图像的奇异值，通过剩下的奇异值重构图像，最终得到的图像去除了周期性重复纹理背景，保留了缺陷[134][135]。但由于SVD是基于正交基的，对图像的旋转比较敏感，对不处于水平和垂直方向的周期性纹理背景，去除效果不理想。

   图 52 列举了图 52 (a)所示TFT阵列图像奇异值分解法的实例，图 52 (a)为含有纤维缺陷的液晶平板显示器中的TFT-LCD阵列表面图像，图 52 (b)为通过SVD处理的前10个最大的奇异值，图 52 (c)为剔除代表周期纹理背景图像的奇异值，通过剩下的奇异值重构的图像，图 52 (d)为二值化图像，可以看出，纤维缺陷能够被很好地分割出来。

   3）高级智能算法。基于人工智能、模式识别、机器学习和深度学习等高级智能化的缺陷提取算法是缺陷检测中的热门话题。例如利用多层神经网络学习算法，通过学习大量缺陷样本，得到训练样本到无缺陷模板之间的映射关系，然后利用重构图像与缺陷图像之间的对比，实现样本的缺陷检测[136]；利用稀疏性表示方法提取图像的主要正常纹理特征，即学习自适应训练库，且对原织物图像进行稀疏性重构，从而将原图像与重构图像做差，得到残差显著图，突出疵点部分[137]。基于限制式独立分量分析（ICA）模型和粒子群优化（PSO）方法，首先设计一种ICA滤波器，并使用具有多方向搜索特性的PSO算法求解ICA的分离矩阵，求解中加入限制式，使图像正常区域经滤波后有一致的反应值并有效凸显缺陷区域[138]。这些方法的共同特点是计算复杂，通常需要大数据量的待测图片进行训练或自学习，样本收集和训练过程耗时，但随着电子技术与计算机技术的发展，这些问题最终将得到解决。

4.3 缺陷标记与特征参数化度量—blob分析

   缺陷图像进行背景分离与缺陷分割后，下一步需要对图像中的一块块缺陷区域（即连通域）进行标记和blob分析(blob analysis)。blob是“一滴”，“一抹”，“一团”，“弄脏”，“弄错”的意思，在计算机视觉中的blob是指图像中的具有相似颜色、纹理等特征所组成的一块连通区域。缺陷的blob分析即分析从背景中分割后缺陷的数量、位置、形状和方向等参数，还可以提供相关缺陷间的拓扑结构，以便后续对缺陷进行识别和分类处理。

   1）缺陷连通域blob标记。缺陷连通域标记也称为缺陷连通域分析、区域标记、blob提取、局部区域提取等，即给图像中每个缺陷区域定义一个唯一的标识符，用以区分不同位置的缺陷，以便后续特征提取和分析。自20世纪60年代以来，人们开发出许多连通域标记算法，按照计算机架构和数据结构，这些算法可以归属为5大类：①由特殊结构表示的图像算法，如游程长度结构和层次树结构（例如N叉树，如二叉树、四叉树、OC-树等）算法；②并行机模型算法，如网状连接的大规模并行处理器或脉动阵列处理机；③硬件实现算法；④3和/或n-D图像算法；⑤用于普通计算机体系结构（如冯诺依曼体系结构和二维图像）的算法。其中⑤的算法最常见，有关算法⑤的并行实现、硬件实现和n维图像中的连通域提取等方面的最新进展参考文献[139][140]。

   2）缺陷特征提取与blob参数化。缺陷特征可分为几何特征、颜色特征、光谱特征和纹理特征等，特征选择与提取严重影响缺陷分类的准确性，特征的选择需要根据被检测表面自身特点、光学成像方法和图像所代表的物理特性来确定。缺陷的特征可用blob参数来表征，并形成特征向量供后续特征分类使用。对于大多数工业产品表面缺陷检测，缺陷的各种特征中几何特征往往比颜色特征、纹理特征等更有用。

   blob参数分为元数据（metadata）和统计特征参数，元数据描述缺陷的属性，用来支持如指示存储位置、历史数据、资源查找和文件记录等功能。

元数据主要包含[141]：

（1）缺陷的名称（name）：缺陷的名字；

（2）缺陷的ID号（identification No）：缺陷唯一身份标识；缺陷的类名（group name）；

（3）缺陷分类：如划伤、斑点、亮缺陷、暗缺陷等；

（4）缺陷blob显示标签（reporting status）：表示该blob是否包含在缺陷blob报告中，可以有三种状态（included, excluded, unflagged）；与内部标准关联性：表示缺陷是否与内控标准关联，未设置为0，设置后为1。

统计特征参数有[141][112]：

（1）面积（area）：缺陷blob区域Ω像素个数；

（2）体积（volume）：缺陷blob区域Ω像素灰度值的总和；

（3）峰值（peak）：缺陷blob区域Ω最大灰度值；

（4）峰值的位置（peak location）：缺陷blob区域Ω最大灰度值像素二维位置坐标；

（5）外接矩形（bounding boxes）：包含缺陷blob区域Ω最小外接矩形；

（6）对称性（symmetry）：外接四边形相对峰值位置的对称性；

（7）未加权矩（unweighted moments）：表示区域的现状参数， , a, b表示矩的阶数；

（8）加权矩（weighted moments）：描述缺陷体积的形状， ，式中： 为（x, y）处的灰度值；

（9）比值（ratio）：缺陷参数值与内控标准参数值的比值；

（10）信噪比（SNR）：峰值与估计噪声标准差的比值；

（11）邻域blob：描述在特定阈值下最近的blobs，如距离、个数等。

   3）blob最小外接矩形的计算。在blob分析中，最关键的是blob区域外接矩形的计算，计算最小外接矩形有两种方法：旋转法和霍特林变换（Hotelling）。旋转法是将blob的边界以每次若干角度的增量在0~90°旋转。每旋转一次记录一次其坐标系方向上的外接矩形边界点 的最大值和最小值，旋转到某个角度后，外接矩形的面积达到最小，取面积最小的外接矩形参数为主轴意义下的长度和宽度。此外，主轴可以通过矩计算得到，也可以用求物体的最佳拟合直线的方法求出。

   霍特林变换也常称为主成分变换（PCA）或K-L变换。其主要思想是用坐标系转换，求出样本的主轴和纵轴，然后找出这些主轴和纵轴方向的最大值和最小值，以旋转后的坐标系将样本用框标出，霍特林变换是在均方误差最小的意义下获得最佳变化，消除了旋转变化带来的影响，霍特林变换的计算过程详见参考文献[142][143][144][145]。

4.4 缺陷识别和分类方法

   缺陷blob分析之后，选取主要的blob参数，组成缺陷特征向量，然后进行缺陷分类处理。缺陷的分类方法有模式识别方法、神经网络、机器学习和深度学习方法等。

  模式识别又称模式分类，是一种经典方法，起初主要作为机器学习的代名词，模式识别有两种基本方法：统计模式识别方法和结构（句法）模式识别方法。统计模式识别是对模式的统计分类方法，又称为决策理论识别方法，是一种结合统计概率论的贝叶斯决策系统进行模式识别的技术。统计模式识别的主要方法有判别函数法、K近邻分类法、非线性映射法、特征分析法和主因子分析法等。结构模式识别（或句法模式识别）是把一个模式描述为较简单的分层子模式的组合，利用模式与子模式分层结构的树状信息完成模式识别工作。不存在对所有模式识别问题都适用的单一模型和解决识别问题的单一技术，很多情况下需要结合具体问题把统计模式和句法模式识别结合起来，并与人工智能中的启发式搜索结合起来，如把统计模式识别或句法模式识别与支持向量机的机器学习结合起来，互相取长补短，提高识别准确性。

   在统计模式识别中，贝叶斯决策规则从理论上解决了最优分类器的设计问题，但使用前必须解决更困难的概率密度估计问题，而神经网络分类算法直接从观测数据进行训练学习，是更简便有效的方法，在缺陷分类中得到广泛应用[146]，但其为启发式技术，缺乏指定工程实践的坚实理论基础。Vapnik[147][148]根据统计学理论建立的机器学习理论，有别于归纳学习等其他机器学习方法，在严格的数学基础上圆满地回答了人工神经网络中出现的理论问题，且发明了一种新的学习方法——支撑向量机。支持向量机是非常有效的分类器，已在许多缺陷分类中得到成功应用[112][144][145][146][147][148][149]。

   从处理问题的性质和解决问题的方法等角度来看，模式识别可分为有监督的分类和无监督的分类两种，二者的主要差别在于实验样本所属的类别是否预先已知。有监督的分类往往需要提供大量已知类别的样本，在已知类别标签的特征集(即训练集)基础上进行分类器构建；无监督的分类又称聚类分析，该方法不需要已知类别的训练集，分类器直接根据特征向量之间的相似性，将待分类的特征向量集合分为若干子集。

   有监督的分类方法主要有朴素贝叶斯、决策树[150]、K-近邻、人工神经网络和支持向量机等；无监督学习识别中的聚类分组是将数据集划分为若干组或簇的过程，使同类数据对象之间的相似度较高，不同类数据对象相似度较低，主要的聚类算法有划分方法、层次方法、密度方法、网格方法以及模型方法等[151]。几种典型的分类器特点比较参考文献[4]。

   缺陷检测分类方面的研究结果表明，C4.5决策树比朴素贝叶斯效果更好[152]。传统的有监督分类方法需要大量训练数据，耗费大量的人力与物力；在学习过程中假设训练数据与测试数据服从相同的数据分布，然而在实际中这种同分布假设有时并不满足。为了提高训练速度，减小训练样本采集难度和降低成本，需要采用迁移学习（transfer learning）策略[153],即把已学训练好的模型参数迁移到新的模型来帮助新模型训练。

4.5 基于深度学习的缺陷检测与分类方法

   近几年来，深度学习（deep learning）在许多领域取得了巨大成功，尤其在计算机视觉[154]、自然语言处理、字符识别、生物图像分类、敏捷制造[155]、农业[156]、故障诊断[157][158]、表面缺陷检测[159]、显微图像分析[160]等邻域受到人们的广泛关注。与传统的机器学习相比，深度学习能更有效地利用数据集，学习能力更强，非常适合作为特征提取和分类的工具。尤其对于复杂周期纹理表面和随机纹理表面中的缺陷提取、识别和分类，前述滤波和模式识别的方法可能无能为力，而深度学习却展现出强大威力；随着计算机性能的不断提升，深度学习为机器视觉带来了更广阔的发展空间。

   深度学习网络架构与特征学习架构综述参考文献[161][162]，其中卷积神经网络（CNN）由于具有优良的性能，在表面缺陷检测中应用最广泛。CNN的层次结构如图 53 所示[163]，有三个主要神经层：卷积层(convolution layer)、池化层（pooling layer）和全连接层（fully connected layers）。各层作用不同，每层转换输入量到神经元激活的输出量，一直到最终的完全连接层，实现输入数据到1D特征向量的映射。卷积层使用各种核卷积整幅图像，以及进行中间过程中的特征映射，产生各种特征映射输出；池化层负责对接收到的卷积层输出的图像进行降维，供后面的卷积层使用，池化层又称二次采样或下采样层，该层的主要目的是减少后续网络层的计算量，并防止过拟合，即防止网络过于复杂导致学习数据中的每条信息，包括错误信息；最常用的池化策略是平均池化和最大池化，最大池化能够导致计算快速的收敛。在CNN中，卷积层+池化层的数目根据实际使用情况确定，或通过迁移学习确定；若干个卷积层+池化层后是全连接层，其功能是在神经网络中进行高级推理，神经元在该层完全连接到前面一层，神经元的活动可以用矩阵乘法加上偏置偏移进行计算，全连接层最终将2D特征映射转换为1D特征向量，导出的矢量可以被馈送到一定数量的分类类别，或可被视为用于进一步处理的特征向量[164]。

   已有研究结果表明，CNN比传统机器学习具有更杰出的性能，在计算机视觉和模式识别领域得到广泛应用。与玻尔兹曼机(Boltzmann machines)中的DBNs、DBMs和SdAs相比，CNN具有独特的特征学习能力，即能自动地从样本数据集中学习特征；并且CNN对几何变换、形变和光照具有一定程度的不变性，因此在缺陷检测中具有广阔的应用前景。不像传统的机器学习方法，缺陷特征矢量的建模需要一事一议，而CNN直接从神经网络卷积层获得特征，因此可以用于比人工设计更高级别的特征识别，能够克服手工的局限性，展现出极强的可靠性。尤其不需要对个体特征进行建模以反映具有不同纹理的表面类型，可以直接从表面图像中检测缺陷，对于纹理表面不用提前进行纹理除去，因为其具有很强的适应性。当新的表面加入时，CNN不需要开发新的特征，且具有在没有重新训练的情况下应用已有网络参数的优势[165]。CNN具有这些优良特点，不仅可以用于背景均匀的表面和周期纹理表面，而且能胜任从事复杂和随机纹理表面的缺陷检测，如瓷砖表面缺陷的检测[166]、裂纹的检测[167]、地铁盾构隧道裂缝与渗漏缺陷的检测[159]、表面锈蚀的检测[168]、起泡、划痕等的检测[169][170]、贴片元器件焊接缺陷的检测等[171]。

   CNN的一个缺点是在实际应用中，由于检测图像中具有类标号的数据较少，而不具有类标号的数据非常丰富，因而在训练前为每幅图像人工设类标号非常费时、枯燥。为使CNN通过训练具有较高的泛化能力，需要大量具有类标号的训练样本，这是制约CNN在实践中应用的主要因素。为克服这个缺点，可采用迁移学习策略的CNN方法[153][165]。

5 结束语

   基于视觉成像方法的自动光学检测技术及仪器目前在智能制造、生物医药、食品等行业，以及电脑、通讯和消费性电子3C产业为代表的精密制造与组装过程中得到成功应用，也越来越受到产业界的广泛重视。任何以图像传感实现自动检测、测量、识别与机器人引导的技术都可以被认为是自动光学检测技术。基于自动光学检测技术开发的仪器不同于实验室光学仪器，必须满足以下条件：1）采用光学（视觉）成像技术感测被测特征；2）仪器运行与操作自动完成，无需人工参与；3）满足仪器现场对操作时间的要求。因此，自动光学检测仪器也是自动化装备，在制造领域其除了能作为独立模块在生产线上或线下运行外，还常常作为制造过程或智能装备中不可缺少的信息感知单元，通过信息反馈，引导制造过程按要求顺利运行。

   自动光学检测技术可分为二维和三维两种类型，三维主要用于物体外形几何参数的测量、零件分组、定位、识别、机器人引导等场合；二维主要用于产品外观（色彩、缺陷等）检测、不同物体或外观分类、良疵品检测与分类等场合。目前在产业界用得最多的自动光学检测系统是由相机、镜头、光源、计算机等通用器件集成的简单光学成像与处理系统，通过相机直接成像，然后由计算机处理实现检测。这种简单系统的优点是成本低、集成容易、技术门槛相对不高，在制造过程中能够代替人工检测，满足多数场合的要求。但随着精密制造与组装产业智能制造过程对检测分辨率、精度、速度的要求越来越高，这种利用相机直接光学成像方式构成的简单视觉系统已经越来越无法满足要求。因为一方面几何光学直接成像的分辨率受镜头分辨率的限制，光学显微成像最高分辨率只有四分之一照明光源的波长大小，即约150μm；另一面许多被检测特征不是简单用相机成像能够感知和探测的，必须利用和发展特殊的光学成像技术，这也是本综述的重点内容之一。

   成像技术解决了信息感知问题，但要实现自动光学检测技术，系统集成技术尤为重要。系统集成技术牵涉到关键器件、系统设计、整机集成、软件开发等。自动光学检测系统中必不可少的关键器件有图像传感器（相机）、镜头、光源、采集与预处理卡、计算机（工控机、服务器）等。图像传感器最常用的是各种型号的CMOS/CCD相机，图像传感器、镜头、光源三者组合构成了大多数自动光学检测系统中感知单元，器件的选择与配置需要根据检测要求进行合计设计与选型。光源的选择（颜色、波长、功率、照明方式等）可以参照第2节内容，除了分辨与增强特征外，还需考虑图像传感器对光源光谱的灵敏度范围。镜头的选择需要考虑视场角、景深、分辨率等光学参数，镜头的光学分辨率要和图像传感器的空间分辨率匹配才能达到最佳的性价比。一般情况下，镜头的光学分辨率略高于图像传感器的空间分辨率为宜，尽可能采用黑白相机成像，提高成像分辨能力。图像传感器（相机）采用面阵或线阵需根据具体情况而定，选型时需要考虑的因素有成像视场、空间分辨率、最小曝光时间、帧率、数据带宽等。对于运动物体的检测，要考虑图像运动模糊带来的不利影响，准确计算导致运动模糊的最小曝光时间，确定图像传感器的型号。图像传感器的曝光时间应小于导致运动模糊的最小曝光时间，快速曝光选择全局快门模式为宜，不采用卷帘式曝光模式；为了获得最佳的信噪比，图像传感器的增益尽可能为1，图像亮度的提升尽可能用光源的能量（功率）来弥补，或者在不影响可用的成像景深情况下，增大镜头的孔径光阑。

   在系统集成中，被测件的支撑方式、精密传输与定位装置也必须精心设计，这牵涉到精密机械设计技术，综述中虽有提及，但未详述。这对平板显示、硅片、半导体和MEMS等精密制造与组装产业中的自动光学检测系统非常重要。在这些领域，制造过程通常在超净间进行，要求自动光学检测系统具有很高的自洁能力，对系统构件的材料选型、气动及自动化装置选型、运动导轨的设计与器件选型都有严格要求，不能给生产环境尤其是被测工件本身带来二次污染。尤其是用于表面缺陷检测的自动光学检测系统不能在检测过程中，给被测件表面带来缺陷（如粉尘、划伤、静电等）。因此，对于大型零件（如高世代的液晶玻璃基板、硅片等）的在线检测，常常需要采取气浮支撑、定位与传输机构，运动部件（如轴承等）采用自润滑器件，以及利用FFU风机过滤机组对检测系统进行环境净化，并采取消静电装置，对工件进行防静电处理。

   高速图像数据处理与软件开发是自动光学检测的核心技术。由于自动光学检测是以图像传感获取被测信息，数据量大，尤其是高速在线检测，图像数据有时是海量的，为满足生产节拍需求，必须采用高速数据处理技术。常用的方法有共享内存式的多线程处理，共享内存或分布式内存多进程处理等；在系统实现上采用分布式计算机集群，把巨大的图像分时、分块分割成小块数据流，分散到集群系统各节点处理。对于耗时复杂的算法，有时仅靠计算机CPU很难满足时间要求，这时还需配备硬件处理技术，如采用DSP、GPU和FPGA等硬件处理模块，与CPU协同工作，实现快速复杂的计算难题。

参考文献

[1]Alaluf A, Birnbaum D. Inspection of PCBs by laser: induced fluorescence[J]. Circuit World, 2002, 28(1):21-28.

[2]Mar N S S, Yarlagadda P K D V, Fookes C. Design and development of automatic visual inspection system for PCB manufacturing[J]. Robotics and Computer-Integrated Manufacturing, 2011, 27(5):949-962.

[3]Yang S W, Lin C S, Lin S K, et al. Automatic defect recognition of TFT array process using gray level co-occurrence matrix[J]. Optik - International Journal for Light and Electron Optics, 2014, 125(11):2671-2676.

[4]Neogi N, Mohanta D K, Dutta P K. Review of vision-based steel surface inspection systems[J]. EURASIP Journal on Image and Video Processing, 2014, 2014(1): 50.

[5]Min Y Z,Xiao B Y,Dang J W,et al.Real time detection system for rail surface defects based on machine vision[J]. EURASIP Journal on Image and Video Processing, 2018,2018(1): 3.

[6]Shi Y Q, Lu R S, Zhang T D. Defect inspection system design based on the automated optical inspection technique for LCD backlight modules[J]. Chinese Journal of Sensors and Actuators, 2015, 28(5): 768-773.

史艳琼, 卢荣胜, 张腾达. 液晶显示屏背光源模组表面缺陷自动光学检测系统设计[J]. 传感技术学报, 2015, 28(5):768-773.

[7]Janoczki M, Becker A, Jakab L, et al.Automatic optical inspection of soldering, materials science[M].Yitzhak Mastai: IntechOpen, 2013.

[8]Smith A. Automated optical inspection and marking systems and methods: U.S. Patent Application 09/941,416[P]. 2003-3-6.

[9]Lu R S. State of the art of automated optical inspection[J]. Infrared and Laser Engineering, 2008, 37(S1): 120-123.

卢荣胜. 自动光学检测技术的发展现状[J]. 红外与激光工程, 2008, 37(S1):120-123.

[10]Lu R S, Forrest A K. 3D surface topography from the specular lobe of scattered light[J]. Optics and Lasers in Engineering, 2007, 45(10): 1018-1027.

[11]Lu R S, Shi Y Q, Li Q, et al. AOI techniques for surface defect inspection[J]. Applied Mechanics and Materials, 2010, 36: 297-302.

[12]Dong J T.Study on the 3D micro/nano measurement system and techniques based on Linnik polarization-sensitive white light interferometry[D]. Hefei:Hefei University of Technology, 2012.

董敬涛.基于Linnik偏振白光干涉术的三维微纳米测量系统及关键技术研究[D]. 合肥：合肥工业大学，2012.

[13]Li Q.Surface defects AOI inspection technology and system architecture[D]. Hefei:Hefei University of Technology, 2012.

李琪.平板表面缺陷自动光学检测技术及系统架构[D].合肥：合肥工业大学，2012.

[14]Tian G Y, Lu R S, Gledhill D. Surface measurement using active vision and light scattering[J]. Optics and Lasers in Engineering, 2007, 45(1): 131-139.

[15]Smith B. Geometrical shadowing of a random rough surface[J]. IEEE Transactions on Antennas and Propagation, 1967, 15(5): 668-671.

[16]Tsang L, Kong J A, Ding K H. Scattering of electromagnetic waves, theories and applications[M]. New York:John Wisley & SonsInc., 2000.

[17]Collin R E. Electromagnetic scattering from perfectly conducting rough surfaces (a new full wave method)[J]. IEEE Transactions on Antennas and Propagation, 1992, 40(12): 1466-1477.

[18]Nayar S K, Ikeuchi K, Kanade T. Surface reflection: physical and geometrical perspectives[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(7): 611-634.

[19]Beckmann P, Spizzochino A. The scattering of electro-magnetic waves from rough surfaces[M]. New York: Pergamon, 1963.

[20]Liu Y, Yu F H. Automatic inspection system of surface defects on optical IR-CUT filter based on machine vision[J]. Optics and Lasers in Engineering, 2014, 55: 243-257.

[21]Martin D. A practical guide to machine vision lighting[J]. Retrieved, 2007, 11(5): 2013.

[22]Muehlemann M. Standardizing defect detection for the surface inspection of large web steel[M]. New York: Illumination Technologies Inc, 2000: 1-9.

[23]Advanced Illumination. When〝Adequate〞lighting is not really good enough[EB/OL]. (2016-04-20)[2018-05-10]. http://www. advancedillumination.com/sites/all/ themes/advill/images/resource/files/Application_Notes/good-enough.pdf

[24]Vriesenga M, Healey G, Peleg K, et al. Controlling illumination color to enhance object discriminability[C]//Proceedings 1992 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 15-18, 1992, Champaign, IL, USA. New York: IEEE, 4391277.

[25]Garcia-Lamont F, Cervantes J, López A, et al. Segmentation of images by color features: A survey[J]. Neurocomputing, 2018, 292: 1-27.

[26]Healey G E, Kondepudy R. Radiometric CCD camera calibration and noise estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994, 16(3): 267-276.

[27]Chang Y C, Reid J F. RGB calibration for color image analysis in machine vision[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 1996, 5(10):1414-1422.

[28]Ludlow J. Advanced machine vision lighting[C]// 2017 Conference on Automate, in Chicago, Illinois, 2017，https://www.visiononline.org/userAssets/aiaUploads/file/CVP_Advanced-Vision-Lighting_Jonathan-Ludlow.pdf.

[29]Technology white paper.Eight tips for optimal machine vision lighting --Tips for choosing the right lighting for machine vision application[R/OL],

https://www.vision-systems.com/content/dam/VSD/solutionsinvision/Resources/lighting_tips_white_paper.pdf.

[30]TRI White Paper-Introduction to AOI technology[EB/OL].(2013-08-12)[2018-05-16].http://www.circuitnet.com/news/uploads/2/WP_TRI_Introduction_to_AOI_CN.pdf.

[31]Wu F P, Zhang X M. An inspection and classification method for chip solder joints using color grads and Boolean rules[J]. Robotics and Computer-Integrated Manufacturing, 2014, 30(5): 517-526.

[32]Kim T H, Cho T H, Moon Y S, et al. Visual inspection system for the classification of solder joints[J]. Pattern Recognition, 1999, 32(4): 565-575.

[33]Hao W,Xianmin Z,Yongcong K,et al.Solder joint inspection based on neural network combined with genetic algorithm[J]. Optik - International Journal for Light and Electron Optics,2013,124(20): 4110-4116.

[34]Wikipedia contributors. Infrared vision[EB/OL]. Wikipedia, The Free Encyclopedia, (2018-3-19)[2018-5-16].https://en.wikipedia.org/w/index.php?title=Infrared_vision&oldid=831150773.

[35]Primer on IR theory.Introduction to infrared vision[EB/OL]. (2018-1-10)[2018-5-16]https://www.opto-engineering.com/ resources/infrared-theory.

[36]Ghillemyn M, Infrared in machine vision, from shortwave linear array to 2 dimensional thermal longwave[C].VISION 2009, 03.11.-05.11.2009, Stuttgart.

https://vimeo.com/7610925

[37]Flanagan D. Infrared Machine Vision--A new contender[J]. Sensors-the Journal of Applied Sensing Technology, 1998, 15(4): 29-33.

[38]Ibarra-Castanedo C, Sfarra S, Genest M, et al. Infrared vision: visual inspection beyond the visible spectrum[M]// Liu Z, Ukida H, Ramuhalli P, et al. Integrated imaging and vision techniques for industrial inspection. London: Springer, 2015: 41-58.

[39]Rogalski A. Recent progress in infrared detector technologies[J]. Infrared Physics & Technology, 2011, 54(3): 136-154.

[40]Razeghi M, Nguyen B M. Advances in mid-infrared detection and imaging: a key issues review[J]. Reports on Progress in Physics, 2014, 77(8): 082401.

[41]Rogalski A, Martyniuk P, Kopytko M. Challenges of small-pixel infrared detectors: a review[J]. Reports on Progress in Physics, 2016, 79(4): 046501.

[42]Malchow D. Shortwave IR imaging in machine vision: principles and practice-before you specify your next machine vision system, check out what SWIR cameras can do for your manufacturing process[J]. Sensors-the Journal of Applied Sensing Technology, 2004, 21(10): 19-25.

[43]Kabouri A, Khabbazi A, Youlal H. Applied multiresolution analysis to infrared images for defects detection in materials[J]. NDT & E International, 2017, 92: 38-49.

[44]Kim G. Micro defect detection in solar cell wafer based on hybrid illumination and near-infrared optics[C]// 2013 9th Asian Control Conference (ASCC), 23-26 June 2013, Istanbul, Turkey. New York: IEEE, 13847704.

[45]Hamdi A A, Fouad M M, Sayed M S. Patterned fabric defect detection system using near infrared imaging[C]// 2017 Eighth International Conference on Intelligent Computing and Information Systems (ICICIS), 5-7 Dec. 2017, Cairo, Egypt. New York: IEEE, 17520744.

[46]Zhang X W, Ding Y Q, Yan P. Vision inspection of metal surface defects based on infrared imaging[J]. Acta Optica Sinica, 2011, 31(3): 112-120.

张学武, 丁燕琼, 闫萍. 一种基于红外成像的强反射金属表面缺陷视觉检测方法[J]. 光学学报, 2011, 31(3): 0312004.

[47]Aldave I J, Bosom P V, Gonzalez L V, et al. Review of thermal imaging systems in composite defect detection[J]. Infrared Physics & Technology, 2013, 61:167-175.

[48]Chen D, Zhang X, Zhang G, et al, Infrared Thermography and Its Applications in Aircraft Non-destructive Testing[C]//2016 International Conference on Identification, Information and Knowledge in the Internet of Things(IIKI), 20-21 Oct. 2016, Beijing, China. New York: IEEE, 17574735.

[49]Tang C Q, Tian G Y, Chen X T, et al. Infrared and visible images registration with adaptable local-global feature integration for rail inspection[J]. Infrared Physics & Technology, 2017, 87: 31-39.

[50]Liu J, Tian G Y, Gao B, et al. Investigation of thermal imaging sampling frequency for eddy current pulsed thermography[J]. NDT & E International, 2014, 62: 85-92.

[51]He Y Z, Du B L, Huang S D. Non-contact electromagnetic induction excited infrared thermography for photovoltaic cells and modules inspection[J]. IEEE Transactions on Industrial Informatics, 2018: 1.

[52]Vavilov V P, Burleigh D D. Review of pulsed thermal NDT: Physical principles, theory and data processing[J]. NDT & E International, 2015, 73: 28-52.

[53]Andonova A, Angelov G, Chernev P. Diagnostics of packaged ICs by infrared thermography[C]//Proceedings of the 2014 37th International Spring Seminar on Electronics Technology, 7-11 May 2014, Dresden, Germany. New York: IEEE,14562463.

[54]Vavilov V P. Modeling thermal NDT problems[J]. International Journal of Heat and Mass Transfer, 2014, 72: 75-86.

[55]Yang R Z, He Y Z. Corrigendum for “Optically and non-optically excited thermography for composites: A review”. [Infrared Phys. Technol. 75 (2016) 26–50][J]. Infrared Physics & Technology, 2016, 76: 259-260.

[56][Cortelyou B. UV-LED advancements extend the promise in curing[EB/OL].(2014-03-11)[2018-05-12]. http://www.ledsmagazine.com/articles/print/volume-11/issue-3/features/science/uv-led-advancements-extend-the-promise-in-curing.html.

[57]Katila P. UV and industrial LED applications require efficient thermal substrates[EB/OL]. (2015-03-23)[2018-05-12].http://www.ledsmagazine.com/articles/print/volume-12/issue-3/features/thermal/uv-and-industrial-led-applications-require-efficient-thermal-substrates.html.

[58]UVLED machine vision light application[EB/OL].（2014-12-31）[2018-05-15].  http://www.optmv. net/index.php/Servicecenter/act_detail/art_id/57

[59]Peters L. UV LEDs ramp up the quiet side of the LED market[EB/OL]. (2012-02-15)[2018-05-12].http://www. ledsmagazine.com/articles/print/volume-9/issue-2/ features/uv-leds-ramp-up-the-quiet-side-of-the-led-market-magazine.html.

[60]Pinter M. Applying ultraviolet lighting in machine vision applications[EB/OL]. (2017-09-12)[2018-05-12].https://www.vision-systems.com/articles/print/volume-22/issue-8/features/applying-ultraviolet-lighting-in-machine-vision-applications.html.

[61]Kuo S H, Chen C F. Design of a collimated UV-LED exposure unit based on light spread function method[J]. Applied Optics, 2017, 56(19): 5542-5549.

[62]Richards A. UV imaging opens new applications[EB/OL]. (2006-07-01)[2018-05-12].https://www.vision-systems. com/articles/print/volume-11/issue-7/features/component-integration/uv-imaging-opens-new-applications.html.

[63]Daloglu M U, Ray A, Gorocs Z, et al.On-chip microscopy and nano-particle detection using ultraviolet light[C]// 2017 Conference on Lasers and Electro-Optics (CLEO), 14-19 May 2017, San Jose, CA, USA. New York: IEEE, 17291501.

[64]During A, Fossati C, Commandré M. Multiwavelength imaging of defects in ultraviolet optical materials[J]. Applied Optics, 2002, 41(16): 3118-3126.

[65]Chen J, Tretiak O J. Fluorescence imaging for machine vision[J]. Applied Optics, 1992, 31(11): 1871-1877.

[66]Wilson A.UV lighting targets machine vision applications[EB/OL]. (2015-07-21)[2018-05-12].https://www. vision-systems.com/articles/print/volume-19/issue-3/ features/uv-lighting-targets-machine-vision-applications.html.

[67]Rady A M, Guyer D E. Rapid and/or nondestructive quality evaluation methods for potatoes: A review[J]. Computers and Electronics in Agriculture, 2015, 117: 31-48.

[68]Hecht E. Optics[M].4th edition. New Jersey: Addison Wesley, 2002.

[69]梁栓庭. 物理光学[M]. 4版. 北京：机械工业出版社，1986.

[70]Fresnel equations，From Wikipedia, the free encyclopedia，https://en.wikipedia.org/wiki/Fresnel_equations

[71]郁道银，谈恒英.工程光学[M]. 北京：机械工业出版社，1999.

[72]Successful Light Polarization Techniques[EB/OL]. (2014-03-11)[2018-05-12].https://www.edmundoptics.com/resources/application-notes/ illumination/successful-light-polarization-techniques/.

[73]天津大学材料力学教研室光弹组. 光弹性原理及测试技术[M]. 北京：科学出版社，1982.

[74]Piranha4 polarization camera user’s manual, 2k high speed polarization line scan[EB/OL]. (2016-11-22)[2018-05-12].

[75]Wei X. Study of the stress birefringence measurement of optical glass[J]. Acta Optica Sinica, 2015, 35(s2): s212002.

魏小红, 高波, 李强, 等. 光学玻璃应力双折射检测方法研究[J]. 光学学报, 2015, 35(s2): s212002.

[76]Yoshizawa T.  Handbook of optical metrology, principles and applications[M].BocaRaton:CRC Press, 2009.

[77]He X F. Focus on polarization[EB/OL]. (2011-10-22)[2018-05-12].https://info. teledynedalsa.com/acton/attachment/14932/f-070e/1/-/-/-/-/Focus%20on%20Polarization%20-%20Photonics% 20Spectra_%20Xing-Fei%20He.pdf.

[78]Stokes parameters，From Wikipedia, the free encyclopedia，https://en.wikipedia.org/wiki/Stokes_parameters

[79]Lekholm V, Rämme G, Thornell G. Seeing the invisible with schlieren imaging[J]. Physics Education, 2011, 46(3): 294-297.

[80]Gross H,Hofmann M,Jedamzik R, et al.Measurement and simulation of striae in optical glass[J].2009,7389: 73891C.

[81]Raffel M. Background-oriented schlieren (BOS) techniques[J]. Experiments in Fluids, 2015, 56(3): 56-60.

[82]Settles G S. Smartphone schlieren and shadowgraph imaging[J]. Optics and Lasers in Engineering, 2018, 104: 9-21.

[83]Hargather M J, Settles G S. A comparison of three quantitative schlieren techniques[J]. Optics and Lasers in Engineering, 2012, 50(1): 8-17.

[84]Meyer J, Gruna R, Längle T, et al. Simulation of an inverse schlieren image acquisition system for inspecting transparent objects[J]. Electronic Imaging, 2016, 2016(19): 1-9.

[85]Batchelor B G.Machine vision handbook[M]. London, UK: Springer, 2012.

[86]Beyerer J, Leon F P, Frese C. Machine vision, automated vision inspection: theory, practice and application[M].London, UK: Springer, 2016.

[87]Panigrahi P K, Muralidhar K. Schlieren and shadowgraph methods in heat and mass transfer[M].Berlin: Springer, 2012.

[88]Settles G S. Schlieren and shadowgraph techniques[M].Berlin: Springer, 2001.

[89]Mazumdar A. Principles and techniques of schlieren imaging systems[J]. Columbia University Computer Science Technical Reports, 2013: 14.

[90]Osten W. Digital image processing for optical metrology[M]//William Sharpe, Springer handbook of experimental solid mechanics. Boston: Springer, 2008: 481-564.

[91]Schnars U, Jueptner W. Digital holography, digital hologram recording, numerical reconstruction and related techniques[M].Berlin: Springer, 2005.

[92]Kreis T. Application of digital holography for nondestructive testing and metrology: A review[J]. IEEE Transactions on Industrial Informatics, 2016, 12(1): 240-247.

[93]Acharya I, Upadhyay D. Comparative study of digital holography reconstruction methods[J]. Procedia Computer Science, 2015, 58: 649-658.

[94]Lu JP, Tahara T, Hayasaki Y, et al. Incoherent digital holography: a review[J]. Applied Sciences, 2018, 8(143):1-18.

[95]Pedrini G, Tiziani H J. Quantitative evaluation of two-dimensional dynamic deformations using digital holography[J]. Optics & Laser Technology, 1997, 29(5): 249-256.

[96]Osten W, Faridian A, Gao P, et al. Recent advances in digital holography [invited][J]. Applied Optics, 2014, 53(27): G44-G63.

[97]Kim M K.Digital holographic microscopy, principles, techniques, and applications[M]. New York: Springer, 2011.

[98]Yamaguchi I. Contouring of rough surfaces by digital holography[C]. 10th IMEKO TC14 Symposium on Laser Metrology for Precision Measurement and Inspection in Industry Braunschweig, Germany, 2011, September 12-14.

[99]Yamaguchi I. Holography, speckle, and computers[J]. Optics and Lasers in Engineering, 2003, 39(4): 411-429.

[100]Jacquot P. Speckle interferometry: A review of the principal methods in use for experimental mechanics applications[J]. Strain, 2008, 44(1): 57-69.

[101]Yang L X, Siebert T. Digital speckle interferometry in engineering[J]. New Directions in Holography and Speckle, 2008: 405-440.

[102]Groves R M, Pradarutti B, Kouloumpi E, et al. 2D and 3D non-destructive evaluation of a wooden panel painting using shearography and terahertz imaging[J]. NDT & E International, 2009, 42(6): 543-549.

[103]Rao M V, Samuel R, Ananthan A. Applications of electronic speckle interferometry (ESI) techniques for spacecraft structural components[J]. Optics and Lasers in Engineering, 2003, 40(5/6): 563-571.

[104]Raman R K S, Bayles R. Detection of decohesion/failure of paint/coating using electronic speckle pattern interferometry[J]. Engineering Failure Analysis, 2006, 13(7): 1051-1056.

[105]Hung Y Y. Shearography: A novel and practical approach for nondestructive inspection[J]. Journal of Nondestructive Evaluation, 1989, 8(2): 55-67.

[106]Feng J Y, Wang Y H, Wang X, et al. Design of digital shearography with wide angle of view based on 4f system[J]. Journal of Applied Optics, 2015, 36(2): 188-193.

冯家亚, 王永红, 王鑫, 等. 基于4f的大视角剪切散斑干涉系统设计[J]. 应用光学, 2015, 36(2):188-193.

[107]Xie X, Yang L X, Xu N, et al. Michelson interferometer based spatial phase shift shearography[J]. Applied Optics, 2013, 52(17): 4063-4071.

[108]Liu P, Wang Y H, Feng J Y, et al. Phase detection technology in spatial carrier based on deflection angle[J]. Opto-Electronic Engineering, 2015, 42(3): 39-43.

刘佩, 王永红, 冯家亚, 等. 偏转角空间载波相位检测技术[J]. 光电工程, 2015, 42(3):39-43.

[109]Steinchen W, Yang L X. Digital shearography-theory and application of digital speckle pattern interferometry[M].Bellingham: SPIE Press, 2003.

[110]Wang Y H, Thomsa D, Zhang P, et al.Whole field strain measurement on complex surfaces by digital speckle pattern interferometry[J]. Materials Evaluation, 2008, 66(5):507-512.

[111]Wang Y H, Lyu Y B, Gao X Y, et al. Research progress in shearography and its applications[J]. Chinese Journal of Optics, 2017, 10(3): 300-309.

王永红, 吕有斌, 高新亚, 等.剪切散斑干涉技术及应用研究进展[J].中国光学, 2017, 10(3):300-309.

[112]Hanzaei S H, Afshar A, Barazandeh F. Automatic detection and classification of the ceramic tiles’ surface defects[J]. Pattern Recognition, 2017, 66: 174-189.

[113]中华人民共和国国家质量监督检验检疫总局. GB/T15757-2002 产品几何量技术规范(GPS)表面缺陷术语、定义及参数[S]. 北京: 中国标准出版社, 2002.

[114]Whitehouse D J．Handbook of Surface and Nano-metrology[M]. 2nd ed. Boca Raton: CRC Press Inc，2010．

[115]裂纹[EB/OL]，https://baike.baidu.com/item/%E8%A3%82%E7%BA%B9/10776905?fr=aladdin

[116]Hanbay K，Talu M F，Özgüven O F.Fabric defect detection systems and methods—A systematic literature review[J]. Optik, 2016,127(24):11960–11973.

[117]Tsai D M, Hung C Y. Automatic defect inspection of patterned thin film transistor-liquid crystal display (TFT-LCD) panels using one-dimensional Fourier reconstruction and wavelet decomposition[J]. International Journal of Production Research, 2005, 43(21): 4589-4607.

[118]Tsai D M, Chuang S T, Tseng Y H. One-dimensional-based automatic defect inspection of multiple patterned TFT-LCD panels using Fourier image reconstruction[J]. International Journal of Production Research, 2007, 45(6): 1297-1321.

[119]Zhang T D, Lu R S. Automatic period selection for DFT method in the application of TFT-LCD panel detection[J]. Journal of Electronic Measurement and Instrumentation, 2016, 30(3): 361-373.

张腾达, 卢荣胜.自动周期选取的DFT方法在TFT-LCD平板检测中的应用[J]. 电子测量与仪器学报, 2016, 30(3): 361-373.

[120]Zhang T D, Lu R S, Dang X M. Automatic neighbor r selection for one-dimensional DFT method in the surface defect inspection of TFT-LCD[J]. China Mechanical Engineering, 2016, 27(21): 2895-2901.

张腾达, 卢荣胜, 党学明. TFT-LCD表面缺陷检测中一维DFT方法中邻域r的自动选取[J]. 中国机械工程, 2016, 27(21): 2895-2901.

[121]Zhang T D, Lu R S. Surface defect inspection of TFT-LCD panels based on 1D Fourier method[J]. Proceedings of SPIE, 2016, 9903: 990308.

[122]Zhang T D, Lu R S, Zhang S Z. Surface defect inspection of TFT-LCD panels based on 2D DFT[J]. Opto-Electronic Engineering, 2016, 43(3):7-15.

张腾达, 卢荣胜, 张书真. 基于二维DFT的TFT-LCD平板表面缺陷检测[J]. 光电工程, 2016, 43(3):7-15.

[123]Tsai D M, Hsieh C Y. Automated surface inspection for directional textures[J]. Image and Vision Computing, 1999, 18(1): 49-62.

[124]Bissi L, Baruffa G, Placidi P, et al. Automated defect detection in uniform and structured fabrics using Gabor filters and PCA[J]. Journal of Visual Communication and Image Representation, 2013, 24(7): 838-845.

[125]Tsa D M, Wu S K. Automated surface inspection using gabor filters[J]. International Journal of Advanced Manufacturing Technology, 1900, 16(7): 474-482.

[126]Tsai D M, Lin C P. Fast defect detection in textured surfaces using 1D gabor filters[J]. The International Journal of Advanced Manufacturing Technology, 2002, 20(9): 664-675.

[127]Tsai D M, Chiang C H. Automatic band selection for wavelet reconstruction in the application of defect detection[J]. Image and Vision Computing, 2003, 21(5): 413-431.

[128]Tsai D M, Hsiao B. Automatic surface inspection using wavelet reconstruction[J]. Pattern Recognition, 2001, 34(6): 1285-1305.

[129]Perng D B, Chen S H. Directional textures auto-inspection using discrete cosine transform[J]. International Journal of Production Research, 2011, 49(23): 7171-7187.

[130]Chen S H, Perng D B. Automatic surface inspection for directional textures using discrete cosine transform[C]// 2009 Chinese Conference on Pattern Recognition, 4-6 Nov. 2009, Nanjing, China. New York:IEEE, 11002833.

[131]Lu C J, Tsai D M. Independent component analysis-based defect detection in patterned liquid crystal display surfaces[J]. Image and Vision Computing, 2008, 26(7): 955-970.

[132]Yao M H, Li J, Wang X B. Solar cells surface defects detection using RPCA method[J]. Chinese Journal of Computers, 2013, 36(9):1943-1952.

姚明海, 李洁, 王宪保. 基于RPCA的太阳能电池片表面缺陷检测[J]. 计算机学报, 2013, 36(9):1943-1952.

[133]Cen Y G,Zhao R Z,Cen L H,et al.Defect inspection for TFT-LCD images based on the low-rank matrix reconstruction[J]. Neurocomputing,2015,149: 1206-1215.

[134]Lu C J, Tsai D M. Automatic defect inspection for LCDs using singular value decomposition[J]. The International Journal of Advanced Manufacturing Technology, 2004, 25(1/2): 53-61.

[135]Lu C J, Tsai D M. Defect inspection of patterned thin film transistor-liquid crystal display panels using a fast sub-image-based singular value decomposition[J]. International Journal of Production Research, 2004, 42(20): 4331-4351.

[136]Wang X B, Li J, Yao M H, et al. Solar cells surface defects detection based on deep learning[J], PR & I, 2014, 27(6):517-523. 王宪保, 李洁, 姚明海,等. 基于深度学习的太阳能电池片表面缺陷检测方法[J]. 模式识别与人工智能, 2014, 27(6):517-523.

[137]Liu Z F, Yan L, Li C L, et al. Fabric defect detection algorithm based on sparse optimization[J]. Journal of Textile Research, 2016, 37(5): 56-61,74.

刘洲峰, 闫磊, 李春雷,等. 基于稀疏优化的织物疵点检测算法[J]. 纺织学报, 2016, 37(5):56-61,74.

[138]Gong F, Zhang X W, Sun H. Detection system for solar module surface defects based on constrained ICA model and PSO method[J]. Acta Optica Sinica, 2012, 32(4): 0415002.

龚芳, 张学武, 孙浩. 基于独立分量分析和粒子群算法的太阳能电池表面缺陷红外热成像检测[J]. 光学学报, 2012, 32(4): 0415002.

[139]He L F, Ren X W, Gao Q H, et al. The connected-component labeling problem: A review of state-of-the-art algorithms[J]. Pattern Recognition, 2017, 70: 25-43.

[140]Connected component labeling[EB/OL].(2007-06-13)[2018-05-10].https://blogs.math works.com/steve/category/connected-components/.

[141]GC image user’s guide[EB/OL].(2007-07-18)[2018-05-10].http://cse.unl.edu/~reich/ gcimage/V1.3/analysis.html.

[142]Wang C S, Lu R S, Li Q, et al. Mark defects based on hotelling transform and CUDA architecture[J]. Science Technology and Engineering, 2012, 12(11): 2556-2560.

王成顺, 卢荣胜, 李琪, 等. 基于霍特林变换与CUDA架构的缺陷标记方法[J]. 科学技术与工程, 2012, 12(11):2556-2560.

[143]Borghese N A, Fomasi M. Automatic defect classification on a production line[J]. Intelligent Industrial Systems, 2015, 1(4): 373-393.

[144]Chiu Y S P, Lin H D. A hybrid approach based on Hotelling statistics for automated visual inspection of display blemishes in LCD panels[J]. Expert Systems with Applications, 2009, 36(10): 12332-12339.

[145]Sánchez-Marı́n F J. Automatic recognition of biological shapes with and without representations of shape[J]. Artificial Intelligence in Medicine, 2000, 18(2): 173-186.

[146]Zhou S Y, Chen Y P, Zhang D L, et al. Classification of surface defects on steel sheet using convolutional neural networks[J]. Materiali in tehnologije, 2017, 51(1): 123-131.

[147]apnik V N. The nature of statistical learning theory[M]. Berlin: Springer, 1999.

[148]Vapnik V N.Estimation of dependences based on empirical data[M]. 2nd ed. Berlin: Springer, 2006.

[149]Jia H, Murphey Y L, Shi J, et al. An intelligent real-time vision system for surface defect detection[C]// Proceedings of the 17th International Conference on Pattern Recognition, 2004. ICPR 2004. 26-26 Aug. 2004, Cambridge, UK. New York: 8380934.

[150]Akbar H, Suryana N, Akbar F. Surface defect detection and classification based on statistical filter and decision tree[J]. International Journal of Computer Theory and Engineering, 2013: 774-779.

[151]Tang B, Kong J Y, Wu S Q. Review of surface defect detection based on machine vision[J]. Journal of Image and Graphics, 2017, 22(12): 1640-1663.

汤勃, 孔建益, 伍世虔. 机器视觉表面缺陷检测综述[J].中国图象图形学报, 2017, 22(12): 1640-1663.

[152]Ravikumar S, Ramachandran K I, Sugumaran V. Machine learning approach for automated visual inspection of machine components[J]. Expert Systems with Applications, 2011, 38(4): 3260-3266.

[153]Weiss K,Khoshgoftaar T M,Wang D D.A survey of transfer learning[J]. Journal of Big Data,2016,3(1): 1-40.

[154]Islam S M S, Rahman S, Dey E K. Application of deep learning to computer vision: a comprehensive study[C]//2016 5th International Conference on Informatics, Electronics and Vision (ICIEV), 13-14 May 2016, Dhaka, Bangladesh. New York: 16504511.

[155]Wang J J, Ma Y L, Zhang L B, et al. Deep learning for smart manufacturing: Methods and applications[J]. Journal of Manufacturing Systems, 2018. DOI:10.1016/j.jmsy.2018.01.003

[156]Kamilaris A, Prenafeta-Boldú F X. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147: 70-90.

[157]Khan S,Yairi T.A review on the application of deep learning in system health management[J]. Mechanical Systems and Signal Processing,2018,107: 241-265.

[158]Nguyen V N, Jenssen R J, Roverso D. Automatic autonomous vision-based power line inspection: A review of current status and the potential role of deep learning[J]. International Journal of Electrical Power & Energy Systems, 2018, 99: 107-120.

[159]Huang H W, Li Q T, Zhang D M. Deep learning based image recognition for crack and leakage defects of metro shield tunnel[J]. Tunnelling and Underground Space Technology, 2018, 77: 166-176.

[160]Xing F Y, Xie Y P, Su H, et al. Deep learning in microscopy image analysis: A survey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017: 1-19.

[161]Krig S. Computer vision metrics, survey, taxonomy and analysis[M]. Berlin: Springer, 2016.

[162]Li D. A tutorial survey of architectures, algorithms, and applications for deep learning[J]. Apsipa Transactions on Signal & Information Processing, 2014, 3(2):1-29.

[163]Park J K, Kwon B K, Park J H, et al. Machine learning-based imaging system for surface defect inspection[J]. International Journal of Precision Engineering and Manufacturing-Green Technology, 2016, 3(3): 303-310.

[164]Voulodimos A, Doulamis N, Doulamis A, et al. Deep learning for computer vision: A brief review[J]. Computational Intelligence and Neuroscience, 2018, 2018: 1-13.

[165]Ren R X, Hung T, Tan K C. A generic deep-learning-based approach for automated surface inspection[J]. IEEE Transactions on Cybernetics, 2018, 48(3): 929-940.

[166]Król D, Nguyen N T, Shirai K. Advanced Topics in Intelligent Information and Database Systems[M]. Berlin: Springer, 2017:235-247.

[167]Cha Y J, Choi W, Büyüköztürk O. Deep learning-based crack damage detection using convolutional neural networks[J]. Computer-Aided Civil and Infrastructure Engineering, 2017, 32(5): 361-378.

[168]Atha D J, Jahanshahi M R. Evaluation of deep learning approaches based on convolutional neural networks for corrosion detection[J]. Structural Health Monitoring: An International Journal, 2017: 1475921717737051.

[169]Yu Z., Wu X., Gu X. Fully convolutional networks for surface defect inspection in industrial environment[C]//Liu M, Chen H, Vincze M. Computer Vision Systems. Lecture Notes in Computer Science. Cham: Springer, 2017, 10528: 417-426.

[170]Ye R F, Pan C S, Chang M, et al. Intelligent defect classification system based on deep learning[J].Advances in Mechanical Engineering,2018,10(3): 168781401876668.

[171]Zhang M, Wu J L, Lin H F, et al. The application of one-class classifier based on CNN in image defect detection[J]. Procedia Computer Science, 2017, 114: 341-348.