日期
12/02
2024
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

多场成像提升高速检测能力
收藏
2024-12-02 11:31:56来源: 中国机器视觉网

多阵列CMOS传感器与晶圆级镀膜二向色滤光片相结合,能够在单次扫描中同时捕获明场、暗场和背光图像。多场成像是一种新兴成像技术,能够在不同光照条件下同时捕获多幅图像。结合时间延迟积分(TDI),这种新兴成像技术可以克服许多传统方法的局限性。

随着多场成像技术的日益成熟,它在多个终端市场(如工厂自动化、环境监测和生命科学)的应用越来越广泛(见图1)。

360截图20241202113716040.jpg

图1新兴的多场成像技术能够在各种光照条件下捕获多幅图像,从而在各种终端市场中提高检测能力。

对于要求高灵敏度和快速图像捕获的应用而言,线扫描相机已成为一种特别关键的成像技术。与面扫描相机不同,线扫描相机使用一维线性阵列。因此图像数据能够以高达数百千赫兹的速度从传感器快速传输到相机,然后再传输到计算机主机。

在高速成像中,灵敏度对于实现更高的信噪比以及因此提高识别感兴趣物体的检测能力至关重要。传感器的灵敏度取决于其量子效率和光子收集能力,这两个因素正是时间延迟积分技术得以发挥作用的关键所在。

基于线扫描成像技术,时间延迟积分(TDI)已成为在光照不足条件下进行高速成像的成熟技术。TDI技术使用多次曝光来收集更多光子,同时保持较低的读出噪声。如今,时间延时积分技术运用越来越广泛,尤其是在无法提高成像物体光强情况下的使用。

在需要获取光谱信息的成像应用中,需要使用带有镀膜光谱滤光片的线扫描彩色或多光谱相机。

由于硅传感器无法区分波长,在进行彩色或多光谱成像时,需要使用光谱滤光片。时间延迟积分技术与光谱滤光片相结合,为高灵敏度成像应用提供了新颖且先进的机器视觉解决方案。

越来越多的成像应用需要在不同的光照配置下捕获图像数据,例如,结合明场、暗场和背光技术来更有效地识别特定物体、细节或缺陷。这种多场成像方法能够在单次扫描中捕获两种或多种光照条件下的图像。

在当前大多数视觉系统中,为了获取高质量图像,通常需要多次扫描同一物体。这种方法不仅极大地限制了系统的吞吐量,还对系统设计中机械运动的精度提出了严格的要求。扫描过程中的任何随机振动都可能导致图像错位,从而降低图像分析的准确性。

为了克服这些限制,一些公司如Teledyne DALSA推出了新型的多视场相机解决方案,这些解决方案结合了TDI传感器和晶圆级镀膜二向色滤光片,提供了一个完整的解决方案(见图2)。

360截图20241202105323051.jpg

图2.采用晶圆级镀膜二向色滤光片的多场相机光谱响应度。与染料基滤光片带不同,二向色滤光片的红、绿、蓝带之间的串扰可以经过精心设计,以实现平均光密度(OD)为3的带外抑制。这有效地在波长域内将多个光源分隔开,从而满足视觉应用的需求。

这些相机基于多阵列CMOS TDI相机,相机分辨率为16,384×(128+64+64)像素,像素尺寸为5×5µm。凭借此设计,相机能够同时捕获三幅图像,最大行频为130kHz×3。利用Camera Link HS接口,这些相机可以通过长距离的有源光缆传输高达6.5GBit/s的数据。多场TDI相机设计能够克服传统成像方法的许多局限性,显著提高高速成像应用中的吞吐量和检测能力。

波分和时分

在多场成像中,主要有两种技术方法。

360截图20241202105332702.jpg

波分技术使用光谱滤光片通过波长来隔离通道,而时分技术则通过时间域来隔离图像(见图3)。

360截图20241202105339859.jpg

图3.两种多场成像技术的比较示意图。在波分方法中,具有不同波长的多种光源以不同的入射角照亮成像对象。每个波长通过滤光片在光谱上进行隔离,随后在所有波长下同时捕获图像(a)。时分多场成像将光脉冲与曝光时间相匹配,从而在时间上分隔图像(b)。CW:连续波;GPIO:通用输入/输出。

波分多场成像技术可以实现最大的积分时间和连续波光源的简化实施。该技术中采用的二向色滤光片的光谱窗口设计考虑到了当今市场上可用的LED照明。然而,随着越来越多具有不同波长的窄带LED光源的出现,波分技术的实施变得更加容易。

时分多场成像技术可以使用无滤光片的单色传感器。它通过控制相机的曝光时间来在时间域上分离图像。例如,Teledyne DALSA的Linea ML 16K相机有三行可以独立设置每行光学积分的开始和结束时间,且没有重叠。这种时分方法的优点是不受光谱串扰的影响,并且可以通过发射高强度照明的脉冲LED进行增强。然而,这种方法不能使用完整的行时间进行积分,并且需要更复杂、造价更高的设计来适应脉冲照明。

滤光片和光源

在波分多场成像技术中,二向色滤光片是关键技术之一。这些滤光片与传统染料基彩色滤光片的主要区别在于它们各自允许的光谱串扰程度。

多场二向色滤光片是基于薄膜干涉原理设计的,旨在降低光谱串扰的影响,而传统的染料基彩色滤光片则使用吸收性有机染料,这些染料在通道之间存在显著的光谱重叠。实验证明,二向色滤光片镀膜的硅片在大多数情况下都能达到足够的光学密度,为大多数视觉应用提供足够的带外抑制。

在当前采用TDI技术的多场相机中,传感器由三个分别具有128、64和64级的TDI阵列组成,这些阵列分别涂有晶圆级二向色滤光片。128级像素阵列是蓝色通道,其数量是其他通道的两倍,以补偿传感器在较短波长区域的较低量子效率。总体而言,当前的相机传感器实现了三个光谱窗口:红色(620至800nm)、绿色(520至570nm)和蓝色(420至470nm)。这些光谱窗口可以根据需要进行不同的波长范围或光谱线形设计。

为了尽可能减少光谱串扰,多场成像应用中所选择的LED光源需要与相机滤光片的光谱窗口一致。如果光源的带宽大于滤光片窗口,则可能需要在光源前额外添加一个窄带滤光片。二向色滤光片的优势在于,与染料基滤光片不同,它们可以根据应用需求定制特定的窗口。使用市售的LED光源,可以实现通道间小于0.5%的光谱串扰。

在某些使用强激光激发的应用中,激发与图像之间的通道隔离度可能需要设置得更高。在这种情况下,可以在相机前额外使用一个陷波滤波器。以此滤除来自激发源的任何波长,防止其进入相机。

高速多场成像

自动光学检测(AOI)是现代制造操作,如多场相机平板显示器、印刷电路板和锂离子电池的生产)中的一个重要过程。在手机、显示器和电视等显示屏的生产过程中,数百万个薄膜晶体管在制造厂内,经过多个加工步骤,被固定在玻璃基板上,形成所需的电路图案。在每个步骤结束时,需要对玻璃基板进行检查,以识别可能存在的短路、开路、污染物、划痕和其他缺陷,然后才能进入下一工序。随着这些显示屏像素密度的增加,缺陷尺寸也越来越小。因此,许多AOI系统都被设计为能够检测小于一微米的缺陷。对于在线检测设备来说,确保系统吞吐量高以满足生产线的节拍时间要求变得尤为重要。

然而,随着缺陷尺寸的持续缩小,对它们进行有效检测的难度也显著增加(见图4)。

360截图20241202105348180.jpg

图4.多场相机拍摄到电子显示屏玻璃层上蚀刻的薄膜晶体管图案图像。同时捕捉到明场、暗场和背光图像,但所有图像显示的数据并不相同。

运用不同的照明配置可以优化这些显示屏中不同类型结构和缺陷的图像对比度。例如,暗场成像最适合识别表面划痕,而背光成像则能有效揭示几何缺陷。

在大多数情况下,AOI系统的瓶颈在于扫描过程中所需的机械运动。通过消除多次扫描的需要,多场成像技术可以显著提高检测效率,与传统AOI系统设计相比,其吞吐量大幅提升。此外,多场成像还能够使多副图像实现更好的对齐,因为所有图像数据都是在同一机械运动中同时捕获的。在这种情况下,随机振动对图像对齐精度的影响也会降到最低。

除了支持需要不同照明角度的应用外,多场相机还可用于基于白光照明的常规彩色成像。在这些场景下,二向色滤光片的独特光谱特性提供了与染料基滤光片截然不同的彩色图像。例如,印刷电路板中常见的颜色(如黄色、金色和绿色)的RGB成分在颜色空间中显示出更大的分离度。这导致在电子电路板中,这些常见颜色的检测能力提高了53%(见图5)。

360截图20241202105509090.jpg

360截图20241202105520128.jpg

图5.上图比较了使用染料基滤光片(左上)与使用二向色多场滤光片(右上)捕获的印刷电路板图像。使用二向色滤光片后,金黄色和绿色在色彩空间中显得更有区分度。由于铜和金是电子电路中常见的材料,多场相机被证明是一种能够有效检测电子元器件中与铜和金材料相关缺陷的工具(底部)。

二向色滤光片具有与光学棱镜相似的光谱特性,可实现更好的颜色分离,因为光谱串扰极小。在彩色相机的早期阶段,棱镜常用于分离颜色通道。但是,基于棱镜的相机外形尺寸相对较大,并且需要特殊镜头,因为光学系统偏离了薄膜光学原理。这进一步导致了可靠性差和系统成本较高。染料基彩色滤光片提供了一种简单、功能强大且成本较低的解决方案。但新的二向色滤光片技术可以凭借更小的外形尺寸产生基于棱镜相机的独特光谱特性。

未来趋势

随着视觉技术的不断发展,预计CMOS传感器将会越来越多地考虑与高级过滤器相结合。例如,在过去几年中,RGB-NIR多光谱相机的发展有助于引入新的视觉功能。

在印刷检查应用中,将NIR通道添加到可见光范围相机中有助于检测钞票、护照和其他文件上印刷的隐形防伪油墨。在电子印刷电路板的检测中,红外图像数据可以更深地穿透表面,揭示表面下的缺陷。在食品分拣应用中,多光谱RGB-NIR成像有助于识别更广泛范围的外来物质。因此,多光谱成像越来越多地被应用于此类场景。许多行业正在从传统的彩色成像升级到多光谱成像。

二向色滤光片增强了这些能力,因为这些滤光片可以根据特定应用的需求设计适用于任何光谱带。也可以通过设计多层薄膜结构来定制光谱线形状。这种能力有助于开发特定相机,使其能够在单次扫描中对生命科学中的各种生物标记物荧光进行成像。预计时间延迟积分和二向色滤光片技术的结合将提供进一步的突破性解决方案,以满足当今的严格要求。

(作者:何星飞(Xing-Fei He,TELEDYNE DALSA)和SUNGHO HUH(ENVISION))