日期
10/09
2021
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

JAI生命科学和工业应用高级彩色显微镜解决方案
收藏
2021-10-09 10:18:10来源: 中国机器视觉网

人们常说,世界一天比一天小。对于视觉系统的设计人员来说,这句话有着特殊的含义,因为今天越来越多的视觉系统必须关注显微细节。过去或许需要由一个人用光学显微镜手工完成的任务,现在通过结合使用显微镜、数码相机和精密的图像捕获和分析软件,可以比以往任何时候都进行得更快、更精确、更具有可重复性。

这些基于显微镜的机器视觉系统如今已广泛应用于生命科学领域,以及从半导体测、材料科学到故障分析和质量保证等工业应用领域。

对于很多此类数码显微镜系统来说,颜色信息的捕获和分析对于应用目标的实现至关重要。因此,在系统里充当“眼睛”的相机,必须能够提供准确的空间和颜色信息,使系统的软件“大脑”发挥其功能。

—— JAI《生命科学和工业应用高级彩色显微镜解决方案》

微信图片_20211009101927.jpg

现代彩色显微镜系统可分为若干类。最常见的为以下几类:

使用彩色染料或色素并借助传统明视场技术为样品照明并捕获彩色图像的系统

对于有些工业系统来说,为了同时分析可见和不可见的细节特征,照明中可能还包括暗视场技术以及近红外光波长。

微信图片_20211009102000.jpg

明视场显微镜技术

使用彩色荧光的彩色显微镜系统

彩色荧光技术可以用于有机和无机化合物,但在生命科学领域中,最常见的是用于在生物样品中添加一种或多种荧光染色(荧光团),使所关注的结构或对象在被激发光源击中时发射特定的光波长(彩色)的应用。

微信图片_20211009102357.jpg

荧光显微镜技术

使用彩色染料或色素并借助传统明视场技术为样品照明并捕获彩色图像的系统

对于有些工业系统来说,为了同时分析可见和不可见的细节特征,照明中可能还包括暗视场技术以及近红外光波长。

微信图片_20211009102446.jpg

明视场显微镜技术

微信图片_20211009102522.jpg

彩色显微镜系统的设计人员面临的各类挑战取决于目标应用。一些必须考虑的最重要的问题是:

色彩精确度和差异

在许多应用中,特别是涉及着色或染色的生命科学应用中,检测特定颜色以及区分相似颜色对于正确分析至关重要。

微信图片_20211009102730.jpg

向样品中添加染色剂之前(左图)和之后的明视场图像

敏感度

显微镜应用通常必须在相对较低的光照强度下进行。这一点在荧光应用中最为明显,因为在荧光应用中初始光源的吸收降低了产生的“光晕”强度。即使在明视场应用中,为最大限度地减少光毒性并避免损害被检查的样品,可能也需要限制光照强度。

图像清晰度/细节层次

虽然显微镜或其他光学器件可提供必要的放大功能,但并不能确保细节的清晰度。在需要精确定位或测量的应用中,机器视觉探测器/相机必须提供具有最小软化、莫尔条纹或其他细部损失的彩色图像。

色彩增强,尤其是红色

生命科学应用中使用的许多染料、色素和荧光团都是红色的。基于显微镜的系统要想在光谱这部分表现出色,要么是通过原生的敏感度,要么是具备突出特定颜色的功能。在一些需要NIR波段不可见信息的工业应用中,增强红色通道的敏感度也可能很有用。

微信图片_20211009102845.jpg

皮肤细胞的明视场显微镜图像

低噪声

与敏感度和清晰度问题都相关。基于显微镜的系统必须设法把噪声降到最低,确保在低光照条件下捕捉到的曝光足够“干净”,以便进行有效分析。

灰尘和/或异物碎片(FOD)

虽然电子噪声可以给图像带来虚拟“灰尘”,但显微镜应用也必须关注实际灰尘。如果灰尘颗粒、线头和其他所谓的异物碎片(FOD)进入相机的光学路径,将会严重影响显微镜应用的效果。这对于明视场显微镜来说尤其如此,因为它往往会突出传感器或光学玻璃元件上的FOD。这在细胞计数和其他类似类型的应用中是一个关键因素,因为在这些应用中,灰尘/FOD将被错误地识别和计数。

帧速率

在生命科学领域中,活细胞成像之类的应用,需要“实时”或更快的帧速率才能实现延时序列,而对于晶圆检测和其他工业应用来说,具备高帧速率才能满足吞吐量的需求。此外,对于需要重叠多个图像的景深扩展(EDOF)之类的技术,更高的帧速率也大有好处。

与强大的分析工具的兼容性

尽管许多系统可能使用定制开发的分析软件,但是许多其他显微镜系统,可以利用市场上已有的专业第三方软件捕获和分析工具并从中获益。对于系统设计人员和集成商来说,重要的是要考虑系统必须具备的功能类型,以及是否可以轻松集成市场上可用的商业软件或开源软件来提供这些功能。

微信图片_20211009103401.jpg

正如上一部分所建议的那样,使用合适的相机技术是创建有效彩色显微镜成像解决方案的重要起点 — 不管是较大型的机器视觉应用,还是较简单的实验室式设备都是如此。

拜耳色彩技术支持基本的系统要求

对于颜色要求相对较低的系统,使用配备拜耳彩色滤光片的成像仪的标准单传感器相机(探测器),就可以满足您的需求。当然,我们仍然应该牢记关键挑战,寻找低噪音、高敏感度、帧速率合适,并且拥有色彩增强和/或色彩空间转换等特殊功能的相机。与领先的显微镜软件包集成也很重要。

拜耳彩色相机近年来有了很大的改进,为系统设计人员提供了许多针对基本彩色显微镜系统的不错选择。特别是基于最先进的CMOS成像仪技术的新款相机,如索尼的Pregius™传感器线阵,可提供快速帧速率和低噪声彩色图像,能够满足众多应用的需求。

适合高级应用的多传感器棱镜式相机

如果想要打造更先进的彩色显微镜系统,以借助卓越色彩和空间性能为应用增加价值,那么就应该考虑更先进的相机技术。

微信图片_20211009103154.jpg

使用红色、绿色和蓝色荧光团的荧光图像

三传感器棱镜式相机(3-CMOS或3-CCD)采用高级光学棱镜,将入射光分到三个基于光谱波长(红、绿、蓝)的独立传感器。在需要区分细微差异的应用中,与必须使用内插值来估算RGB值的拜耳相机相比,三传感器棱镜式相机提供的颜色精确度更高(见下文)。而且,三传感器棱镜式相机还能提供更高的有效敏感度。这是因为拜耳滤光矩阵实质上会阻挡落在每个像素上的波长的2/3,而棱镜式相机使用了多个传感器,几乎可以捕捉样品发出的100%的光线。棱镜式相机具备较高的整体信噪比,能够在较低的光照强度下产生更好的图像,以减少对精细样品的应力

微信图片_20211009103245.jpg

拜耳滤光片(左图)使得每个像素仅捕捉一个色带(R、G或B)。而该像素的RGB值中的另两种颜色,则通过使用邻近像素捕获的数据获得插值。棱镜技术(右图)将入射光线分离到三个精确对准的传感器,使每个像素均可捕获真实的 RGB值,而不会因为插值而损失精确度。

微信图片_20211009103331.jpg

JAI利用其在彩色成像和棱镜技术方面的专业知识,以及与领先的显微镜软件包进行集成,为系统建造商提供多种选项,以创建具有高级色彩功能的显微镜系统。

JAI的多传感器棱镜技术可提供更高的颜色精准度、更出色的细微阴影差异区分能力、更好的低光敏度,以及比同等拜耳彩色相机更好的微小细节清晰度(阅读我们的《彩色成像技术指南》,了解关于此项内容的详细信息)。这可帮助开发人员打造能够分析显微样本(无论是生物样本还是工业样本)的系统,而传统的单色或单片彩色相机则无法做到这一点。

JAI的棱镜式彩色相机配备三个160万像素的CMOS传感器,或三个320万像素的CMOS传感器,它们安装在一个三向二向色棱镜上,将入射光线分为三个独立的色带。这为每个像素提供了精确的RGB值,且无需使用拜耳插值算法对颜色信息进行取平均值或估算操作。

JAI显微镜解决方案包含这些Apex系列棱镜式彩色相机中的八个,包括两种不同的分辨率和搭配或不搭配IR截止滤光片的型号(阅读下文的“增强红色通道敏感度部分”,了解有关“无滤光片”型号的详细信息)。这些相机提供了多种功能,可充分满足先进的显微镜应用的需求。这些功能包括:

与领先的第三方软件解决方案集成

根据您正在构建的系统类型,您可以选择从头开始开发自己的专有分析软件。但是,通过利用市场上已有的专业软件捕获和分析工具,许多系统和单独的实验室机构可以节省大量时间和精力。JAI显微镜解决方案同时支持这两种方法。兼容GenICam的标准固件集成了多种软件开发工具。此外,Apex系列相机已经与Image-Pro®和µManager充分集成,这两者均为应用最广泛的第三方显微镜软件包。

微信图片_20211009103112.jpg

Media Cybernetics(美国马里兰州罗克维尔)的Image-Pro图像分析软件平台,能使用户和系统设计人员更容易地捕获、处理、测量、分析和共享基于显微镜的图像。自定义驱动程序让Apex系列相机能够无缝地将图像传递到Image-Pro软件,同时也允许在Image-Pro环境中控制某些摄像机功能。

微信图片_20211009103038.jpg

考虑到有些人更喜欢开源、非商业软件解决方案,JAI还开发了适用于μManager (Micro-Manager)软件的设备适配器。该软件最初由旧金山加利福尼亚大学的Vale实验室研发,现在由Open Imaging, Inc.负责开发和维护。开发这些适配器的目的是让Apex系列相机能够完全与µManager软件交互。该软件与四个主要制造商(Leica、Nikon、Olympus和Zeiss)的显微镜兼容,并支持用于显微镜成像的多种外围设备(载物台、滤光轮、快门等)。

增强红色通道敏感度选项

许多显微镜系统都需要超出可见光范围的光谱范围。造成这种情况的原因有很多。例如,在荧光显微镜系统中,为避免近红外光对色彩平衡造成影响,一些常用的萤光团的发射曲线图超过了大多数彩色相机所使用的典型的670-700 nm截止范围。但这大大减少了对这些“深红色”荧光团的捕捉,使得某些图像细节难以辨认。同样,工业检测系统往往需要利用近红外光的特殊特性来透视塑料或看到某些材料的表面以下,以便更好地分析缺陷。

JAI显微镜解决方案包含已消除正常IR截止点的彩色型号,因此可增强深红色和近红外波长的敏感度。当为给定的应用配置合适的成像组件时,这些“NF”型号可提供大量额外的灵活性。

微信图片_20211009102946.jpg

具备红色荧光团曲线图的增强型敏感度光谱图

颜色增强功能

所有JAI显微镜解决方案相机(无论是否配备标准或增强的红色通道敏感度)均让用户能够强调某些特定颜色,以便更好地进行分析。用户可选择六种颜色中的一种来进行增强,包括三种原色(红色、绿色和蓝色)或三种互补色(黄色、青色和品红色)。将一种颜色增强至其正常强度的2倍,能够用于“突出”某些物品的颜色,例如在医疗应用中突出对比血液与旁组织的红色,或在典型的荧光应用中突出特定的荧光团。

低噪声白平衡

任何显微镜应用的起点,都是确保相机针对所用照明光类型进行合适的白平衡设置。典型的拜耳彩色相机只能通过向三个颜色通道的其中两个添加增益(放大)来实现白平衡,以匹配最高响应的通道。但是,增加增益不仅会使信号倍增,还会使图像中的噪声倍增,这可能会在某些低光照显微镜应用中成为关键问题。

JAI显微镜解决方案中的棱镜式相机可以对每个传感器进行独立控制,包括快门速度和增益。这样就可以选择利用快门速度实现白平衡 - 通过延长两个低响应通道的曝光时间,或者缩短两个高响应通道的曝光时间。虽然曝光时间延长可能会略微增加噪声,但增加幅度远小于增益带来的影响。

增强的抑尘功能

所有JAI显微镜相机均经过检查并合格,可确保具备超高的图像质量和非常少的FOD(异物碎片)。然而,某些应用可能需要比标准相机更为严格的灰尘和FOD抑制技术。对于这些应用,JAI提供了几个“LSX”型号,这些型号均接受了更高级别的FOD筛选。

即插即用USB3 Vision接口

JAI显微镜解决方案在所有可用的相机型号上采用现代USB3 Vision接口。到目前为止,USB是显微镜系统的首选接口,它完美融合了即插即用的便利性和高数据带宽。320万像素型号可以在全分辨率下以每秒38帧的速率输出,可支持工业检测系统、活细胞成像、扩展景深(EDOF)等应用对于高吞吐量的需求。160万像素型号可在全分辨率下提供每秒79帧的速率。