首页>论文>正文
日期
05/20
2015
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

图像传感器像素灵敏度理论与实验测试
收藏
2015-05-20 14:23:20来源: 中国视觉网

  1. 引言   
  灵敏度、分辨率、图像传输速度是决定图像传感器(相机)品质极其重要的三个方面。对以生物医学、单分子荧光、天文星体等微光探测为主要任务的科学相机而言,灵敏度显得尤其重要。相机生产厂商提供一种符合相机实际使用情况的灵敏度表示方式或者标准有助于相机使用者快速判断以及选择合适的相机。目前关于灵敏度的表征方式,行业内一般有几种方式:
  (1)绝对灵敏度阈值:欧洲机器视觉协会所建立的EMVA 1288相机性能表征标准中将相机中每个像素所能够识别出的最少光子数称为绝对灵敏度阈值 [1],其计算式为 ,其中 为读出噪声, 为量子效率。此参数的优点为能够表明整个像素对光子数的响应临界值,但从计算式中可知该参数只反映了读出噪声与量子效率信息,而忽略了像素的其它性质;
  (2)像素总光子数-信噪比曲线[1,2]:信噪比(Signal-to-Noise,SNR),即信号与噪声的比值,代表了图像质量,实质是灵敏度的一种反映——在同等条件下,达到更高的信噪比质量的相机具有更高灵敏度。EMVA 1288中表征了信噪比曲线,其横坐标为像素接收的总光子数 (其中A为像元面积,E为单位面积单位时间的入射光子数),纵坐标为信噪比,反应了像元在接收 个光子后的信噪比大小,用公式可表达为
  上式中FPN为固定图形噪声(暗信号不均匀性), 为暗电流的大小(e/pixel/s),t为曝光时间,PRNU为光响应不均匀性。因此,比较灵敏度即为比较在像素接收到同等光子数情况下的信噪比。相比绝对灵敏度阈值,该方法包含了更多的像素特性。但显著缺点为:未考虑像元的面积大小、曝光时间以及暗电流等信息,只要求不同相机的 相同。具体而言,在实际比较相机的过程中,尽管有的相机在某个光子数下信噪比更高,但可能由于面积太小反而需要更多的时间去获得较高的信噪比。此外,CMOS图像传感器的暗电流噪声较CCD图像传感器高出很多,在实际应用中不可忽视。尤其在长时间曝光成像当中,暗电流往往是信噪比的决定因素。因此,需要将时间相关性的暗电流噪声等参数考虑到信噪比的评价当中。
  (3)每平方微米光子数-信噪比曲线:另外一种常用的描述信噪比的方法是以光照条件为基准。将横坐标变量设置为每平方微米的光子数目( ),与方法(2)相比,该SNR曲线会包含像元面积参数,由此可知在同一个光照条件下,不同相机信噪比。但是,该方面仍然忽略了暗电流的时间相关性。
  综上所述,目前普遍所采用的欧洲机器视觉协会所提出的灵敏度表征方法等存在一定的缺陷与不足。本文将介绍与讨论更符合相机比较与使用者判定灵敏度的时间相关性像素灵敏度原理及其实验测试方法。

  2. 时间相关性表观像素灵敏度(信噪比)原理
  相机的性能参数中存在需要互相妥协的物理量。例如,增益与读出噪声成反比,相机曝光时间与帧数成反比。对于用户而言,采用相机进行成像时判定其灵敏度的第一观感应该是:用最短的时间获得最高图像质量的相机的灵敏度最高,从这方面来讲,时间是灵敏度判断的更为表观的标准。而在上一节所述的三种方式更偏向于内在的本征性质,在某些情况下违背了用户的直观感受。此外,作为一种更为实际的灵敏度(信噪比)判定方式,应考虑时间相关性的相机参数。因此,综合而言,将时间作为横坐标变量是更为理想的方式。完整的信噪比公式可表示为:                   
  (1)式中分母中五个求和项分别为读出噪声、暗电流噪声、固定图形噪声、光散粒噪声以及光响应不均匀性噪声的平方值。光响应不均匀性反映了不同像元对光子信号的增益率的差别,且在不同接收光子数情况下PRNU也会不同,因此该参数是很难计算的量。但需要注意的是,当光强很弱时,光响应不均匀性噪声非常小,可忽略。而光强很强时,光散粒噪声也将占显著主导作用。因此,在不影响主体评价基础上,光响应不均匀性所造成的影响可以忽略,则(1)式简化为:
  (2)基于(2)式,我们将横坐标为时间,纵坐标为SNR的信噪比表征方式称为“时间相关性表观像素灵敏度”。
  作为深一步阐述,我们以福州鑫图光电有限公司生产的Dhyana 90以及日本滨松公司生产的ORCA Flash 4.0两款科学级CMOS(sCMOS)相机为例进行灵敏度比较,其相关参数如下表所示:

  从上图中即可直观的看出,在每秒每平方微米5个光子的条件下,为获得一张信噪比达到3:1的图像,ORCA-Flash 4.0所需要的曝光时间约为85 ms,而Dhyana 90只需要20 ms的时间,即二者的时间之比达到四倍。反应到相机的帧率上也可能会相差四倍。对于相机使用者而言,从该图中即可快速判断出不同相机的灵敏度。需要特别指出的时,尽管这是理论上模拟的计算曲线,但与实际值也近乎一致,因为(3)与(4)式值所用的参数均为真实测得的。
对于具有binning功能的CCD、EMCCD、CMOS以及sCMOS,其计算公式(2)需要进行相应的修改,具体如下:
  1)CCD的binning为硬件binning,即将多个像元真实的电荷进行混合。对于N×N的binning模式,读出噪声与单个像元的读出噪声一致,而暗电流会进行累加,(2)式修改为
  2)EMCCD与CCD类似,但除了 系数外,多了一个乘性噪声,对光散粒噪声需要乘以系数 ,表示为
  3)传统的CMOS没有硬件binning,只有数字binning, 设数字binning为M×M,读出噪声与暗电流都会随binning发生变化,(2)式修改为:
  4)sCMOS可以包含N×N的硬件binning以及M×M的数字binning,(2)式可修改为
  从(5)-(8)式可以看出,在binning情况下,暗电流会显著加倍,因此将时间相关性考虑到灵敏度表征中显然是必须的。此外,需要注意的是,对于binning模式,FPN应重新进行计算。
  综合上面所述,我们可以总结横坐标采用时间作为参数用于表征信噪比曲线的优点:
  a. 横坐标不包含除时间外的任何参数,其关于一个像素的所有特征,包括量子效率、读出噪声、像元面积、时间相关性暗电流噪声、binning程度以及接收的单位时间单位面积的光子数均直接参与在SNR的计算公式中,未被忽视或者隐藏,可综合反映一个像素的整体灵敏度与信噪比特征;
  b. 时间相关性表达方式只判定相机在同一个环境中不同时间下的信噪比性能,符合使用者实际的使用特性,更能体现其应用特征与性能对比。
  基于这些优点,该灵敏度表达方式可以作为一个科学相机或者机器视觉的标准提供给购买者以及不同的相机生产厂家作为对比使用,其方式可以为:
  a. 以某一相机时间相关性SNR曲线作为统一标准,描绘所生产相机与标准SNR曲线的对比图,例如图1;
  b. 以某一光子数条件以及曝光时间为固定条件。例如对于Dhyana 90: SNR= 7 @5 photons/s/μm2 @ 100 ms。

  3. 灵敏度(信噪比)实验测试方法与讨论
  上一节介绍了时间相关性像素灵敏度(信噪比)的理论知识。这一节我们根据上述原理对相机的信噪比以及其他参数进行简要的实际实验设计与数据计算。描述上述信噪比(曲线)一般有两种方式:(1)直接测量信噪比数值再进行曲线拟合;(2)计算描绘SNR曲线所需要的相机的各个基本性能参数后再作出曲线。
  (1) 直接测量相机信噪比
  步骤主要包括:
  a. 辐照度为E的均匀光均匀照射到相机平面上,曝光时间设置为t,拍摄2张图片yA与yB;
  b. 计算2张图片的所有像素的平均灰度值,即得到信号值 
  c. 根据 计算方差,得到总噪声 
  d. 信噪比即表示为 
  通过该方法可直接获得相机在某条件(辐照度,曝光时间)下的信噪比。改变曝光时间,获得更多的信噪比数据进行曲线拟合即可得到信噪比曲线。

  (2)计算SNR曲线所需要的相机基本参数
  参数类型包括:
  a. 辐照度与量子效率:根据欧洲视觉标准所提出的光响应曲线测试方式[1] 对系统整体增益K与响应率R进行计算,根据 求出量子效率。辐照度通过辐照计测试。
  b. 读出噪声:已知相机整体系统增益K,在完全黑暗以及曝光时间为0条件下,获取2张图片,通过 以及 得到读出噪声;
  c.暗电流:完全黑暗条件下,不同曝光时间分别获取两张图片并分别求出其灰度平均值,根据 ,得到暗电流 。
  d. FPN: 完全黑暗以及曝光时间为0的情况下,拍摄尽量多的图片进行平均从而消除读出噪声的影响,通过求像素间标准方差得到FPN。

  应该指出的是,上述参数的计算方式基本是按照欧洲机器视觉测试标准EMVA 1288。但作为更严谨的讨论,我们需要特别阐述EMVA 1288除信噪比曲线表示方式外另一个存在的缺陷之处——关于FPN计算方法是不准确的。FPN主要有两种类型:像素间固定图形噪声(pixels FPN, pFPN)以及列固定图形噪声(columns FPN, cFPN)。pFPN普遍存在于CCD、CMOS中的。而pFPN,典型地存在于像素结构为一列像素对应一个(或多个)放大器类型的CMOS以及科学级CMOS图像传感器中,表示列与列像元间的不均匀性(cFPN)。这种不均匀噪声的值在某些相机中相对较大,不可忽略。而EMVA 1288所计算的方式是将所有的固定图形噪声均认为是pFPN。这样会导致完全随机分布的不均匀性以及列状有规律分布的不均匀性可能具有相同的FPN值,但实际的图像效果会有怎样的差别呢?
  福州鑫图光电有限公司研发的Dhyana 400D与德国PCO公司生产的Edge 5.5两款科学级CMOS相机具有非常相似的像素大小、暗电流、读出噪声、量子效率以及FPN(~1 e-),其时间相关性信噪比曲线如下:

  从图中可以看出,其二者的SNR差距很小,但在实际拍摄对比时(如图3所示),Dhyana 400D的信噪比显著优于Edge5.5。从图3b中可以显著看出明显的列固定图像噪声,但PCO公司所给出的FPN值与Dhyana 400D都约为1个电子,显然这是不准确的。根据A. El Gamald等人所提出的FPN模型, 可计算出Edge 5.5的cFPN约为4 e-[3]。因此,其SNR计算公式的分母会显著增大,信噪比随之降低。由此可见,FPN的计算需要综合考虑不同类型的固定图形噪声特性。  

  3. 总结
  本文简要介绍了欧洲机器视觉协会EMVA1288所提出的关于相机灵敏度以及信噪比表征方式的优缺点,并详细阐述与讨论了时间相关性表观像素灵敏度(信噪比)的理论原理,表明其作为灵敏度判定标准的优越性。此外,基于该理论原理,我们简要介绍了信噪比的实验测试与计算过程,并对固定图形噪声重点进行了讨论。本文有助于建立更为完整正确的相机测试标准。


【参 考 文 献】
[1] 
http://www.emva.org/cms/upload/Standards/Stadard_1288/EMVA1288-3.1rc.pdf
[2] F. Long, S. Zeng, Z.-L. Huang, “Localization-based super-resolution microscopy with an sCMOS camera Part II: Experimental methodology for comparing sCMOS with EMCCD cameras,” Optics Express 20, 17741-17759 (2012).
[3] A. El Gamal, B. Fowlera, H. Min, and X. Q. Liu, “Modeling and estimation of FPN components in CMOS image,”
Proc. SPIE 3301, 168–177 (1998).