- 03/24
- 2018
-
QQ扫一扫
-
Vision小助手
(CMVU)
2017年10月底,中国机器视觉产业联盟(CMVU)主导完成了欧洲机器视觉标准——EMVA 1288 R3.1的中文翻译工作,这对国内的相机厂商和用户在相机基础知识和测试方面可以起到很好的参考和学习作用。作为翻译工作的参与单位,我们也意识到:一方面,中国作为机器视觉的大市场,也应该有自己行业统一的相机测试标准,以便更好地规范和促进国内机器视觉行业的发展;另外一方面,尽管EMVA 1288不断完善,但目前也仍然存在着一些不足之处。因此,在CMVU的推动下,国内也完全可以在此基础上进一步深化,制定更严谨、更实用、更广泛的测试标准,同时,在全球的机器视觉行业的标准制定方面也能更多地发出我们的声音。基于该目的,下文简单讨论了EMVA 1288标准的局限性、改进方向以及潜在的改进点以供参考。
需要说明的是,由于作者主要从事的是科学级以及高分辨率相机领域的研发工作,因此更多地是基于该方面应用进行讨论。
1.EMVA 1288的特点
1)EMVA 1288是光电性能参数的测试标准
表明一个项目指标能否作为测试或者表征标准,首要关键是能够指出该项目指标对于主体与客体的重要意义。在相机的有关特性中,光电性能决定了相机大部分的应用范畴。EMVA 1288对读出噪声、量子效率、暗电流、饱和容量等做了较为详细的理论与实验分析,其对用户选择相机种类、对比相机的特性、判断相机的应用领域有着重要的参考价值。
例如:
1)读出噪声反映了由于电荷/数字信号读出时所引起的本底噪声,用户可根据该指标作为判断相机能否用于弱光探测(如荧光检测、夜视监控、天文探测)的依据之一;
2)暗电流反映了温度与热激发电子的关系,决定了相机能否用于长时间曝光应用以及相机关于温度的稳定性。
由此可见,光电性能类项目指标确实是相机标准中最核心的组成部分。而EMVA 1288对大部分的光电性能参数的表征提供了行之有效的描述方式。
2)EMVA 1288是关于相机数理模型及原理的简明教程
EMVA 1288不仅是描述光电参数和测试公式的标准,同时也较为详细地说明了图像传感器和相机的光电转化过程,构建了相关的物理和数学模型,并介绍了参数的物理含义。总的来说,这也是一份关于相机的基础学习教程。所以,该标准对于普及相机数理知识也很有意义。
这对于国内标准制定的形态很有启发。国外有很多优秀的成像系统的教材,而相比之下,国内自主撰写的书籍极少,而这也影响了中国机器视觉行业的发展。中国相机测试标准的制定也可以考虑其作为“基础知识教程”的作用。
2. EMVA 1288的局限性及改进方向
结合相机的实际应用,EMVA 1288测试与描述方式还存在着一些不足与缺陷,限于篇幅,本节只举几个要点综述如下:
1)性能参数的测试与表达无法体现相机的性能范围。
EMVA 1288规定其性能参数要在增益尽可能小的条件下测得,使不同相机能够很好地比较其最大动态范围、满井等特性。但实际上,当增益最小时,有些参数将会处于最优值,而有些处于最差值。反之,增益最大时,有些参数也会从最优值变为最差值。但在科学级相机应用中,往往却是用最大增益。如果能够增加高增益下的性能测试,将提供很好的参考依据。
例如:微光应用中尤其关心暂态暗噪声的大小,在极其弱(几个光子)的条件下暂态暗噪声甚至是最关键的指标。但实际增益越大,暂态暗噪声一般都会越小(sony的新一代高性能CMOS,低增益噪声一般在3 e,高增益将小于1 e)。这种应用中通常采用的是较高增益模式,低增益的数值意义不大。
线性误差在定量分析中非常重要,而在低增益时,由于量化误差等因素,其线性度通常不会非常好;因此,定量方面为了提升精度以及灰度值,并且利用线性度最好的响应区间,经常会采用较高增益(如图1所示)。此外,实际暂态暗噪声、光响应不均匀性等对线性度以及线性误差是有影响的。因此,线性误差也一定程度上反应了相机的综合特性。若提供了高增益的数据,也有助于用户对相机的性能判断。
图1 光响应曲线。左图增益为0.08 DN/e,右图增益为3.27 DN/e
考虑大部分参数都是随增益单调变化的(仅有部分参数的数值与增益几乎无关,如暗电流)。因此,可以提供各个参数的数值范围,即最大增益与最小增益对应的数值区间。建议光电性能类项目可以表示如下:
表1. 相机性能类项目表征参数
项目 | ||
读出噪声 | ||
满井容量 | ||
线性误差LE | ...... | ...... |
...... | ...... | ...... |
从上表中即可看出相机某个参数的最优值与最差值,更为全面与具体。有助于相机使用者在采用不同增益时,理解其相机性能范畴。
2)对于某些光电参数的表述或者假设是不充分的。例如,标准中没有对暂态暗噪声的
相关性进行描述,也没有涉及暗电流不均匀性等。而我们可以构建更准确的数理模型,这是国内机器视觉标准可以改进和完善的重点方向。
3)标准只局限于光电性能类参数。用户在查看一款相机时,除了光电参数外,经常还
会关心相机的一些其他参数,比如帧率、尺寸、重量、传输接口方式等。但EMVA 1288并不涉及这些。尽管基本相机厂家都会提供相关信息,但是其表述的方式也是多样化的,或者是不充分的。因此,尽管这方面是相对次要的,但是仍然可以发展成可实施的标准。这类内容可以定义为功能类和基础特征类标准。
在下文中我们会针对上述改进方向提出推荐改进点,作为参考。
3. 光电参数类的改进点
3.1 改进详例一:阐述暂态暗噪声与增益的相关性
1)背景:
物理量可以分为基本量和衍生量。EMVA 1288中,衍生量的推导过程是很详细的。但是对于基本量的描述较少。尤其对暂态暗噪声的起源与关联性未做描述,在标准中基本上认为该参数是个常数,但是暂态暗噪声实际是跟增益有关的,在应用中又尤其重要。因此,在此特别予以讨论。
2)制定原理:
暂态暗噪声与增益相关:增益越大,暂态暗噪声越小;增益越小,暂态暗噪声越大。
暂态暗噪声一般包含了KTC(复位)噪声、热噪声和1/f噪声等,模型较为复杂,为了更简要地理解其原理,将模型简化如下:
如图2所示,设光生电荷通过电容器转为电压信号满足关系,单位为,在电压域产生的噪声为;经过模拟增益放大器后,对信号的增益为,放大器累加的电压域噪声值为。
图2 噪声的产生与输出过程
因此,不考虑ADC,系统整体增益为:
总电压域噪声为:
考虑电容效应,并将电压转换成电子数表示,则暂态暗噪声为
增益变化可以通过改变K1和K2来实现,由上式可知,读出噪声与增益负相关。
3)建议表达方式:
标准阐述暂态暗噪声的原理和关联性,要求给出暂态暗噪声的最大值与最小值。
3.2 改进详例二:增加列暗信号不均匀性的计算
1)背景:
EMVA 1288标准中,有一项光电性能参数为暗信号不均匀性(DSNU),经常也称为固定图形噪声(FPN),主要描述了在无光照的情况下曝光时间为零时由于像素结构、offset以及增益的不同等因素所引起的像元之间的不均匀性。标准中规定:在排除时域噪声的情况下,通过计算像素间的方差,即可得到DSNU值。
根据计算方式可知,EMVA 1288定义的这种暗信号不均匀性实际是指“像素间”的暗信号不均匀性(pixels DSNU,pDSNU)。但是实际上还有一类DSNU:列(或者行)暗信号不均匀性(columns DSNU, cDSNU)。cDSNU典型地普遍存在于CMOS以及科学级CMOS这种一列像素对应一个(或多个)放大器类型的图像传感器,表示列与列像元间的不均匀性。这种不均匀噪声的值在某些相机中相对较大,不可忽略,尤其在高增益以及弱光条件下,更为明显。
如图3所示,为一台科学级CMOS相机在相同曝光(10ms)和光照条件下(0.005 lux)拍摄的高增益图像,两张图像的区别是左图拍摄时开启了某种固定背景校准功能,而右图则是在未校准模式下所拍摄的。按照EMVA 1288,这两种模式下二者的pDSNU值分别是1.5e和1.75 e,数值相差并不明显。但图3右图中可以看出明显的列状噪声条纹,这主要就是由于cDSNU所产生的干扰。如果去计算这两种模式的cDSNU,则分别为0.6 e和3.2 e,差别就比较大,也很好地反映了图像的列不均匀质量问题。需要特别说明的是,如果是中低增益以及较强光照条件下,图像中也会引入列光响应不均匀性(cPRNU)噪声,具体本文不再予以详细说明。
图3 采用不同模式的科学级CMOS相机拍摄的微光成像图
因此,未区别DSNU的类型,均按照pDSNU的方式进行计算,这有可能会导致完全随机分布的不均匀性暗信号与列状有规律分布的不均匀性暗信号具有类似的DSNU值,但实际的图像效果可能差距很大。对列暗信号不均匀性应该再进行计算,以提供更为准确的噪声描述。
2)制定原则
根据其特性,修正后的pDSNU和cDSNU的计算方法可简述如下:
(1)无光照条件下,设置相机曝光时间为0,拍摄L张图像,L的数量应尽可能大;
(2)将L张图像进行叠加后再求平均,得到一张新的图像;
(3)对图像所有的像素点求平均:,式中M、N分别表示图像传感器横向、纵向像素的数目;
(4)对图像所有的像素点均减去平均值,得到关于不均匀暗信号的偏移量灰度值:
(5)对像元的每一列求其平均灰度值:
(6)每个像元与cDSNU有关的灰度值偏移量为:
(7)因此,cDSNU以及pDSNU的表达式分别为:
3)建议表达方式与意义性:
将DSNU分为两项表达:pDSNU为必测项,cDSNU主要针对于有列放大器从而导致列暗信号不均匀性的传感器类型,如下表所示:
3.3 其他光电参数类改进点
限于篇幅,不再详细举例说明。其他可能的科学级相机应用的光电参数类改进点,简述如下:
1) 增益列光响应不均匀性的计算:如上所述,有些CMOS相机由于读出结构的问题,会存在cDSNU以及列光响应不均匀性的噪声,后者在相机接收到较多光子数条件下,可能有显著影响,也应该加以考虑;
2)增加暗电流不均匀性(DCNU)的计算以及暗电流分布曲线:相同暗电流的不同相机,DCNU更小的,其图像看起来更平滑;而DCNU更大的,图像的热点以及粗糙程度会更为明显。因此,DCNU对图像的质量也是有较大影响;另外,暗电流分布曲线也是DCNU的一种体现;
3)增加暂态暗噪声的分布曲线:EVMA 1288标准当前给的是均方根值的方式,但是噪声分布曲线有助于判断相机的噪声分布形态、拖尾情况、噪声中值以及噪声峰值等;
4)增加暗电流随温度的分布曲线:EVMA 1288标准采用加倍温差的方式,并不能让用户精确了解到不同温度的暗电流;
5)图像残留:可以描述不同帧图像之间的干扰程度;
6)调制传递函数(MTF):MTF曲线可以表明相机的成像分辨能力。
4.功能类改进点
功能类项目重点描述相机所赋予用户的操作范畴以及所包含的图像处理功能等,主要由硬件与软件共同决定。
与光电性能类项目不同,功能类项目更趋向于一种定义性的范畴,只是告诉用户相机有什么功能等。当然,对于有些能够进行测试性的项目,也可以给出测试方法与表达方式。
关于功能类标准项目的推荐项目与定义,限于篇幅,简要举例如下:
功能类项目 | 定义 | 举例 |
1. 曝光控制 | 相机系统的曝光控制模式与曝光时间。 | 手动曝光;曝光时间:20 μs~2 min |
2. 制冷方式与控制 | 图像传感器制冷方式与像元界面的温度控制范围。 | 风冷;-20oC~30 oC |
3. 图像增强 | 对相机输出图像进行的改变图像效果或质量的图像处理操作。 | 2D降噪、3D降噪、锐化 |
4. 触发模式 | 相机触发方式与模式类别。 | 标准模式;连续模式 |
5. 接口 | 用于相机控制与数据传输的电气接口类型与用途。 | USB 3.0:用于相机控制、数据传输与供电 |
6. ...... | ...... | ...... |
表2 相机功能类表征项目。
5.基础特征类改进点
基础特征类项目主要特点是描述相机的表观结构或非功能类属性,是对光电性能类与功能类项目的补充。用户可通过该项目对相机的结构特性等进行了解。
举例项目如下:
基础特征类项目 | 定义 | 举例 |
1. 尺寸 | 描述相机的长、宽、高 | 90 mm×40 mm × 40 mm |
2. 质量 | 描述相机的质量 | 500 g |
3. 功耗 | 描述相机的能量消耗 | 4 W |
4. 认证 | 描述相机通过的认证 | CE、FCC |
5. ...... | ...... | ...... |
表3 相机基础特征类表征项目。
6.总结
本文简要总结了EVMA 1288标准的特点与不足之处,并阐述了中国机器视觉行业在相机的光电性能类、功能类以及基础特征类等方面对标准进行改进、完善的可行性以及改进的方向。受限于作者的学识和研究领域,本文在光电性能类方面主要是基于科学级相机的关注点来讨论的,并不能完全匹配所有的应用领域或者相机类型,欢迎提出讨论意见并拓展到更多类别的相机应用中。期待国内在CMVU的主导和行业厂商的推动下,未来能够建立中国机器视觉相机统一的标准。