日期
08/23
2023
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

杂谈光场相机的不足、优势、应用和展望(下)
收藏
2023-08-23 15:35:28来源: 中国机器视觉网

也正如前文指出的那样,光场相机因为它独特的成像特性,在某些To B端领域得到了落地应用,成为在某些特定场景中具有性能优势的一个技术解决方案。这里的“强”和前面的“弱”,实则为光场相机同一技术特性的阴阳两极。作为“阵列”型传感器中的一种,它在空间分辨率和角度分辨率中的折衷主义设计,决定了它性能“两头不靠”, 却又“多面能手”。

光场相机的定义虽然范畴很小,但是“芥子纳须弥”。这个概念上十分简洁的设备,即一块主透镜、一个微透镜阵列和一个感光芯片就构成了的光场相机,与很多其他技术相结合,诞生了诸多设备变种,被应用在不同场景需求中。可以认为它很简单,简单到从事计算机视觉的研究工作者,可以不用过多地去理会成像过程中的光学内涵和物理过程,仅凭借着傍轴近似条件下的几何光学,就可以开展应用性研究;但是也可以认为它很复杂,从几何光学到波动光学,从相干照明到部分相干照明, 即使是光学专业科班出身的科研工作者,对它的成像过程和性质,也难以建立一个完备的数学描述。

优势篇

光场相机的优点,一言以蔽之,它快速、它灵活、它多变。光场相机最多的应用场景,目前主要集中在3D成像领域,特别是深度估计、3D光强场的逆向重构两大方面。3D成像领域,有很多其他技术方案,多目视觉、激光点阵扫描、TOF飞行时间法、全息术、相位恢复、结构光…… 光场相机与这些方案对比,成像速度和信息解算速度快,同时保留了被探测物体的灰度值信息(波长、强度), 同时也记载了多视角信息(空间频率)。光场相机由于灵活的特点,也可以和这些方案中的一些技术进行组合, 衍生“混血儿”。它的独特之处,在于以下几个方面:

1.密集的多视角

由于光场相机中,视角数目,等于单个微透镜下的像素数目,而这一数字,目前达到了三位数的数量级,因此相较于传统多目相机阵列(抛开图1中斯坦福的极端烧钱案例,一般的多目系统相机都是个位数),光场相机在视角的密集程度(即视角分辨率)上,具有明显的优势。

微信图片_20230823153718.png

图1相机阵列和光场相机的结构对比(by Kurt Akeley,Light-Field Imaging Approaches Commercial Viability, 2015)

密集的视角,既为重聚焦、基于EPI的深度估计提供了技术上的可行性,成为这些后续技术的一个前期铺垫环节, 而且它本身,就有着独特的应用价值。

比如,在手机玻璃盖板的工业检测上,为了检测手机屏幕上的质量瑕疵,一种传统的解决方法,就是工人利用肉眼、一天八小时对着强光并反复从各个角度检查瑕疵。这种To C产品的检测需要尽可能地降低漏检率,提高成品率,参见毁掉三星手机诺大声名的其实只是百万块手机电池中的一块。瑕疵由于对光线的反射或者折射特性变得十分隐蔽,只有在特定视角下,才可以显现。如果利用传统二维相机进行扫描,视角移动设备复杂,也不具备时效性;利用人工肉眼检测,对工人的健康不人道。丰富的视角属性,为光场相机探测这些瑕疵赋予了快捷、准确的属性。

微信图片_20230823153718_1.png

图2 检验玻璃盖板缺陷流水线上的工人(央视纪录片“科学的力量” Episode 5)

2.结构的紧凑性

对比图1中,两种光场技术的系统尺寸大小,光场相机的结构紧凑性,不言而明。光场相机结构的紧凑性,带来两点收益:光场相机适合在空间光学观察窗口受限条件下对目标进行观测;光场相机容易与其他附加光路结合,构成另外一种应用方式。

微信图片_20230823153718_2.png

图3 光场相机应用于燃气轮机的内涵道激光粒子图像测速(来源于网络-小梅)

光学窗口受限的典型情况,就比如旋转机械中流场的观测,为了尽量降低光学窗口对机匣中气体流动的影响,以及降低结构强度,光学窗口一般数目都很少,大小有限。

后者的一个典型案例,就是光场相机在生物显微方向的应用,通过附加光路,不用太复杂的设备,即可完成成像系统的改造。

3.快速的宽视场体成像

这一特点,在光场相机的显微成像中被反复提起。由于光场相机仅需要单次拍摄,就可以记录光场信息,因此方便快速地完成对被观测物体的3D图像采集。在生物显微领域,光场相机的应用极大地降低了标本的活性时间要求。其他很多传统的3D成像技术,要求活体标本保持位置和姿态固定(想象下病人去扫描CT核磁共振的时候,一动不动,那带壳的长寿动物犹不能及),而光场相机速度快的优势,使得它甚至可以被用来检测运动状态下的被检测活体[1],比如游动的细菌、运动中的老鼠,这种场景在传统医学成像领域基本上是不可能出现的。

微信图片_20230823153719.png

图4 基于光场相机的三维成像显微镜 (Prevedel, Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy. 2014.)

4.“一鱼多吃”,光场信息的多种解读

光场相机由于是记录了光线的方向和坐标等四维信息,因此基于对光场的不同解读方式,可以形成对光场图像的不同利用方法。典型的解读方法有:

a.重聚焦,形成了一系列focal stack图片。这种解读,可以了解为被观测物体,在一个定焦透镜不同轴向位置处的图像变化。focal stack目前主要的应用,是被利用在深度估计上,也可以应用它进行对被观测物体的相位恢复。利用不同轴向位置处的图像锐度,可以判定被观测物的空间位置。和其他利用focal stack的技术相比,比如机械式的移动被观测物, 或者最新大火的液体快速变焦透镜(华为P50预告),光场相机获得focal stack是通过一次拍摄,后续处理得到的,更具备时效性,所拍即所得 (当然空间分辨率上,其他focal stack技术更好,时间换空间)。

微信图片_20230823153719_1.png


图5 光场相机利用重聚焦形成的focal stack (Takahashi,  From focal stack to tensor light-field display. 2018.)

b. 多视角图像,形成了密集分布的不同视角下的图片。 在此情形下,光场相机即可以退化为传统的多目视觉,因此主要用途依旧是深度估计,用来观测物体的形貌。但是由于光场相机的视角密度很高,因此一个更合理的利用方式,是利用多视角图像的EPI(epipolar plane image), 探测特定目标区域的EPI的斜率变化,从而得到深度信息。

微信图片_20230823153719_2.png

图6 光场相机多视角图像形成的EPI信息(Teixeira, Epipolar based light field key-location detector. 2017

c. 点扩散函数的利用。光场相机的点扩散函数PSF,会随着点光源在轴向的位置而发生改变。在空间域看,随着点光源离焦程度的加深,更多的微透镜被照亮,点光源仿佛散作满天星。在频率域看,不同空间频率分量上的频谱分布发生了改变。这种PSF随着空间位置发生变化的属性,与点扩散函数工程领域的方法,有着异曲同工之妙。在点扩散函数工程领域,PSF被人为调制,使得物点在不同空间位置上的像图案呈现不同规律,比如涡旋光束导致图案会根据沿光轴位置,旋转不同角度[2]。光场相机的PSF也呈现出不同特征、但思路相仿的特点,通过探测、校准PSF, 利用反卷积技术,可以利用图像重构物方三维空间中的光强分布。这一方法,在光场的显微三维成像领域中,受到了广泛的应用。

微信图片_20230823153719_3.png

 图7 光场显微中的PSF和反卷积应用(Broxton, Wave optics theory and 3-D deconvolution for the light field microscope. 2013)

d. 波前传感与相位探测。光场相机的前身,有另外一个名字,哈特曼-夏克传感器,这一仪器,主要被用于探测光波的波前和相位分布。这一传感器的工作原理的简要介绍,可以参见如下的中文链接。但凡波前探测的领域,都可以见到这一相机的应用场景,比如自适应光学中,探测大气湍流造成的波前畸变,消除像差从而提高天文观测的成像质量,光学仪器的瑕疵检测,激光光束的波前探测.于军于民,基于光场相机的波前探测也是一个小的研究热点。

 微信图片_20230823153719_4.png

 图8 光场相机被应用于波前探测(Chen, Ni, et al. 3D imaging based on depth measurement technologies. Sensors 18.11 (2018): 3711.)

上面,可以看到利用了上述优点,拓展光场相机应用领域的案例。在外观检测、被加工零件的形貌误差等方面,光场相机都有着独特的优势。

尽管光场相机的空间分辨率较低,但是这一问题,有望随着感光芯片的技术进步而解决。机器阅读并去理解图像,对空间分辨率的需求不一定需要很高,达到人审美需求的那种程度。

总的来说,光场相机具备结构简单的属性,使得它可以快速成像、并对光场数据进行快速解算。同时,由于对光场信息的存在不同解读方法,光场相机可以拓展到很多不同应用领域, 形成一个复杂和庞大的成像应用系列技术,这也就是为什么尽管光场相机已经在To C端偃旗息鼓,但仍然有新的火花,在知识森林中被点燃。

(文章来源于网络,如有侵权,请联系删文)