摘要：液体透镜是由特定的外部控制驱动的可调焦元件，重复精度高。如果对焦距离在足够大的范围内变化，则每一个物体都会被图像传感器清晰地捕捉到一次。利用这些条件和已知的液体透镜的光学特性，可以创建周围环境的全景对焦图像，也称为拓展景深（EDoF）的图像。此外，仅使用一台相机或一个图像传感器就可以创建整个视野的3D描绘（更准确地说是2.5D）。

在本文中介绍了一种使用Corning® Varioptic® Lenses来演示以上描述的原理的技术路径和实现方法。所需的图像和视频处理其中包含了算法内核由嵌入式系统NVIDIA Jetson Nano中的GPU来实现。另外，还给出了图像处理速率、空间分辨率和3D表达采集时间等性能数据。

关键词：液体透镜；拓展景深；EDoF；全景对焦；3D重建；3D模型；图像处理；GPU；SoC

1. 液体透镜介绍

受到人眼的功能的启发，液体透镜为制造商和OEM厂商提供了比机械方案更快的速度和更高的可靠性。人眼能够以难以想象的高速调节对周围环境的对焦。同样，康宁的液体透镜模拟了眼睛的流体特性和适应性，对变化的环境形成快速响应。这一过程是通过一项被称为电润湿的技术来实现的，该技术使用电信号来操纵液体溶液，使之成为切实可用的透镜。

传统的机械式解决方案在连续并可靠地提供清晰图像方面的能力受到限制。Corning® Varioptic® Lenses（图1）为复杂的光学挑战提供了创新的解决方案。Varioptic液体透镜可在无移动部件的情况下实现快速对焦和微距对焦。传统的相机需要移动部件，这些部件可能会在设备的使用期间开始磨损并出现故障。相比之下，液体透镜无需使用机械移动部件即可运行，从而免除了通常跟视觉系统有关的许多维护工作。

2. 3D成像的方法

在过去十年中，人们对于3D信息的捕捉、处理和成像的兴趣日益增长。这类成像模态的应用范围很广，从信息技术到生命科学，近期甚至应用到娱乐行业中。3D信息是指由成像系统捕捉到并添加到标准2D图像中的额外的深度线索。已经有很多种技术开发出使用专门的软件和／或硬件来估计深度。最常见的技术有：

立体视觉：其原理是使用多个图像的采集或双目系统在不同视角下捕捉3D场景来估计物体的深度。 

ToF或相移：通过分析由专用传感器发送并接收的激光脉冲或调制信号，根据接收到的光信号的反射来确定物体的深度。

结构光：结构化图案被投影到场景中的不同深度的物体并变形，从而可以用单目系统进行3D重建。

用对焦／离焦获得深度：使用可调焦系统的图像处理和对比度分析提供物体的深度信息。 

最后一种通过对焦／离焦来获得深度信息的技术得益于单目系统的简单硬件（仅需要一台相机），无需特定的光源或外部传感器，依靠成像光学系统的可调焦特性。液体透镜在这里发挥着关键作用。根据施加到透镜电极上的不同电压，液体透镜的工作原理使得它的光焦会发生变化。将液体透镜集成到成像设备中，比如相机模组，并结合一些图像处理（对比度分析）就能创建一个光学系统，具有使用对焦模式获得深度信息来执行3D重建的能力。

3. 对焦／离焦获得深度

背后的理论

当施加到液体透镜上的电压发生变化时，透镜的光焦会改变。在光焦扫描的过程中，成像系统看到的物体逐渐由虚焦到对焦再到虚焦。物体呈现清晰图像的区域称为景深。几何光学的定律将焦距和物距联系在了一起，通过将系统的光焦和物体的清晰度相匹配，我们就可以确定清晰物体的深度（图2）：

m是物体到物方焦点的距离， m’是像到像方焦点的距离， f’是光学系统的焦距。

景深以及确定物体深度的精度取决于系统的光学特性。任何真实的光学系统受其光学元件的尺寸的限制，通光孔径的尺寸都是有限的。空间分辨率也受限于传感器像素的尺寸，小于该尺寸的就难以分辨出焦点了。因此只要图像点的尺寸仍然小于像素尺寸，就会有数点的范围呈现清晰对焦。这一范围定义了景深，如图2所示。

4. 确定清晰度和深度信息

当传感器的图像信息包括它的宽度、高度、和逐像素颜色在像素阵列的记录中可供使用时，考虑到一定的邻域，有多种可能性来提取每个像素的清晰度信息。一种常见的实现方法是在像素颜色值转换成灰度后应用著名的拉普拉斯滤波器。图3显示了当液体透镜的电压从47V到27.3V扫描时相机图像中的一个特定像素的拉普拉斯滤波结果的绝对值行为。该结果可以用作清晰度的测量。我们可以估计在38V时清晰度达到了最大。当选择的电压步长足够小的时候清晰度就可以在最大值附近形成一个分布。分布的宽度可能因系统的光学参数和用于分析清晰度的算法而异。每种组合都会导致其特定的清晰度探测效率。能够跟探测效率相同方式行为的典型的指标有峰值清晰度幅度和模糊区域（背景）清晰度的比值，或用作测量清晰度探测分辨率的峰值宽度。总体的清晰度探测效率将决定3D点云的深度信息的精度和噪音。

当图像中的每个像素上透镜的电压和最佳清晰度的匹配都确定时，就可以将原始相机图像的对应像素颜色合成到EDoF图像中了。并且，在顾及以下状况的条件下每个像素都可以转变为3D空间上的一个点：

1. 在图像传感器上显示清晰（锐度面）的正确深度会随方位角Q和仰角F在光轴周围变化。在这种情况下，锐度面不再是球面。

2. 根据所选的液体透镜的类型和施加的电压，该锐度面可以是延光轴的平面、凹面、或凸面。

3. 第一点中提到的关系不需要以光轴对称。

4. 图像传感器和光轴无法居中对齐，这会导致第一点中提到的关系的偏移。

5. 在3D空间每个点的x和y坐标也取决于确定的深度（z坐标）信息。

图4说明了上述的原理。蓝色线表示图像传感器的偏移，也就是对于光轴的横向位移。锐度面（3）为在连续施加的透镜电压下在z方向上的凹面变形。

5. GPU实现

我们开发了一套算法，该算法使用液体透镜的电压扫描一个给定的范围，获取所有的信息，并在扫描完成后生产新的EDoF图像和3D点云。

图5说明了算法的流程图。一个关键点是对于相应透镜电压的图像采集同步化。两者的同步化偏差可能影响整体空间分辨率，尤其是当运行未能按所需的次数来执行。此外，需要指出的是在图5中为了将所有像素电压转换为3D云点的处理密集型运行只在完成电压扫描的终点时执行。所以最耗时的处理部分在图5中用虚线边框的形状标示出来。

为了将整个工作原理装到一个紧凑的演示设置中，我们创建了一套开发工具包，使得图6中所示的算法能够在嵌入式系统中执行。它显示了开发工具包的硬件和接口的图式结构。作为基础，我们使用了C-S-25H0-075液体透镜模组，通过适当的后焦调节它可以在70mm到30mm的范围内对物体进行对焦。开发工具包还提供更大视野角的镜头，可以覆盖水平和垂直超过55°。作为图像传感器系统我们选择了具有高清图像分辨率（1280x720）和至少100帧每秒（FPS）图像采集速率的MIPI相机，以缩短电压的扫描时间。帧频越高，完成任意范围电压扫描的整体时间就越短。当电压扫描时间最小化时，生成的EDoF图像和3D点云的可实现帧频就会最大化。为了通过软件实现处理尽可能多的采集图像，我们决定采用GPU处理器来执行算法中的对于时间有严格要求的部分。一种合适的低成本嵌入式系统类型是NVIDIA Jetson Nano 模块化系统 (SoM) ，它包括一块载板作为开发工具包 。

在Jetson Nano SoM上，一个嵌入式的Linux系统正在运行，以Open GL ES图形提供相机图像、生成的EDoF图像和3D点云描绘。通过将屏幕、键盘、和鼠标连接到Jetson Nano的载板，就可以控制应用软件并与之交互。可以从任何角度观察重建的3D点云。以下的两张图显示了实际的CORNING XXX开发工具包的设置（图7）和嵌入式Linux桌面应用输出的屏幕截图（图8）。 

通过这一实现和Jetson Nano SoM作为处理单元，我们获得了高达44 FPS的图像处理速率。按使用的图像分辨率，这是高达每秒40.5 M像素的处理速率。这一处理量对于图6中的算法在透镜电压扫描时处理获取的图像具有重要性。每次完成电压扫描后，生成的图像（EDoF图像和3D点云）会立即显示在屏幕上，没有任何耗时的后处理。这意味着EDoF图像的最终帧频和3D点云的刷新频率取决于扫描的电压范围和使用的电压步长。在这里，对于标称3D点云分辨率低于1 mm的典型场景，一次完全的透镜电压扫描并完成整个3D重建需要8秒，即帧频或刷新频率为0.12 FPS。

6. 结论

由于液体透镜的可调焦特性，我们可以根据一组图像的清晰度分析来估算3D场景中的深度。图像采集和液体透镜电压控制的同步可以实现清晰的像素与物体距离匹配。使用适当的图像处理管线，可以重建场景的拓展景深以及可以在不同角度下查看的3D点云。

成像的可能性由光学相机模组及其参数（焦距、光圈、像素尺寸）决定，并且可适用于不同的应用场景。图像点云的精确性取决于采集参数，主要是电压步长和景深的宽窄度。在正常日光条件下精确性测试显示我们的方法可以实现标准偏差为0.25 mm的空间分辨率。

该3D成像方法的主要好处在于液体透镜可以简单地驱动。这些可调焦透镜的自动电压扫描使其成为用单目系统从离焦成像技术获得深度的最佳质量选项。 

1.CUDA by Example: An Introduction to General-Purpose GPU Programming by Jason Sanders, Edward Kandrot

2.DATA SHEET NVIDIA Jetson Nano System-on-Module

3.JETSON NANO DEVELOPER KIT User Guide

Corning Varioptic Dr. Xavier Berthelon

SciCaTec GmbH Dr. Markus Jäger

译 / 吴悦