3D成像技术问世已有几十年之久，但商用产品却在本世纪初才开始上市。起初，主要电影制作公司开始使用最新高清摄像机制作3D大片。自此以后，3D成像技术发展迅猛，横扫消费品市场与机器视觉行业。
　　第四次工业革命对时下的工艺监控与自动化水平提出了前所未有的要求，因此，3D视觉又有了一个新的发展驱动力。传统的2D视觉方法已无法满足复杂目标识别与尺寸标示应用的精确度与测距要求，无法搞定日渐成为趋势的人机联合工作等复杂交互状况。 
　　本文回顾了工业市场的3D成像技术，研究了为何飞行时间法（ToF）成了当下最具发展前景的方法，最后概述了飞行时间法（ToF）系统专用CMOS图像传感器的最新发展。
　　3D成像概述
　　获得3D成像主要有四种方法，包括：立体视觉法（Stereo Vision）、结构光3D成像（Structured light 3D imaging）、激光三角法（Laser triangulation）与飞行时间法。后三种方法属于自动成像系列，需要用到人造光源。
　　立体视觉法
　　立体视觉法需要安装两台摄像机来获取目标的不同视角（图1）。采用校准方法来调整摄像机与准确深度信息之间的像素信息，使之一致，这类似于我们大脑目测距离时的工作方式。而在一个系统内融入认知过程离不开大量的计算工作。
　　立体视觉方法中，标准化图像传感器的使用降低了成本。传感器越复杂，（例如，高性能传感器或全局快门设备），系统成本越高。其应用的距离范围受机械局限性的限制：应用过程需要一条物理基线，因此需要更大的尺寸模块。还需要精确的机械对准与重新校准。此外，此方法不适用于光线条件差或光线条件变化不定的情况，很大程度上取决于目标的反光特性。

　　结构光法
　　在结构光方法中，预先确定的光图案被投射于目标上，然后通过分析图案如何失真变形来获得深度信息。帧像周期并无概念上的限制，没有任何动作模糊不清，对于多路径接口非常适用。然而，自动照明要求配置复杂的摄像头，同时，镜头与图案投影仪之间需要提供精确、稳定的机械校准功能。此外，这种方法存在着标定校准降级的风险，反射的图案对环境中的光干涉非常敏感，并且仅限于室内应用。

　　激光三角法
　　激光三角法是对一条光束的几何偏移量进行测量，其数值与目标高度相关。这是一种基于目标扫描的单维成像方法。激光点出现于摄像头视野范围内的不同位置，具体取决于激光打在目标表面的距离范围。由于激光点、摄像头与激光发射器形成了一个三角形，因此这种方法被称为三角法。
　　位移与位置监控应用要求高准确度、高稳定性以及低温度变化，因此，一般采用高分辨度激光。激光三角法的缺点在于这种方法只能覆盖到一段较小的距离范围，易受环境光线影响，并且仅限制于扫描应用。同时，它需要用到复杂算法与校准，而且受到结构性或复杂表面的影响。

　　飞行时间法
　　此方法体现了摄像头与目标之间通过光子双向飞行时间直接采集或计算距离的所有测量实施方法。可直接测量（D-ToF）或间接测量（I-ToF）。D-ToF（直接飞行时间法）的概念很简单明了，但需要配置复杂的、约束性时间分辨装置，而I-ToF（间接飞行时间法）操作更为简单：光源与图像传感器同步。光脉冲以与摄像头快门一致的相位发射。采用光脉冲去同步化作用计算光子飞行时间，因此可以推导出发射点与目标之间的距离。
　　这确保我们能够对每个像素的深度与振幅进行直接测量。图像称为深度图像。系统具有一个小高宽比，只需一次性校准，在环境光线条件下运行良好。不足之处在于需要主动照明同步，且有可能出现多路径干扰与距离混叠。

　　方法比较
　　每种方法都具有自身的优缺点，具体汇总见下表。
　　目前，3D系统的应用尚未普遍，主要采用3D立体视觉法、结构光摄像头或激光三角法系统。这些系统在固定的工作距离内运行，对于具体测距区域需要开展大量的校准工作。
　　飞行时间法系统则克服了这些方面的挑战，从应用角度提供了更大的灵活性。目前，由于像素的复杂性或耗电问题，大部分的商业解决方案仍采用视频图像阵列（VGA）或更低的图像分辨率。

　　飞行时间法CMOS传感器解决方案
　　飞行时间法良好的应用前景促使Teledyne e2v研发出第一个3D飞行时间法解决方案，具有真正的130万像素分辨率深度与1英寸光学尺寸。配置高敏感度、高动态范围的CMOS传感器。
　　飞行时间法可产生灰度图像，并能深度信息：
　　※ 先进的130万像素深度图像分辨率：全分辨率深度图像，准确度达±1cm、速度快。
　　※ 可获取快速移动的目标3D图像：速度高达120帧/秒，全分辨率30帧/秒深度图像，全局快门效率高。
　　※ 3D检测范围大：0.5-5m，具备90dB高动态范围。
　　※ 可见光与近红外光谱高敏感性传感器：850nm波长出量子效率大50%，高动态范围：夜间/日夜视觉。
　　※ 嵌入式3D处理：多感兴趣区域 （multi-ROI）——两个窗口，像素合并（binning），芯片直方图数据统计功能
　　已开发出演示系统平台，用于评估深度图像或点云格式输出的独有1.3MP深度分辨率。
　　如下图所示的飞行时间系统演示平台由一个紧凑型1英寸光学尺寸成像系统构成，配置有高灵敏度1.3MP传感器。平台内嵌有多次积分曝光模式（multi-integration, 门选通芯片gated sensor）、一个光源以及相关光学器件，共同完成1.3MP全分辨率飞行时间法成像。

　　采用飞行时间法的5T CMOS传感器主动成像
　　主动成像使用了一个同步光源。辅助自动对焦功能是主动成像的一种简单形式，可见于弱光条件下红外信号测距的现代摄像机中。主动成像可应用于恶劣天气条件（如雨天、雾天等）。而采用同样的传感器有可能实现两种主动成像方法：距离选通法与飞行时间法。
　　距离选通法结合了两种组件：脉冲光波波前装置与一台专业高速快门摄像头。首先将光线发射至目标，当反射光从反射表面返回时，摄像头高速电子快门适时地开启。距离选通成像可依据光与传感器的同步特性选择图像平面距离。因雨天、多雾或气溶胶颗粒弥散等环境条件目标与摄像头分离时，部分光子仍将设法穿过介质返回摄像头。这些光子被称为“弹道光子”。虽然这类光子数量较少，但可同步捕获这些光子，因此可透过散射介质成像。距离选通方法可远距离成像，几乎不受任何限制，但具体也取决于光源的强度。
　　飞行时间法工作原理不同于距离选通。前者可直接测量光线飞行时间，从而推导出反射面的距离。由于目标与摄像头之间距离短，因此，飞行时间法系统需要配置一个全局快门摄像头。与主动对焦成像不同，飞行时间法并不聚焦于具体的图像平面，因此，能够在兴趣深度内直接成像。
　　如下图所示，距离选通法图像成像是基于一个同步的摄像头光源系统。能够在从动或主动模式下运行，具体采用哪种模式取决于应用环境的状况。摄像头配置有快速率的全局快门，速度快达数百纳秒。光源根据T0时间点摄像头的触发情况发射光脉冲。一段时间后（T1），光脉冲到达相关距离，此距离范围内若有目标存在，则发生反射，如无目标存在，则不会发生反射。发生反射情况下，光线在T2内返回摄像头。在此情况下，T3 = T0 + 2 τ，其中τ是摄像头快门打开并最终捕捉到反射的信号的返程飞行时间。在一帧时间内，这种周期过程周而复始几千次，以最终累积到足够的信噪比输出信号图像。产生的图像为灰度图像，且仅产生出现在距离范围内的目标图像。为了产生一个深度图像，需在距离选通模式下扫描多个深度条而得到一组图像，或调整延时时间。然后根据这组图像计算各个点的距离。

　　如下图所示，描述了全局快门的像素结构，以及其产生短曝光以及信号同步的原理。在最简单的全局快门形式中，采用一个五个晶体管（5T）构成的像素以及一个专用相位驱动实现上述动作。因此，信号积分相位不是一次性完成的，而是随着同步多次积分而逐渐形成的。

　　Teledyne e2v专利技术基于5T像素结构与计时发生器，以实现Δt周期（Δt周期缩短至10纳秒左右）。这表明在瞬时分辨率方面已获得了巨大的提升。高敏感性/低噪音1.3MP CMOS图像传感器配置了这项功能，带有多瞬时积分模式（又称“累积”模式）。此外，还需图像传感器具有高寄生电荷灵敏度（Parasitic Light Sensitivity, PLS），也称为“消光比”，来避免摄像头选通“关闭”期间的杂散光线，进而获得清晰的图像。

　　BORA传感器——一种先进的1.3MP飞行时间传感器
　　为了推进飞行时间法的发展，Teledyne e2v针对短距离系统开发了一款新型BORA 1.3MP CMOS图像传感器。首先，其具有一个最佳多瞬时信号积分模式以及弱光响应性能佳的特点。BORA为电子全局快门芯片，能够保持现有飞行时间系统的准确度与帧速率控制性能。
　　BORA传感器将于2018年初上市，Teledyne e2v将提供全面的支持服务，帮助客户根据具体应用要求建立飞行时间系统。BORA传感器的竞争性优势请见下表。

　　总结
　　为了提高工业系统的有效性与自主性，视觉系统在视觉引导机器人与其他自主机器设备中的应用日渐增多，目前已开始采用3D视觉系统（目标识别、准确度）。几种3D方法都存在着自身的优势与局限，取决于具体的应用要求，其中，飞行时间法提供了非凡的3D视角，推动了新一代专用CMOS图像传感器的发展。