图像传感器推动嵌入式视觉技术发展

新的成像应用正在蓬勃发展，从工业4.0中的协作机器人，到无人机 消防或用于农业，再到生物特征面部识别，以及家庭中的护理点手  持医疗设备。这些新应用场景出现的一个关键因素是，嵌入式视觉  比以往任何时候都更普及。嵌入式视觉不是一个新概念；它只是定  义了一个系统，其中包括一个视觉设置，该设置在没有外部计算机  的情况下控制和处理数据。它已广泛应用于工业质量控制，为人熟悉的例子比如“智能相机”。

近年源于消费类市场经济适用硬件器件的开发，相较于以往使用电 脑的方案，这些器件大幅度减小了材料清单(BOM)成本和产品体  积。举个例子，小型系统集成商或OEM现在能够小批量采购诸如  NVIDIA Jetson的单板机或模块系统；而较大型的OEM则可以直接 获得如高通骁龙(Qualcomm Snapdragon)的图像信号处理器。 在软件级方面，市面软件库能够加快专用视觉系统的开发速度，减 小配置难度，即便是针对小批量生产。

第二个推动嵌入式视觉系统发展的变化是机器学习的出现，它使实 验室中的神经网络能够接受培训，然后直接上传到处理器中，以便 它能够自动识别特征，并实时做出决定。

能够提供适用于嵌入式视觉系统的解决方案，对于面向这些高增   长应用的成像企业来说至关重要。图像传感器由于能够直接影响嵌 入式视觉系统的效能和设计，因而在大规模引进中有重要角色，而  它的主要推动因素可概括为：更小尺寸、重量、功耗和成本，英语简 称为“SWaP-C”(decreasing Size, Weight, Power and Cost).

降低成本至关重要

嵌入式视觉新应用的加速推动器是满足市场需求的价格，而视觉系 统成本正是实现这要求的一个主要制肘。

· 节省光学成本

减小视觉模块成本的第一个途径是缩小产品尺寸， 原因有两个：首先是图像传感器的像素尺寸愈小，晶圆便可以制造更多的芯片；另一方面传感器可以使用更小更低成本的光学组件，二者都能够降 低固有成本。例如Teledyne e2v的 Emerald 5M传感器把像素尺寸减小至2.8 µm，让S口(M12) 镜头能够用于五百万像素全局快门传感器上，带来直接的成本节省──入门级的M12镜头的价格约 为10美元，而较大尺寸的C口或F口镜头成本是其10到20倍。所以减小尺寸是降低嵌入式视觉系统成本的有效方法。

对于图像传感器制造商来说，这种降低的光学成本对设计有另一个 影响，因为一般来说，光学成本越低，传感器的入射角越不理想。因此，低成本光学需要在像素上方设计特定的位移微透镜，这样它就 可以补偿扭曲，并聚焦来自广角的光线。

· 高成本效益的传感器接口

除了光学优化，传感器接口的选择也间接影响视觉系统的成本。MIPI CSI-2接口是实现节约成本的合适选择（它最初是由MIPI联盟为移动行业开发的）。它已被大多数ISP广泛采用，并已开始在工业市场采用，因为它提供了一个从NXP、NVIDIA、高通公 司、Rockchip、Intel以及其他公司的低成本的片上系统（SOC）或 模块上系统（SOM）的轻便集成。设计一种具有MIPI CSI-2传感  器接口的CMOS图像传感器，无需任何转接桥，直接将图像传感器 的数据传输到嵌入式系统的主机SOC或SOM，从而节省了成本和 PCB空间，当然，在基于多传感器的嵌入式系统（如360度全景系统）中，这一优势更为突出。

不过这些好处受到一些限制。目前在机器视觉行业中广泛使用的MIPI CSI-2 D-PHY标准依赖于高成本效益的扁平排线，其缺点是连接距离限制为20厘米，这在传感器离主处理器较远的远程云台设置中可能不是最佳选择，在交通监控或环视应用中经常是这样的。延长连接距离的解决方案之一，是在MIPI传感器板和主机处理器之间放置额外的中继器板，但这是以牺牲小型化为代价的。还有其他解决方案，不是来自移动行业，而是来自汽车行业：即所谓的FPD-Link III和MIPI CSI-2 A-PHY标准支持同轴或差分对线，允许连接距离达15米。

· 降低开发成本

在投资新产品时，不断上升的开发成本往往是一个挑战；它可能会在一次性投入成本(NRE)上花费数百万美元，并给上市时间带来压力。对于嵌入式视觉，这种压力变得更大，因为模块化（即产品能  否切换使用多种图像传感器）是集成商的重要考虑。幸运的是，一次性开发成本是可以控制的，具体方法是在传感器之间提供一定程度的交叉兼容性，例如，通过定义合并/共享相同的像素结构以获得稳定的光电性能，通过相同的光学中心来共享单个前端结构，以及兼容的PCB组件 (方法是尺寸兼容或针脚兼容)，从而加快评估、集成和供应链，如图1所示。

图1 图像传感器平台可经设计提供针脚兼容(图左)或尺寸兼容(图 右)以实现专有PCB布局设计

如今，随着所谓的模块和板级解决方案的广泛发布，嵌入式视觉系 统的开发速度更快，价格也更实惠。这些一站式产品通常包括一个 可随时集成的传感器板，它有时还包括一个预处理芯片、一个机械正面和/或一个镜头接口。这些解决方案通过高度优化的尺寸和标  准化的连接器为应用带来好处，使其能够直接连接到现成的处理板，如NVIDIA Jetson或NXP i.MX ones，而不需要设计或制造中间的转接板。

通过消除PCB设计和制造的需要，这些模块或板级 解决方案不仅简化并加快了硬件开发，而且还大大缩短了软件开发时间，因为它们大部分时间都是与Video4Linux驱动程序一起提供的。因此，原始设备制造商和视觉系统制造商可以跳过使图像传感 器与主处理器通信的数周开发时间，从而专注于其与众不同的软件 和整体系统设计。光学模组，如Teledyne e2v提供的模组，通过将 镜头集成在模组内，提供从光学到驱动器直至传感器板的完整封  装，并省去与镜头组装和测试相关的任务，进一步推动了一站式方  案方面的发展。

图2 新模组（右侧）允许通过排线直接连接到现成的处理板 （左侧），而无需设计任何其他转接板

提高自主性能效

由于外接计算机妨碍了便携式应用，由微型电池供电的设备是受益于嵌入式视觉的明显的应用实例。为了降低系统的能耗，图像传感 器现在包含了多种功能，使系统设计者能够节省能耗。

从传感器的角度来看，有多种方法可以在不降低采集帧率的情况下 降低视觉系统的功耗。最简单的方法是通过尽可能长时间使用待机 或闲置模式，在系统层面最小化传感器本身的动态操作，从而降低  传感器本身的功耗。待机模式通过关闭仿真电路，把传感器的功耗 降低到工作模式的10%以下。而闲置模式则可把功耗减半，并且能  够让传感器在数微秒内重新启动获取图像。

另一个节能方法是采用更先进的光刻节点技术来设计传感器。技术 节点越小，切换晶体管所需的电压越低，这就降低了动态功耗，因  为功耗与电压平方成正比：P_dynamic∝C×V²。所以十年前使用180    nm技术生产的像素不单把晶体管缩小到110 nm，同时也把数字电 路的电压从1.8V降到1.2V。下一世代的传感器将使用65nm技术节 点，使得嵌入式视觉应用更节能。

最后一点是，通过选择合适的图像传感器，可以在某些条件下降低 LED灯的能耗。有一些系统必须使用主动照明，例如三维地图的生 成、动作停顿、或是单纯使用顺序脉冲指定波长来提高反差。在这  些情形下，减低图像传感器在低亮度环境下的噪声便能实现更低的 功耗。减小了传感器噪声，工程人员便可确定减小电流强度，还是  减小集成进嵌入式视觉系统的LED灯数目。在其他情况下，当图像  捕获和LED闪烁由外部事件触发时，选择适当的传感器读出结构可 以显著节省电能。当使用传统卷帘快门传感器时，帧全曝光时LED灯必需全开，而全局快门传感器则允许只在帧的某部份开动LED    灯。所以在使用像素内相关双采样(CDS)时，以全局快门传感器替 代卷帘快门传感器就可以节省照明成本，同时仍保持与显微镜中  使用的CCD传感器一样低的噪声。

片上功能为视觉系统的程序设计铺平了道路

嵌入式视觉的一些拓展概念，引导我们对图像传感器进行全面定  制，以3D堆叠的方式集成所有处理功能（芯片上的系统）以实现优 化性能和功耗。不过，开发这一类产品的成本十分高昂，能够达到  这一集成水平的全定制传感器从长远来说并非完全不可能，而现在 我们正处于一个过渡阶段，包含将某些功能直接嵌入到传感器，以 降低计算负载和加快处理时间。

例如在条形码阅读应用，Teledyne e2v公司已拥有专利技术，将包 含一个专有条形码识别算法的嵌入式功能加进传感器芯片，这算  法可以找出每一帧幅内的条形码位置，让图像信号处理器只需聚  焦于这些范围，提高数据处理效率

图3 Teledyne e2v SNAPPY五百万像素芯片自动识别条形码位置

另一个减少处理负载和优化“良好”数据的功能是Teledyne e2v 的专利快速曝光模式，该模式使传感器能够自动校正曝光时间，以避免照明条件变化时出现饱和。这项功能优化了处理时间，因为它适应了单帧中光照的波动，而且这种快速反应最大限度地减少了处理器需要处理的“坏”图像的数量。

这些功能通常是特定的，需要很好地理解客户的应用程序。只要对应用程序有足够的了解，就可以设计多种其他片上功能来优化嵌入 式视觉系统。

减小重量和尺寸以减少应用空间

嵌入式视觉系统的另一主要要求是能够配合狭小空间，或是重量 要小，以便于手持式设备延长产品的工作时间。这  就是现在大部份嵌入式视觉系统使用只有1MP到5MP的低分辨率小靶面传感器的原因。

减小像素芯片的尺寸只是减小图像传感器封装尺寸和重量的第一步。现在的65 nm工艺让我们能够把全局快门像素尺寸减小至2.5µm而不损光电性能。这种生产工艺使得诸如全高清全局快门CMOS 图像传感器能够配合移动端市场要求小于1/3英寸的规格。

减小传感器重量和占位面积的另一主要技术是缩小封装尺寸。晶圆级封装在过去数年在市场迅速成长，在移动设备、汽车和医疗应用中特 别明显。相较用工业市场常用的传统陶瓷 (CLGA) 封装，晶圆级扇出封装和芯片级封装能够实现更高密度连接，因而是嵌入式系统 图像传感器轻量化小型化的出色解决方案。就Teledyne e2v 的200万像素传感器而言，晶圆级封装与较小的像素尺寸相结合，仅在五年内就能缩小至四分之一。

图4 自2016年以来，随着封装技术改进和像素尺寸缩小，图像传 感器尺寸的典型演变

展望未来，我们预期新的技术能进一步实现，嵌入式视觉系统所需的更小传感器尺寸

三维堆栈是让半导体器件生产的创新技术，它的原理是在不同晶圆 上制造各种电路芯片，然后利用铜对铜连接和过硅穿孔(Through  Silicon Vias，简称TSV)技术进行堆栈和互联。三维堆栈因为是多 层重迭芯片，允许器件实现比传统传感器更小的封装尺寸。在三维  堆叠图像传感器中，读出和处理模块可以移动到像素阵列和行解码器 的下方。这样，传感器的占位尺寸因缩小的读出和处理模块而减小，并且可以在传感器中加入更多处理资源以减小图像信号处理器的 载荷。

图5 三维芯片堆叠技术能够使像素阵列、仿真和数字电路重叠， 甚至增加额外的特定应用处理层，同时减小传感器面积

不过，要让三维堆栈技术在图像传感器市场获得广泛应用，现在还 面对着一些挑战。首先这是一个新兴的技术，其次是它的成本较高，因为需要附加的工艺步骤，使得芯片成本比使用传统技术的芯 片高三倍以上。因此三维堆叠将主要是高性能或非常小封装尺寸的 嵌入式视觉系统的选择。

总结而言，嵌入式视觉系统可以归纳为一种“轻量”视觉技术，可以用于包括OEM、系统集成商和标准相机厂商等不同类型企业。“嵌入式 “是一个可用于不同应用的概括性描述，因而不能开 出列表说明它的特征。不过优化嵌入式视觉系统有几个适用法则，就是一般而言，市场推动力并非来自超级快的速度或超高的灵敏 度，而是尺寸、重量、功耗和成本。图像传感器是这些条件的主要推手，所以需要小心选择合适的图像传感器，以便于优化嵌入式视觉系统的总体性能。

合适的图像传感器能为嵌入式设计人员带来更多灵活性，不仅节省材料清单成本，还可减小照明和光学组件的占位面积。但比图像传感器更重要的是，成像模块形式的拿到即可快速应用的板级解决方案的出现，为进一步优化尺寸、重量、功耗和成本铺平了道路，并通过来自消费市场的成本可接受的经过深度学习优化的图像信号处理器，大幅降低开发成本和时间，而不增加额外的复杂性。