任何一位驾驶员都知道，事故都可能在眨眼之间发生——因此，当涉及到自动驾驶车辆的摄像头系统时，处理时间至关重要。系统捕捉图像并将数据传送到微处理器进行图像处理所需的时间可能意味着避开障碍物或发生重大事故之间的区别。

在传感器图像处理中，由图像传感器本身而不是单独的微处理器从原始数据中提取重要特征，可以加快视觉处理。迄今为止，传感器内处理的演示仅限于新兴的研究材料，这些材料至少目前难以纳入商业系统。

现在，哈佛大学约翰·A·保尔森工程与应用科学学院（SEAS）的研究人员开发了第一款传感器内处理器，该处理器可以集成到商业硅成像传感器芯片中，即互补金属氧化物半导体（CMOS）图像传感器，几乎所有需要捕获视觉信息的商业设备都使用了该芯片，包括智能手机。

这项研究发表在《自然电子》杂志上。

“我们的工作可以利用主流半导体电子行业，快速将传感器计算应用到各种现实应用中，”SEAS的Gordon McKay电气工程和应用物理教授、该论文的高级作者Donhee Ham说。

哈姆和他的团队开发了一种硅光电二极管阵列。商用图像传感芯片也有一个硅光电二极管阵列来捕捉图像，但该团队的光电二极管是静电掺杂的，这意味着单个光电二极管或像素对入射光的灵敏度可以通过电压来调整。将多个电压可调光电二极管连接在一起的阵列可以执行许多图像处理管线中心的乘法和加法运算的模拟版本，一旦捕获图像，就提取相关视觉信息。

SEAS的博士后研究员、论文第一作者Houk Jang说：“这些动态光电二极管可以在捕获图像时同时对图像进行过滤，从而将视觉处理的第一阶段从微处理器转移到传感器本身。”

硅光电二极管阵列可以被编程到不同的图像滤波器中，以针对各种应用去除不必要的细节或噪声。例如，自动车辆中的成像系统可能需要高通滤波器来跟踪车道标记，而其他应用可能需要模糊滤波器来降低噪声。

“展望未来，我们预计这种基于硅的传感器内处理器不仅将用于机器视觉应用，还将用于生物启发应用，其中早期信息处理允许传感器和计算单元的共同定位，比如在大脑中，”SEAS的研究生、论文的第一作者之一亨利·辛顿（Henry Hinton）说。

接下来，该团队的目标是提高光电二极管的密度，并将其与硅集成电路集成。

“通过将商用硅图像传感器中的标准不可编程像素替换为此处开发的可编程像素，成像设备可以智能地剔除不需要的数据，从而可以在能量和带宽方面更有效地满足下一代传感应用的需求，”Houk Jang说。