一、背景

随着半导体和制造业领域飞速发展，对于工业相机智能检测、定位、测量、识别等核心工业环节应用越发重视。针对市场多样性定制需求，以及多复杂性应用场景，要求产品具备多功能，工业相机核心处理平台FPGA需要高性能平台。基于即要求高性能图像处理FPGA平台可集成行业内应用功能，又需要保持工业相机较低功耗，功耗降低30%以上，保障输出图像高清和稳定。通过选择高性能工业相机FPAG核心芯片，定义产品四面锁附结构以适应多面固定复杂场景，以及设计规划AA六轴调节，解决sensor平整度行业难点，可保障图像OC中心偏移误差在15像素内，可成功应用于精密半导体行业晶圆贴合定位高精度应用，并获得封装头部企业新益昌、凯格等固晶机客户高度认可。集成降噪、锐化、FFC、Enhanced Binning、CCM、Sequencer、超级调色盘、对比度以及多功能插值等ISP算法全功能基线。可极大的适应市场多样的功能需求。

二、自适应图像噪声抑制技术

图2.1 相机图像处理流程示意图

工业相机电源电路中自身固定模式噪声（FPN）、光响应非均匀性（PRNU）噪声等模式噪声和光电探测器的散粒噪声，像素复位晶体管、源极跟随器、行选通晶体管的热、散粒、1/f噪声和列放大器的热等随图像帧变化而变化的随机噪声。

华睿科技针对相关噪声干扰源，从源头上电路结构和单元设计，减少或者消除噪声，电路单元设计功耗降低30%以上，电路结构根源上抑制图像随机噪声和模式噪声。采用自适应滤波降噪算法，在高性能FPGA平台，脉冲噪声、椒盐噪声、伽马噪声、指数噪声和混合噪声等采用空间域帧内中值/均值滤波降噪、空间域帧间运动自适应降噪进行自适应选择滤波器，可有效抑制图像噪声，保障图像边缘轮廓质量。

通过自适应白平衡、坏点校正、色彩插值补充、CCM色调校正、超级调色盘色彩空间转换，多功能插值边缘锐化去锯齿和错误色彩抑制去伪彩等，形成最佳系统化解决图像噪声干扰行业难题。

2.1多功能矩阵插值技术

面阵相机成像后，彩色图像由于Bayer插值算法和白平衡校正后往往会导致图像边缘锯齿现象，华睿科技采用多功能矩阵插值算法，通过该插值算法在已成像识别的图像边缘分量值，进行R、G、B彩色图像分量共同分解出样本梯度值，图像分量计算首先需要进行彩色图像绿色分量G插值，再恢复红色分量R和蓝色分量B，详细计算如下：

绿色分量G矩阵

在只包含R分量的滤波阵列处，在RGGB阵列中计算R₂₂,水平梯度ΔH和垂直方向ΔV梯度为

                式2.1

G₂₂的结果分为三类：当ΔH＜ΔV时：

                      式2.2

ΔH=ΔV当时：

                      式2.3

ΔH＞ΔV当时：

               式2.4

在彩色图像阵列中G分量计算后，再根据G分量现有像素分别计算R分量和B分量

其中R分量的值分为：

在RGGB彩色图像阵列中G₂₁处插值，其相邻的R分量计算：

                    式2.5

在RGGB彩色图像阵列中G₃₂处插值，其相邻的R分量计算：

                    式2.6

在RGGB彩色图像阵列中B₃₃处插值，其相邻的R分量分别在对角线方向，两个斜线计算：

             式2.7

当ΔEN＜ΔWN时

                    式2.8

当ΔEN=ΔWN时

            式2.9

当ΔEN＞ΔWN时

               式2.10

该自适应插值算法，可更加精准定位图像边缘，有利于降低图像边缘锯齿模糊性以及色彩失真伪彩现象，图像过渡带效果插值后较均匀。自适应插值算法搭载高性能FPGA平台上，有效节省处理资源，提升图像质量。

PseudoColor＝0　　　　　　　　　 PseudoColor＝10

图2.2 多功能插值处理

2.2自适应白平衡技术

针对复杂的环境条件不能采用独立算法还原真实白色色彩，在过亮或者过暗的环境下，图像全局白平衡算法效果难以满足真是色彩还原，而局部白平衡所采集图像计算的相关图像数值又不真实，所以需要首先考虑环境色温影响，再根据现场环境实际色温特征值通过查找表计算实际R和B校正因子增益，最后再进行色温校正，调整通道增益，实现实际白平衡白色色彩还原。

华睿科技选择2700K、3000K、4000K、4150K、6500K图像色温值，进行白平衡色温估计。色温定义图像平均色差，当R、G、B色彩分量相等时，其色差为：0，表现为白色：1；我司采用色彩模型进行计算实际色差值。

            式2.11

其中Y值表示图像灰度值，即图像实际亮度C_r、C_b表示红色和蓝色分量，即图像色差值。

增益计算通过图像色温估计色差，计算出的R和B的通过增益，作为色温校正因子。再通过迭代法根据C_r、C_b的关联，不断迭代调整其关联系数，最终得到白平衡最真实效果。相对查找表，需要提前记录不同色温对应的通道增益，相对容量有限，具备处理速度快的优势。

最后进行蓝色B和红色R通道分量各自关联通道增益，达到调节R、G、B色彩比例的目的，从而实现色温校正，还原白平衡真是白色色彩图像。

2.3低功耗设计

众所周知，工业相机主要来源于FPGA芯片，它所承载功能越多，资源占比越高，功耗相对越高。随着智能制造和生产工艺不断迭代发展，FPGA核心器件功耗来源主要分为静态功耗和静态功耗。近年来，随着大量成熟技术的应用相应动态功耗进行不断优化，相关晶体管内电容性节点在充电过程产生的功耗。由静态随机储存器（SRAM）单元，相对占用较多空间资源，资源占用较多使得布线长度连线增加，相对程度增加了电容性负载；以及相关逻辑单元、时钟单元、可编程布线等模块功耗问题，已被逐步优化解决。然而静态功耗是相对较广泛布局的晶体管电流泄露导致的功耗，以及SRAM存储单元、查找表模块、多路选择器布线资源占用都是静态功耗的主要因素。如何降低SRAM单元数量以及布线资源中尽可能少多路选择器，是解决FPGA器件整体功耗的关键

华睿科技采用低功耗集成电路工艺FPGA平台，一方面承载行业各项功能，另一方面尽量约束资源占用面积，从而达到降低功耗的目的。如何实现有限的资源即承载各项功能又降低资源占用比，重构低功耗设计技术至关重要。重构技术需要控制尽可能少的逻辑驱动，实现逻辑模块动态变换。该技术可在有限的资源尽可能承载较大规模的功能逻辑单元，提高了FPGA配置的加速装置的效率，尽可能充分利用了软硬件资源的利用率。

静态功耗降低华睿科技采用相对工艺制程较小的芯片选型，核心实现电源电路门控技术，解决了工业相机在待机状态或者静止状态，电路电流不断通过导致系统功率不间断流失。在休眠晶体管被安装在电源和电路通路之间后，启动门控程序，通过不同的脉冲信号来控制门控模块，最终达到不同电路模式电源切换中断模式，极大的降低了静态功耗。在FPGA有限的资源内配置多路选择器，可有效的配置逻辑模块，又有效的控制相当一部分晶体管模块隔处于隔离休息状态，从而降低了泄露电流导致的功率流失，进一步降低FPGA平台静态功耗。

三、AA主动校准技术

主动对准(AA)华睿采用图像传感器PCB偏置调整方法。通过分析周围曲线的相位差,可以计算出透镜与传感器之间的相对倾斜度。然后将计算结果反馈给处理器,处理器通过一系列计算提供调整命令,完成AA进程的调整。

图3.1 AA调节（a）                                       图3.2 AA调节（b）

在工业相机中，AA主动校准通过Sensor板平整度稳定装置来保持相机的采集稳定，以确保获取清晰、准确的图像。首先进行俯仰角（Pitch）Y轴上下方向、偏航轴（Yaw）X轴上下方向、Z轴上下平移方向、X轴平移、Y轴平移和翻转轴（Roll）中心旋转进行Sensor平整度调节，以满足特定的采集定位精度要求，从而保障OC中心偏移误差，是指在光学系统中光轴与物轴（物体主轴）不共线或不重合的情况，从而导致光线中心偏离物理中心的误差；再进行相机后焦调节，确保图像清晰度和质量。

四、应用领域

随着半导体行业蓬勃发展，机器视觉应用越来越成熟。通过工业相机视觉定位技术在半导体封装工序激光划片晶圆高精度对齐定位，整套包含上片、对位、切割、下片过程。如何实现激光刀具与晶圆切割对齐和定位校准，需要工业相机成像质量更清晰，OC图像中心偏移误差保持在相当高的的范围之内。具备高精度、低功耗、低噪声的图像处理和AA调节工业相机必不可少，已在头部企业广泛应用。

其他高精密缺陷检测锂电行业、光伏行业、3C行业、汽车行业等AOI检测工序应用，对位精准，成像更清晰，图像质量更有保证。我们相信未来它在工业视觉必将开启智能检测新纪元。

（华睿科技 窦同伟）