随着工业自动化和智能制造的不断推进，传统机器视觉系统正面临越来越大的挑战。新兴工业场景（如高速生产线检测、实时焊接控制和无人系统导航）对图像采集和处理提出了更高的实时性、灵活性、集成化和小型化等要求。

为满足这些需求，犀灵视觉推出了像素级感存算智能视觉传感器芯片——飞虹 及其集成平台——飞瞳智能相机系统。这些技术不仅显著提升了图像处理性能，还通过创新的架构重新定义了工业视觉系统在实时性和智能化上的可能性。

本文将深入探讨这一技术如何在激光焊接等实时视觉检测和闭环控制场景中展现其强大的性能和优势，并详细比较其与传统智能工业相机的差异。

背景与动机

激光焊接作为一种高效、精准的工业加工技术，在汽车制造、航空航天和消费电子等行业广泛应用。激光焊接凭借焊接速度快、焊缝深且窄、热影响区小等优势，广泛应用于高质量、高效率的工业生产场景。然而，实际应用中仍面临以下关键挑战：

·质量控制困难：焊接过程中，熔池和焊缝的形态可能会因材料特性、激光功率波动、环境条件等因素而发生变化，影响焊接质量。

·缺乏实时反馈与控制：传统焊接系统往往采用预设参数，无法实时响应材料或工艺条件的动态变化，导致焊接缺陷的发生。

·高动态性要求：焊接过程中的关键特征（如熔池形态、焊缝深度）变化迅速，需要毫秒级甚至微秒级的检测和反馈能力。

为了解决这些问题，闭环控制成为提升激光焊接质量的核心方向。在闭环控制中，通过实时监测焊接过程的关键参数，并将其作为反馈调整激光功率或其他工艺参数，可以显著提高焊接的稳定性和质量。而“完全穿透孔（Full Penetration Hole，FPH）”作为焊接深度的重要图像特征，为实现这种闭环控制提供了可靠的监测依据。

FPH 图像特征：激光焊接质量控制的核心技术

（1）FPH的定义与作用

FPH是激光焊接过程中形成的一个重要图像特征。当激光穿透焊件底部时，在焊接区域的下侧会出现一个光滑的孔洞，称为FPH。这一特征具有以下关键作用：

焊接深度的指示器：FPH的形成与焊接深度直接对应，通过实时监测 FPH的动态变化，可以精确评估焊接状态。

反馈控制依据：FPH是否出现，可以作为控制系统调整激光功率的直接反馈信号，实现动态调节和闭环控制。

（2）FPH的检测难点

高动态性：FPH的形成和关闭过程极为迅速，通常在毫秒级别，需要高帧率的视觉系统实时捕获其动态变化。

图像特征复杂性：FPH在热成像中通常表现为焊接区域中温度较低的冷点，但其形状、大小和亮度会受到焊接条件（如材料、功率）的影响，检测难度较大。

噪声干扰：焊接过程中存在高温熔池、蒸汽和光反射等多种干扰，增加了准确识别FPH的难度。

（3）解决方案：超高帧率FPH检测

为了应对上述难点，犀灵提出了一种超高帧率图像检测方案。该方案通过“飞瞳”系统中的“飞虹”像素级感存算智能视觉传感器芯片实现，具有以下技术特点：

高帧率实时处理：飞虹支持高达100kHz的帧率，能够精准捕捉FPH的快速动态变化。

图像处理流程：图像增强：对焊接区域的热图像进行对比度增强，突出FPH特征。二值化与形态学处理：通过全局/局部阈值化和形态学操作提取 FPH的边界。噪声过滤：移除伪影和噪声，只保留真实的FPH特征。实时输出：FPH的检测结果直接作为闭环控制信号，用于调整激光功率。

（4）FPH的实际意义

FPH的成功检测和闭环反馈，不仅显著提高了焊接过程的稳定性，还通过实时视觉反馈有效替代了传统的人工监测与离线检测，极大提升了生产效率与自动化水平。系统不仅适用于钢材焊接，也可成功应用于铝材等高反射率材料的焊接。

总之，通过飞虹与飞瞳系统，FPH检测方案突破了传统方法的性能瓶颈，实现了高精度、低延时的实时闭环控制，助力工业焊接质量全面提升。

传统智能工业相机的架构以及在类似应用场景中的痛点

传统的普通智能工业相机架构，通常包括图像传感器、数据传输接口和后端处理器（运行图像处理算法，如边缘检测、模式匹配）这几大部分。

在高动态实时应用中，这种传统智能相机架构存在以下显著问题：

高延迟：图像数据传输和后端处理的时间叠加，导致响应延迟。

带宽瓶颈：图像传感器和CPU之间的数据传输存在瓶颈，尤其在处理高分辨率图像、实时检测和大规模数据时，带宽成为性能的限制因素。

计算瓶颈：通用 CPU 对图像处理任务效率低，难以满足实时性要求。样样都做，样样低效。

功耗问题：CPU通常会长时间保持高负载，导致高功耗问题，尤其在工业环境下需要长时间稳定运行的场景中，功耗和散热成为瓶颈。

缺乏灵活性：在嵌入式场景中，后端处理能力有限，难以实时完成复杂任务。

尺寸大：高速相机尺寸庞大，在紧凑的工业生产线上使用有一定局限性。

飞虹、飞瞳的原理、功能和性能特点

飞虹是一种集图像采集、存储与并行计算于一体的智能视觉传感器芯片，其具备以下核心优势：

像素级并行计算架构：每个像素点都集成了计算单元，支持实时的并行计算。每个像素单元不仅负责图像采集，还能进行局部图像处理（如边缘检测、图像滤波、阈值处理等）。这种设计使得图像处理更加高效，避免了将大量数据传输到中央处理单元的延迟。

SIMD模式：SIMD（单指令多数据）模式指的是在同一时刻对多个数据执行相同的指令，特别适用于图像处理中的像素级并行计算，极大提高了处理速度。

低功耗设计：飞虹通过模拟计算电路降低了能耗，相比于传统数字计算，它在进行图像处理时能够保持更低的功耗。

高帧率支持：飞虹能够支持每秒数万帧的高速图像采集，适应高速动态场景中的实时检测和分析需求。

飞瞳系统是基于飞虹的智能视觉解决方案，主要包含飞虹传感器芯片、MCU（负责系统控制、任务调度以及复杂的图像分析任务）和集成式接口（支持与多种工业设备无缝连接）。

飞瞳系统能实现多层次处理，从传感器级别的特征提取到系统级别的决策支持；灵活的可编程设计，适应不同的应用需求；鲁棒性好，能在复杂环境下保持高稳定性和可靠性。

飞虹和飞瞳解决了传统架构的如下痛点：（1）带宽瓶颈：飞虹传感器通过像素级并行计算，减少了数据传输过程中的延迟，避免了传统架构中图像传感器和CPU之间的数据带宽瓶颈。（2）高效计算：并行架构消除了后端计算瓶颈。（3）实时响应：毫秒级甚至微秒级延迟，满足闭环控制需求。（4）紧凑的尺寸：飞瞳系统模块仅6cm×6cm×3cm，远远小于传统高速相机系统，满足诸多场景对尺寸的严苛要求。

图像处理算法

犀灵提出的FPH图像检测算法，是实现激光焊接闭环控制的核心技术，旨在从复杂的焊接热图像中实时提取FPH特征，并生成反馈信号以调整激光功率。以下是该算法的详细步骤和技术特点。

FPH检测算法基于高帧率热图像数据，结合飞虹片上嵌入式处理器阵列进行分层图像分析。具体流程如下：

(1) 图像预处理

目标：提高图像的对比度和清晰度，突出 FPH 的特征，抑制噪声。

方法：图像锐化：对原始灰度图像进行增强，通过加权叠加高频分量使图像边缘更清晰。动态范围调整：调整图像的灰度范围，增强焊接区域（尤其是 FPH）的可见性。

(2) 二值化处理

目标：将FPH从复杂背景中分离出来，形成一个二值化图像。

方法：全局阈值法：通过设定一个全局阈值，将温度较低的 FPH 区域标记为白色（1），其他区域标记为黑色（0）。自适应调整：根据焊接材料和环境条件动态调整阈值，确保对不同类型焊接的适应性。

(3) 形态学操作

目标：连接断裂的边界，移除小伪影，优化FPH的二值化形状。

方法：膨胀操作：扩展白色区域，使FPH的边缘更加连贯。腐蚀操作：移除边缘噪声，避免伪影被误识别为FPH。闭合操作：填补FPH内部的小孔洞，确保检测结果完整。

(4) 噪声过滤

目标：消除由焊接过程中的光学反射、热扰动等引入的噪声。

方法：面积过滤：去除小于某一面积阈值的伪影。圆形掩模：通过对检测区域应用预定义的圆形掩模，确保只保留符合FPH形状特征的区域。动态跟踪：跟随激光焊接头位置移动掩模，确保焦点始终集中在焊接区域。

(5) 特征提取与分类

目标：最终确认检测到的区域是否为FPH，并生成反馈信号。

方法：面积计算：计算检测到的区域面积，如果面积超过阈值，则判定为FPH。逻辑判断：结合多帧检测结果，通过逻辑判断（如像素计数、形状特征等）提高检测的鲁棒性。

(6) 输出反馈信号

目标：将检测结果转换为闭环控制的反馈信号，用于实时调整激光功率。

方法：如果检测到FPH，则输出“1”信号，减少激光功率；否则输出“0”信号，增加激光功率。

基于上述处理流程，FPH检测算法展现了以下性能特点：

（1）高速实时性：算法能以>10kHz的帧率完成FPH的检测和处理；结合飞瞳系统的MCU，整体延迟仅为微秒级，满足激光焊接的高动态实时需求。

（2）高检测精度：通过全向算法的形态学操作和噪声过滤，有效减少了由焊接环境干扰引起的误报；针对铝材和钢材的测试结果表明，FPH检测准确率超过 90%。

（3）适应性与鲁棒性：自适应阈值和动态掩模跟踪技术使算法能适应不同材料（如铝材、钢材）的焊接条件；面对焊接速度、材料厚度和激光功率的变化，检测结果保持稳定。

FPH检测算法是一种集成了多种先进图像处理技术的解决方案，专为实时激光焊接闭环控制优化，所有运算都在飞虹传感器芯片上实现，其核心能力离不开飞虹特有的技术架构。

应用优势

基于飞虹像素并行处理阵列传感器和飞瞳智能视觉系统的闭环控制技术，为激光焊接等工业应用场景提供了强大的技术支持，展现了革命性的改进。

首先，在实时性与高帧率处理能力方面，飞虹传感器通过嵌入式像素级并行计算，支持高达>10kHz的帧率。激光焊接过程中，FPH的形成和变化通常发生在毫秒级别，传统架构由于数据传输和后端处理延迟，无法捕捉这种快速动态；而飞虹能在微秒级内完成图像采集、处理和反馈，满足了闭环控制的高实时性需求。另外，即使在高速焊接（如焊接速度> 5m/min）的条件下，系统仍能稳定追踪FPH的动态变化，确保焊接质量。

其次，在高精度与稳定性方面，通过结合飞虹的图像处理算法和飞瞳系统的闭环控制逻辑，实现了高精度激光功率调节。这使得闭环系统能动态调整激光功率，确保焊缝深度一致性，深度误差可控。面对材料表面氧化或环境光干扰，FPH检测算法通过形态学处理和噪声过滤，有效减少了误报率和漏报率。实验表明，闭环系统焊接的熔池形态和焊缝质量显著优于传统开环控制。

最后，在动态适应能力方面，飞虹和飞瞳系统能够快速适应焊接条件的动态变化，例如焊接速度、材料厚度和表面特性的变化。在焊接速度变化的情况下，系统通过实时反馈调整激光功率，确保焊缝深度不受影响。对于不同厚度的材料，系统响应延迟低于100ms，能够快速调整至新稳态，避免因功率不足或过剩导致焊接缺陷。铝材和钢材等多种材料的实验表明，系统对不同材料的光学特性有良好的适应性，尤其在铝材表面氧化导致光反射干扰的场景下表现优异。

系统内置算子与功能模块

飞瞳提供了丰富的内置算子，包括：

图像感应：线性和宽动态模式；存储功能：最高7幅灰度图、13幅二值化图；算数功能：灰度图像加法、减法和除法；滤波功能：具有可编程带宽频率的低通、高通、带通和阻带空间滤波器；卷积功能：灰度图像卷积；移动功能：灰度图到二值化图转换，二值化图到灰度图转换；阈值操作：支持全局或局部操作；二值化运算：组合和顺序执行；坐标功能：主动像素检测、基于ROI的处理；复杂功能：空间滤波操作、形态学操作、统计操作、Blob分析、特征提取等。

易用性与API支持

犀灵为开发人员提供了一个简洁、易用的API接口，旨在帮助工程师快速集成和开发图像处理应用。无论是基础图像处理任务，还是复杂的图像分析和AI推理任务，都可以通过API接口高效完成。

（1）便捷的接口文档

为确保开发人员能够高效上手，系统提供了详细的接口文档，包括函数描述、示例代码、常见问题解答等。开发者可以快速参考文档，进行开发和调试。

（2）多种编程语言支持

支持C/C++和Python等主流编程语言，开发者可以选择最适合的语言进行开发。

（3）直观的调试工具

提供了图像调试工具，可以实时查看图像处理结果，帮助开发人员验证算法效果，并进行调试和优化。

系统的模块化扩展与未来升级

（1）数字协处理器模块的扩展

尽管系统的架构没有集成数字协处理器模块，犀灵计划在后续的产品中，片上集成数字协处理器模块进行扩展，以满足更复杂的图像处理需求。协处理器专门用于高效的几何变换和矩运算，能够加速图像的几何分析，适用于实时性要求更高的应用。

几何变换加速：通过协处理器的硬件加速，可以实现更复杂的仿射变换、投影变换等，大幅提升图像变换速度，适用于动态视频处理等实时应用。

矩运算加速：协处理器模块专用于矩运算的硬件加速，如一阶矩和二阶矩的计算，适用于目标定位、形状分析等任务。

（2）集成NPU的能力

犀灵还计划片上集成NPU，以加速深度学习推理任务，尤其是在目标检测、图像分类、图像分割等计算密集型应用中。

深度学习推理：使用外部NPU进行卷积神经网络（CNN）的加速，使得深度学习推理能够在实时场景中高效执行。通过硬件加速，NPU能够减少计算延迟，提高推理速度，支持更复杂的视觉任务。

AI应用扩展：外部NPU可以帮助系统完成更多AI应用，如自动化质量检测、缺陷识别等，提升系统的智能化水平。

总结

犀灵的智能视觉系统以“异构集成”为核心设计理念，将飞虹传感器、MCU、数字协处理器及NPU高度融合，构建了从感知、计算、决策到控制的完整闭环架构。