2024年7月9日，领邦智能董事长崔忠伟博士应邀参加VisionChina2024（上海）机器视觉技术及工业应用研讨会，并发表《基于大模型的视觉检测平台》主题演讲，下文根据崔忠伟先生的主题演讲内容整理而成。

尊敬的各位企业家、专家、工程师，下午好！

值此炎热之季，本人期望为诸位呈上一场精彩的演讲。借由本次平台及Vision产业顶会，我们发布一款新产品，“基于大模型的视觉检测平台”。不仅局限于工业领域，亦非仅适用于质检范畴，于所有视觉检测领域，该大模型皆可通用，堪称当下泛化性最佳之大模型视觉检测平台。

基于大模型的视觉检测平台，众所周知，大模型除通用性外，还具有少样本的特性，有效解决了现有CNN小模型现场多样本的问题。鉴于工业样本收集难度颇大，接下来向诸位汇报的要点，即为少样本且泛化性甚佳的通用大模型，抑或说是视觉领域的基础大模型。其应用场景可分为三类：其一为传统的工业质检；其二是生产过程监控，即俗称的错漏反；其三则是关于环境或者安全的监控。

基于大模型的视觉检测平台适合以下客户：第一类为大甲方，诸如拥有众多生产线的全球大型集团企业；第二类为大乙方，即为各类甲方提供广泛生产线；第三类则是小而美的视觉系统集成商。我们主要服务于上述三类客户，此乃今日发布的产品定位。

以下为该产品的软硬件一体图示，诸位可见这是一个IPC，其中间会插入一个GPU卡，GPU卡为4090，将连接16路相机、32 路光源，还具备6轴控制以及12个执行开关量。这样的视觉检测平台配置，意味着用户只需链接相机与光源即可使用。

我们的这款产品不仅是单机设备，还能够交付到L2层、L3层，我们所谓的 L1、L2、L3 是依照ISA95的全球标准予以设计的，L2层Scada层，中文称作集中管控，意为针对众多台设备进行集中管控；L3层则是与客户的ERP系统相连接，或许会与客户的MES系统、QMS 系统相连，为客户提供生产的全闭环管理。

下面重点阐述L1层 (Level 1)：这是设备层，包括传感器、执行器和控制器等实际的设备和仪器。它们负责直接与物理世界交互，收集数据并执行命令。我们知晓，首先一个整机设备需要一个用户界面，接下来是两个下位机，其一为众人皆知的控制器，我们采用飞拍控制器取代了传统的PLC，于此我们摒弃了光源控制器。再者，视觉大模型亦可理解为一个下位机，其作用在于接收图片，并告知图片内容或进行分类。以下，我将分别对这三个层次进行讲解。

下面重点论及L1层的下位机__飞拍控制器，就硬件而言，方才已有所提及，其配置速度极快，为我司去年量产的产品，基于FPGA底层开发，速度可达20000pc/min。其还具备一个独特功能，即触发守护功能。众所周知，视觉设备运行速度极快，时常会多拍一帧或者丢一帧，这对我们而言是颠覆性的灾难。为此，我们在电路方面进行了出色的EMC保护。同时，我们需要明晰，针对这张照片，下达指令后，其究竟有无拍摄？此即所谓的触发守护功能，彻底解决多拍一帧或少拍一帧的问题。这是我们的第二个要点，即大模型。

此大模型于3月30日在工信部于重庆举办的大会上发布，其在1亿张以上的缺陷图片上进行训练，参数达13亿，速度高达164fps，图片尺度为 700×700，此速度是在4090的GPU上所测，亦可采用国产的GPU，如登临的GPU。其显著特点为少样本的现场设定，少至何种程度？每类缺陷仅需1～5张样本，通常现场大概需20多张样本即可完成。

我们深知，过往视觉设备的交付周期均在一个月以上，而我们现今的新技术交付周期仅为 几天，堪称神速，视觉技术首次发生革命性的变化，极大缩短了现场交付时间，且不依赖于现场大量样本。其次，其具备跨领域的泛化能力，后续将通过众多案例为诸位展示其跨领域的迁移能力以及少样本的迁移能力。下面请观看相关视频，了解少样本跨领域泛化能力。

我们从德国的一个公开数据集中拣选了铁丝网和瓷砖表面的相关数据。首先，让我们一同审视这铁丝网数据图上的呈现效果，此数据仅存在5种缺陷，我们择取了6张存有缺陷的图像，整个流程耗费了两分钟，标黄部分为我们所选取的不同类别的缺陷。

以下应用案例是对上述内容的详细注释：

大模型的跨域泛化能力和少样本特性

展示了大模型在不同行业的应用案例，体现了其强大的跨域泛化能力和只需少量样本的特性。例如在3C制造业的工业表面质检中，交付一个规格的大模型后，其他规格无需调整即可使用；在六面体检测中，仅用一个大模型和十几张样本就解决了问题；在集成电路案例中，能很好地识别各种缺陷；在轧钢案例中，用大模型只需38张样本（其中11张还是良品样本），就能处理从4个像素小缺陷到4K像素大缺陷的检测。

生产过程监控方面的案例

打螺丝案例：过去解决散热孔和没打螺丝的孔相近导致的检测难题可能需要复杂的划区域处理，但大模型只需给打的螺丝涂绿色、没打的涂红色，用几张样本调整后就能完美完成检测。

刷三防漆案例：多品种小批量生产难以自动化，而大模型可以监控工人刷毛的速度，防止超速产生气泡，且只需几张样本就能搞定。

挖煤机案例：可以监控变频器生产过程中是否有错装、漏装、漏涂胶。

工业互联交付

L1层 (Level 1)：这是设备层，包括传感器、执行器和控制器等实际的设备和仪器。它们负责直接与物理世界交互，收集数据并执行命令。简单来说，L1层是工厂车间里所有直接操作和监控设备的层级。本视觉检测平台除上述内容外，还包括标注功能和现场微调功能。所有界面和功能都是云原生设计。

L2层 (Level 2)：这是监督控制层，包括SCADA（监控和数据采集系统）系统。L2层负责实时监控生产过程，确保生产设备按计划运行，并对生产过程中的异常情况进行实时反应。通俗点说，L2层是控制和监视工厂设备运行状态的层级。本视觉检测平台L2层交付的主要功能是集中管控，能穿透控制设备的所有功能，还有各种看板。

L3层 (Level 3)：这是操作管理层，包括MES（制造执行系统）、QMS（质量管理系统）和SPC（统计过程控制）系统。L3层负责生产计划、调度、质量管理和生产绩效分析等任务。它连接生产操作和企业管理，确保生产过程与企业的整体目标和策略一致。换句话说，L3层是将生产操作与企业管理紧密结合的层级，帮助企业优化生产流程和提高产品质量。本视觉平台交付L3层的主要功能是基于统计的过程控制（SPC），可以显示CP/CPK、Kappa系数以及各种控制图等，SPC是基于TS16949标准设计的。

本次发布的基于大模型的视觉检测平台，具有少样本跨领域泛化能力，服务的客户包括大甲方、大乙方和小而美的设备商。自此，视觉检测进入了人类化智能的新时代。