5月22日，领邦智能董事长崔忠伟应邀参加VisionChina北京机器视觉助力智能制造创新发展大会，并发表《基于大模型的新一代质检技术》主题演讲，下文根据崔忠伟先生的主题演讲内容整理而成。领邦智能于3月30日在工信部智能装备重庆大会上发布了iBrain视觉质检实时大模型。发布后，在市场上进行了多行业的应用。

视觉质检装备困境
工业视觉设备的困境主要有两个方面：一是光学成像的困境；二是小模型的困境。

光学成像的困境

对于高亮表面瑕疵，由于其反光性强，常常导致图像中的瑕疵难以被清晰捕捉。在这种情况下，传统的成像方法容易遗漏细小的缺陷。

小模型的困境

虽然理论上AI算法具有通用性，但在实际应用中，小模型往往是专用的，这限制了其在不同场景下的适用性。

小模型通常依赖监督学习，在特定任务下训练骨干网络或特征提取器。这种方法往往会导致骨干网络提前丢失与任务无关的特征，即便这些特征可能对其他任务有用。为了提升小模型在监督学习下的泛化性或广泛适用性，我们可以通过增加任务的多样性或扩展数据规模来实现，也可以同时增加网络规模。当数据和参数趋向无穷大时，监督学习训练的CNN小模型预期也能够具备良好的泛化能力。然而，受限于CNN结构的固有局限性，CNN并不适合构建更大规模的网络。当数据和网络规模都达到极限时，CNN已装不下这么多知识，需要转向Transformer结构，这就又回到了大模型的道路上。而大模型都能凭借其强大的特征提取和泛化能力胜任，而小模型除了在特定任务上精度好以外，其泛化性能和通用性倍受质疑。

由于小模型的特征提取器并不通用，针对每个下游任务，都需要调整几乎所有系数，这么多系数需要调整事必需要更多的样本，所以小模型无法实现FowShot少样本迁移。预训练的小模型并不是完全没有价值，其价值体现在现场Continual Learning时可以大大降低从零开始训练的耗时，但在实践中仍存在“拉偏”和“灾难性遗忘”等挑战。

由于小模型无法作到FewShot迁移，现场调整需要很多数据，而工业现场数据收集也有困难，为了优化用户易用性体验，常采用其它方法降低小模型使用困难。通过扩散生成技术（Diffusion）来生成缺陷样本：这种方法可以在一定程度上缓解数据不足的问题，但在某些情况下，生成样本与实际样本之间的分布可能存在较大差异。

优化标注工具或者采用自动标注方法，以降低标注成本；乙方提供云训练或者承包标注训练工作，以加快训练速度，降低用户换线等待时间；这种“打造工具链”的方法论，成为小模型时代的鲜明特征。

工业质检实时大模型iBrain全球首发
2024年3月30日，我们发布了工业质检实时大模型 iBrain，这是业界全球首发。该模型经过超过一亿张图片的训练，参数量达到13亿，速度高达164FPS@730*750，在4090GPU/登临GS30平台下运行。

大模型的三大要点

大模型基于Transformer架构，拥有巨大参数（10亿以上），拟合了巨量知识（1亿以上图片），训练到智能涌现以具备适应广泛下游任务的能力。

大数据集的重要性

众所周知，训练大型模型的关键在于拥有大量的数据集。我们汇集了几亿张经过精心筛选的工业表面缺陷图片，这些数据经过去重、缩放和分布审计等一系列数据清洗过程，形成了1亿以上高质量策划数据集。这个数据集有几个显著的特点：

数据多样性：数据集涵盖广泛，能够真实反映工业环境中的各种场景；小目标特性：数据集中小目标很多，所谓的小目标是指面积占比低于千分之一，且小目标类分布较广泛；大目标覆盖：同时包含一些面积占比较大的极端缺陷，其分布也同样广泛；

与通用的数据集如ImageNet不同，这样的工业数据集主要涉及工业表面的特定知识。因此，它首先为模型提供了丰富的工业表面知识，然后这些知识可以被迁移到其他领域应用。

大模型的少样本迁移能力及其广泛适用性

大模型的少样本迁移能力显著提升了其在各个领域中的广泛适用性。与专用的小型模型相比，大模型仅需要极少数样本即可实现高效的跨领域迁移，一般情况下，每种缺陷类型仅需一个样本（OneShot）或少量样本（FewShot通常少于5个）。这一能力不仅极大增强了模型的适应性和易用性，也大幅降低了适应各种不同检测任务的成本。可以说，大模型的这种少样本迁移特性是其智能涌现能力的一个体现。

大模型在铁丝网数据集（开源数据集）上的迁移效果。该数据集中包含5种缺陷，我们选择了6张缺陷图像（包括1张良品图像）用于模型迁移，整个过程耗时两分钟。

上图展示了模型的迁移效果，右侧为原图，左侧为模型对缺陷的检测结果。试验结果显示，模型能够准确识别出所有缺陷，验证了其强大的迁移能力。

上图展示了模型的迁移效果，右侧为原图，左侧为模型对缺陷的检测结果。试验结果显示，模型同样能够准确识别出所有缺陷，展示了其在不同领域的通用性和高效性。

大模型并未在以上两个数据集上进行训练，但能够通过少量样本实现迁移，并且在新领域中表现出色，这也体现了大模型“智能涌现”的能力。总结来说，大模型通过预训练和迁移学习技术，适应广泛的下游任务，具有极强的Few-Shot少样本迁移能力。视觉大模型具备高度通用性和易用性，能够在多种应用场景中高效地发挥作用。

商业价值与应用便捷性

大模型在实际应用中极为便捷，只需简单设置即可投入使用，无需复杂的现场训练。其高精度和通用性有效解决了传统方法中常见的漏检问题，降低了操作难度。一个大模型可以在多个领域中通用，减少了对不同场景下多种模型的需求，开创了统一的大市场。

成像技术突破

为了应对上述成像困境，领邦智能创新发明了一种角度成像技术，这项技术假定工业表面由若干微小平面镜组成，对表面实施角度可控的精准光锥照明，照明光锥被微小平面镜反射，再被接收镜头汇聚于CMOS像元上，像元亮度对应着微表面角度，这是一种微表面角度传感系统，是一种新原理传感技术，所呈现的像是角度像，不是传统的吸收率像或反射率像。

反射进入接收光锥角的光线越多，相应成像灰度越亮，反之越暗。通过成像灰度来捕捉零件微表面角度变化，这种方法能通过灰度异常来有效识别零件表面的缺陷。更进一步，我们对光锥进行了三色调制处理，极大地提升了对极小缺陷的检测能力，展示了超强的检出性能四、

大模型应用案例

如上所示，本案例展示了iBrain大模型的通用性，大模型首先在规格A产品上设定，再迁移到B、C、D、E其它规格产品上，均显示了很好的检测效果，这些产品不同大小，不同形状、不同镀层，跨度很大。

首先，对一款7.2-1.3-0.45的镀镍小长条产品（规格A）进行模型优化，以达到最佳检测能力。然后将该优化后的模型直接迁移到以下几种规格产品上，每种产品检测5万片以上，并经人工复检统计外观误收率和误废率，以确认迁移模型的检测能力。

对于规格相近的产品:选取两款规格相近的镀镍条形产品，分别为7-1.5-0.8和5-1.1-0.5。模型迁移后，外观检出能力基本一致，效果良好。

对于规格差异较大的产品:选取一款尺寸比例相差较大的产品，如3-1.5-0.7的镀镍小方片。模型迁移后，经人工复检，外观误收率和误废率均在正常范围内，检出能力依然较好。

对于不同形状的产品:选取一款形状和镀层均差异较大的产品，如D3-d1-0.5的镀锌圆环。模型迁移后，经人工复检，外观误收率和误废率均在正常范围内，检出能力依然较好。

在上述四轮试验中，直接将模型文件迁移到大小、形状和镀层差异较大的四种规格产品中，均能够正常检测，误收和误废率均顺利通过人工复检。通过这些模型迁移试验，我们得出明确结论：AI大模型具有超强的泛化性和学习能力，这是小模型时代无法想象的。

通过AI大模型的迁移，解决了小模型时代客户在导入新规格时面临的搜集缺陷样本难、标注样本工作量大、训练周期长等一系列问题，大大提高了检测设备的易用性。领邦智能的AI大模型迁移技术不仅提升了检测效率，还减少了客户在产品检测过程中的资源投入和时间成本，这对于制造业的自动化和智能化转型具有重要意义。

作为包头首批引入AI大模型质检装备的企业，金蒙汇磁董事长孙喜平对AI大模型评价道：“领邦的CCD利用AI大模型，实现了类似人脑的举一反三的能力。”这一评价简明而准确，体现了AI大模型区别于小模型的一项重要特征，即具备举一反三的能力，也就是强大的泛化能力。

如上图所示，本案例展示了iBrain大模型的易用性。通过少样本设定装备并快速迁移到其他产品上，仅用短短三天时间，新质检装备便交付完毕并投入批量生产，前所未有的快速交付进度和极度易用性，大大超出了所有人的预料。

在现场交付调试的第一款产品是一款5*2*1毫米左右镀镍方片。以往设备交付耗时最长的外观调试环节，大模型质检装备只用了十几张缺陷与合格品提示图，便在数分钟内将模型调整完毕。随后，批量跑料数万片，人工复检结果显示，合格品一次性通过，误废率仅为3%，误收率和误废率完全达到了质检设备外观检测验收标准。

这种操作易用性和设备交付速度在AI小模型时代是无法想象的，而大模型的易用性在此还未完全展示。现场的交付工程师在交付第二款、第三款和第四款产品时，采用了大模型的模型迁移功能，即直接将第一款产品的外观检测模型复制到后续三款产品上。经批量跑料和人工复检确认，三款产品的误收和误废率与第一款产品几乎一致，精度依然得到了保证。因此，领邦大模型质检装备真正实现了零训练、设备开机即用的极致易用目标。

烟台正海智电部门负责人刘经理对此评价道：“与同行其他厂家同类设备相比，领邦的AI大模型设备最明显的特点就是训图时间快，以及需要的不良样品数量特别少。”刘经理的评价简明扼要，正是对AI大模型易用性优势的简单概括。

本案例展示了iBrain大模型在航空航天领域装配正确性检测中的卓越性能，成功解决了传统小模型无法克服的检测难题，可以端到端完美解决“漏装”问题。

在航空航天领域的路由器机箱生产过程中，漏打螺丝等装配问题时有发生。以往的小模型在面对这些问题时，通常需要大量的训练样本和长时间的调试，但效果却并不理想。相比之下，iBrain大模型凭借其强大的泛化能力和少样本学习能力，成功应对了这一挑战。

在实际应用中，iBrain大模型对航空航天路由器机箱进行装配正确性检测，任务包括检测机箱上每一个螺丝的装配情况，尤其是识别漏打螺丝这一关键问题。传统的小模型方法由于无法分清漏打螺丝的光孔与机箱上的众多散热孔，导致检测准确率不高。而iBrain大模型仅需少量缺陷和合格样本，就能迅速设定大模型完成“漏打”检测。

在检测过程中，iBrain大模型准确识别出机箱上每一个漏打螺丝的位置，并能在不同种类和规格的机箱上稳定发挥作用。如上图所示，iBrain大模型准确标记出漏打螺丝的位置，并对错误位置进行了清晰的标注。这不仅大大提高了检测效率，还显著减少了漏检和误检的情况。领邦智能的AI大模型技术不仅提升了检测效率，还显著减少了产品检测过程中的资源投入和时间成本，这对于制造业的自动化和智能化转型具有重要意义。

本案例展示了iBrain视觉检测大模型应用于智能矿山，检测“人员三违”和自动挖煤工艺监控问题。解决了传统小模型对数据的过度依赖，充分展示了大模型的极强泛化能力和少样本能力。

智慧煤矿的运营环境复杂，具有高度危险性，需要高效的监控与管理。传统的人工监控方式不仅耗时耗力，还容易出现漏报和误报的问题。为了提升智慧煤矿的安全性和生产效率，引入了基于AI大模型的智能检测和监控系统。

应用场景

人员检测：大模型应用于智慧煤矿的人员检测中，通过安装在矿井内的摄像头实时监控工人的活动情况。系统利用先进的图像识别技术，能够精准识别和定位矿工的位置，实时监测他们的安全状态。当检测到异常行为（如未戴安全帽、进入危险区域等）时，系统会立即发出警报通知管理人员，确保及时采取措施。

生产过程监控：在生产过程监控方面，AI大模型通过对矿井内采掘、运输等环节的视频数据进行实时分析，准确识别设备运行状态和生产过程中的潜在风险。

例如，自动挖机与护板的动作逻辑正确性检测，当出现干涉或者护板未及时抬起情况，及时报警；例如，当检测到运输带上的煤炭出现堆积或设备运转异常时，系统会自动生成预警，提示操作人员进行处理。这不仅提高了生产效率，还大大降低了安全事故发生的概率。

技术优势

高准确率：过视觉实时大模型，系统能够在复杂环境中保持高准确率的识别和检测，减少误报和漏报。

实时监控：实时的图像处理和分析能力，确保在第一时间发现并解决问题。

少样本能力：大模型强大泛化能力，即少样本能力，确保生产线快速部署和快速调整。

实际效果

在某大型智慧煤矿的应用案例中，引入AI大模型后，人员检测和生产过程监控的准确率显著提升，安全事故率减少了30%以上，同时生产效率提升了15%。这些成果充分证明了大模型在智慧煤矿中的应用价值。

本案例展示了iBrain大模型在集成电路行业中的应用，解决了“小缺陷”和“浅缺陷”的检测难题。

背景介绍

在集成电路制造过程中，布线的精度和完整性直接影响产品的性能和可靠性。传统的检测方法往往依赖于人工检查，不仅效率低下，还容易漏检和误检。为了提升检测的准确性和效率，引入了基于AI大模型的智能检测系统，摆脱了过去小模型对数据的依赖，对集成电路布线中的小缺陷和浅缺陷难题进行自动化检测。

应用场景

小缺陷检测：AI大模型在集成电路布线的小缺陷检测中表现出色。通过高分辨率图像和先进的图像处理算法，系统可以精准识别布线中的微小裂纹、断裂和孔洞等缺陷。当检测到这些小缺陷时，系统会自动标记并生成报告，供技术人员进行进一步分析和修复。

浅缺陷检测：在浅缺陷检测方面，AI大模型通过对布线图像进行多层次的特征提取和分析，能够识别出布线表面存在的轻微划痕、氧化层缺失等浅层次缺陷。这些浅缺陷虽然不明显，但对集成电路的长远可靠性有着潜在的影响。系统在检测到这些浅缺陷后，会及时发出预警，并记录缺陷的位置和严重程度。

技术优势

高精度检测：大模型能够在微米级别的图像中识别出极其微小的缺陷，确保检测的全面性和准确性。

自动化处理：实时的自动化检测和报告生成，显著提高了检测效率，减少了人工干预和误差。

少样本能力：大模型只需要少样本，即可以设定检测标准，大大提升了现场的易用性和通用性。

实际效果

在某大型集成电路制造企业的应用案例中，引入AI大模型后，小缺陷和浅缺陷的检测准确率提升了40%以上，检测效率提高了50%。这些改进不仅显著降低了产品的次品率，还节省了大量的人力和时间成本。

本案例展示了iBrain大模型在轧钢行业中的应用，解决了“大缺陷”、“小缺陷”和“浅缺陷”的检测难题。轧钢存在几个像素的划痕、黑点类小缺陷，也存在凹坑类中缺陷，还存在压痕类宏观大缺陷，传统的小模型无法胜任4像素小缺陷到4k像素宏观大缺陷这么大的跨度。而且轧钢缺陷检测属于典型的在线设备，随线快速部署和快速新增检测内容，都是刚性要求，Transformer大模型全局注意力机制和少样本泛化能力，有利地保障轧钢在线缺陷检测的需求。

背景介绍

在钢铁行业中，轧钢工艺的质量直接关系到最终产品的性能和可靠性。钢板表面的缺陷如裂纹、划痕和气泡等不仅影响外观，还会对钢材的机械性能产生不利影响。传统的检测方法主要依赖于人工检查，效率低下且容易出现漏检。为了解决这一问题，采用了基于AI大模型的智能检测系统，对钢板表面的缺陷进行高效精准的检测。

应用场景

小缺陷检测：在轧钢生产过程中，AI大模型被用于检测钢板表面的微小缺陷。通过4K高清线扫摄像头拍摄钢板图像，并使用实时大模型分析图像，系统能够精准识别出细小划痕、黑线、白划痕和黑点等缺陷。这些小缺陷通常难以通过肉眼检测出来，但对产品的质量有着重要影响。

大缺陷检测：AI大模型在检测较大缺陷方面同样表现出色。系统能够识别出压痕、履带印、边缘皱褶等大面积缺陷。通过实时分析和高分辨率成像技术，系统可以快速生成缺陷地图，确保及时修复或正确使用不合格产品。

浅缺陷检测：在浅缺陷检测方面，AI大模型结合4K高清摄像头，能够检测出表面上对比度很小(浅)，面积较广的缺陷，如黑线、凹坑、压痕等。这些浅缺陷虽然对比度不大，但在一定光照条件下可能会影响钢板的外观和使用性能。系统通过多层次的特征提取和分析，确保检测的全面性和准确性。

技术优势

大中小缺陷兼容检测：大模型能够兼容检测从微小缺陷到较大缺陷的不同类型缺陷，确保检测的全面性和准确性。

高分辨率检测：结合4K高清摄像头，系统能够在100um级别精度下识别出钢板表面的微小缺陷，提高了检测的精度。

大图片处理能力：系统具备处理高分辨率大图片的能力，确保在复杂场景下仍能保持高效准确的缺陷检测。

少样本能力：大模型只需要少样本，即可以设定检测标准，大大提升了现场的易用性和通用性。

实际效果

在某大型钢铁企业的应用案例中，采用AI大模型后，钢板表面缺陷检测的准确率提升了60%以上，检测效率提高了50%。这些改进不仅显著降低了次品率，还大大提升了生产线的整体效率和产品质量。

本案例展示了iBrain大模型在电动汽车圆柱电池行业中的应用，解决了“圆柱外表面高效成像”和“少样本快速部署”难题。

背景介绍

随着电动汽车行业的快速发展，圆柱锂电池的需求量迅速增长。锂电池的质量直接影响电动汽车的性能和安全性，因此，对锂电池的检测要求极为严格。传统的检测方法往往依赖于人工检查和传统机器视觉技术，存在效率低下和检测盲区的问题。为了解决这些问题，智能检测系统结合AI视觉实时大模型和先进的光学镜头技术，显著提升了锂电池的检测精度和效率。

应用场景

小缺陷检测：在圆柱锂电池的生产过程中，使用AI大模型进行小缺陷检测。通过超远心镜头（环外侧360°镜头）获取高分辨率图像，系统能够精准识别锂电池表面的微小裂纹、划痕和其他缺陷。当检测到这些小缺陷时，系统会自动标记并生成详细报告，供质量控制人员进行进一步分析和处理。

全面检测：使用环外侧360°镜头，可以实现对圆柱锂电池表面的全方位检测。结合AI大模型的图像分析能力，系统能够快速检测出锂电池表面的任何异常，如凹陷、凸起、材料不均等问题。这种全方位的检测确保了锂电池在出厂前的质量无瑕疵，极大地提升了产品的可靠性。

技术优势

高精度检测：AI大模型结合超远心镜头和环外侧360°镜头技术，能够在微米级别精度下检测出极小的缺陷。

全方位覆盖：360°全方位检测技术确保了锂电池表面无任何盲区，保证了检测的全面性。

少样本性能：大模型只需要少样本，即可以设定检测标准，大大提升了现场的易用性和通用性。

实际效果

在某大型电动汽车锂电池制造企业的应用案例中，结合AI大模型和先进光学镜头的检测系统，小缺陷检测的准确率提升了45%以上，检测效率提高了60%。这些改进不仅显著降低了锂电池的次品率，还提升了生产线的整体效率和产品质量。

本案例展示了iBrain大模型在PVC地板行业中的应用，解决了“多种背景下的小缺陷识别”问题，和“少样本快速部署”难题。

背景介绍

在建材行业中，PVC地板因其耐用性、易于安装和维护的特点，广泛应用于各种建筑环境。然而，在生产过程中，地板表面常会出现细小的缺陷，如划痕、气泡和色差，这些缺陷会影响产品的外观和质量。传统的人工检测方式效率低下且容易出现漏检。引入AI大模型的智能检测系统，有效地解决了这一问题。

应用场景

多种背景下的缺陷检测

AI大模型在PVC地板的多种背景检测中表现出色。系统通过高分辨率摄像头拍摄地板表面图像，并使用实时大模型对图像进行分析，能够精准识别出地板表面的微小划痕、气泡和色差等缺陷。即使在复杂的纹理背景下，系统也能保持高准确率。当检测到缺陷时，系统会自动标记并生成详细报告，供质量控制人员进行进一步分析和处理。

技术优势

高精度检测:大模型能够在复杂纹理背景下识别出极其微小的缺陷，确保检测的全面性和准确性。

适应性强:大模型具备在多种纹理背景下检测小缺陷的强大适应能力，确保产品质量一致性。

少样本性能:大模型只需要少样本，即可以设定检测标准，大大提升了现场的易用性和通用性。

实际效果

在某大型建材企业的应用案例中，引入AI大模型后，PVC地板表面缺陷的检测准确率提升了50%以上，检测效率提高了40%。这些改进不仅显著降低了次品率，还大大提升了生产线的整体效率和产品质量。

本案例展示了iBrain大模型在家电微晶玻璃表面瑕疵检测行业中的应用，解决了“高亮复杂表面的多形态小缺陷识别”问题，和“少样本快速部署”难题。

背景介绍

在家电行业，微波炉多晶玻璃作为重要的组件，其表面的光滑度和无缺陷性直接影响产品的美观和用户体验。传统的人工检测方式不仅效率低，而且容易漏检，无法满足现代化生产的高要求。为了解决这一问题，引入了基于AI大模型的智能检测系统，对微波炉多晶玻璃表面的缺陷进行自动化检测。

应用场景

在微波炉多晶玻璃的生产过程中，使用AI大模型进行表面缺陷检测。系统通过角度成像获取玻璃表面的图像，并使用大模型对图像进行分析，能够精准识别出玻璃表面的气泡、划痕等微小缺陷。即使在环境光干扰下，系统也能保持高准确率。系统具备缺陷地图功能，当检测到缺陷时，系统会自动标记并生成详细报告，供质量控制人员进行进一步分析和处理。

技术优势

精度检测:大模型能够在微米级别的图像中识别出极小的缺陷，确保检测的全面性和准确性。

多种光照适应:系统能够在不同光照条件下保持高准确率，确保检测结果的稳定性。

少样本性能:大模型只需要少样本，即可以设定检测标准，大大提升了现场的易用性和通用性。

实际效果

在某大型家电制造企业的应用案例中，引入AI大模型后，微波炉多晶玻璃表面缺陷的检测准确率提升了55%以上，检测效率提高了45%。这些改进不仅显著降低了次品率，还大大提升了生产线的整体效率和产品质量。这些案例展示了大模型在各种复杂场景中的应用能力。大模型不仅通用性强、易用性高，还具备高精度，对于各种复杂的工业视觉检测任务都能很好地胜任。

iBrainVision视觉平台
以上介绍了几个应用案例，这些案例都得益于iBrainVision视觉平台的支持，按ISA95国际标准开发，向下控制物理层，向上信息送给ERP/MES/QMS，保证了用户方便联通OT层和IT层。