1.目标和概述

传统的生产线对人工判断监测依赖程度高，人工作业存在疲劳以及评判标准的不一。对企业生产商来说无法实现有效质量监管， 大批量的次品流入消费者市场必然会引起客诉，进而影响品牌方生产企业的形象。

以粮油生产为例，目前行业对于包装袋的缝线识别，大多工厂仅依靠人工目检完成，自动化程度低。在这种情况下，博观粮油机器视觉解决方案的应用落地，采用视觉大模型的低代码算法训练平台能够快速实现流水线所需碎片化算法训练，提高检测精度， 减轻粮油工厂的人力成本，从生产环节入手创造更多价值，助力工厂降本增效，推动粮食加工企业向规模化生产和集约化经营方向转变，实现智慧升级，综合来看具有较高的场景价值性。

博观粮油机器视觉解决方案，借助机器视觉质检平台，以网络覆盖智能制造工厂为切入点，从行业生产线视觉外观缺陷检测和字符信息识别两大方面入手进行功能提升，整体视觉方案除应用于粮油生产以外，未来还可应用于3C电子、新能源等行业。该方案在不改变现 有工厂生产制造流水线的前提下，定制化提供机器视觉硬件外设环境，依靠独立开发的深度学习算法检测平台MVIP和视觉业务软件BreVision，智能化实现视觉检测代替人工检测的需求，达到工厂降本增效和柔性生产的目标。

2.方案介绍

2.1.核心技术

2.1.1.OCR字符检测识别

OCR检测获取的面粉袋喷印侧图像， 如图1 所示，可识别生产日期、合格信检息测等，并可判断字符的完整性。

图1 OCR检测

（1）端到端识别算法

该项目采用了端到端的字符识别技术，以保证整个功能的高效、准确。区别于传统的识别算法，如图2所示，端到端识别算法无需文字定位、定点、识别多个步骤，仅需输入原始图像即可输出识别结果，在节约耗时的同时最大程度挖掘可用信息。

图2 端到端识别算法

（2）图像增强&修复技术

在工业视觉领域，图像的清晰度一直是一个关键问题，受限于应用场景、工业摄像头的成像质量，获取的初始图像往往不会非常清晰。为了应对这样的问题，该项目加入了基于深度学习的图像增强与修复技术，在识别算法的开端加入该模块，如图3所示，从根本上解决字符不清晰或字符有污损的问题。

图3 图像增强与修复

（3）完整性判断

在实际应用中，经常面临的另一个问题是字符不完整和缺位数问题，为此该项目引入完整性判断模块，根据字符的分布、深层图像信息，确定送入的字符块是否完整。若出现字符明显残缺，则判断为异常样本，进行告警。

总之，OCR算法在工业场景需要保持高稳定、高精度和可复制性，便于支持工业环境中不同产线的要 求，比如全天候光线变化、褶皱导致字体变形、喷码在画面任意位置、字体格式、不同大小等情况，在为企业降本增效的同时，做到智能化设备本身的成本控制。

2.1.2.缝线完整性缺陷检测识别

图4 缝线检测

缝线检测通过配置ROI区域，获取面粉袋的注意力区域，通过异常抓拍的识别模型判断是否为正常拍摄的图像，最后通过缝线异常判断模型，检测其缝线是否完整，如图4所示。

（1）滑动ROI

在ROI配置过程中，由于面粉袋位置发生移动和扭曲，导致配置的ROI区域并不准确，出现大量无效的背景影响判别效果。为解决此问题，在实际使用过程中， 使用滑动ROI，算法会根据面粉袋的边缘位置得到较为准确的封口区域，如图5所示。

图5 滑动ROI

（2）异常拍摄判断

由于生产现场的复杂环境以及相机拍摄的不确定性，实际情况中会时而出现异常拍摄的数据，例如未拍摄到面粉袋、拍摄的面粉袋不完全、拍摄到工作人员等等。这些异常数据会对检测算法产生干扰，从而影响最终效果，所以算法需要先判断是否为正常拍摄图像，剔除异常拍摄图片后可大大提升算法精度。如图6所示， 分别为正常拍摄、拍摄部分袋子和设备空拍的图像。在实际使用时，加入异常拍摄判断，存在空拍时进行算法剔除。

图6 异常拍摄图像

（3）缝线异常判断

通过上述流程之后，图片被送入最终的缝线检测模型，判别封口是否缝上，保证面粉在运输过程中，不发生洒、漏等问题。此过程中会出现跳线、弯曲、褶皱、小口、过曝、过暗等各种形态的样本，如图7所示。多种形态的样本会严重影响判别的精度。

对于缝线异常判断，精度要求较高，负样本形态各异，并且难以收集，同时褶皱、弯曲、光线环境差都使得缝线位置判断困难，而多种多样的负样本类型需要模型去学习更多的特征，但负样本难以收集，数量较少。针对这些不同类型的情况，该项目设计了不同的数据增广、网络算子和损失函数，并通过实验表明，可以有效解决上述各类问题。

2.1.3.在线检测

（1）整体流程

MVIP深度学习机器视觉检测平台，首先通过海量的媒体数据+独创的大规模多模态算法模型，使得大模型从海量视频数据中实现自监督学习通识知识，结合Few-ShotLearning等小样本学习算法，本平台可在几百张样本图片下达到下游常见任务90+%的精度。无损高速地传输给服务器端。在 服务器端我们将进行强大的算法模型检测，包括缝线检测、文本检测和文本识别等一系列算法，然后将迭代后的模型再次使用5G传输技术传输给边缘侧设备，供模 型实时更新强化。

（2）技术原理

MVIP深度学习机器视觉检测平台的核心技术是博观独创的在线学习算法，该方法通过离线模型做离线识别，同时使用监督模型协助监督。在实际应用中，将监督模型给出的得分低于阈值的识别图像无损地保存在在线学习素材库内。设备运行一段时间后，算法自动统计运行规律找出低频率识别时段，并在素材库满足一定条件后，启动冻结式网络参数迭代更新在线学习，让离线模型不断完善自身“弱点”，从而达到在线学习的优化效果。

（3）技术优势

MVIP深度学习机器视觉检测平台场景适应能力极强，模型鲁棒性高，可轻松应对各种新场景。在识别劣势的场景下可自动启用在线学习系统，不影响设备正常运行的情况下，在较短的时间内完善模型快速提升识别率。搭载 5G技术，使数据在前端与服务器端不丢包传输并且可加速在线学习素材读取速度，促进了算法的高效性和实时性。

在实际应用中，算法同时处理对面粉袋的缝线检测和面粉袋上文本识别两种需求，通过在线学习方式，实时更新识别算法，提升算法鲁棒性，从而高效精准地完成整体算法运算。

2.2.系统架构 

MVIP深度学习机器视觉检测平台助力的生产环节技术如下：  

面粉在港装到面粉袋后，面粉袋通过流水线输送到喷码机处，自动喷码生产日期和批次号等OCR信息到面粉袋外包装上，然后输送到缝纫机处封好缝线，后续流水线进入机器视觉智能化系统识别区，通过机器视觉技术实现OCR的识别和封口缝线质量检测。

具体解决方案依靠光电传感器触发工业相机拍照，工业光源稳定照射到OCR区以及封口缝线区，得到各自拍摄到的视觉图片，视觉检测系统并行将相机采集到的图像通过深度学习的算法进行识别和检测，判定面粉袋的质量状态，并通过视觉软件可视化展示，同时把结果通过通信的手段给到执行机构信号并分拣生产的合格品和次品

这解决方案系统架构自下而上主要分为采集层、边缘计算层、应用层三层，其体逻辑架构如图8所示

图8 博观粮油机器视觉解决方案系统架构

2.3.软硬件部署

这解决方案在前端部署硬件视觉产品，利用AI算法赋能机器视觉一体机，实现高效的图片采集回传。基于BreVision视觉业务软件对图片进行分析，可以检测出厂的每袋面粉的生产日期和批次号的正确性BreVision视觉业务软件是一款基于深度学习的智能工业视觉软件平台，专门用于解决复杂缺陷的定位、检测、分类等问题，同时具备高效准确的字符识别能力，可适用于各类复杂应用场景，这解决方案软硬件部署如图9所示。

图9 博观整体视觉方案

3.代表性及推广价值

3.1.应用情况及效果

目前，博观粮油机器视觉解决方案已经在国内某知名粮油工厂实现落地，赋能后共计覆盖30+条生产流水线，节省30+人力，并且从人工目检每条生产线8000多袋/天的生产能力，提升到应用机器视觉检测后每条生产线20000多袋/天的生产能力，生产效率提升150%， 有效实现了生产设备满时运转的工作状态。

3.2.创新性

3.2.1.技术的示范效应

该方案中的机器视觉质检平台依靠深度学习算法， 能高效检测粮油生产中的包装袋破损问题，精准识别OCR信息，已达到<0.1%的过检率和0%的漏检率，方案后续可以投入于国内更多的粮油加工企业及粮食行 业。我国是农业大国，粮食行业是直接与农业生产相关的基础行业，存在大量机器视觉替换人工检测的潜在需求。该方案能够利用高性价比的机器视觉帮助众多粮油企业降低人力成本，促进柔性生产，带动智能化转型升级，应用前景广阔，市场推广规模巨大。

3.2.2.商业价值

近年来，在制造业向自动化、智能化升级转型的趋势下，机器视觉拥有着千亿规模的市场前景。但目前在工业领域，将AI融入机器视觉算法中的尝试刚刚起步， 在全球范围尚处于摸索起步阶段，本项目的成功应用给行业内客户提供了比较有借鉴意义的案例。

博观机器视觉质检平台计划在不断通过人工智能算法优化来进一步提升机器视觉设备的泛化性和准确性，让人工智能更稳定地应用于工业现场的恶劣环境中，对于提升整体工业制造的智能化水平也颇具意义。该机器视觉质检平台探索的路径是，结合客户的痛点以及AI算法的能力，将两者合二为一，采用最高效的方式来不断地提高工业场景的生产效率。未来博观将在智能制造、高端装备、自动化设备等行业探寻更多技术深化和项目合作。

3.2.3.社会价值

（1）节约人力成本

从长期来看，伴随日益严重的人口老龄化趋势， 人员短缺、劳动力价格上涨的状态还将持续，这都在无形之中加剧企业的生产成本。博观粮油机器视觉解决方案的落地应用，能够实现机器视觉对人工检测的有效替代，减轻粮油生产过程中对传统人力的依赖性，能够为企业节约大量的人力成本，缓解因人工成本上涨而带来的生产压力，加快降本增效。

（2）减少粮食资源浪费

在人多地少的基本国情下，节约粮食是保障14亿 人粮食安全的战略选择。然而，我国粮食损耗浪费现象严重，粮食供给端存在资源配置效率偏低的问题。据联合国粮农组织估计，我国每年仅在粮食收获、运输、储存、加工过程中造成的损失浪费，就达到粮食总量的6%。博观粮油机器视觉解决方案通过机器视觉质检， 在发现包装袋断线、漏缝等多种残次问题后，能做到第一时间报警并剔除，解决了传统人工检测带来的产品品质波动问题，减少了因包装袋破损产生的粮食损耗，在保证产品良品率的同时避免了原材料浪费。

（3）保障粮食生产安全

保障粮食安全，不仅要从源头出发保证原材料的 安全，还要加强对加工制造过程的检验检查。包装袋开口、破损等加工过程中常见的问题容易引发袋内粮品污染，保质期缩短，还会招致发霉虫害等，威胁人民健 康。博观粮油机器视觉解决方案，借助人工智能、机器视觉、云计算等先进技术，高效检测包装袋破损问题 并及时告警相关人员处理，实现了粮油工厂的智能化管控，为粮食生产安全保驾护航。

(文章来源于济南博观智能科技有限公司)