疫情之下，全球制造业形势严峻，各国都希望借助自动化、数字化、智能化等新技术寻求突破，提升制造业竞争力，进而推动本国制造业的发展。于制造型企业本身，任何一件工业品来讲，瑕疵关乎产品质量，而质量关乎企业生存，一件工业产品少则有数十种材质，多则由上千种零部件构成，每一个工序都需要或多或少的进行外观瑕疵检测。随着产品精密度越来越高，瑕疵检测也变得越来越难，现在目前的人工目检和传统视觉都已无法满足，流向市场的不合格产品数量急剧增加，这种情况亟待改变。目前以人工智能技术作为数字资源与智能技术的集大成者，成为制造业转型中的聚焦点。

东声智能科技的技术便是基于机器学习、深度学习、深度森林等人工智能算法，结合数据挖掘与分析、机器视觉（2D&3D）、声音处理技术、分布式计算与存储等实实在在为企业提供智能工厂解决方案。东声已在工业机器视觉领域取得突破性进展，解决了目前市面上人工智能技术在AI工业视觉检测领域落地的难点问题。

①小样本（Few-shot Learning）学习赋能，解决缺陷样本少等问题

人类非常擅长通过极少量的样本识别一个新事物，比如小孩子只需要书中的一些图片就可以认识什么是“老虎”，什么是“犀牛”。对于新的类别，只需要少量的样本就能快速学习，这就是小样本学习需要解决的问题。Few-shot Learning 是 Meta Learning 在监督学习领域的应用。在 meta training 阶段将数据集分解为不同的 meta task，去学习类别变化的情况下模型的泛化能力，面对全新的类别，不需要变动已有的模型，就可以完成分类。

东声落地案例：某客户3C产品外观瑕疵检测项目，客户现场测试，某类缺陷训练图片17张，几分钟完成训练和学习，检出率达到100%。

②迁移学习提高泛化自适应能力，解决工业痛点

通过工业领域收集的各类缺陷图片数万张，训练出较为通用的预训练工业模型。由于通用模型的低层语义通常包含缺陷边缘、颜色等通用基础信息，无需重复训练，因此Transfer Learning冻结预训练模型的全部卷积层，只训练自己定制的全连接层；Fine-tune冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层），训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层的方式，即只训练高层语义所包含的组合性复杂特征来将通用预训练工业模型迁移到多个领域只有小数据的领域，提高了泛化能力具有适应性。产品升级、型号改变，或者材质类似的不同产品平行适用时。

东声落地案例：某客户的笔记本外观缺陷检测项目，有28种不同笔记本型号，通过我们的迁移学习提高泛化能力，可以横向的覆盖同等材质的大量的样本。这样为不同产线、不同的产品我们可以进行迁移。大大降低这个企业成本，提高产产线的应用效率。

③机器学习+图像处理算法辅助，解决深度学习检测重复性差的难题

由于深度学习算法在卷积过程中，特征提取环节是黑匣子完全不可控，导致部分项目的检测的重复性测试很差，东声智能科技结合机器学习和图像处理等综合算法，解决深度学习解决重复性差的瓶颈。

④结合可视化热点图，解决优化无方向等黑匣子问题

在大部分人看来，卷积神经网络是一种黑盒技术，通过理论推导，以及梯度传播，去不断逼近局部最优解。这也导致人们对于神经网络研究进展的缓慢，因为这种黑盒模型无法给出研究人员进行改进的思路。东声通过计算获得最大那一类的输出相对最后一个featuremap的梯度，再把这个梯度可视化到原图，这样通过抽出中间层的结果来打开黑匣子，解决神经网络优化没有方向的问题。

⑤单一正样本数据训练，解决人工智能数据集弊端

单一正样本数据，只需要训练一种类型的图片，然后通过分检测析，可实现对非预期缺陷的识别避免漏检，适用于产品初期生产中缺陷样本数据量少，利用我们的算法可以极大的降低成本和时间，解决极少缺陷图片的痛点。例如在单晶硅组件厂的项目，产品由5栅线产品工艺升级到9栅线，但是无法在短时间内收集到足够的缺陷样品我们就可以利用新产品的OK图片，让OK产品进行训练，然后快速部署，达到实时响应，解决工厂痛点。

HanddleAI 软件平台：核⼼的AI研发技术及算法模块，自主研发的机器视觉算法库，集成工具模块式处理平台，多维数据输⼊输出⼀体化，提供用户快速便捷的AI缺陷检测应用工具。 包括图像分割Segmentation、图像分类Classification、字符识别OCR、目标检测Detection、以及单样本学习OneClass learning等半监督学习算法

同时数据样本可支持2D图像、3D三维模型、音频等数据。集成传统机器视觉模块与AI深度学习算法模块为核心的同时，提供大量用户可操作工具。

HanddleAI软件操作流程图（2D图像）：

目前东声在多个领域有落地应用，能够解决传统机器视觉方案无法检测的半导体、手机零部件、汽车零部件、太阳能电池板、显示屏、电子产品、钢铁、镜头、X-ray、新能源汽车电池等的各个领域中最复杂的缺陷检测问题。

“东声智能的核心竞争力是‘快速’和‘精准’（精准是能力，也是质量）。”一个人的武功高低，要看“手眼身法步”，要想成为高手云集的智能制造领域的领跑者，“眼力”和“招法”的水准是核心之中的核心。对此，东声智能科技CEO韩旭说道：“东声智能在机器视觉方面拥有成熟的HanddleAI（2D+3D）通用品，可以直接用于图像的深度学习缺陷检测，同时可以提供软+硬的解决方案（包含光学系统和定制需求开发算法）；声学识别方面可以提供包含产品缺陷的检测与分类、工业设备实时运行状态、各零部件的健康指标以及工厂的突发事件预警。通过‘眼睛’（工业相机布局）、‘耳朵’（声音传感器布局）积累的行业大数据以及‘大脑’国际领先算法能力再加上算力的有机融合，从而推动整个产业的转型升级。”据韩旭介绍，未来的工业生产将以“智眼”为核心，装备在千千万万、形形色色的设备上，指挥各种各样的“手、脚、身体”动作，实现“深度感知、智慧决策、自动执行”，成为“智人”，让自动化、智能化制造插上翅膀腾飞！