全球制造业的转型升级势在必行，很多制造厂商已经开始行动，无数的智慧型（数字化）工厂或者说无人工厂将逐渐遍布于各制造领域，未来的工厂中，越来越多的机器将代替人工，甚至整个制造车间将变成无人区。除了各种自动化技术、信息互联、机器人等技术外，机器视觉技术（视觉传感器或视觉系统）也已成为智慧型工厂中不可或缺的关键一环。

   在工业生产领域内的机器视觉应用范畴中，让机器“看见”在当前已经不是一件难事，而真正所要面对的就是实时性、可靠性、稳定性，这样才能把监测结果实时快速反馈，从而通过中央控制系统进行准确的即时决策处理。然而当前很大一部分的机器视觉应用并没有真正解决客户的需求痛点，其普遍性的表面反馈说辞无外乎以下几种：

   稳定性不高，频繁报警；

   精度不够，满足不了检测公差参数要求；

   符合理想需求的投资成本太高，因此退而求其次，“差不多”即可，又不是生产设备。质量是生产出来的，而不是检测出来的，法不责众。

   正是因为以上几种情况的出现，导致了很多人认为机器视觉行业产品应用本身存在当前的技术局限性，短期内无法突破或者颠覆，从而接受现实，而没有做到迎接挑战，引领变革。

   然而，真实情况是，以上技术瓶颈完全可以通过技术方面的整合变革和持续创新而得以解决，具体从以下三个方面开展布局。

深度学习

   嵌入式深度学习技术是能够在设备上进行深度学习运算推理的嵌入式视觉系统应用，可以为不同行业的应用提供强大的解决方案，与基于云技术的解决方案相比，嵌入式设备部署深度学习的优势包括：隶属于局部多逻辑数学模型（Multi-Mode）的建立和局部云计算范畴，其可以减少网络负载和降低延迟，从而开辟新的应用。根据应用和相应的数据量需求，可以将中央处理单元（CPU）与不同的芯片结合，起到加速应用的效果，同时部署深度神经网络和人工智能应用。现场可编程门阵列（FPGA）同时具备运算速度高、散热量小和延迟低的特点，因此FPGA作为深度学习处理器的一种选择，拥有巨大的应用开发潜力。例如，通过一些编程工作，技术应用人员可以根据客户的不同需求，而像软件编程一样修改FPGA的电路设置，从而运行各种不同的神经网络，实现客户的不同质量监测需求。因此科惠力公司的Predator3D和Robust3D的系列产品可以在后期应用中根据客户的不同具体需求而拓展应用出不同的产品系列组合，这是技术运算底层架构的包容性，也是其核心竞争力之一。

   例如，对于固定的工业机器人或移动/协作机器人，通常利用3D成像技术来感知周围环境，有效引导机器人在三个维度上运动。此类机器人可以进行物体分类、检测异常，并与其他人员、机器、定位工具和组装设备进行安全协作。对于机器人可以完成的许多任务，只有通过深度学习和人工智能技术才可以进一步增加其应用的准确率和灵活性。这些技术通过IIoT进行通信，并产生大数据。该过程的管理控制是工业4.0的核心。

   经过快速预学习（Advanced QuickTeach）的神经网络可以直接适用于多个机器人应用，这不但能节省时间，并且具备成本效益。此类神经网络通过激励机器人的行为，利用深度强化学习来适应新的环境。为了奖励或惩罚（负奖励），系统会修改参数，让机器人可以重复良好的操作，使其能够在相对较短的时间段内学习新的工作步骤。即便困难复杂、情况多变的检测环境（例如设备组装）也没有问题。修改后的机器人行为可以使用传统算法进行编程，但是过程非常费时费力。相反，借助深度学习技术，装配机器人就可以识别和抓取位置或方向不一致的部件，即使部件处于倾斜状态或被其它部件覆盖也不影响机器人抓取，从而做到独立适应环境并且进行无序分拣。

   并且，在嵌入式应用中，只需一处生成和使用数据，就能提高整个工厂的效率。通过使用功能更强大的小型网络、用于嵌入式应用的新处理器以及改进的处理过程（如压缩、精简和量化），可以弥补增加的计算资源。使用同步和强化学习等技术，可以快速修改所使用的神经网络运算系统以及整个应用程序。

   例如，在工业机器手臂人上安装超过1000多台Predator3D™视觉集成模块化系统的过程中，我们已经了解并总结到，除了其无与伦比的三维实时动态检测功能之外，我们还在收集大量的工业生产数据，包括有关涂胶工艺、工业零部件和产生最优粘合剂/密封胶的最佳条件等等。该数据可用于将Predator3DTM的产品优势从检测扩展到流程控制。利用迭代我们研发的闭环式机器学习软件中的人工智能（AI）和专家智能（EI），我们可以进行 “机器人自动化控制（RAC）”和“胶量自动化控制（VAC）”从而对涂胶/密封工艺中的变量进行调节优化。这些变量包括零部件的变化、生产条件变化、涂胶物料粘度变化等等。同时，还可以通过Predator3DTM系统对涂胶机器人路径的准确记录而进行进一步的自动优化，从而提高了工作效率，准确预判有可能出现的产线停产或故障造成不合格零件的风险，这都是深度学习和人工智能在机器视觉领域的具体应用。

模块化

   整个嵌入式视觉模块化系统由小型处理板和微型相机模块集合而成，其中应用了FPGA模式，以及i-Cite3D软件开发平台和Shark硬件芯片技术。标准化、模块化并且可以根据客户的实际需求而进行自由组合搭建是在当前和未来缩短产品交货期&降低投资成本的根本方向所在。科惠力公司在产品模块化集成化发展方面已经开始布局并践行。如下图列表，您所见的Sensor传感器即是完备的视觉模块系统，其均在不到2公斤的硬件范围内实现了多光源、多成像单元、微计算机运算系统、散热器、软件搭建等的集成整合。其软硬件平台无缝集成，拥有400多个功能模块，兼容性极强；可迅速对客户极具挑战的应用需求进行开发，以解决客户需求痛点。

I-Cite3D软件开发平台

   •兼容性极强：适用于各类操作系统、十几种不同的数据采集卡和不同接口

   •模块化架构：拥有200多个功能模块，可以实现数小时内完成软件包（非数周）

   •开发成本低：通常会节省30%的硬件成本

集成特点

   •图像采集和处理可并行

   •多点、异步、或同步检测

   •支持多个同步数据采集卡

   •每个应用最多支持16个模拟、数字、CameraLink、USB、IEEE1394、 和Gigabit Ethernet相机

   •支持8位、10位、12位图像深度

   •不停留图像采集的频闪控制

   •多个异步、异步机器接口 (Socket, Pipe, RS-232, DIO)

   •可变速率的数字视频录取

   •不良品零件图像搜集和分析工具（FailurePackets™），嵌入了互联网支持功能

   •针对所有的图像处理操作具有详尽的图像诊断功能

   •协议和逻辑分析器

   •远程嵌入式显示功能

   •自动特征/目标跟踪的平移/倾斜控制

   •四级可定制的用户访问等级（密码保护）

   •在线帮助（F1 帮助和芯片级帮助）

   •可完全定制化的数据搜集报表

   •具有直接拖放功能、可完全定制化的GUI

   •可完全定制化的运行时间显示

Shark硬件芯片技术

   •用于快速视觉产品开发的高性能嵌入式硬件解决方案

   •无缝集成科惠力i-Cite™软件

集成特点

   •一个独立的SHARK™平台可最多支持：

   –8个高速、高分辨率CMOSIS CMV成像设备

   –2个DLP光学投影仪和8个LED/激光投影仪。

   •内部FPGA处理和高速x4 PCIe图像数据连接至Intel或ARM处理器内存

   •低延时、高度灵活、结构紧凑、功耗低的图像处理

Saber3D™半导体高速在线检测全三维解决方案

   •采用多维立体技术捕捉和分析三维图像，为半导体和电子行业（贴片机）提供高速不停留的在线检测产品，实时在线确认芯片三维方向、尺寸、型号等，可优化生产过程、提高产量、增强制造精度

   •超高速成像（每秒7万个部件）且精度达微米级，远超市场竞争，是市场上的领导者

   •利用光学设计（LED照明技术），提供高清视觉系统

   •拥有特定的芯片封装质量检测选项

   •在系统内部进行处理判断，无需外接其他计算设备

云计算

   在线视觉系统，尤其是3D视觉系统，均属于计算密集和数据密集型应用，因此其对图像捕捉和分析会有极高的速率要求。这尤其是对于设计用于以每分钟数百、数千或更多个零件的速率检测的机器视觉系统而言，高速捕获图像至关重要。

   云计算，可以分为两种类型，一种为视觉系统针对检测物体本身的几何型运算系统，属于捕捉图像、规律摸底、数学建模和局部统计分析；另一种就是普遍意义上的使用远程服务器网络存储、管理和处理数据，将有希望分散图像处理和机器视觉系统中所需的大部分图像处理，这将影响当前使用本地处理能力和存储的一些应用。这种云计算基础设施对图像处理和机器视觉系统来讲在未来其权重会逐日增高。这是数字化工厂（智慧工厂）针对大数据需求必要性的必然发展方向。这种情况下，基于云的系统将理想地尝试自动分配和平衡处理负载，为确保数据能满足应用程序需求的速度传输、处理和及时完全返回。

   同时也要注意，由于共享网络和未知拓扑，基于云的基础架构会出现节点间延迟和带宽波动，这些情况也往往会影响视觉系统本身局部云计算的技术性能。

   EDGE计算，个人认为也可以理解为“局部云计算”，其结合了实时和基于云计算益处的解决方案，在该场景下，云用于大型计算和数据汇总职责，而EDGE节点提供确定性的逐秒分析和决策制定。这种赋能有助于实现可追溯性、流程化、原始图像和结果汇总，深度神经网络模型培训和系统管理等优势，同时不会牺牲在线“合格/不合格”分析所需的延迟和确定性。这样的云系统汇总来自EDGE计算节点的数据，并且可以部署算法，或将更新处理送回具有紧密反馈回路的EDGE系统，进而由EDGE系统实现逐秒计算和决策职责。

   机器视觉将结果或不合格的图像发送到云端，或者云提供商的安全数据平台

   在这里云的目标是允许分析以识别趋势和常见故障，并提供非实时趋势。

   任务必须在几秒内完成，因此延迟极其重要，由于这可以通过大幅减少图像数据大小来克服，所以面临的挑战是压缩图像，以便图像处理算法仍然可以提供相关信息。这里隐藏着一种挑战是大量检测3D数据结果的“自适应压缩任务”。

   基于云计算的机器视觉和图像处理系统的未来取决于一些变量，例如安装可以传输图像数据而没有过度延迟、抖动和数据包丢失的网络，图像处理是否能以可接受的速度进行处理，以及这种分析的结果是否能及时用于控制基于网络的系统，如机器人、驱动器和光源控制器等。

   以上，是大数据基础，也是实现智慧工厂的重要组成部分，任重而道远。科惠力公司会在此行业发展方向上继续在已经技术领先的基础上进一步拓展行业应用，融合创新，快速发展。