智能相机在机器视觉中的应用
北京凌云光视图像技术公司    张未强

摘　要(Abstract)    本文主要介绍了智能相机的概念并与PC-based机器视觉系统进行了比较，探讨了智能相机的发展趋势，并指出了选择智能相机时应考虑的一些问题。
This paper introduces the concept of smart camera and compares it with the PC-based vision system. After discussing the developing tendency of the smart camera, it points out some questions we should consider when chosing a smart camera system.
关键词(Keywords)    机器视觉   智能相机   PC-based机器视觉系统
Machine vision      Smart camera       PC-based machine vision system


1  引言
    典型机器视觉系统是一种就是基于个人计算机(PC)的视觉系统，一般由光源、CCD或CMOS相机、图像采集卡、图像处理软件以及一台PC机构成。其中，图像的采集功能由CCD/CMOS相机及图像采集卡完成;图像的处理则是在图像采集/处理卡的支持下，由处理软件在PC机中完成。基于PC的机器视觉系统尺寸庞大、结构复杂，其应用系统的开发周期长，成本较高。目前，一种新型的智能相机的出现，向传统的基于PC的机器视觉系统提出了挑战。

2  什么是智能相机(Smart Camera)？
    智能相机(Smart Camera)并不是一台简单的相机，而是一种高度集成化的微小型机器视觉系统。它将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。同时，由于应用了最新的DSP、FPGA及大容量存储技术，其智能化程度不断提高，可满足多种机器视觉的应用需求。
智能相机一般由图像采集单元、图像处理单元、图像处理软件、网络通信装置等构成，如附图所示，各部分的功能如下:
(1) 图像采集单元
    在智能相机中，图像采集单元相当于普通意义上的CCD/CMOS相机和图像采集卡。它将光学图像转换为模拟/数字图像，并输出至图像处理单元。
(2) 图像处理单元
    图像处理单元类似于图像采集/处理卡。它可对图像采集单元的图像数据进行实时的存储，并在图像处理软件的支持下进行图像处理。

(3) 图像处理软件
    图像处理软件主要在图像处理单元硬件环境的支持下，完成图像处理功能。如几何边缘的提取、Blob、灰度直方图、OCV/OVR、简单的定位和搜索等。在智能相机中，以上算法都封装成固定的模块，用户可直接应用而无需编程。

(4) 网络通信装置
    网络通信装置的智能相机的重要组成部分，主要完成控制信息、图像数据的通信任务。智能相机一般均内置以太网通信装置，并支持多种标准网络和总线协议，从而使多台智能相机构成更大的机器视觉系统。

附图     智能相机构成框图

3  智能相机的优势
    智能相机具有易学、易用、易维护、安装方便等特点，可在短期内构建起可靠而有效的机器视觉系统。其技术优势主要表面在:
(1) 智能相机结构紧凑，尺寸小，易于安装在生产线和各种设备上，且便于装卸和移动;
(2) 智能相机实现了图像采集单元、图像处理单元、图像处理软件、网络通信装置的高度集成，通过可靠性设计，可以获得较高的效率及稳定性;
(3) 由于智能相机已固化了成熟的机器视觉算法，使用户无需编程，就可实现有/无判断、表面/缺陷检查、尺寸测量、OCR/OCV、条码阅读等功能，从而极大的提高了应用系统的开发速度。
4  智能相机与基于PC的视觉系统的比较
    智能相机与基于PC的视觉系统在功能和技术上差别主要表现在以下几个方面:
(1) 体积比较
    智能相机与普通相机的体积相当，易于安装在生产线和各种设备上，便于装卸和移动;而基于PC的视觉系统一般由由光源、CCD或CMOS相机、图像采集卡、图像处理软件以及PC机构成，其结构复杂、体积相对庞大。

(2) 硬件比较
    从硬件角度比较，智能相机集成了图像采集单元、图像处理单元、图像处理软件、网络通信装置等，经过专业人员进行可靠性设计，其效率及稳定性都较高。同时，由于其硬件电路均已固定，缺少了设计的灵活性;基于PC的视觉系统主要由相机、采集/处理卡及PC机组成。由于用户可根据需要选择不同类型的产品，因此，其设计灵活性较大。同时，当产品来自于不同的生产厂家时，这种设计的灵活性可能会带来部件之间不兼容性或可靠性下降等问题。

(3) 软件比较
    从某程度上来说，智能相机是一种比较通用的机器视觉产品，它主要解决的是工业领域的常规检测和识别应用，其软件功能具有一定的通用性。由于智能相机已固化了成熟的机器视觉算法，用户无需编程，就可实现有/无判断、表面/缺陷检查、尺寸测量、边缘提取、Blob、灰度直方图、OCR/OCV、条码阅读等功能。基于PC的视觉系统的软件一般完全或部分由用户直接开发，用户可针对特定应用开发适合自己的专用算法。另一方面，由于用户的软件研发水平及硬件支持的不同，导致由不同用户开发的同一种应用系统的差异较大。

    智能相机的与基于PC的视觉系统的基本特性比较如附表所示:

附表      基本特性比较

5  智能相机的发展趋势
    由于智能相机具有体积小、多功能、方便易用等特点，在多种领域具有广阔的应用前景，这也正是越来越多的相机和板卡制造商都在开发Smart Camera系统的主要原因。在可以预见的将来，Smart Camera将呈现以下的发展趋势:

(1) 接口的标准化
    由于在工业控制领域存在着大量通信需求，因此，智能相机的接口将支持越来越多的通用协议，包括SMTP、FTP、DHCP、DNS、TCP/IP客户服务器、Telnet等。

(2) 系统模块化
    将光源，电源，控制模块甚至一些传感器集成到整个系统的软硬件中，这样使应用起来更加方便，系统的稳定性也更高。

(3) 专业化
    开发商们倾向于开发出适用于某些行业、某些特定应用的智能相机。由于这些行业的企业较多比，市场容量也比较大。另外某些工序的检测内容比较固定，可以通过较少的硬件和软件算法来构成系统，这样既可以达到很高的效率又可以使成本降低。

(4) 大面阵和高速化
    在许多工业检测应用中，要求相机具有较高的分辨率和帧速，以满足对微小尺寸物体及运动目标的检测要求。因此，大面阵和高速化也将成为智能相机的发展发向之一。半导体技术及CCD技术的飞速发展，为实现智能相机的大面阵和高速化提供了技术基础。
6  智能相机的选择指南
    购买一台视觉相机，必须要问清楚10个问题:
(1) 对于一台零件定位工具，什么是重要的？如何评定其性能？
    零件定位工具是在视觉相机的视场中找到零件的软件工具。这是典型的视觉应用的第一步，从最简单的机器人抓取操作到最复杂的装配确定任务，它往往是判断应用成功与否的关键。

在当今的生产环境中，零件定位对视觉相机提出了挑战。这是因为条件变化将会使视觉相机视场中零件出现的路线发生的变化，视觉相机将被训练，旨在通过零件图像的参考或模型去识别零件。这些条件变化包括:
·零件旋转;
·光学测量装置的变化;
·光照条件的不一致;
·零件外观的正常变化。

(2) 内置网络通信装置扮演什么样的角色，我应关注什么性能？
    网络通信提供了大量的重要性能:
·它使得视觉相机快速将通过/失败结果数据传送至PC;
·它使得视觉相机可与PLC、机器人、和其他自动化装置进行通信;
为了在视觉相机、PC之间建立企业级的通信连接，请确认你所评估的视觉相机支持较宽范围内的网络协议，包括:SMTP、FTP、DHCP、DNS、TCP/IP客户服务器、Telnet。
为了连接视觉相机和诸如PLC、机器人等自动化装置，请选择支持以下工业协议的视觉相机:
·EtherNet/IP——这一协议使得视觉相机可通过单以太网电缆与PLC和其他装置相连，而无需复杂的线路配置和昂贵的网关。
·ModBus/TCP——另一网络协议，允许直接通过以太网与其他设备连接。
最终，当越来越多的视觉相机应用于生产过程时，通过一种集中的方式进行管理变得十分重要,请确认您所评估的视觉相机是否允许您通过网络管理和控制视觉行为。

(3) 您的视觉相机是否易于建立应用，并产生用户图形界面?
    视觉应用并不常需要集线器管理接口(HMI)，但操作者经常要对视觉相机进行调整，从而在零件变化时进行修改，改变公差参数和判断零件故障点。
在您配置系统时，机器视觉相机应允许您产生一个用户图形界面。请确认您所评估的视觉相机具有这一功能，而无需您利用VB或其他高级语言进行开发。

(4) 在读和检验性能中，应该寻找什么？
    您是否正在读生产线上零件的文字数字码，或验证药瓶上的数据和大量的编码信息。在评估读和检验性能时，它们是需要寻找的特性，包括:
·统计字体训练  这一特性允许您从一系列图像中产生一个模型或参考图像。这使得视觉相机能够更好的处理它可能遇到的印刷物质量的正常变化，如低对比度、位置变化、退化或笔划宽度的变化。除非您可以肯定将要打印的每一标签都具有高质量，否则这一开发静态模型的能力对于应用系统的成功将是非常重要的。
·图像预处理工具  它允许您通过边缘对比度增强和滤除图像中的背景噪声优化被训练的模型，优化后模型提高了视觉相机的可靠性和可重复性。关于图像预处理的更多信息请参阅问题(6)。
·瞬间图像回放  这使得操作者和技术人员可快速而容易地从监视器中看到故障图像。无论故障图像是相机偏离了位置、还是标签缺失而引起的，重要的是要立即知道为什么会出故障，并在必要时采取补救措施。

(5) 怎样确定视觉相机测量工具的可重复性？
    如果您的应用是空间尺寸测量，您一定想确信测量工具不仅精确，而且具有很的可重复性。为了测定可重复性，视觉相机最好完全适用于测量工具。无论您是测量两条线间的距离，或在三点间产生一个圆，优良的工具设置使您无需对标准配置中没有的函数进行编程定义。

(6) 相机是否具有足够的图像预处理功能？
    图像预处理工具允许用户对原始图像进行操作，以突出需要的特征，消除不需要特征。
    这一特性是视觉相机所有特性中的关键，应被列入标准配置。具有预处理工具的相机为您提供如下功能:
·在目标边缘和背景间提高对比度;
·滤出图像中无关的或无意义的特征;
·消除已被从零件表面脱落的反射;
·图像中粗糙纹理的平滑处理。

    具备优化原始图像数据的能力后，视觉相机的精确度和耐用性得到了提高。

(7) 如何评估工业条码读取工具，需要什么性能？
    当今的视觉相机应在退化、不规则的二维条码，或零件与零件间的位置变化上应具有可靠的、可重复的性能。无论零件采用什么类型的标记方法，标记在什么类型的介质表面，它们都应具有较高的性能。按照条形码读取特性选择视觉相机，您可能想了解以下问题:
·编码质量确认能力  寻找能够检验编码质量的产品，以建立标准。这可提供关于标记过程工作情况的有价值的信息。
·读取速率  依照生产线速度和生产需求，您可能需要检验一个视觉相机的读取速率。当今最快的视觉相机每秒大约可读50个编码。
·图像预处理工具  它允许您通过编码的边缘对比度增强和滤除图像中的背景噪声来优化已被训练的模型。优化后的模型使视觉相机的可靠性和可重复性最大化。关于图像的预处理请参阅问题(6)。
·图像预处理工具  它允许您通过边缘对比度增强和滤除图像中的背景噪声优化被训练的模型，优化后模型提高了视觉相机的可靠性和可重复性。关于图像预处理的更多信息请参阅问题(6)。
·瞬间图像回放  这使得操作者和技术人员可快速而容易地从监视器中看到故障图像。无论故障图像是相机偏离了位置、还是标签缺失而引起的，重要的是要立即知道为什么会出故障，并在必要时采取补救措施。

(8) 视觉相机需要PC吗？
    在配置和生产中，标准的视觉相机无需PC。视觉相机应提供真正的即插即用特性，使您可以快速配置应用系统。重要的是, 视觉相机无需您在厂内设置计算机。最终，一个独立的视觉相机使您无需PC就可从监视器中看到活动图像。

(9) 关于视觉相机的附件，您应该了解什么？
    为了确保您的系统集成过程快速而有效，请选择与视觉相机同系列的兼容附件。销售商会对每一附件进行测试，以确认每一部件可以同时进行运行，而不会出现故障。以下为附件列表:
·照明附件  机器视觉销售商应提供多种不同的照明选择，因为机器视觉系统将会面临许多不同的零件表面特性类型和环境照明条件。一个全面的照明模块系列应包括环形光源模块，它提供柔和的光线，即使从各个方向照射;背光模块，提供零件与背景间的最大对比度;暗场光源，提供低角度照明，用于不规则零件表面的成像。
·通信附件  确保提供了通信外围设备，如I/O模块、网关模块，它使得视觉相机和快速而容易地与PLC、机器人、其他自动化装置及网络相连。
·监视器 一些销售商提供与相机兼容的显示器。当选择显示器时，最好选用具用抗晕效果防护的LCD显示器。
·相机外壳 工业相机外壳用于防尘、防高温、防雨。同时，它应容易安装, 并适用多种尺寸和类型的相机镜头。

(10) 提供什么类型的技术支持？
    当评估一台视觉相机时，很重要的一点是选择一家可提供较宽范围内的产品支持和培训报务的销售商。这些服务应开始于最初的应用评估，几个重要的问题是:
·销售代表是否是一个全时的机器视觉专家？
·应用评估的程序如何？评估人是谁？
·销售商是否花费必要的工程资源使您的应用合格，或由您自己支出？
·一旦选择，您将得到什么样的产品支持以确保安装成功？
·所选择的销售商是否提供多种培训选择，如:在线自助(“self-help”)支持、在线课程、世界范围内的技术支持及个性化的现场培训。
·所选择的销售商是否具有跟踪记录和财政稳定性，以长期维持其视觉解决方案供应商的角色。
7  结束语
    智能相机与基于PC的视觉系统相比较各有其优势和不足，随着智能相机的接口的标准化、系统模块化、专业化、大面阵和高速化的不断发展，其必将在机器视觉领域开拓出更广阔的应用前景。
参考文献
［1] 北京凌云光视数字图像公司. CCD＆CMOS图像和机器视觉产品手册[Z].　
［2] 杨 崴,丁少华. PC式视觉系统与嵌入式视觉系统的比较[J].
［3] Cognex公司. Machine Builders Brochure[Z].　 ［4] Cognex公司. Insight user manual[Z].  
作者简介
张未强(1974-)  2004年毕业于北京理工大学光电工程专业，长期从事图像处理技术与机器视觉系统的设计和应用研究。现就职于北京凌云光视数字图像公司任深圳办事处，任客户经理，主要从事机器视觉系统的集成和各种解决方案的研究。