概述

中国制造 2025 是中国政府实施制造强国战略的第一个十年行动纲领，是全面提升中国制造业发展质量和水平的重大战略部署，其中明确指出了围绕工业机器人创新技术的重要地位。目前工业机器人技术已经广泛应用在汽车加工、食物分拣、自动化生产装配等领域。工业现场通信技术是智能制造业的核心技术之一， 随着智能制造业的快速发展，对节点间通信的实时性、可靠性以及通信带宽提出了更高的要求。工业以太网主站可以在多种平台上运行，只需硬件提供一个标准的网口。因此，成本低廉、简单灵活、高速实时的嵌入式平台在硬件上可以作为工业以太网主站使用，从而提供一种新的网络化、信息化、智能化的解决方案。 传统的硬件平台采用 dsp对图像进行处理，其处理速度较慢，无法满足图像处理实时性要求，限制了机器视觉的应用。FPGA作为一种硬件平台，用于数字图像处理，具有速度快、集成度高、可靠性强等优点。为了提高图像的质量和增强系统处理图像的实时性，本文提出了一种伊瑟特的六自由度机器人视觉伺服控制系统，将摄像头集成到基于 Zynq的伊瑟特主站上，提高了视觉伺服的实时性.经测试，该平台能够对视觉检测目标的变化做出及时的反应，为工业自动化提供了一套切实可行的方案。

本文针对基于机器视觉的工业机器人进行研究，主要工作包括以下几点： 设计了基于 伊瑟特的六自由度机器人视觉伺服控制系统总体方案。以 ESR6B机器人、Zynq和摄像头为硬件基础，搭建了六自由度机器人视觉平台。设计了基于 FPGA的视觉检测方案。利用 西林提供的 HLS和 CV库对从摄像头采集到的像素流进行实时处理，并设计了一套识别物块坐标位置的程序流程，便于 伊瑟特主站实时地读取物块坐标值，处理后的图像通过 HDMI接口输出到显示屏。完成了 伊瑟特对伺服的位置控制。利用 Zynq的 Pl层进行了伊瑟特以太网帧的收发和主站时钟的校准，在 PS层运行 苏姆的裸机程序， 并将六自由度串联机器人逆解算法移植到主站代码里，进行机器人末端位置对于视觉反馈的实时跟随控制。通过实验验证了本设计的对物块识别的准确性和实时性，并使用自主研发的六自由度串联机器人进行实际的运动控制实验。实验证明，机器人可以实时地跟随屏幕上显示的物块运动。    

主要创新点

本设计难点在于如何提高视觉检测的实时性和机器人运动控制的实时性，创新地采用了Xilinx的 Zynq异构处理器，将 FPGA作为视觉处理的主要单元，并将 伊瑟特主站移植到 Zynq平台，这样，在一块芯片里就完成了实时的视觉检测和运动控制。本设计采用 HLS进行视觉处理，对代码进行了优化，使得整个视觉处理模块的延时仅为 18.6ms。同时，在通信方面，本设计使用 FPGA进行 伊瑟特帧的收发和校验，使得 直流电同步周期抖动稳定在小于 1U时间.实时的视觉检测和运动控制在工业机器人视觉伺服中有着广阔的应用，本实验将集成摄像头的 伊瑟特主站应用在自主研发的六自由度串联机器人上，将机器人运动学算法编写入 伊瑟特主站，使得机器人可以随着摄像头检测到的物体做实时的运动。实验结果表明，本设计的实时性远大于pc平台的视觉处理，并完成了沿机器人 X 轴方向的实时视觉跟随运动。

系统架构

1. ESR6B 机器人

硬件系统设计 ESR6B机器人是自主研发的机器人，是典型的多自由度串联机器人   基于视觉引导的机器人硬件系统主要由机器人本体、控制台、Zynq和视觉硬件等组成，如图 2-2 所示。

图 2-2  系统总体方案

2. ESR6B 机器人基本设计参数

机器人有 6 个自由度，其主要技术参数包括自由度、负载能力、重复定位精度、定位精度以及工作空间等，这些参数是反映机器人性能优劣的主要指标。ESR6B 机器人的基本技术参数如表 2-1 所示。 表 2-1 ESR6B 机器人基本技术参数

3. 机器人视觉系统硬件平台搭建

机器人视觉系统的硬件选择直接影响图像采集，图像的质量和后期的处理，并影响整个控制系统的实时性，所以应根据要求和这些硬件性能，严格选择硬件。基于伊瑟特的六自由度机器人视觉伺服控制系统主要包括摄像头、Zynq、存储、显示、通信等模块。 Zynq是 Xilinx 设计的一种包含 FPGA+ARM的异构芯片，在 Zynq系统芯片中，包含了基于 艾尔M  的处理系统（PS）和可编程逻辑单元（PL）。伊瑟特主站和 linux操作系统运行在PS端，图像算法在 FPGA进行硬件加速，放在Pl端。通过阿希总线互联技术将 FPGA与手臂整合在一起，从而充分发挥出两种器件结构的优势。 摄像头的主要特性参数有：分辨率、帧率和色彩空间等.根据这些特性参数， 选择满足实验需求的摄像头。本系统设计中，选取型号为 OV 5640的 CMOS类型数字图像传感器，该传感器支持输出最大为 500 万像素的图像 (2592x1944)分辨率) 、支持使用 VGA时序输出图像数据，输出图像的数据格式支持YUV(422/420)、YCbCr 422、RGB 565以及 JPEG格式，本次设计采用 RGB 565格式数据读取。

图 2-3 OV 5640摄像头 本设计中，图像数据由 OV 5640摄像头采集，然后由 FPGA对其进行图像预处理和坐标检测，数据流经 VDMA通过 HP0口进入 DDR 3内存，然后再通过HP0返回，经过 VDMA、最后通过 HDMI接口输出视频。 光源的主要参数有：对比度、亮度、表面纹理和光源均匀性。根据上述光源的特性，选择上海东冠科技的环形光源，型号为Rin-90-6R-10 W、光源为白色的发光二极管。实物图如图2-4 所示。fcd89b1e-01d3-11ef-a297-92fbcf53809c.png图 2-4 环形光源实物图   

基于伊瑟特的六自由度机器人视觉伺服控制系统如图 2-5 所示。

设计演示

视觉伺服性能分析  视觉伺服要求从对目标的识别到控制之间的延时要很短，才能体现控制的实时性.本文设计了一组对照实验，方案一为采用在 Zynq  板上集成摄像头的伊瑟特主站，方案二为pc机连接USB摄像头，并采用广告将坐标数据传输给 TwinCAT主站的方案.两种方案使用相同的图像处理算法，主站都处于CSP模式下。

图 4-5  性能测试平台

延时计算平台为STM 32+TFT彩屏和基于XMC 4300的伊瑟特步进从站， 当屏幕开始刷新红色时，定时器开始计时，当接收到步进从站的脉冲时停止计时， 对比方案一和方案二的延时(单位 我们），如图 4-6 所示。

图 4-6  方案对照

可以看出本设计的检测延时平均仅为58毫秒，而方案二却长达 2.48s，在运行相同图像检测算法情况下，FPGA的延时更低，同时由于本设计将摄像头直接集成到主站板上，图像传输延时更低，成本更低。