日期
07/06
2023
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

如何克服边缘视觉的带宽限制?虹科HK-Gidel FantoVision开辟新道路
收藏
2023-07-06 16:20:13来源: 中国机器视觉网

边缘视觉是指一个相机连接到一台边缘计算机/嵌入式计算机,然后在云端进行处理或存储。同时,我们也做一些机器控制。客户反馈,1gige相机的一个输出已经不够用了,仅能把它连接到PLC。我们需要相机的第二个1 GigE的输出通道,以便将图像数据传输到云服务器。

图片1.png

我们整个行业都在追求更多像素,更高帧率、以及更高的空间分辨率和时间分辨率。如上图所示,我们有很多的图像传感器,就是棕色的那些点,点连接的线表示我们行业中常见的典型接口,PCIe 3.0是蓝色的线,CoaXPress v2 x4是红线。当图像传感器高于某条线时,这个接口的带宽就已经不够去传输该图像传感器的数据了。

图片2.png

上图中有很多图像传感器,带宽速度比10gige、CoaXPress v1快很多,甚至比100千兆接口更快。这意味着图像传感器取得了巨大的进步,可以提供一万帧、1亿或更多像素和速度远高于150GB/s或gb /s的带宽。我们在接口上确实取得了一些进步,我们的带宽速度越来越快。但挑战仍然存在,即使有链接聚合也很难能跟上传感器的发展速度。最后,电脑的性能水平也存在问题,GPU和CPU的性能远远落后于其他领域。

图片3.png

也就是说,如果我们的解决方案是用高分辨率的高速传感器,我们有很多瓶颈,一个是我们已经讨论过的摄像头接口,然后是GPU和CPU的桥接接口,还有CPU的负载或处理能力。最后,计算机上送云端的带宽在最好的情况下才能达到1G。

图片4.png

如果我们有多个摄像头,情况会变得更糟。假如我们有多个10gige相机、CoaXPress或100 GigE相机,以100 gige相机为例,速度大概是每秒96千兆比特乘以摄像机的数量。然而大多数情况下,我们电脑的最大带宽接口PCIe 3.0,其带宽也只有48千兆比特每秒,这是最关键的瓶颈之一。

图片5.png

解决这个问题的方法是在多摄像头和CPU架构之间放置一个图像采集卡的设备。图像采集设备可以做压缩以及预处理。举个例子,从图像提取一定区域的ROI进而减少总数据带宽。

实际应用中,对图像采集卡的需求有哪些?我们通常需要一个高带宽的相机接口、多相机接口、超高精度的同步以及可定制的IOs来控制外围设备。在处理过程中,需要能够实时并行处理,并且需要低延迟、有一个大的DRAM,从而计算复杂的算法,因此我们需要很多个千兆比特每秒的内存访问带宽。实时压缩和ROI选择是一种很好的解决方法。

对于系统开发人员来说,开发的便捷性也是关键。一个开放的FPGA可以将一些特定的IP放在图像采集卡上,例如通过FPGA的集成开发环境来实现,快速实现算法和方案开发,所以图像采集卡需要满足灵活、易于使用的要求。

最后是系统集成方面,如果我们有一个PCI 3.0  x8 或 x16能获得最大的可用性能,并且具备小尺寸和被动冷却性能。是否能将图像采集卡和计算机合二为一?

图片6.png

虹科有相应的产品,HK-Gidel FantoVision 40是一款开创性的小型计算机,可与高达4 x 10GigE Vision或 4 X CoaXPress 2.0相机连接进行图像采集和处理。创新架构将高端图像采集与使用Nvidia Jetson的实时图像处理和/或压缩相结合™ 在Intel Arria 10上具有可选预处理/压缩功能的嵌入式计算机™ FPGA。

HK-Gidel FantoVision的另一个显著特点是其开放式体系结构支持GPU和FPGA上的嵌入式AI/图像处理。软件工程师可以使用CUDA C/C++和NVIDIA的库在GPU上编写他们的算法。此外,使用新颖的ProcVision套件,在FPGA上开发和部署可选的预处理块既简单又快速。

多个HK-Gidel FantoVision单元可以相互连接,以提供独特且可扩展的拓扑结构。使用InfiniVision™ 开放式框架抓取器流程,100多个传感器可同步处理。

HK-Gidel FantoVision为高带宽、低延迟应用的新型紧凑、经济高效、可扩展的视觉和成像解决方案开辟了道路。例如需要高分辨率、高速度的交通监测、面板检测等,可以提取和识别高分辨率图像中的关键信息,如车牌号码等。这些信息可以通过云端或其他设备进行传输,而不需要过多的带宽。

图片7.png

具体而言,交通检测应用中有多个摄像机在拍摄高分辨率图像,通过图像采集卡提取了ROI区域甚至是车牌,在GPU上我们布署算法做车牌识别,最后将识别的车牌号码传到云端上,从而不需要很多带宽。

虹科是智能感知与机器视觉领域领先资源整合及技术服务落地供应商,为用户提供图像采集卡、FPGA图像处理和高带宽图像采集等服务。目前已经陆续在国内完成了多家一线公司的汽车图像采集、AOI、晶圆半导体检测项目。