- 08/21
- 2023
-
QQ扫一扫
-
Vision小助手
(CMVU)
随着机器视觉和图像处理技术的快速发展,传统的基于PC的图像处理系统的图像算法实现一般依赖于软件,存在没有硬件加速,体积大、便携性差等局限性。目前通过电子工艺水平的不断提高,和普通的计算机系统相比,嵌入式系统的使用执行功能明确,技术实现有强烈指向性、实时性、通用性强。嵌入式图像处理平台在图像处理方面具有速度快、性能强、支持多种操作系统等明显优势,并且携带方便可以应用于多种复杂情况下的场合。
NX图像处理平台是四川雷得兴业信息科技有限公司基于NIVDVI Jetson Xavier NX和Xilinx FPGA设计的一款嵌入式高速图像处理系统,整体尺寸为168x54x147mm。主要用于在FPGA和NX的平台上进行图像算法处理,具有高性能、低功耗,外围硬件接口丰富和体积小巧等特点。可以广泛应用于无人机、自动驾驶、智能机器人、智能摄像头、高分辨率传感器、自动光学检测、智能工厂和其他嵌入式系统等高性能 AI 系统。
该图像处理平台可分为三部分,FPGA模块、NX模块与图像处理算法模块。FPGA包含超过50000个逻辑处理单元(CLBS),840个数字信号处理单元(DSP),可实现高速的数据传输和处理。NX核心板包括了384个NVIDIA CUDA Cores、48个Tensor Cores、6个CPU、2个NVIDIA深度学习加速器(NVDLA)引擎,加速计算能力为21个Tops,可以并行运行多个现代神经网络,并同时处理来自多个传感器的高分辨率数据。图像处理算法可实现多目标图像提取、多目标跟踪、自动跟踪、图像增强、图像稳像、目标检测识别等功能。
嵌入式图像处理系统相比传统的图像处理系统的优势可以体现在下面三个方面:
丰富的硬件接口
NX图像处理平台集成了千兆网口、万兆光纤接口、CameraLink接口及USB接口,可支持多种不同数据接口的相机;在串口通讯方面,除了常用的RS232(2路),还搭载了传输速率更高,距离更远的RS422接口(4路);并且还拓展了4组IO接口,便于外设的连接。
强大的算法库与灵活的编程模式
NX图像算法模块中包含了大量封装好的功能函数并带注释,如目标图像提取并求取质心、形心。将图像算法集成到FPGA中,节省开发时间,并支持多线程编程,数据并行处理,运行高效。NX图像处理平台使用先进的算法和技术,可以实现高精度、智能化的视觉检测任务。
支持远程、多系统操作
NX图像处理平台支持远程操作,可以使用不同的操作系统,便于工程师开发与技术支持。
体积小巧
嵌入式图像处理平台体积小巧,携带方便,并且可以于多种移动终端相结合,特别是在在医疗、交通管理以及工业生产中。嵌入式图像处理系统的性能强大、体积小、成本以及功耗低等特点,使它在实际应用场合中都有着不俗的表现,特别是在下列的应用场合中:
数据采集存储应用
NX图像处理平台,可以对Camera link BASE/ FULL,USB3.0,千兆网,光纤等不同接口数据进行存储,为海量数据的实时存储提供了可靠保证,实现了高速度、高分辨率、长时间的高速图像的无损存储。还可以对采集到的数据进行压缩,有效地减少存储时的数据量,使得高速数据流可以被实时存储下来,满足高速图像(视频)采集以及处理的要求。
图像处理应用
NX图像处理平台为软件编程、各类数据流控制及复杂对象的识别算法提供基础保证。其图像处理模块融合了深度学习与传统图像处理方法。基于深度学习的图像处理算法与NIVDVI Jetson Xavier NX的强大算力相结合能够平衡图像处理的要求,快速实现图像分辨率提升、图像修复、图像增强、图像分类、特征识别等功能。满足复杂多变的生产环境与多种多样的监测对象的应用需求。例如缺陷检测系统,可以同时对多目标进行识别与检测并分类,基于GPU对数据进行并行处理,通过硬件加速,使任务完成更高效。
车载/机载应用
NX图像处理平台具有灵活应变的架构,可以与各式各样的终端结合,并行处理多个传感器的数据,为车载/机载应用提供了有力的支持。可以实现环境感知、图像融合、地形匹配、高精度定位、决策规划、智能控制等功能,适应大场景应用,具有负载整合、异构计算、实时性、连接性的特点。例如在无人机测绘应用中,将嵌入式与图像处理技术结合起来,通过视觉传感系统来收集信息,计算无人机此时的位姿信息,为无人机安全降落提供保障。