日期
05/11
2021
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

宸曜打工人日常小实验:NRU-110V的8台相机同步及LFM功能测试
收藏
2021-05-11 11:53:40来源: 中国视觉网

NRU-110V是一款NVIDIA® Jetson AGX Xavier ™ 边缘计算人工智能平台,支持8 台GMSL车载相机,可用作自动驾驶的相机传感器集线器,自主移动机器人(AMR)的控制器,或遥控无人地面车辆的视频转码控制器。NRU-110V 是一个交钥匙解决方案,内含板载GMSL 解串器用于8个同步的车载GMSL相机输入,和一个预装的板载支持包(BSP),带所选相机的驱动。

这一次,宸曜工程师们又用NRU-110V做起了实验。

支持GMSL 相机使得NRU-110V 拥有了强大的视觉能力。利用车载相机的优势,如IP67 等级防水能力,高动态范围(>120dB HDR),自动白平衡(AWB),和LED 闪烁抑制功能(LFM),因此不论光照条件如何,是在阳光明媚、阴雨天或漆黑的夜晚,NRU-110V 都能够采集高质量的图像。

然而,工程师们并不满足于此。

NRU-110V 还有一种独特的同步机制,能够同时从8台GMSL相机采集图像,通道间时间误差在微秒级,同时还可以接收GPS 秒同步(PPS) 信号,以完成图像数据与其它传感器的时间同步,如激光雷达(LIDAR)或其它系统上的相机。
同时,为了回应客户想知道的LFM在NRU-110V的上的表现情况,我们还进一步做了一个LFM的对比试验。

Demo1-8台相机同步和显示屏到显示屏时延 (Glass-to-Glass Latency)

实验准备:NRU-110V接了8台GMSL相机,从8个视角对同一台笔记本进行拍摄,被拍摄的笔记本上显示的是计时器正在计时,秒表不停滚动,并且8台相机拍摄的画面都显示在了同一台与NRU-110V相连的显示器上。与此同时有一台画外相机拍摄NRU-110V的显示器。

8台相机同步:当我们将拍摄的视频暂停时,可以看到8台GMSL相机捕获的是同一时间。这表明,NRU-110V所连接的8台相机拍摄的画面是同步的。

显示屏到显示屏时延

当我们将拍摄的视频暂停时,可以看到8台GMSL相机捕获的时间与原始笔记本电脑计时器上显示的时间相差约100毫秒。

这表明,NRU-110V所连接的8台相机拍摄的画面与原始画面相比,显示屏到显示屏的时延约为100毫秒。

Demo2-支持LFM和3-exposure HDR图像

LFM

NRU-110V是一款Jetson Xavier计算平台,支持GMSL相机,可提供低延迟,高质量的HDR图像。这个实验视频旨在回应客户想知道的LFM功能在NRU-110V上的表现。

LFM全称是LED Flicker Mitigation,即LED闪烁抑制,是目前较为先进的汽车相机中独特的功能。 

LED灯通常被应用在车辆、交通信号灯和路边标识中。由于视觉拥有持续性,对于人眼来说LED似乎一直都是常亮的。而实际上,80~90Hz 的LED是持续闪烁的。LFM功能旨在抑制交通灯和标识所产生的闪烁。

实验准备:在这个demo中,我们试着通过采集两个不同CMOS传感器的视频来展示LFM功能,一台CMOS传感器AR0147拥有LFM功能,而另一台CMOS传感器AR0231没有LFM功能。为了使得对比试验对于AR0231公平,我们把AR0147的FPS从30fps降低至22fps。

实验过程和结果:您可以看到,拥有LFM功能的AR0147拍摄到的LED灯光永远是亮的。然而,没有LFM功能的AR0231拍摄到的LED圆形灯光有一段固定的部分是呈灰色的。

不仅如此,您在Demo中可以看到,AR0147还能拍摄3-exposure HDR图像。3-exposure HDR是指将三张不同曝光设置的图像合成一张图像,这么做是为了增强动态范围。因此,即便我们将相机放置在正对LED强光的地方进行拍摄,您仍然可以看清LED后面的名片。

LFM对于需要实时交互的路边环境应用是非常重要的,比如自动驾驶和远程操控。这个demo充分说明NRU-110V可支持拥有LFM功能的GMSL相机,并支持拍摄高质量的HDR图像,十分适用于需要持续与周围进行交互的基于人工智能的机器视觉应用,如UGV/ AMR,ADAS,智能V2X 车联网等。