根据工信部的《汽车驾驶自动化分级》文件，城市NOA依然是L2级别的自动驾驶，某些情况下也可以视为L2+。它可以满足车主在城市场景下的跟车、超车、变道、转弯与识别红绿灯等需求，然后自主抵达车主设置的目标地点。NOA，是通向自动驾驶的必经之路，对于车企与供应链来说有着至关重要的意义。在号称NOA落地元年的2023年，元橡科技的双目立体视觉在NOA研发落地过程又有哪些机遇和挑战呢？

对比一些准量产NOA方案，立体视觉有那些优势？

对比“单目视觉+高精度地图”方案

说到NOA，就不得不提到高精地图。事实上，应该没有任何一家车企“喜欢”高精地图。首先，只有极少数车企拥有高精地图的采集资质，多数车企或自动驾驶企业需要向高德、百度、四维图新等传统图商购买高精地图；其次，高精地图并不是一锤子买卖，后续的更新维护工作十分重要，曾有自动驾驶车辆，因高精地图未及时更新，撞上了路边的防护带。此外，用于采集地图的车队成本也相当大；再次，相比于高速NOA，城市NOA需要的高精地图量更大，更新难度也更复杂。

相比高精度地图需要时时更新维护，我们的立体视觉计算出的点云本身就能感知出障碍物的（X，Y，Z）坐标，通过一个简单的聚类操作就可以得到障碍物轮廓在相机坐标系的坐标，根据感知出的障碍物的信息，可以给后继控制提供决策信息。同时，以双目相机的某一个相机做输入，通过AI算法输出车辆、行人、车道线、可行驶区域、交通信号灯等感知信息，做到对常见交通参与者（车辆、行人等）与未知障碍物（动物、侧翻的车辆、路障）等的无差异感知，如图1所示。

图1 侧翻车辆

对比“单目相机+激光雷达”方案

大部分已量产或者规划量产的NOA需求的车辆都会搭载1颗或多颗激光雷达，他们所采用的技术就是BEV+Transformer的方案。简单来说就是将摄像头、毫米波雷达、激光雷达等感知元件采集到的实时数据通过Transformer模型转换成3D图景，最后形成车辆周围的鸟瞰图，实现对车辆周边环境的精准感知。

但是，激光雷达方案缺点也是显而易见：受环境如雨、雾的影响比较大；扫描频率只有10/20HZ，因为是360度扫描，加上数据缓存和处理时间，实际上的时延还是很大的；价格昂贵，一个128线激光雷达动辄上万块；对于透明介质也无法得到准确的深度信息。

相比激光雷达，双目的优点也比较突出：受环境光线的影响比较小；售价优势比较大，满足车规市场的售价不到激光雷达1/40；双目相机其中一个单目摄像头可部署基于深度学习算法的物体识别能力。

综上，双目相机的立体视觉既拥有摄像头的成本、识别优势，又具有激光雷达的高精度点云测距优点，虽然测距精度相比激光雷达仍有不足，但是基本能满足主机厂测距要求。

双目相机相对高精度地图优势的突显

尽管双目相机相对高精度地图或者激光雷达等多传感器融合方案有不少优势，但是在量产落地时仍有不少难题需要我们一一克服。

双目立体匹配算法选型问题

深度立体匹配算法有两种学习方式，分别是 “有监督”和“自监督”。自监督学习无需数据标注，使用内在几何（通常是多视图几何）关系相互监督学习产生视差值。其能够充分利用大型无标签数据集，可用数据集本身以较低成本构造大量标签。但是，自监督算法的结果可能不太准确，精度相比有监督方式有点偏低。因此，我们最终选择有监督方式作为立体匹配算法的基石进行算法迭代。这就引入了另一个问题，深度补全。

深度补全问题

立体匹配真值需要较为稠密的视差图。稠密的视差真值是激光雷达产生的稀疏点云通过深度补全算法或其它算法及策略（这里统称深度补全）生成的密集的深度图，然后将生成的深度信息映射到2D平面。一般来讲，激光雷达的点云是稀疏的，直接拿稀疏真值训练结果并不理想。学术界一般通过传统算法加点云或者多帧点云融合生成比较稠密的点云，生成的点云稠密度大概是激光雷达生成点云稠密度的五倍左右，如图2所示，然而，使用学术界生成的点云在做算法训练测试时，会有目标细节不显著，天空等无纹理区域视差预测失败等问题，难以满足量产需求。此外，由于激光雷达扫描角度限制，通过学术界的做法难以得到图像上半部分真值以及目标边缘细节信息。

图2 学术界激光雷达补全之后示意图

因此最好是使用融合的方法。我们首先把学术界的方法作为我们生成真值的候选方法1；用元橡科技高效准确的传统立体匹配算法（该算法有较快的运行速度，较高稠密度及很高的准确率（百米误差能做到5%以内），已大规模量产）生成视差数据作为生成真值的候选方法2；用无监督学习的方法（如monodepth2）生成视差真值作为候选方法3；用元橡现有的深度立体匹配网络生成的视差真值作为候选方法4（前期视差真值来自方法1、2、3的融合，后面迭代融合方法1、2、3、4，作为候选方法4的真值）。最后，通过不断迭代并融合方法1、2、3、4，作为最终的视差真值，如图3所示。

图3 最终补全效果图

部署问题

常见的或者效果较好的深度立体匹配算法往往包含一些不常用算子，这些算子在往嵌入式平台部署时，经常受限于芯片平台算子支持力度，导致立体匹配算法较难落地。基于上述现状，我们开发一套通用立体匹配算法，该算法包含的网络结构仅含有常规算子，在不降低精度的同时降低部署难度。目前，该算法已可在多个平台部署。

目前一些头部汽车企业已经基本完成了高速NOA的落地，且有朝“重感知，轻地图”的方向发展。在克服双目立体的重重难关之后，不管是作为高精度地图或激光雷达的替代品，还是作为多传感器融合的一环，双目相机在NOA市场都大有可为。

（元橡科技  刘青松）