在一些不适合人工作业的危险环境或者人眼视觉难以满足要求的场合，用机器视觉替代人眼来进行观察、测量就成为了一种非常必要的选择。20世纪80年代，美国麻省理工学院的Marr提出了一种基于双眼匹配的视觉计算理论,使两张有视差的平面图经过处理能够产生有深度的立体图形,从而实现三维重建。经过几十年的发展，双目立体视觉已成为计算机视觉中的一个重要分支，左右摄像头模仿人类双眼，具有识体和测距功能，在人类生活的方方面面都有广阔的应用前景，尤其在智能化程度越来越高的汽车领域、机器人领域，需求的爆发和技术的成熟已经让双目感知从过去的较少认知，演变成当下行业内一种重要的感知方案。

近日，元橡科技CTO任杰分享了《双目立体视觉的研发进展及在智能驾驶和机器人领域的应用》主题报告，以下内容根据报告整理。

智能双目，“上天入地”

近几年来，我们看到双目出现了越来越多的行业热点，着陆于火星乌托邦平原进行科学探索的“祝融号”、高智能水平的仿生机器人以及我们生活中已经比较熟知的无人机、割草机、无人配送车等等，双目传感器的应用从我们身边触手可及的地方跨越到几亿公里外的太空。

而近阶段大型车展中所展示的新车型，很多也有了双目摄像头的配置。在车载领域，双目的应用其实有着很长的历史。1999年，斯巴鲁第一次在其量产车型中搭载了双目视觉系统，在这之后，双目技术路线一直向前演进。早期，我们更多是在一些日系、德系车上看到它的身影，而后更多主流高端车型有了立体视觉相机的布局，并开始逐渐向中低端车型渗透。越来越多的主机厂开始在新的产品中从单目切换为双目方案，包括大众、本田、小鹏、极狐、零跑、领克等，以提高L2以上更高级别自动驾驶技术的安全性和可靠性。

汽车产业的更新换代，让整个行业都必须反复思考：车辆应该具有什么样的智能？以及技术角度如何与真实的行业需求匹配？目前，全球唯二已上路的L3量产车，一个是奔驰S级和EQS旗舰车型，一个是本田Legend Hybrid EX，均配备有双目立体视觉系统。

为什么“热”？顺着风向，创造价值

双目的热度为什么快速升高？因为真实世界的复杂环境和高等级智能化的需求，要求感知系统具备越来越高的准确性、鲁棒性和稠密度。比如充满未知因素的火星表面，比如我们家用机器人工作的日常环境，复杂程度都非常高。从车载角度来说，大家普遍用L0-L5的等级去划分自动驾驶的级别，目前主流车企大多是在L2~L3中间，这个区域其实是存在一个比较大的阶跃的。

整个智能驾驶系统从之前更多关注误报转向更多关注漏检；从部分目标/场景的检测变为尽量实现整个环境全类型目标覆盖；从辅助司机减轻驾驶疲劳，到主动预防风险。

自动驾驶应用的范畴，从港口、矿山等封闭场景，到高速NOA，再到城市NOA的实现，场景规模快速铺开，技术难度指数级增长。行业进化如火如荼，就对感知层面提出了更高要求。要实现从辅助驾驶到自动驾驶的技术迭代，双目立体视觉是最合乎自然进化规律的路线。

双目是类人眼的仿生传感器，我们人类可以凭借双眼感受这个世界，完成各种各样简单或复杂的任务，而要解决自动驾驶的长尾效应，这样一种在不同场景都有高适应度的“通用传感器”就有着重要作用。

整个自然界的物种群体中，根据食物链的不同分配方式，会使动物的视觉系统演化出不同的能力。例如老鹰、狮子、猎豹，包括人类，大多是作为捕猎者的角色，因此双眼视觉更聚焦，测距信息的精准程度也更高。而金鱼、马、鹿等动物的眼睛构造则使它们的视力覆盖范围更广，看得更多也更快，因此就能对危险有更迅速的反应。目前用于自动驾驶的双目传感器，更多是从前者得到的启示。

动物界中进化的不同双目视觉系统

双目技术原理是基于三角测量理论。对于同一场景，用左右摄像头在同一时间拍摄两张图像，两张图具有大量的冗余信息，但是会有微小差异，就是这一点微小的差异，让我们可以通过数学计算推导物体的距离也就是深度信息，从而得到稠密的空间感知结果。

目前业内普遍使用的技术方案各有特色，比如激光雷达测量精度高，一致性好，但稠密度欠佳，成本令人却步；毫米波雷达支持全天候工作，但点云非常稀疏。不同的传感器可以做特色的搭配，未来也会有更多的融合，把每种传感器的能力发挥到极致，以在感知层实现足够的安全冗余。而我们始终更推崇并坚持双目路线的原因是它更接近于人类视觉和大脑的感知和理解方式，信息最丰富稠密，得到的深度信息和图像是点对点一一映射的天然结果，成本也比较低。

双目能够对整个三维环境做到高帧率的实时感知，对于不常见的、具有混淆作用的一般障碍物也能有准确识别能力。从元橡双目产品的3D高精度感知结果来看，用1M像素、10cm基线，车辆稳定检测距离可以超过150m。

走正确的路，然后坚决地迎难而上

· 双目立体匹配的难点&热点

立体匹配基本算法流程

双目立体匹配的过程中，我们可以使用一些不同的方法，传统方法和基于深度学习的方法等，它们的基本思想是很接近的。那么如果要实现最好的效果，业内面临的一些难点或者说研发的热点是什么呢？

总体来说，我们会关注这样一些方面：保真度：怎样获取精准的轮廓细节，提高纹理细节的保留能力；鲁棒性：减少错误匹配；稠密度：利用多尺度上下文理解，解决低照度/弱纹理场景下的问题；精准度：实现远距离的精准测距感知；实时性：算力和性能的平衡。

· 异构算力的研发与产品化

怎样在异构芯片上进行部署，也是双目立体视觉涉及的难点和热点。针对异构的算力平台，比如FPGA、CPU、AI加速引擎以及ASIC，我们要考虑怎样部署去提高数据交互的效率和取得算法&性能的折衷，这是一个系统性、工程性的问题。

这一方面，元橡成功研发了国内首颗双目车规级芯片：ASIC芯片，实现低功耗和高性能，级联最大可支持8M，60FPS；内置ISP，专为立体视觉定制设计，同步、多通道图像一致性；专用深度引擎，直接输出图像+深度信息，深度计算时间延迟为毫秒级；内置基础应用，包括避障、SLAM等；领先的双目算法Meto-DEP，在有限的算力情况下，发挥最大的计算能力和计算效率，同等目距、像素条件下，测距更远、精度更高。

· 量产工程化与产业合作

我们把一个双目摄像头拆解开来，其结构包括壳体、镜头、基座、PCB、CMOS等等，产品最终功能的实现，需要物理器件配合光学成像器件，还需要算法去一起完成耦合和调校。

只有在工程化的每一个流程中，逐一攻克难点，从整体系统角度思考，综合优化，才能在量产过程中保障好产品的高精度和高稳定性。而也只有在产业合作的每一个环节中，从全生命周期的视角去理解并完善产品，才能让消费者获得更好的产品体验。

典型应用领域：技术最好的发展，是“飞入寻常百姓家”

元橡立体视觉产品的典型应用领域是智能驾驶和机器人。

智能驾驶领域

面向智能驾驶的场景不确定性和长尾效应，双目是类人眼的“通用传感器”，可以对大模型不可能覆盖到的边缘场景（corner case）进行规避和响应，降低交通事故的发生率。另外在一些起伏、颠簸的路面，双目路面预瞄产品也能提高行车舒适性。

元橡车载双目产品包括双目摄像头模组方案、双目一体机方案、域控制器方案，覆盖行车安全和舒适两大功能。

· ADAS功能优势：AEB鬼探头的及时检测与制动优化

比如城市复杂场景中我们需要面对的“鬼探头”，双目可以更早地通过局部对象点云检测发现鬼探头危险趋势，更早提供规控信息进行制动。相比之下，单目则需要更长时间确认完整对象导致响应延误。

· ADAS功能优势：AEB一般通用障碍物有效检测与制动优化

现在自动驾驶车上路之后，用于自动驾驶训练的数据量变大了，系统能力逐步提升。但我们仍能看到一些很“奇怪”的事故发生，比如前面明明有一个很大的侧翻车辆，自动驾驶车还是“无视”地撞上去了，这就是因为单目对一般障碍物的检测失效了。

而双目立体视觉天然具有测量能力，不依赖于AI训练就可以检测出各种障碍物，包括但不限于路墩、侧翻车辆、路障等各类一般障碍物，能有效避免单目AI漏检产生的危险事故，显著提升系统安全性。

· ADAS功能优势：ACC跟车切入「加塞」快速检测与制动优化

在ACC跟车切入场景中，双目方案能在车身完整出现前就可以更早检测出加塞车辆。加塞车辆只要露出一点点车头，双目就获得了足够的信息，能精准判断对方车辆姿态、距离，从而更好判断对方意图，提示自车车主做出缓速或者刹车动作，让ACC控制更安全，更舒适。

· 高阶智能驾驶：更可靠高效的可行驶区域

在更高阶的智能驾驶中，Tesla和Mobileye早前就提出了free space也就是可行使区域的概念。而双目天然就能具备完备的目标识别感知与可行使区域检测能力，在混合场景、密集场所等复杂路况条件下，全类型感知人、车、物，对障碍物的检测更加精准和鲁棒。

· 舒适性功能：魔毯底盘

在汽车行业竞争日渐白热化的当下，高端车型很多都已经配备了用于整车垂向舒适性控制的底盘悬架和减震系统。这与双目可以进行路面预瞄的结合，通过双目系统识别道路类型，扫描前方路面信息，得到高精度路面3D点云，将路面数据传递给主动悬架系统，进行底盘实时自适应调节，实现“魔毯”功能。

继豪华品牌的高端车型如奔驰S、宝马7之后，国内品牌的高端车型，如比亚迪、东风M系列也开始增加魔毯功能来大幅提升驾驶舒适度，基于在双目立体视觉领域的绝对优势，元橡科技已获得多家国内车企的主动预瞄魔毯系统定点。

而“魔毯”功能和ADAS功能其实可以复用同一个传感器，在整个产业追求高性价比的趋势下，可以为整车提供更多的差异化功能和功能点优化。

机器人市场应用领域

近年来，基于人力成本和运营效率提升的诉求，机器人更多地进入到千家万户。机器人的智能化水平提升，对其感知性能的要求也快速增加，尤其体现在感知精度、感知范围，以及多维度感知（全对象检测识别、三维精准测距）等方面。

元橡机器人双目产品方案，用不同的距离和不同的感知性能指标去覆盖不同类型的机器人场景。比如我们的景区游览车，从定位来讲是接近L4无人驾驶的状态，从商业闭环来讲，它可以一键召唤，在行人乘驾过程中可以降级为L2辅助驾驶，行人还车之后再次变为L4阶段。

游览车的感知系统是纯视觉的方案，没有配备激光雷达和毫米波雷达，但是它在运营过程中可以做到识别和规避一些突如其来的障碍物（比如公园景区中穿行的老人小孩或者路面掉落的矿泉水瓶等），以及做到列队行驶的功能。

采用元橡双目视觉感知方案的景区游览车

基于底层传感技术，双目可以用于多种不同的机器人应用场景，实现跟随、避障等产品功能，给我们的生活带来一些更好的改变。

我们相信，最好的技术成果一定不会被束之高阁，而是在每一个被需要的地方不断地去实现人们对于美好生活的向往。元橡科技专注双目立体视觉领域，提供算法+芯片+模组+相机+软件全栈解决方案，全方位打造“眼脑协同”的感知系统，帮助人工智能“解码”现实三维世界，让车辆智行无际，让人机友好交互，让梦想遨游穹宇，让双目从“技术”跃向“价值”。