使用Basler相机和图像采集卡实现自动驾驶技术--机器视觉网

使用最高级别的L5级自动驾驶技术时，车上的乘客无须介入驾驶过程，也完全不需要司机进行操控。这项特殊的工程成果已由GreenTeam Stuttgart（斯图加特绿队）的学生们成功实现，目前只限在指定的测试和赛道中使用，以避免事故风险。

无人操纵的“bolide”电动赛车

该系统的关键在于从图像采集到结果输出的高难度实时行为，这也是将基于FPGA的图像采集卡作为首选组件的原因，相机分辨率在决定过程中也发挥了重要作用。

Basler解决方案及优势

赛车中的图像处理系统由传感器阵列组成，其中包括连接到GPU的激光雷达传感器和两台Basler ace acA1300-75gc彩色面阵相机，并通过GigE Vision接口将数据传输到microEnable IV VQ4-GPoE图像采集卡。在数字控制信号的处理方面，图像采集卡配备了特殊的扩展卡Opto-Trigger 5。图像处理系统可通过开发环境VisualApplets获得所需的功能，借助VisualApplets，团队可在FPGA上针对适当的应用程序进行图形化编程，只需较短时间即可完成。

车载激光雷达传感器以及面阵相机

激光雷达传感器可以识别道路边缘、起点和终点处的路锥，并输出带有路锥位置但不含色彩信息的点云图，相互靠近的点以图簇的形式来表示一个路锥。同时，两台相机确定颜色，并将其分配给点云中的路锥。安装在车辆PC中的图像采集卡使用Blob分析将路锥周围用边界框(Bounding Box)进行分隔，并在HSV颜色空间中对它的颜色信息进行分类。然后再使用深度学习算法来验证分类结果。

具有不同视角的传感器阵列

传感器阵列与深度学习

GreenTeam 根据以前标记过的训练图像，对底层的Yolo-v3（tiny）网络进行了调整，使该系统深度神经网络(CNN)可以区分小型的黄色、蓝色、橙色路锥以及大型的橙色路锥，从而验证分类结果。

两台相机采集的图像与来自激光雷达传感器的图像相结合，组成150/160度的光圈角度。连接到图像采集卡的触发板负责控制并同步两台相机的触发。机器人操作系统(ROS)中的时间戳可确保与激光雷达传感器保持同步。

ROS包含可执行单个功能所需的全部软件组件（可分隔），神经网络也在ROS中运行，用于处理来自图像采集卡的信息并由CNN执行验证。

适用于自动驾驶技术的图像处理系统的软件架构

使用VisualApplets进行图像预处理

赛车软件的核心组件是VisualApplets图形化开发环境，它可用于在用户界面上轻松快速地对FPGA处理器进行图形化编程。图像处理过程包括图像预处理，即通过调节白平衡、借助去拜耳化进行色彩转换、从RGB转换到HSV色彩空间等步骤来强化成像效果。接下来的Blob分析会将颜色相似的像素合并为一个边界框。预处理以及图像处理功能被编程在图像采集卡中的小程序上（小程序是一种用于在FPGA上执行的编码应用程序设计）。GreenTeam只需进行一天的训练就可以完成小程序的调整工作。

Basler可提供相机、图像采集卡、VisualApplets和咨询服务，这也是GreenTeam决定与Basler合作的主要原因。GreenTeam 2018/2019赛季的项目经理Christian Witte强调说：“相机与系统完美兼容，可在不丢失图像数据的情况下提供可靠的图像采集功能，还有集成的预处理步骤和实时处理图像数据，以便快速可靠地识别路锥——所有这些优点都有利于实现这个高质量的图像处理解决方案。除此之外，还有深度学习技术和VisualApplets，为我们提供的专业知识对我们有很大帮助。”

总体而言，项目团队不用投入太多精力即可配置图像处理系统，该系统也适用于不同的光照和天气条件，无需使用特殊的额外光源。因此，即使在瓢泼大雨或酷热天气中，车辆也能始终保持正常行驶。如果系统真的宕机，依然有解决方法：可通过遥控的紧急停止功能来强制车辆立即刹车。