一般来说，机器视觉系统包含有镜头、摄像系统和图像处理系统，而其核心则是专用高速图像处理单元，也就是把存入的大量数字化信息与模板库信息进行比较处理，并快速得出结论，其运算速度和准确率是关键指标。
    生物学研究表明，人类获取外界信息75%依靠视觉系统，而在驾驶环境中这一比例甚至高达90%。如果能够将人类视觉系统应用到自动驾驶领域，无疑将会大幅度提高自动驾驶的准确性。

机器视觉在自动驾驶中的应用主要有以下两个方面：
障碍物检测
    障碍物检测的准确率是车辆自动驾驶过程中安全性的重要保证。在行驶过程中，障碍物的出现是不可预知的, 也就无法根据现有的电子地图避开障碍物，只能在车辆行驶过程中及时发现, 并加以处理。当前，由于自动驾驶环境的不成熟，关于障碍物的定义尚没有统一的标准。因此，可以认为一切可能妨碍车辆正常行驶的物体和影响车辆通行的异常地形都是车辆行驶过程中的障碍物。目前来看，障碍物检测算法主要有以下三种：1. 基于特征的障碍物检测；2. 基于光流场的障碍物检测；3. 基于立体视觉的障碍物检测。在三种算法中，基于立体视觉的障碍物检测因为既不需要障碍物的先验知识，对障碍物是否运动也无限制，还能直接得到障碍物的实际位置而成为主流研究方向。但其对摄像机标定要求较高。而在车辆行驶过程中，摄像机定标参数会发生漂移，需要对摄像机进行动态标定。
道路检测
    自动导航是自动驾驶的必要条件，自动驾驶过程中，道路检测主要是为了确定车辆在道路中的位置和方向，以便控制车辆按照正确的路线行驶。另外，它还为后续的障碍物检测确定搜索范围，以及缩小障碍物检测的搜索空间，降低算法复杂度和误识率。然而由于现实中的道路多种多样，在加上光照、气候等各种环境因素的影响，道路检测是一个十分复杂的问题。至今仍无一个通用的算法，现有算法基本上都对道路做了一定的假设。通常采用的假设有：1.特定兴趣区域假设；2.道路等宽假设；3.道路平坦假设。另外，道路平坦假设也为障碍物定义提供参考。
    目前，机器视觉技术在自动驾驶中并没有进行大规模的应用，其实这这并非是硬件的问题，事实上摄像头技术在汽车中的应用已经十分成熟，而芯片技术也已能够高效完成图像的压缩处理，最终难点在于模拟神经网络的视觉算法。