随着人工智能(AI)的兴起，医疗设备和仪器在感知、分析和判断特定情况方面变得更加智能。人工智能的目标是让软件能够像人类一样更智能地运行，从而提高硬件的自主性。计算机视觉是一种与人工智能相关的具体技术。计算机视觉系统尝试基于光学传感器传输的数据作出主动决策，就像人类基于视觉感知作出决策一样。

在医学成像领域，人工智能正迅速渗透到放射学和心血管中的血液追踪扫描等领域，但在其他应用医学领域，具有可见光和/或近红外光灵敏度的光学传感器可以帮助临床医生进行病患监护、诊断、数字病理学研究、光学相干断层扫描、外科手术等。

虽然许多机器学习方法为不同的目的而开发，但它们都有一个共同的目标，那就是通过帮助机器进行改进和学习来实现特定目标。在计算机视觉人工智能领域中，最流行和最突出的一种机器学习方法是深度学习，它可以在数据中发现一些甚至医学专家都无法察觉的结构和模式。

深度学习算法需要海量数据才能发挥作用。大多数医学成像应用会生成大量的图像数据，这些数据适合用于对非常复杂的算法进行训练，从而解决特定的问题。可针对实时的非侵入性应用对此类算法进行训练。

将深度学习应用于医学图像数据可以使许多应用获益，包括人体组织成像和光在组织内的传播。在尝试开发新的诊断方法时，后者是医疗成像中的一个重要问题。

生物组织在组成方面属于异质结构，在光学性质上有多种空间变化。进入生物组织的光会出现不同程度的散射。不同组织可以吸收的波长取决于它的分子组成，所以在光谱治疗范围之内和之外，其对光吸收的波长特点，如同指纹一般各不相同。

多光谱相机可用于捕获组织复杂的叠加结构，深度学习可以在这方面派上用场。将两者结合可以打造一种更高效、更智能的模式匹配方法，可用于识别正确的组织材料并测试人工智能决策过程的稳健性。

人工智能和计算机视觉的另一个颇有前景的应用是手术辅助。这可能涉及到多光谱成像或单传感器相机。现今的外科医生通常需要借助各种光学系统的组合来开展救治工作，比如显微镜和相机。将手术现场的图像输入人工智能引擎后，可以自动高亮显示图像的特定区域，如血管或肿瘤。

通过使用正确的光学和示踪物质（如ICG），专为手术辅助工作而设计的多光谱相机以及人工智能驱动的传统RGB相机，可以高效地在荧光技术辅助手术中导向目标组织。

外科手术中使用的相机必须提供高帧率，以及高质量的图像（在合适的分辨率下具有出色对比度和颜色表现力）。这些相机必须支持至少1280 x 720像素的高清分辨率，以及30帧/秒(fps)以上的速度。

更常见的是提供帧速率为60 fps的全高清分辨率(1920 x 1080)，为外科医生提供的图像可与家里标准平板电视上所显示的图像相媲美。一些手术室采用具备4K分辨率的显示器，以便更清晰地显示微小细节。水平分辨率至少为3840至4096像素的相机分辨率用于生成在4K屏幕上显示的图像。

几种不同的相机分辨率（包括800万像素、1200万像素、2000万像素和2500万像素），都可以达到这种水平的显示效果，许多相机能够达到60 fps的帧速率并提供流畅的视频采样，远高于人眼的最低视觉感知频率。

在不久的将来，一些外科手术实时显示器将能够以60 fps的帧速率提供8K分辨率。这将要求相机具有4500万或更高的像素分辨率和超高速接口，以保持出色的帧速率。但全高清和4K选项在如今已成为现实，于是也意味着高分辨率实时视频系统必须能将大量数据及时传输到处理和显示单元。

在图像数据通过人工智能引擎的情况下，根据涉及的智能流程，可以对图像数据进行减少、修改、选择和转换操作，以满足应用需求。在任何情况下，原始数据可以通过高速接口在相对较长的距离上实现无间断传输，例如使用10GigE Vision（铜电缆或光纤电缆）或CoaXPress（同轴电缆）。类似的方法也适用于数字病理学、幻灯片扫描和计算机辅助病理学。数字WSI（全幻灯片成像）通过结合利用高速机器视觉相机和人工智能，对数字化图像进行检测、分割、诊断和分析。

早期的医学成像系统主要使用RGB传感器，而如今更多的系统开始使用多光谱相机。这些系统并不局限于可见光谱，它们可捕捉多个位置彼此分离的光谱波段的信息，包括可见光范围内和范围外的波段。这可以显示在可见光谱中看不到的特性，并且可以与各种NIR荧光技术一起使用，从而以明显方式“标记”或突出肿瘤、血管或其他外科医生感兴趣的特征。

多光谱成像将光谱学和机器视觉进行有机结合，为成像领域带来了新的发展机会。在多光谱成像系统中添加人工智能来提取和解释可见光谱以外的图像数据，是一项非常强大的工具。新款棱镜式多光谱相机现在支持对多光谱波段的大小和位置进行灵活定制。这简化了不同光谱配置的设计工作，进而能为特定应用提供尽可能多的支持。

无论是RGB、单色还是多光谱成像系统，当与人工智能引擎结合时，它们都可以观察和评估超出人类感知能力的情况，从而扩展和提高临床医生的能力。通过将机器视觉相机与Nvidia Jetson、Nvidia Xavier等嵌入式平台相结合，人工智能引擎可以成为机器视觉硬件的一部分。