来自加州大学河滨分校机械工程系的研究者通过应用光学漩涡证明了混合计算机视觉系统的可行性。该研究为光子学在构建通用的小脑混合神经网络和开发用于大数据分析的实时硬件方面的作用提供了新见解。

从医学诊断到自动驾驶再到人脸识别，图像分析在现代技术中无处不在。使用深度学习卷积神经网络的计算机彻底改变了计算机视觉。但卷积神经网络（convolutional neural network，CNN）通过从预训练数据中学习来对图像进行分类，然而这些数据通常会记住或发展某些偏见。此外，数据还易于受到对抗性攻击（以极细微且几乎察觉不到的图像扭曲出现）的干扰，从而导致做出错误的决策。这些缺点限制了卷积神经网络的用途。

提升图像处理算法能效和可靠性的一种方法是将常规计算机视觉与光学预处理器结合起来。这种混合系统可以用最少的电子硬件工作。由于光在预处理阶段即可完成数学函数而不会耗散能量，因此使用混合计算机视觉系统可以节省大量时间和能源。这种新方法能够克服深度学习的缺点，并充分利用光学和电子学的优势。

今年 8 月份，在一篇发表于 Optica 的论文中，加州大学河滨分校机械工程系助理教授 Luat Vuong 和博士生 Baurzhan Muminov 通过应用光学漩涡（具有深色中心点的旋绕光波），证明了混合计算机视觉系统的可行性。光学漩涡可以比喻为光绕着边缘和角落传播时产生的流体动力漩涡。

研究表明，光学预处理可以降低图像计算的功耗，而电子设备中的数字信号识别相关性，提供优化并快速计算可靠的决策阈值。借助混合计算机视觉，光学器件具有速度和低功耗计算的优势，并且比 CNN 的时间成本降低了 2 个数量级。通过图像压缩，则有可能从存储和计算复杂性两方面大幅减少电子后端硬件。

Luat Vuong 表示：「本研究中的漩涡编码器表明，光学预处理可以消除对 CNN 的需求，比 CNN 更具鲁棒性，并且能够泛化逆问题的解决方法。例如当混合神经网络学习手写数字的形状时，它可以重建以前从未见过的阿拉伯或日语字符。」

将图像缩小为更少的高强度像素能够实现极弱光线条件下的图像处理。该研究为光子学在构建通用的小脑混合神经网络和开发用于大数据分析的实时硬件方面的作用提供了新见解。