物联网、可穿戴技术与自主导航系统的迅猛发展，加速了对低功耗、低延迟、超紧凑尺寸的成像器的需求。在生物医学仪器领域，系统体积的减小对于达到体内临床意义目标至关重要。尽管下一代技术中紧凑型相机的需求日益增长，当前解决方案仍依赖于基于折射元件的上百年历史的光学设计。然而，这些设计往往无法满足新兴应用的需求。虽然使用菲涅尔透镜、多级衍射或二元光学可以实现尺寸、重量和体积的减小，但这些概念往往表现出显著的畸变和/或产生多个衍射阶次，从而降低了整体效率。这些局限性强化了光子学界的观点，认为衍射光学本质上是非成像光学，仅适用于与折射光学结合的像差校正等特定场景。近年来，元光学技术通过克服衍射光学的缺陷，在研究领域引发广泛关注。这类亚波长衍射元件能确保所有衍射光聚焦于零级，而更高阶的衍射光束则是逸散的。

元光学由纳米到微米尺度的散射器组成，根据其几何形状和取向对入射波前施加不同的相位偏移。这使得可以通过单个光刻工艺进行制造，显著减少了制造过程中的掩膜数量。亚波长周期性还提供了极其大的空间带宽乘积，从而为光学元件的的设计提供了极大的自由度。因此，研究人员强调元光学实现多功能性的优势，包括控制光的偏振方向和光谱特性。此外，元光学器件体积小巧且通过共振效应增强光-物质相互作用，相比现有自由空间可重构光学系统，这为开发低功耗、高速运行的可重构光学器件提供了重要机遇。虽然这些好处已知很长时间，并且至少在二十年前就有相关工作存在，但直到最近才引起了广泛的关注和深入研究。近年来，对元光学的兴趣重新兴起，主要基于两个原因：先进的纳米加工设施的可用性，包括半导体晶圆厂，以及广泛可获取的计算资源和电磁模拟器，用于设计元光学器件。尽管人们对它们的兴趣日益浓厚，并且它们的多功能性也得到了充分的证明，但即使经过十年的研究，它们的性能仍然不如使用折射透镜的最先进的成像系统。

尽管元光学概念主要由光学科学家和工程师主导，计算机科学界也在同步推进成像系统小型化研究。随着图像传感器在消费电子产品的普及，以及几乎所有成像设备都配备了强大的计算资源，通过计算技术提升图像质量迎来了独特机遇。通过计算成像，研究人员通过用简单的透镜取代复杂复合光学元件并利用软件来减轻畸变，实现了复杂成像系统的大幅微型化。虽然最初是通过简单的线性去卷积和降噪程序开始的，但在近年来，学习重建技术以及人工神经网络(ANNs)用于提升成像性能得到了发展。不幸的是，计算重建算法通常会增加功耗和延迟，这可能使其难以适应功耗受限的实时应用场景。此外，机器视觉应用中的许多任务仅需对图像帧进行特定特征或子区域的推理，因此只需使用完整图像的部分区域或降采样版本即可支持数字特征提取。除此之外，许多应用需要嵌入在其他光场参数（例如偏振、光谱和入射角）中的信息，这可能需要大量的计算或只能在特定场景中应用。

尽管关于元光学和计算成像的研究文献丰富，这两个领域长期以来一直相对独立，其协同效应直到最近才开始显现。这一进展主要由两个领域超越现有限制的强烈愿望所驱动，研究人员设计了架构，将成像过程分割为光学和数字两个领域（图1）。本文首先简要介绍元光学与计算成像的基础知识。接着探讨基于元光学的计算成像技术发展现状。尽管该领域仍处于起步阶段，但元光学与计算成像的结合已使成像质量超越了传统衍射光学技术的预期水平。最后展望了若干具有前景的研究方向，在这些领域中元光学与计算成像的优势可得到更充分的发挥。作者认为，多功能性探索与软硬件协同优化将成为元光学领域未来发展的两大关键方向。

图1 元光学（硬件）和数字计算后端（软件）的协同组合，能够实现纯光学和计算成像无法达到的成像性能。当前该领域的研究主要集中在高质量成像、多模态成像（深度和光谱感知）以及目标检测等方面

元光学计算成像领域尚不足十年历史，其全部潜力尚未被充分探索。当前该领域的研究可大致分为三大方向：消色差大视场成像、多模态成像，以及用于辅助计算机视觉任务的元光学编码技术。

光学最广泛的应用是捕捉高质量图像。实际上，几乎所有的当前消费电子产品都配备了可见光相机，该相机依赖于多个光学元件来捕捉高质量图像。对于监视、国防和国家安全应用的类似需求，则需要在红外范围内捕捉高质量图像。几乎所有这些应用都需要宽带成像，具有大视场，并且经常需要大光圈以最大化光线收集。光圈的大小可以从约2 mm（用于消费电子）到约50 cm（用于国防应用）不等。一个普遍的愿望是降低这些系统的尺寸、重量、功率和成本(SWaP-C)。得益于超薄设计和高相位梯度特性，元光学元件有望进一步降低成像系统厚度。此外，与折射光学元件不同，这类元件的重量不会随体积增大而增加，这为大光圈光学器件提供了显著优势。然而，至关重要的是，SWaP-C的好处不能以牺牲成像性能为代价。

遗憾的是，元光学系统普遍存在严重的色差问题。尽管已有几项工作尝试通过色散工程学来解决这一问题，但其效果仅限于微米级的小孔径。为缓解这一问题，可以采用计算成像技术。实际上，计算成像首次与EDOF立方元光学结合，用于全色彩可见成像。传统双曲面金属透镜在单个波长下聚焦光线至衍射限制的焦点位置，但其焦距f随光学波长λ而变化，遵循λ×f保持恒定的原则。因此，在固定透镜-传感器距离的情况下，一个波长聚焦良好，而其他所有波长则严重发散。借助EDOF元光学，聚焦深度得以增加，即使存在相应的色散焦点偏移现象，目标带内的所有波长也能以相同的方式到达传感器。如果光学系统的响应“可逆”（由其MTF决定），则可以通过计算重建图像。所谓“可逆”响应意味着信号与噪声对比度足够大，以至于其倒数是有限的。因此，在一定空间频率范围内任何光学响应都是可逆的，因为随着空间频率增大信号对比度会降低。早期研究采用立方相位掩模实现EDOF控制，后续研究则探索了径向对称超光学元件的应用，例如对数球面相位分布。由于图像质量存在局限性，最终通过逆向设计实现了EDOF元光学元件与全彩色成像技术。虽然EDOF元光学能够纠正色散畸变问题，但整体图像质量相对较低，并且存在诸如背景噪声、残余去卷积痕迹以及高场角未修正的畸变等缺陷。通过协同优化计算后端技术并考虑更大的场视角范围后单个元光学的图像质量显著提高。本研究采用可微分处理流程，在计算后端优化基础上进一步提升图像质量。实验数据显示，采用0.5 mm孔径f/2的元光学元件可实现高质量成像（图3(a)和3(b)）。关键创新在于引入了元原子与其相位响应之间的可微分映射关系。早期工作依赖于多项式映射，而近期基于深度学习的方法已开始应用。

图2 利用协同设计的元光学和计算后端的全彩成像：(a)设计框架，通过可微分管道协同优化元光学和重建算法；(b)使用单个500 µm，f/2元光学捕获的图像；(c)使用六元复合光学元件捕获相同的图像；(d)使用类似的设计方法制造的1 cm口径的元光学元件，可以直接与图像传感器集成；(e)大孔径设计使单个端到端结构的超光学元件即可实现视频速率全彩成像，具有与折射光学元件相当的图像质量

使用共振提供更大的相位多样性，从而能够模拟复杂散射体形状。对于图像重建，采用了包括维纳去卷积和神经网络在内的多种方法。对于基于神经网络的策略，使用特征传播器确保了高质量的重建同时保持了泛化能力。特征传播器网络大致基于U-Net结构，其早期层在多分辨率尺度上提取特征。这些特征随后通过类似于维纳去卷积的过滤步骤进行处理，但不同于直接对图像进行操作，而是对特征本身进行过滤，因此称为“特征传播器”，因为模糊和噪声特征通过过滤操作传播。网络的后期阶段则类似于早期层，将过滤后的特征映射回高分辨率图像中，该图像经过去卷积和降噪处理。与传统的U-Nets相比，这种架构更为通用，利用了更多传统滤波方法如维纳去卷积的特点，并保持了许多神经网络方法的降噪优势，在引入非线性操作以减轻噪声方面有所帮助。最近，在一个1 cm口径、f/2元光学器件上实现了全彩可见光成像的端到端设计框架已得到扩展。元光学器件的全面特性分析揭示了端到端设计如何通过牺牲低空间频率对比度来保留高空间频率信息。这种权衡在整个感兴趣的波长范围内保持了相似的MTF，而降低的对比度可以计算获取。这种权衡类似于无衍射光束传播中所见的情况，光束在深度上保持形状，但与受限于衍射的焦点相比，空间上更分散。虽然基于Wiener去卷积的方法已经保留了颜色信息，扩散神经网络产生的图像质量与最先进的智能手机相机相当。当然，扩散网络的延迟限制了其在视频速率下的实时处理能力。尽管协同设计的元光学器件与计算后端相结合的端到端设计证明了协同设计的有效性，但最近的一些工作报告了使用双曲面金属镜（即分析相位轮廓和透镜未优化为宽带操作）和深度学习后端进行全色成像。大多数宽带元光学工作主要集中在可见光波长范围内，而最近在长波红外区域报道了使用单一硅元光学器件进行宽带成像。在这里，仅优化光学器件以增加MTF曲线下的体积，而计算后端则单独设计。

本文强调，尽管计算性元光学可以提升性能，但图像质量仍然逊于复合折射透镜。然而，当前的智能手机镜头由约8-10个折射光学元件组成，预计单个表面可能无法实现所有这些功能。更值得期待的途径是将元光学作为校正器与折射透镜结合，以实现宽带性能并减轻畸变。为此，报道了一种6 mm的混合折射/自适应光学系统，用于宽带成像。然而，到目前为止，在视野、色散操作、无畸变成像、图像大小和每度像素数等所有性能指标方面达到理想状态仍然具有挑战性。

图3 基于元光学的多模态成像研究：(a)采用具有波长依赖型PSF的元光学器件进行计算光谱分析；(b)通过在单个表面上放置具有深度不变PSF和具有深度变化PSF的两个元光学器件，并进行计算重建，研究人员演示了深度传感；(c)通过多路复用不同元光学器件实现偏振深度成像与偏振成像技术；(d)通过使用两个依赖于偏振的不同焦距的元光学器件，成功实现了深度感知功能

其他成像技术中，元光学被用于测量各种光场参数，如偏振、谱线和相位。然而，其中一些工作，例如使用元光学进行偏振成像并没有涉及计算方法，因此在本文中没有进一步讨论它们。利用元光学的色度特性，研究人员也报告了光谱学和超光谱成像。值得注意的是，通过采用计算成像方法，光学系统的复杂性可以降低。例如，研究人员最近演示了双波段光谱学，通过利用工程设计的、波长依赖的PSF来实现。与具有相位掩模或空间光调制器的独立折射透镜或继电器相结合相比，在元光学本身中包含功率项可以减少光学组件的数量。色散焦点位移导致聚焦错误进而旋转PSF的两个峰。虽然相位掩模和单独的聚焦透镜可能表现出类似的行为（这已被广泛用于深度传感），但在元光学中由于其严重的色差效应更为显著，这可以用来提高光谱仪设计的灵敏度。对于未知的谱线，在捕获的图像中编码的信息将以加权的形式存在不同波长下各PSF的平均值。通过预先校准PSF，可以利用技术如Tikhonov正则化或基于学习的方法，计算提取未知光谱。通过在硅元光学器件上使用SiN和计算重建，研究人员展示了在以1550 nm和1310 nm为中心的两个不同波段上具有~3 nm光谱分辨率的光谱学。

除了光谱学，元光学也被用于深度传感。这一领域最早的几项工作之一使用了具有深度依赖性旋转PSF的元光学器件。在这一演示中，使用了两个元表面，一个产生深度变化的PSF，而第二个元光学器件保持深度不变性，从而能够在图像中重建空间和深度信息。为了补偿偏离轴的畸变，如场曲率等，包括了一组校正措施，确保全视场内的相对距离误差接近1%。随后的一项工作将两个孔径合并为一个，并利用了偏振依赖性的散射器。在另一项工作中，采用类似偏振散射器的方法，在一个孔径中并列两个不同焦距的透镜，通过不同的焦移捕获两个不同深度的图像，从而实现计算深度测量。进一步地，在利用偏振复用与DH-PSF结合的方式下，展示了一个配备单层金属透镜的紧凑型单目相机能够捕获4D图像——包括目标场景2D全聚焦强度、深度和偏振信息。金属透镜优化设计为一对共轭偏振解耦旋转单螺旋PSF对，并且其强度显著依赖于目标对象的深度。结合图像检索算法后，该相机能够同时进行高精度深度传感和高保真度偏振成像，在较宽的景深范围内实现这一功能。超圆锥金属透镜固有的色差特性是需要进一步研究和优化的关键点之一。

此外，它还用于深度感知，通过在不同波长下聚焦不同的深度来实现。通过收集大范围的光谱图像，可以获得足够的信息来重建深度。将这一概念与强度传输方程结合使用，已经成功地用于定量估计内窥镜中的相位。

元光学阵列在光场成像应用中也有所应用。Holsteen及其合作者利用交错设计执行单粒子追踪。在该工作中，横向分离的同一场景视图使得荧光微粒的空间定位成为可能。此外，一个由60×60个散射工程元光学组成的阵列已被用于演示深度成像。尽管现有技术大多复现传统折射透镜阵列（因此受限于光场成像固有的低分辨率），但金属透镜阵列有望突破这一局限——其可实现孔径重叠的微型透镜阵列，为该领域开辟了全新研究方向。

计算成像在变焦成像系统中得到了应用，传统的方法往往需要移动部件或复杂的控制电路。例如，在一个实例中，立方元表面与去卷积程序结合使用，实现了超过1 cm的深度不变成像，且具有高数值孔径。立方元表面提供了深度不变的PSF，这使得在有限共轭系统中可以进行不同物距和像距的成像。得益于亚波长周期性，这种变焦成像可以在保持大数值孔径的同时实现。

图4 元光学编码器：(a)通过端到端设计单一的元光学与计算后端，能够识别出光子优势的工作模式；(b)通过知识蒸馏技术，多个卷积层可被整合为单一卷积层，该技术可通过元光学实现；(c)通过空间分离的元光学器件结构，可实现多路并行卷积运算；(d)利用元光学器件固有的色散特性，可通过单一超表面实现不同颜色的卷积运算；(e)除了单个元光学器件外，还可采用双元光学器件结构：一个用于生成图像的多个副本，另一个则实现矩阵运算

虽然端到端设计可能提供最佳性能和光学前端与数字后端之间的最优负载分布，但这种设计需要大量的计算资源来模拟元光学。一个更简单的解决方案是使用传统的数字管道训练网络，然后使用光学实现特定的数字操作。通过识别在非相干照明下，形成的图像为物体与光学的非相干PSF之间的卷积；可以将卷积问题表述为PSF工程问题。然而，非相干PSF总是正数，但在人工神经网络(ANN)中的卷积通常在关联内核中具有正负值。我们可以通过将卷积核分离为正负部分，并然后通过数字减去单独的卷积来解决这个问题。这种双瞳合成方法在过去已被采用，但当进行减法时，两个单独孔径的噪声是相加的，这使得整体信号对噪声比已经存在的挑战变得更加复杂。幸运的是，通过利用更抗噪的数字后端，这种双瞳合成方法可以适用于元光学编码。然而，将单个卷积层从数字域转换到光学域在功率和延迟方面并没有提供足够的优势。为了绕过这个问题，研究人员报告了一个知识蒸馏启发式训练算法，该算法允许有效移除一些非线性层以创建一个单一线性卷积操作来实现多个ANN线性层。使用这种方法，研究人员最近报告了一个压缩的元光学前端，在MNIST数据集上实现了至少四个数量级的操作减少的同时仅损失了3%的分类准确性。虽然这项工作仅实施了一种颜色，并利用了元光学的颜色特性，但可以通过为三种不同的元光学实现三个不同的内核来进一步增加元光学的信息处理能力。另一种执行卷积的方法是采用两种元光学：其中一个作为透镜阵列实现。