摘要：计算成像是集光学、计算科学、信息科学于一体的新兴交叉领域技术。该技术基于多维光场调控与解调的信息传输原理，利用前端光电成像系统与后端数据处理的“一体化设计”，解决光场信息维度与探测维度不匹配的问题，从而有效提升感知能力和探测性能，目前已成为光电成像领域的前沿方向。其中，散斑成像能够通过调控散斑场来实现强散射光成像，打破了光散射妨碍成像的传统观点；空域和时域压缩计算成像通过对光场信号的编码，能够突破半导体工艺、大量数据传递与处理对高分辨率、高速探测器的限制；压缩计算光谱成像结合光学调制、复用探测与计算重构，解决了传统光谱成像中系统复杂、数据采集效率低和分辨率受限的问题。详细介绍这3类计算成像模式的原理方法和最新研究进展，分析当前尚存的问题，并对这类技术的未来发展方向进行了展望。

关键词：计算成像；散斑成像；压缩成像；压缩光谱成像；多维光场调控

1 引言

基于多维光场调控的计算成像技术通过成像物理建模、光场信息调控和反演的互驱动计算，能够获得比传统光电成像更高的分辨率、更远的探测距离、更大的成像视场，有望进一步减少系统的复杂度、增强系统的适用性，甚至实现传统光电成像无法具备的功能。例如，散斑成像、压缩成像、计算光谱成像等都属于这一技术范畴，并在前期取得了一些有效的研究成果。

在光散射场景下实现高质量的光学成像是生物医学成像、天文观测、遥感、消防及交通安全等领域中悬而未决的难题，具有重要的应用价值。基于门控技术，光学相干层析术、共焦显微术及多光子显微术等能够从散射光中分离出弹道光子，从而计算重构出隐藏于散射介质后目标的图像。但是当目标光进入强散射介质后，出射的强散射光将由漫射光子所支配，不再含有弹道光子，门控技术无法克服强散射的影响对目标成像。散斑成像方法的出现为这一难题带来了突破。散斑成像根据目标光经历强散射后形成散斑图样的物理模型，对散斑光场进行测量、数学统计和计算调控，重构出隐藏于强散射介质之后的目标信息。Bertolotti等［1］在2012年提出了散斑相关成像方法，拉开了散斑成像发展的序幕。他们使用激光对隐藏于散射介质后的目标照明，当激光入射角度在散射介质的光学记忆效应范围内变化时，采集到一系列散斑图像并将它们的自相关与相位恢复算法结合，最终实现了对目标的非侵入式重构。2014年，Katz等［2］将激光扫描照明模式改进为非相干光照明，利用单帧散斑图像重构出了目标。在这基础之上，散斑成像技术在提升精度和场景适用性［3-7］、拓展成像视场和景深［8-12］及增强光场参量解析能力［13-15］等方面取得了大量的进展，已经成为计算成像领域的新兴研究热点。

压缩成像技术的研究源于现实应用中对低功耗、高速、高分辨率成像的需求，压缩成像基于压缩感知原理，在成像系统的信号采集过程实现对光场空间域或时间域的编码调控，获取编码压缩测量值，结合后端图像重建算法，实现高分辨率成像［16］和高速成像［17］。压缩成像系统主要由光学图像压缩信号采集系统与后端的重建算法构成。光学图像压缩信号采集系统完成对光信号的编码与压缩，通过在光路中引入空间/时间分辨率更高的空间调制器对光场进行编码［18］，并结合光路设计实现空域/时域的信号压缩与采集。重建算法作为压缩成像的重要环节，直接决定重建图像质量与重建速度，经过多年的发展，压缩成像重建方法经历了基于优化的方法［19-20］向基于深度学习的方法［21-23］和模型数据双驱动的混合方法的转变，重建质量与重建速度得到不断提升。高分辨率与高速压缩成像技术作为压缩成像的代表技术，已经取得了丰富的研究成果，广泛应用于微光成像［24］、激光雷达成像［25］、3D快速成像技术［26］等领域。

光谱成像技术可以同时获得目标场景的空间信息和光谱信息，在军事、农业、遥感等领域有着广泛的应用［27］。早期的光谱成像技术需要进行扫描探测，成像效率低且系统复杂。而传统的快照式技术将三维光谱数据展开到探测器的不同区域，因此无法兼顾光谱分辨率和空间分辨率［28］。随着压缩感知理论的发展及数据解算能力的提升，压缩计算光谱成像技术被提出并已成为该领域的热门研究方向［29］，其中一种具有代表性的实现方式被称为编码孔径快照式光谱成像（CASSI）技术。前期，研究人员分别从光学系统架构设计、编码孔径优化及光谱图像重构算法等方面对CASSI技术进行了研究。目前CASSI系统主要包括单色散型［30］、双色散型［31］、双光路型［32］等，通过折叠光路可以缩小系统体积，增加辅助光路可以获取额外的目标信息。同时，关于编码孔径的研究也取得了一些进展，主要包括具有波段选择性的编码［33］、彩色编码［34］、蓝噪声编码［35］、“空-谱”双编码［36］、多值编码［37］及动态编码［38］等方法，通过提高编码自由度或优化编码图案，来提高光谱成像质量。近年来，基于深度学习的光谱图像重建算法也成为研究重点之一，特别是卷积神经网络［39］、自注意力机制网络［40］、深度展开式网络［41］、即插即用网络［42］及最近的Transformer网络［43］等实现了重建质量的提升，展现出了广阔的研究和应用前景。

北京理工大学在多维光场调控计算成像领域开展了广泛研究并取得了一定的研究成果，本文主要针对散斑成像、高分辨率及高速压缩成像、压缩计算光谱成像领域介绍本课题组近年来的研究进展，期望能够对相关技术研究和应用起到促进作用。

2 散斑成像

散斑成像是北京理工大学光电成像技术与系统教育部重点实验室在近几年发展起来的前沿研究方向。本课题组对散斑成像理论和关键技术进行了重点研究，并搭建了散斑成像系统，如图1所示。在散斑成像系统中，激光生成的赝热光对加载在数字微镜器件（DMD）上的目标进行照明，目标光经强散射介质后在CCD探测器上形成散斑图样，最后结合光散射传输模型，根据探测器采集的散斑图像计算重构出目标的光场信息。

2.1 动态散射场景下的递归驱动双谱成像

在实际情况中经常要面对同时包含动态散射介质和运动目标的动态散射场景，早期的散斑相关成像技术局限于静态介质和场景，面临着巨大的挑战。针对这一挑战，提出了一个递归驱动双谱成像（ReDBI）框架［45］，如图2所示，通过对散斑图像进行递归驱动双谱分析，从而恢复静止及运动目标的傅里叶相位谱，同时根据散斑图像的自相关恢复目标的傅里叶幅值谱，最终重构出目标的衍射受限图像。目标重构效果如图3和图4所示。与现有研究相比，ReDBI不将目标和散射介质的动态特性视为障碍而是加以利用，减少了散射介质动态变化和目标运动带来的影响，成功重构出了高质量的目标图像，同时也规避了相位恢复算法所带来的缺陷。

2.2 基于物理数据互驱动深度学习的动态目标散斑成像及追踪

对隐藏于散射介质后的运动目标进行追踪和成像同样重要。目标重构是散斑图像形成的逆过程。由于光散射的复杂性，目标重构这一逆向求解的问题不能直接获得数学解析解。得益于深度神经网络极其强大的特征提取能力，深度学习能够在输入和输出之间建立隐形映射关系，从而匹配目标重构这一逆向求解过程。在此基础上，本课题组通过引入散斑差值这一物理先验条件，提出了一种基于物理数据互驱动深度学习的动态目标散斑成像及追踪方法［44］，如图5所示。该方法能够高质量地解译出不同稀疏度的目标的形貌和位移信息，并能在像素尺度上实现对运动目标的追踪，在实际散射场景中具有极高的应用价值。

所提学习方法在重构更为复杂的目标时也表现出了优秀的性能。采用FEIFace人脸数据集进行实验，并随机挑选了10张男性人脸图像和10张女性人脸图像的重构结果，如图6所示。可以看到，该方法高质量地重构出了人脸目标，包括发型、额头宽度、眼睛形状及微笑表情等。此外，所有重构结果的结构相似度（SSIM）评价指标都大于0.9，峰值信噪比（PSNR）也都在可接受的范围内。

2.3 环境光干扰下的透散射介质成像

将散射目标光记录为散斑图像的过程容易受到环境光的干扰，从而造成散斑图像对比度的下降。当前散斑成像技术的实现通常需要暗室条件，在实际应用时将受到严重制约。针对环境光干扰，本课题组研究了基于低信噪比散斑图像的透散射介质成像方法，利用GAP优化理论、Plug-and-Play（PnP）优化框架、Fienup型相位恢复算法（FPR）、FFENET去噪网络联合构造了PnPGAP-FPR算法，对目标傅里叶相位进行了优化重构，该算法在约-9dB的噪声条件下实现了高质量的透散射介质成像［46］。

在成像场景中加入不同的环境光照明，构建了从N1到N4依次增强的4个噪声水平，然后对采集的散斑图像使用PnPGAP-FPR算法和经典的FPR算法进行了重构，结果对比如图7所示。可以看到，PnPGAP-FPR算法的重构质量明显高于FPR算法，即使在一些FPR算法无法重构的噪声水平下，PnPGAP-FPR算法依然能够重构出目标。

PnPGAP-FPR算法能够显著提升噪声干扰下的目标重构质量，打破了暗室实验条件的限制。此外，由于独立的子问题分布模式，PnPGAP-FPR算法还可以引入更先进的相位恢复算法，从而具有灵活的算法可扩展性。

为更客观地对PnPGAP-FPR算法和FPR算法的性能进行评估，对结构更规则的汉字目标“王”进行重构，结果如图8所示，可以看到，无论是细节边缘的重构质量，还是计算出的结构相似度评价指标，所提PnPGAP-FPR算法都表现得更为优秀。

3 高分辨率及高速压缩成像研究

3.1高分辨率压缩成像

高分辨率压缩成像技术基于压缩感知原理，实现高于探测器芯片分辨率的成像［16，47］，在成像系统性能受到探测器芯片分辨率制约的非可见光成像领域具有重要的研究意义［48-50］。

中波红外成像在气体探测、医学诊断以及军事应用等领域都发挥着重要作用，因此高分辨率的中波红外成像系统具有广阔的研究前景。针对高分辨率中波红外成像系统性能提升的需求，本课题组［49］搭建了中波红外空域压缩成像系统，如图 9 所示，利用低分辨率传感器进行重建获得高分辨率的中波红外图像。结合理论分析与实验数据重建结果，分块压缩感知成像方法应用于中波红外成像系统能够在提升空间分辨率基础上显著降低计算成本和减小存储空间，有利于实时成像。

分块压缩成像方法极大地提升了信号采集与图像重建速度，但因特定的分块处理方式，重建结果表现出块效应。针对该问题，本课题组继续提出了一种基于中波红外压缩成像系统的抑制块状伪影的DMD掩模构建方法［51］，重建的图像如图10（a）所示，并对中波红外空域压缩成像系统重建的高分辨率图像中不均匀性的来源进行分析，提出了一种基于校准的非均匀校正（NUC）方法用于提升重建质量［52］，该方法具有良好的扩展性，重建的图像如图10（b）所示。此外，针对在中波红外压缩成像系统中，难以消除的杂散光将会导致图像对比度下降并增加重建图像的块状结构伪影的问题，提出一种杂散光校正（SLC）方法［53］，以提高图像对比度，减少重建图像的块状结构伪影，同时不会显著增加图像获取和计算的成本，方法结构如图10（c）所示。

高分辨率压缩成像采用多帧压缩测量值完成单帧高分辨率目标重建，多帧测量使系统的成像速度受到限制。针对该问题，本课题组将时域压缩成像技术应用于分块式空域压缩成像［54］，使得空域压缩成像不再牺牲相机的时间分辨率。

图像采集系统的光学像差引起的系统误差会大大降低图像重建质量，此外，压缩成像的另一个常见问题是成像速度慢，这是测量信号采集和重建过程耗时较长引起的。针对以上两个问题，本课题组搭建了中波红外实时高分辨率压缩成像系统［55］，如图11所示，并提出一种基于分块压缩成像的非均匀标定方法，以解决光学误差引起的测量帧模糊的问题。通过引入滑动窗口测量帧采集策略，可以实现连续多帧测量值采集，大大提升了重建速度，达到实时成像的效果。

3.2基于深度学习的高分辨率压缩成像

基于优化的压缩成像算法能够在保证图像质量的前提下实现高压缩比图像重建，且通常具有很好的可解释性，可以通过分析优化过程中的中间变量来更好地理解图像的重构过程。然而，基于优化的压缩成像算法的优化过程通常需要大量的计算资源，运算速度较慢，难以实现实时重构，且算法对噪声和失真比较敏感。为了克服这些问题，近年来研究者们提出了许多基于深度学习的压缩成像算法，利用神经网络来构建从低维测量到高维图像的映射，实现了对稀疏性信息和结构信息的高效学习和利用，进一步提高了压缩成像的重建质量和速度。

本课题组结合深度网络和先验知识，提出基于元注意力和Transformer网络结构的Meta-TR［56］，如图12所示，用于图像重建，网络通过自动学习输入测量帧之间的内部自相关性，提升重建图像的质量。此外，Meta-TR通过端到端的方式进行学习，避免了传统方法中需要手动调整参数的复杂过程。在低采样率下，Meta-TR显示出比传统方法更好的重建性能，这为压缩成像领域提供了一种新的解决方案。

为进一步提升重建的质量和效率，增强算法的可解释性和泛化能力，本课题组继续通过引入联合输入网络和退化特征图，增加输入端信息量，并在训练过程中考虑了图像的退化模型，如图13所示，实现中波红外波段的端到端实时网络重建［57］。

3.3高速压缩成像

高速压缩成像又称时域压缩成像［58］，通过在时间域对编码数据进行压缩采集后重建得到高速图像，突破了探测器采集帧率的限制，缓解了高速成像过程产生的大量数据对系统传输数据带宽以及后续图像处理算法对计算资源的压力。

2018年，本课题组［59］采用两步迭代收缩/阈值法（TwIST）和高斯混合模型法（GMM）实现时域压缩成像，并采用分块处理方式减少重建时间和降低内存消耗，同时对不同的编码掩模的编码效率进行了讨论，结果表明二值模板与高斯随机模板相比具有更好的性能及GMM在视频重建应用中相较TwIST更具优势。2020年，本课题组［60］搭建了时域压缩成像实验平台进行网络训练和测试，采用经系统点扩散函数（PSF）校准后的测量数据进行网络训练和测试，实现了重建图像的质量提升。此外，还探讨了一种基于三维卷积神经网络的新方法来进行时域压缩成像重建的方法［61］，如图14所示。针对现有方法在利用连续帧之间时空相关性的能力方面的局限性，利用能够捕捉时空特征的三维卷积神经网络来克服这一限制，同时应用了一种新的测量帧校准算法对光学误差引起的测量帧误差进行校正，可显著提高重建的准确性。

对高速压缩成像的研究大多集中在可见光波段，2019年，本课题组［62］搭建了近红外时域压缩成像系统，实现10倍成像速度的提升。此后，本课题组［63］利用DMD，在两个方向进行光输出的工作模式，提出了一种双波段时间压缩成像方法并搭建实验装置，如图15所示，同时对可见光和近红外双波段高速视频进行重建，以50frame/s采样速率的编码测量帧实现500frame/s的双波段视频重建，对需要同时获取可见光和近红外波段信息的应用具有重要的实际意义。为了解决光学系统退化的问题，研究了4种非均匀校准策略，这些策略同样适用于其他压缩成像系统。这些实验表明宽带双波段时间压缩成像(TCI)的性能优于单波段系统［64］。

3.4 时空域压缩成像

时空域压缩成像（STCI）同时在时域与空域进行压缩，使用低速和低空间分辨率的传感器阵列来快速成像高空间分辨率的目标，具有数据压缩比大、重建难度大的特点。本课题组针对时空压缩成像的重建问题，将STCI的过程分解为空间压缩成像（SCI）和时间压缩成像（TCI）的级联过程，首先从一个STCI测量帧重建多个目标帧，然后提高目标帧的分辨率［65］。并进一步研究了基于迭代算法广义交替投影（GAP）的展开网络GapUNet［66］，如图16所示，实现在时空域对压缩测量值的重建，通过该网络，能从分辨率为480×270的单个测量帧中重建出8帧1920×1080的高速高分辨率图像。

4 压缩计算光谱成像

压缩计算光谱成像技术通过硬件系统对目标光场进行“空-谱”编码，获得光谱图像的压缩测量数据，再通过反演算法对“空-谱”数据立方体进行计算重构，仅依靠单次或少数几次拍照，即可获得目标场景的三维光谱图像，有望解决传统光谱成像技术存在的空谱分辨率、信噪比和工作效率之间相互制约的问题。后续将分别从CASSI的系统架构、CASSI系统中编码孔径的优化设计方法、压缩计算光谱成像的重构方法3个方面分别介绍本课题组目前所开展的研究工作。

4.1 CASSI的系统架构

CASSI系统的优化改进是压缩计算光谱成像技术走向工程实用化的关键环节，为此本课题组进行了深入的研究，取得了一定进展。在基于DMD的反射式CASSI（DMD-CASSI）系统中，DMD平面与中间像平面存在一定角度，因此会引入额外的离轴像差效应。这一问题不仅严重影响了DMD-CASSI系统的光谱成像质量，而且难以通过重建算法进行补偿。同时反射式DMD-CASSI系统还存在元件之间空间挤占的问题，增加了系统装调和校准的难度，也不利于系统的紧凑型设计。本课题组在之前提出了一种基于光学移轴的DMD-CASSI系统设计架构［67］，如图17所示，采用非中心的偏置视场进行成像探测，打破了中心视场主光线与光轴重合的传统光学设计定式，有效抑制了离轴像差对光谱成像质量的影响，提升了CASSI系统的光谱图像重构精度。同时，在DMD平面与成像镜组之间插入平面反射镜，引入额外的光路调节自由度，能够增大成像镜组与中继镜组的距离，有效缓解系统内部空间挤占的问题。

同时，本课题组也开展了关于双色散型编码孔径快照式光谱成像（DD-CASSI）系统的研究，建立了DD-CASSI的原理演示系统［68］，如图18所示。下面，以实验室搭建的DD-CASSI系统为例，对其成像过程和模型进行简单介绍。

在DD-CASSI系统中，目标光场首先经过第一个色散棱镜，实现光谱维度上的错位平移；之后经过编码孔径，不同波段的光场得到不同的空间调制；再经过对称放置的第二个色散棱镜，错位后的光谱数据立方得到还原；最后目标光场投影到探测器上，得到压缩测量图像。搭建的DD-CASSI系统采用液晶空间光调制器作为编码孔径，实现光场的空间编码，采用两个双Amici棱镜完成了光场的两次色散，实现了光路共轴，降低了实验系统的校准难度。

DD-CASSI系统的成像模型可以表示为

式中：f0(x，y，λ)表示目标的光谱数据立方体；x和y是空间坐标；λ是光谱维坐标；T[x-α(λ-λc)，y]为编码透过率函数；α是色散棱镜的色散系数。

考虑到探测器是以像元为单位接收光强信号的，同时为了便于数值计算和重建，需要对上述的连续成像模型进行离散化处理。离散后的CASSI系统成像模型可以统一表示为

式中：H为系统矩阵，用于表示编码孔径的空间编码和棱镜色散作用；f和y分别为光谱图像数据和探测器投影测量数据的向量化表示；w表示测量噪声。另外，光谱图像的像素级分类始终是光谱图像处理领域的研究热点。随着光谱图像空间分辨率和光谱分辨率的提升，三维光谱图像的数据量也在急剧增加，这为数据采集、存储、传输和后处理带来了困难。针对这一问题，本课题组基于DD-CASSI系统提出了一种适用于高光谱图像分类的三维编码卷积神经网络（3D-CCNN）［69］，该网络通过压缩探测数据对场景进行分类。该网络的特点是联合优化编码孔径图案和后端的分类神经网络参数，通过软硬件的协同设计，进一步提高了优化自由度，提升了图像分类精度，分类效果如图19所示。

同时，本课题组还基于DD-CASSI系统重建得到的三维光谱数据立方体，提出了一种采用三维卷积神经网络（3D-CNN）的光谱图像分类方法［68］。研究结果表明，该方法的分类效果接近于直接采用光谱图像真值的分类效果，同时深度学习的引入也在一定程度上提高了计算效率。

4.2 CASSI编码孔径的优化设计方法

编码孔径的优化设计是提高CASSI系统成像质量的有效方法之一。目前的CASSI系统大多采用矩形像元阵列的编码图案，在现有框架下难以进一步提升优化自由度。为此，本课题组研究并提出了一种异形蓝噪声互补编码孔径设计方法［70］，如图20所示。该方法采用蜂窝状的六边形像元阵列作为编码孔径模板，六边形编码和矩形探测器像元之间存在几何错位，因此用二值编码就可以产生灰度调制的效果，相比于传统的矩形阵列编码，进一步提升了光谱数据的重构精度。基于压缩感知理论中的有限等距条件，证明了该编码方法的有效性和优越性，同时也证明了在六边形编码中，互补的蓝噪声分布是最优的编码分布策略。

另外，其他研究人员所提出的编码优化方法通常计算耗时较长，复杂度高，且大多数方法没有充分考虑特定目标场景的空间结构分布特性，一定程度上限制了CASSI系统性能的提升。为此，本课题组提出了一种考虑目标场景空间强度分布先验信息的自适应编码设计方法，用于提升CASSI系统的感知效率［71］，如图21所示。该方法可以根据目标场景的光强分布和随机阈值操作生成编码排布方式，能够在一定的压缩探测比例下，更好地保留原始光谱图像信息，提高CASSI系统的光谱图像恢复精度。同时，基于压缩感知中的非相干原理，证明了自适应编码的有效性和优越性。

4.3压缩计算光谱成像的重构方法

压缩计算光谱成像的重建算法也是本领域的研究热点之一，重建算法的设计方案对CASSI系统的成像质量具有重要的影响作用。传统的迭代重建算法计算复杂度高，容易受到噪声干扰，重构速度和精度有待进一步提升［72］。最近，本课题组提出了一种基于自然图像稀疏性和深度先验的快速交替最小化算法（Fama-SDIP）［73］，该算法将深度图像先验（DIP）技术与压缩感知技术相结合，充分利用了DIP技术的去噪特性，能够有效提升迭代重建的成像质量，如图22所示。

5 总结与展望

主要介绍了本研究团队在多维光场调控计算成像，特别是散斑成像、高分辨率及高速压缩成像、压缩计算光谱成像等方面的研究及应用进展，相关的研究成果总结如下。

1）在散斑成像方面，提出了一种递归驱动双谱成像（ReDBI）框架，该框架能够高保真地重构出隐藏在动态强散射介质后的静止与移动目标；通过引入散斑差值这一物理先验条件，提出了基于物理数据互驱动深度学习的动态目标散斑成像及追踪方法，该方法能够高质量地解译出目标的形貌和位移信息，实现了像素尺度上的运动目标追踪；提出了能够在环境光干扰下实现高质量透强散射介质成像的PnPGAP-FPR算法，打破了常规散斑成像技术需要暗室条件的限制。

2）在高分辨压缩成像方面，搭建了中波红外高分辨压缩成像系统，针对分块高分辨压缩成像方法中存在的重建图像的块效应、非均匀性、杂散光的影响进行了讨论并提出了相应的解决方法，实现了实时的高分辨率中波红外压缩成像。在高速压缩成像方面，提出了近红外高速压缩成像系统及基于DMD的双波段高速压缩成像系统；提出了基于深度学习方法的高分辨以及高速压缩成像重建网络；并对时空域压缩成像方法进行了一定的研究，提出了GapUNet重建网络。

3）在压缩计算光谱成像方面，提出了光学移轴式DMD-CASSI系统，有效抑制了离轴像差对光谱成像质量的影响；提出了异形蓝噪声互补编码设计方法和空间场景自适应编码方法，提升了压缩计算光谱成像系统的感知效率；提出了一种基于自然图像稀疏性和深度先验的快速交替最小化算法，通过智能后处理提高了光谱图像重建质量。

但是多维光场调控计算成像技术在实用化进程中仍然面临系统紧凑设计、装调和误差校准、编码孔径制备、光场快速精准重构和网络轻量化设计等一系列问题。未来，将微纳光学与计算成像体制相结合，进一步提高系统调制能力，降低系统复杂度和成本是本领域的技术发展方向之一。同时结合新型的人工智能技术，进一步提升计算成像系统的实际应用效果也是非常具有前景的研究方向。

(文章来源于《光学学报》,如有侵权请联系删除）