华东师范大学精密光谱科学国家重点实验室团队开发了一种基于多模态融合的高保真压缩超快摄影，成果近日以“Multimodal fusion-based high-fdelity compressed ultrafast photography”为题发表在“Optics and Lasers in Engineering”期刊上。

研究背景

压缩超快摄影(Cempression Ultrafast Photography, CUP）以其单次拍摄中的高帧率和大序列深度而著称，已成为观察超快现象，特别是那些不可重复或不可逆现象的杰出工具。然而，由于高数据压缩比导致的CUP图像质量较低，一直是限制其进一步应用以捕捉具有精细结构信息的瞬态场景的难题。

文章中报道了一种基于多模态融合（Multimodal Fusion, MF）的压缩超快摄影技术，以实现高保真度的超快成像，称为MF-CUP。MF-CUP通过三种不同的成像模型同时记录动态场景，包括CUP、瞬态成像和时空积分成像。由于MF-CUP能够联合获取不同成像模型下的动态场景，并利用未训练神经网络实现多模态融合的图像重建算法，因此相比传统CUP, MF-CUP在时域和空域上都获得了更高的保真度。  模拟和实验结果均表明，MF-CUP可以有效地提高重建图像的准确性和质量。鉴于MF-CUP的这种高保真成像能力，它将为检测具有精细细节的超快动态提供强大的工具。

实验装置

MF-CUP实验装置如图1所示。物镜用于收集动态场景的图像，再通过分束器及透镜等光学器件组成的不同的成像路径，三种拍摄设备同步捕捉并记录动态场景的详细信息，以便后续通过MF-CUP技术进行高保真的图像重建。以下分别介绍图中各个主要器件的作用。

外部相机：捕捉整个动态场景的时空积分图像，记录空间强度分布信息。

瞬态成像系统：通过短曝光时间获取高质量的瞬态图像，提供动态场景的离散时空信息。使用高速相机或一对时间延迟的逐光IsCMOS像增强相机（Intelligent Scientific Systems TRC411），以匹配CUP的帧速率，确保有效的瞬态采样。高速相机负责记录微秒尺度的瞬态成像，IsCMOS负责记录纳秒尺度的瞬态成像。

条纹相机：用于捕捉经过空间编码和时间剪切的动态场景，生成压缩图像。

数字延迟发生器：同步所有相机，确保同时记录相同的动态场景。

空间编码掩模：对场景进行空间编码。

文中采用了一种基于编码器-解码器的未训练神经网络（Untrained Neural Networks）模型对三种成像数据进行整合。UNN采用物理成像模型，可以不经预训练而通过接收实际拍摄的图像实时修改网络权重以完成神经网络自优化，适用于图像变化较为复杂，采集样本量较少的场景。结合MF-CUP技术的MF-UNN可以整合三种不同的成像模型，以恢复高保真的动态场景。为了验证该神经网络的优势，选取了七个高速视频数据集，提取了视频中的连续帧，并进行了尺寸裁剪，模拟了MF-CUP的过程。通过这些模拟结果，证明了MF-CUP结合MF-UNN算法在提高超快成像的图像质量和细节捕捉能力方面，尤其是在融合了多模态信息后，具有显著的优势。

实验结果和讨论

文中实验分别通过微秒尺度及纳秒尺度瞬态成像验证了MF-CUP的有效性。为了展示MF-CUP的广泛适用性，在纳秒尺度上进行了激光成像实验，如图2(a)所示，激发光源采用了一个纳秒激光器（CNI，DPS-532-Q），激光脉冲宽度约10ns。激光束通过镜子M1后被分束器分成两束：一束通过带有空心字母“E”的掩模；另一束通过由镜子M2和M3形成的延时线，然后通过带有空心字母“N”的掩模；两束光再次经分束器合并，形成具有时间延迟的激光脉冲对。通过调整延时线长度，实现两路激光脉冲之间约6ns的时间延迟。最后用MF-CUP成像系统采集捕获两路激光脉冲合并后的时空变化的激光场。MF-CUP中，瞬态成像设备使用了一对IsCMOS 像增强相机，能够记录两个瞬态帧；曝光时间设置为500ps，两个相机之间的延迟时间设置为8ns。

采用MF-UNN以及FFDNET、DRUNET、FASTDVDNET、UNN五种算法从测量结果中重建了20帧图像，帧间隔1ns；并展示了其中的10帧图像，帧间隔2ns。如图2(b)所示。与其他算法相比，MF-UNN算法在重建图像的边缘清晰度和伪影数量上表现更好。提取图2(b)中8ns时图像中白线处的强度分布并进行归一化处理，与静态图像中的参考分布比较，如图2(c)所示，MF-UNN的结果与参考分布最接近。选取了激光场中特定区域，如图2(d)中所示区域1、2，计算了这些区域的强度演化，并与条纹相机为参考测量的时间延迟激光脉冲对的时间演化进行了比较，如图2(e)，2(f)所示，MF-UNN算法的结果与参考测量结果吻合良好。

纳秒时间尺度成像的实验结果表明，MF-CUP技术结合MF-UNN算法能够有效地捕捉和重建纳秒级别的时空变化，证明了其在超快成像领域的高保真度和优越性能。

总结

本文作者开发了一种基于多模态融合的压缩超快摄影技术（即MF-CUP），它可以通过多模态测量和信息融合的图像重建实现高保真的单次超快成像。数据模拟和实验结果都表明MF-CUP结合MF-UNN算法，相比其他传统算法具有更好的图像质量和更高的保真度。MF-CUP技术可以应用于诸如时间分辨荧光寿命成像、激光烧蚀等需要时间分辨率成像的应用。此外，该技术中结合瞬态成像提高图像重建质量的策略也可以应用于其他时间压缩成像技术。不过，与传统CUP相比，MF-CUP需要额外的瞬态成像，这增加了总体成本和系统复杂性。  对于具有高帧数的动态场景，需要更多的瞬态图像以保证MF-CUP的重建质量。像顺序定时全光学映射摄影利用光谱滤波、光学Kerr门控成像和衍射门控实时超高速映射摄影这样的成帧摄影技术可以降低成本并增加瞬态成像通道的帧数，从而实现具有大序列深度的压缩超快摄影的更高保真度。有了这些技术，MF-CUP在观察具有精细细节的超快动态方面非常受欢迎，它不仅可以保持高速和大序列深度成像，还可以在空间和时间域获得高保真度。

解决方案

由中智科仪自主研发生产的逐光IsCMOS像增强相机采用高量子效率低噪声的2代Hi-QE以及第3代GaAs像增强器，光学门宽短至500皮秒；全分辨率帧速高达98幅/秒；内置皮秒精度的多通道同步时序控制器，由SmartCapture软件进行可视化时序设置，完全适合时间分辨快速等离子现象。

500皮秒光学快门：以皮秒精度捕捉瞬态现象，并大幅降低背景噪声。

超高采样频率：逐光IsCMOS相机目前全分辨率下可达98帧，提供高速数据采集速率，同时可提供实验效率。此外设置使用其中16行的区域下，可以达到1300帧以上。

精准的时序控制：逐光IsCMOS像增强相机具有三路独立输入输出的时序同步控制器，最短延迟时间为10皮秒，内外触发设置可实现与激光器以及其他装置精准同步。

创新“零噪声”技术：得益于单光子信号的准确识别，相机的暗噪声及读出噪声被完全去除。