- 07/24
- 2025
-
QQ扫一扫
-
Vision小助手
(CMVU)
摘要:光场显微镜在生物医学成像领域展现出巨大潜力,但其固有的空间采样不均匀性和重建伪影问题限制了其应用。为了解决这些问题,本文介绍了近年来发展起来的傅里叶光场显微镜技术。傅里叶光场显微镜通过在傅里叶域中记录光场信息,实现了入射光空间和角度信息的一致性混叠,从而有效避免了重建伪影,并提高了成像分辨率的均匀性。本文详细阐述了傅里叶光场显微镜的成像原理、系统设计方法以及重建算法,并对比了其与传统光场显微镜在点扩散函数上的差异。此外,本文还概述了傅里叶光场显微镜在亚细胞成像和模式生物成像等生物学研究中的应用进展,最后对傅里叶光场显微镜未来的发展方向进行了展望。
关键词:傅里叶光场显微镜;三维重建;生物医学成像;深度学习
一、引言
光场显微镜(light-fieldmicroscopy,LFM)作为具有高拓展性的非扫描体积成像技术,可以实现从单细胞到哺乳动物大脑的高速体积成像,其独特的三维光场信息捕获能力,特别适用于活体生物动态过程的观测研究。然而,传统光场显微镜在空间信息采样模式上存在不均匀性,尤其是在自然像面附近,过度的采样导致了了大量重建伪影的产生,另外,采用波动光学理论的解卷积方法受限于系统的点扩散函数(pointspreadfunction,PSF)缺乏空间平移不变性,导致计算成本昂贵且重建过程非常缓慢。近年来,通过引入傅里叶域光场调制与新的计算重构算法,研究人员发展了傅里叶光场显微镜(FourierLight-FieldMicroscopy,FLFM)技术,该技术通过频域编码策略将三维空间信息映射到二维傅里叶平面,结合高效计算反演算法,实现了亚微米级空间分辨率与毫秒级时间分辨率的协同提升。
本文系统阐述了傅里叶光场显微镜的基本发展过程和成像原理、重点解析其重建模型和设计方法。随后,通过梳理该技术在不同生物医学应用领域的发展轨迹,展示其在微观动态观测中的实际价值。最后,结合当前研究进展,对傅里叶光场显微镜未来的技术突破方向与潜在应用前景进行了展望。
二、傅里叶光场显微镜的原理
2.1传统光场显微镜的发展过程
光场显微镜的出现为生物医学研究提供了新的成像方案,能够在不损伤样本的情况下,快速获取高分辨率三维图像,适用于对动态过程的长时程观测,光场显微镜的生物活体4D成像方案有效地将体积采集时间从空间尺度中解放出来,将体积成像速率绑定到相机的采集速度上,从而使光场显微镜成为一种高度可扩展的工具。
光场显微镜的主要研究始于2006年,MarcLevoy和RenNg团队采用微透镜阵列技术成功设计出首台光场显微镜系统[1],LFM利用微透镜阵列同步记录样本的空间和角度信息,其理论分析表明LFM的空间分辨率取决于微透镜数量,角度分辨率取决于传感器像素数量。成功利用微透镜阵列采集到的单张照片,通过基于几何光学模型的解卷积算法重建了微观物体的三维结构。然而,LFM存在横向分辨率不足的固有缺陷,直到2013年MichaelBeoxton团队提出了波动光学模型,解释了微透镜阵列的衍射效应,开发了新的光场重建方法,使空间分辨率较传统方法提升达8倍[2]。2014年,RobertPrevedel等人进一步突破技术瓶颈,利用3D解卷积算法优化了LFM的空间分辨率,成功实现了最高50Hz的高速体积成像和单神经元分辨率,不仅捕捉了秀丽隐杆线虫整个神经系统的神经元活动,另外还在斑马鱼幼虫中实现了20Hz的全脑钙离子成像[3]。
虽然很多研究者都致力于改进光场显微镜,但传统光场显微镜仍面临着挑战,一方面,光学信号以混叠的方式被投射到微透镜阵列的后焦面,样品的空间信息和角度信息之间需要平衡,导致LFM的横向分辨率低于传统荧光显微镜[1];另外,光场显微镜轴向分辨率不均匀,在两端呈现高分辨率,在成像体积的中心呈现非常低的分辨率,这种不均匀性导致了严重的重建伪影[4]。
2.2 基于波动光学理论的FLFM系统图像形成模型
针对光场显微镜分辨率受限和轴向分辨率不均匀的问题,研究者们提出了多种解决方案,具有代表性的解决方案是将微透镜阵列由像平面移到光瞳平面,同时将传感器放置在图像平面,该理念的首个实验验证由Martinez-Corral团队于2016年实现,其研发的傅里叶整体显微镜(FourierIntegralMicroscopy,FIMic)[5]通过这种方案提高了重建图像的分辨率和景深。在此基础上,该团队于2018年进一步优化了FIMic系统,首次推出FIMic的横向分辨率和景深与显微镜参数关联的理论公式,为显微镜的工程化设计提供了理论指导[6]。
2019年,ShuJia团队正式提出傅里叶光场显微镜[7],实现了技术突破,建立了FLFM的理论和算法模型,通过傅里叶域4D光场编码机制,在整个视场中实现点扩散函数均匀,以一致的混叠方式分配入射光的空间和角度信息,该方案不仅消除了冗余伪影,另外还通过统一的3DPSF大幅降低了计算成本。
如图所示为傅里叶光场显微镜的光路示意图。系统工作时,样品被激光激发产生荧光信号,荧光由物镜(OL)采集,通过二向色镜实现激光和荧光的分离,光阑被精确放置在传统LFM的图像平面位置,即位于透镜TL的后焦平面,随后,傅里叶透镜(FL)将光阑处的图像执行光学傅里叶变换,将其频域信息转换至FL的后焦平面。TL和FL构成4F系统,微透镜阵列被放置在FL的后焦平面,其核心功能是对波前进行分段,从而将角度信息传输到了微透镜阵列之后,在相机的不同区域形成图像,最后由相机收集最后的处理结果。从光路结构可以看出,原始像面处图像的光场经过傅里叶透镜转换到频域后,微透镜阵列通过分段式波前处理,实现了三维空间信息到二维成像平面的映射,为后续三维重建提供了关键的4D光场数据基础。
FLFM作为一种线性系统,能够将样品三维体积信息投影并压缩到二维相机传感器上。因此,通过FLFM拍摄到的二维强度图像Ic(ρc)可以被描述为物镜空间中各项同性发射器的强度分布Io(ro)与FLFM系统的PSF的卷积结果,其中PSF(ro,ρc)是FLFM系统波函数U(ro,ρc)实部的平方:
ro=(xo,yo,zo)∈R3是物镜空间中荧光发射器的半径向量,ρc=(xc,yc)∈R2表示传感器平面上像素的位置。
为获得PSF,首先通过Debye理论[8]在原始像面上计算每个点的波函数U(ro,ρNAT),考虑使用高数值孔径的物镜,那么此处的波函数U(ro,ρNAT)由如下公式描述:
其中ρNAT=(xn,yn)表示原始像面上的(x,y)坐标,fobj和Mobj分别为物镜的焦距和放大倍数,Jo是第一类零阶贝塞尔函数。变量v表示归一化径向坐标,定义为:
u表示归一化轴向光学坐标,定义为u=4kzosin2(α/2)。NA的半角α=sin−1(NA/n)和波数k=2πn/λ是使用样品的波长λ和折射率n计算得到的。对于阿贝正弦校正物镜,此计算过程中显微镜的切趾函数为P(θ)=cos(θ)1/2。
为了解决油浸或水浸物镜浸没介质与样品溶液之间的折射率不匹配的问题,这里给出在原始像面处使用Debye理论推导出的波函数,即原本的波函数可以被替换为:
这里J2是第一类零阶和二阶贝塞尔函数,α在标量Debye模型中表示NA的半角,忽略物镜浸没介质与样品溶液之间的反射系数,在Debye模型中,它由NA半角的最小值和全反射的临界角共同决定。
波数k1,2=2πn1,2/λ是由发射波长λ、浸没介质的折射率n1和样品溶液的折射率n2计算得到的。θ1和θ2分别是由两种介质界面处的折射角(物镜测)和入射角(样品测)。
波函数U(ro,ρNAT)向相机平面的传播过程可以建模如下:首先将U(ro,ρNAT)变换到其傅里叶空间得到F[U(ro,ρNAT)],然后将其与代表微透镜阵列调制的相位掩膜Φ相乘,最后通过光学傅里叶变换将结果F[U(ro,ρNAT)]Φ投影到传感器平面。
公式中指数项是菲涅尔衍射积分的传递函数,F[]和F−1[]分别表示傅里叶变换和傅里叶反变换算子,OFT[]代表傅里叶透镜处的光学傅里叶变换,fx和fy代表传感器平面中x和y的空间频率,Φ(ρμ)是微透镜阵列上点ρμ=(ρμx,ρμy)∈R2处的相位调制函数。整个透镜阵列的调制可以通过有限二维梳状函数comb(ρμ/d1)与单个透镜的相位调制函数的卷积来表示,该相位调制函数由入射振幅掩模AptIn(ρμ/d1)、相位掩膜和出射球面振幅掩膜AptEx(ρμ/dMLA)组合而成:
fMLA是微透镜阵列的焦距,dMLA是每个微透镜的直径,⊗是卷积算子。入射和出射振幅掩膜可以是正方形、矩形、六边形或圆形,具体取决于不同的设计。
2.3傅里叶光场显微镜系统特性理论
2.3.1横向分辨率(LateralResolution)
横向分辨率通过微透镜的数值孔径NA和sCMOS相机接收的衍射极限光斑大小共同确定。其理论推导过程如下:首先假设物空间存在一个点光源,经宽场显微镜成像到原始像面,由傅里叶透镜将其光场分布变换到傅里叶透镜的后焦平面所在的傅里叶域。当点光源成像于原始像面上时,在傅里叶域中,该点光源的成像可视为近似准直光束。根据阿贝衍射极限理论,每个微透镜后的sCMOS相机上的光束光斑的半高全宽(Full-widthatthehalfofthemaximum,FWHM)为其中NAML是每个透镜的NA,λ是发射荧光的波长,这定义了像空间的两个点光源的横向分辨率。转换到物空间,由于整个系统的放大率为:
则系统的横向分辨率可推导为:
其中
表征FLFM的有效数值孔径
为物镜同微透镜阵列(microlens array,MLA)数值孔径的比值,体现了傅里叶光场分孔径成像的本质。
2.3.2轴向分辨率(AxialResolution)
以配置正交微透镜阵列和3×3元素图像采集模式的FLFM为例定义轴向分辨率Rz,当位于光轴上不同轴向位置的两个点光源,在相机平面形成两个离散像点时,如果这两个点在最外层微透镜之后的图像满足可分辨条件,则可以通过重建来解析两个点光源的轴向位移。
假设PSF在检测的轴向范围内的变化可以忽略不计,即保持
的宽度。这样,轴向分辨率可通过射线光学计算直接推导:
2.3.3视场(FieldofView)
焦点位置附近的有效视场范围由微透镜的尺寸、焦距以及傅里叶透镜的参数共同决定,相关计算如图4所示:
根据公式,可以通过调整傅里叶透镜和微透镜阵列来定制视场大小,同时保持相同的空间分辨率。
2.3.4景深(Depth of Field)
接下来分析FLFM的景深,计算景深需要考虑两个因素。
首先,当点光源沿轴向偏离焦平面,相机接收的光场信息会发生离焦弥散,其强度会衰减到阈值以下,因此可以通过计算轴向衍射效应的可检测范围来计算景深。计算方法上,可以通过沿光轴方向中心微透镜后方的PSF的半峰全宽(FWHM)值来获取景深,理论推导表明,中心微透镜PSF的轴向FWHM值为:
由于图像的重建要依赖于解卷积算法,解卷积算法可以恢复轴向PSF的瑞利范围之外的光栅信息,因此可以使用轴向PSF的全宽即轴向FWHM的两倍来表示景深。
另一方面,当物体轴向离焦时,光场图案会在横向方向上产生扩展或收缩。因此,图案尺寸的变化受到MLA间距的限制,由此可以计算得到景深为:
2.4传统LFM和FLFM的PSF对比
图6(a,b)系统比较了FLFM与传统LFM的PSF特性,(a)为FLFM的PSF,(b)为传统LFM在微透镜阵列中心的典型PSF。数值模拟(上排)与实验结果(下排)的对比表明FLFM的仿真与实测PSF具有高度一致性,而传统LFM的PSF在实验测量中呈现显著的冗余混叠。传统LFM的PSF在轴向和横向具有空间变异性,需要用五维传输矩阵描述三维物体到二维平面的投影过程[2],这不仅增加了解卷积重建的计算成本,还降低了重建速度,难以满足活体功能成像的实时性需求。为此,基于相位空间解卷积的框架被开发出来,能将空间不均匀的PSF转换为空间均匀的PSF,缩短了计算时间并有效抑制伪影[9]。但是由于光学结构的限制,传统LFM的采样不均匀性和成像空间变化问题始终没有得到根本解决。相比之下,FLFM通过傅里叶域光场编码实现了根本性突破:在傅里叶域中记录光场信息,这样能够以一致的方式混叠入射光的空间和角度信息。2024年KevinO’Holleran团队提出改进的单分子光场显微镜(SingleMoleculeLightFieldMicroscopy,SMLFM)[10],模拟比较了SMFLM与其他常见3DPSF的性能,图6(e)为其模拟PSF。图6(c-f)对比了不同LFM和FLFM的PSF。
2.5重建算法
FLFM图像的重建在数学上是一个逆过程,即从给定的FLFM图像Ic中恢复3D样本体积Io,这里通过基于Richardson-Lucy(RL)迭代方案的改进解卷积算法获得重建结果的最大似然估计:
下面介绍基于RL解卷积的重建算法。上面的最大似然估计表示的3D解卷积迭代进行前向投影HIo(k),将三维物体空间信息投影到二维相机平面,随后执行后向投影HTIc和HTHIo(k),即进行逆过程。另外,由于空间不变性,深度为z处的FLFM的PSF可以描述为位于光轴上的点光源的强度贡献,即ro=(0,0,zo)。因此,前向投影可以简化为轴向范围[z−,z+]内不同层上的二维卷积的线性叠加,即:
其中Io(k)(zo)表示深度为zo的单层物体的强度分布。简化的反投影形式如下给出:
其中PSF′(ρc,zo)是通过将PSF(ρc,zo)旋转180度得到的。由此可见,使用统一的3D PSF可以简化计算方案并降低解卷积算法的维度,从而将重建时间缩短。此外,在RL解卷积方案中,两次迭代之间的重建体积可以将上述公式转换为以下形式进行连接:
最后,为了提高计算效率,利用傅里叶变换的卷积定理,将两个变量之间的解卷积运算转化为二者傅里叶共轭乘积的逆傅里叶变换,因为在实际应用过程,快速傅里叶变换(FFT)能高效计算矩阵的离散傅里叶变换,显著提升了实际应用中的运算速度。另外,为了避免在迭代过程中重复运行FFT,可以预先计算PSF(ρc,zo)和PSF′(ρc,zo)的光学傅里叶变换,OTF(fc,zo)=FFT[PSF(ρc,zo)]和OTF′(fc,zo)=FFT[PSF′(ρc,zo)],用于前向和后向投影的迭代计算。具体的前向投影和后向投影可以按照如下方式进行:
2.6 FLFM的设计原则
FLFM主要由两个核心模块组成:原始宽场成像模块和傅里叶光场成像模块,宽场成像模块包括相机,物镜和筒透镜。其中物镜的数值孔径为NA,放大率为M、筒透镜的焦距为fTL,用于将样本图像聚焦至相机传感器上。另外,相机像素尺寸为P,传感器物理尺寸为Dcam;傅里叶成像模块包括焦距为fFL的傅里叶透镜、直径为dMLA的微透镜阵列、占有率N(定义为微透镜阵列处Dpupil和dMLA的有效光瞳尺寸之比)、微透镜焦距fMLA、微透镜之间的间距d1以及从照明光束覆盖的最外层微透镜到微透镜阵列中心的距离dMAX,上述参数的计算如表1第三行所示。
FLFM系统的性能参数包括横向分辨率Rxy和轴向分辨率Rz,像素采样率Sr(Rxy与有效像素尺寸P/MT的比值,MT为系统的总放大倍数)、视场FOV、景深DOF。所有参数可以根据表1中列出的公式推导出来。FLFM设计过程中,先确定宽场系统参数,再确定光场模块。
首先对全套FLFM参数进行总结,这些参数可以分为三类:1)宽场成像模块的输入参数,包括发射波长λ,物镜的数值孔径NA、物镜放大倍数M、相机像素尺寸P以及传感器的物理尺寸Dcam;2)预期FLFM的性能参数,包括横向分辨率Rxy和轴向分辨率Rz,像素采样率Sr、FOV和DOF。3)描述光场成像模块的设计参数,包括傅里叶透镜的焦距fFL,微透镜阵列的直径dMLA,占有率N,微透镜焦距fMLA,微透镜之间的间距d1以及从照明光束覆盖的最外层微透镜到MLA中心的距离dMAX。可以看出,FLFM设计的核心目标是确定第(3)类中的各项设计参数。
具体而言,输入参数通常为宽场成像系统提供,而开发人员可以根据实际应用需要设定需要的性能参数。需要注意的是,由于各项参数之间的相互依赖关系(如Rxy和Rz分别于dMLA和dMAX的内在联系),因此可以通过迭代方式识别合适的性能和设计参数。实际上,最初只需要设定三个独立的性能参数,例如Rxy,Sr和FOV,就可以推导出其余所有性能参数和设计参数。然后,开发人员可以调整初始值,并通过多次迭代优化,以获得最佳的元素组合,从而满足成像需求。
三、傅里叶光场显微镜的应用
FLFM凭借其优异的体成像能力,已广泛应用于生物体的三维成像。FLFM的模块化光学架构可根据样本特征进行自适应优化,其成像尺度可跨越从亚细胞结构到模式生物胚胎的三个数量级。表2列出了不同尺度样品对FLFM成像的要求及代表性研究成果。本文根据样品尺度将FLFM的应用分为两类:一类是针对亚细胞尺度的高分辨率成像,聚焦细胞内部与环境的相互作用;另一类是针对模式生物整体的成像,获取生物体宏观结构信息。
3.1细胞级成像
3.1.1直接细胞成像
生物体的生存依赖于体内数百万个从分子到多细胞成分的复杂相互作用,只有在亚细胞尺度上可视化这些相互作用,才能观察到调节生物体生理的各种因素[17]。先进的显微成像技术对细胞分析具有深远影响。高时空分辨率显微成像能使亚细胞结构可视化、细胞内动态事件可观测,并记录细胞生命周期节点。在细胞生物学、免疫学和微生物领域,高分辨率细胞成像为细胞功能、信号传导和宿主-病原体相互作用的研究提供了重要解决方案[18],显著推动了对体内组织环境影响单细胞动态变化机制的理解。
在各种形式的整体成像方案中,FLFM通过一次性成像的方式同时记录整个生物体的信息,提供最具光子效率的解决方案[19]。ShuJia团队在2021年开发的高分辨率傅里叶光场显微镜(HR-FLFM)[20],用于亚细胞快速体成像。通过优化微透镜阵列设计(增加单透镜面积和焦距、均分傅里叶域空间频率)(系统结构见图7,a),创新性的在解卷积三维重建中使用实验PSF校正理论PSF而得到的混合PSF,HR-FLFM在已有工作基础上增加了成像视场与空间采样,提升了重建质量,实现了三个维度上近各向同性与近衍射极限的空间分辨率(300nm(Rxy);500nm(Rz)),和覆盖全细胞的焦深与视场(67μm),及200Hz的体采集速度(图7,b,c)。2023年,该团队基于HR-FLFM的低光毒性快速三维成像能力,将HR-FLFM用于细胞内自荧光的溯源及基于自荧光的细胞器动态行为记录[21]。图7(d,e)展示了Hela细胞内荧光标记的线粒体同发出脂褐素源自荧光的溶酶体在三维空间中的互作。
2022年该团队提出了径向分析傅里叶光场显微镜(radialityanalysisandFourierlight-fieldmicroscopy,rad-FLFM)[22],通过引入径向分析算法,进一步提升了亚细胞成像能力,实现了免扫描体积三维活细胞成像,具有约150nm(Rxy)和300nm(Rxy)的亚衍射极限分辨率、毫秒级体积采集时间以及约6μm的扩展焦深,成功应用于对乳腺类器官细胞中的微管和COS-7细胞肌动蛋白的成像。图7f-h展示了rad-FLFM的成像重建流程及亚细胞成像结果。在技术拓展方面,2020年KevinO'Holleran团队创新型地将单分子定位显微镜(Single-MoleculeLocalizationMicroscopy,SMLM)与FLFM结合,提出了SMLFM技术[23]。该技术利用FLFM的后焦平面可以生成包含物体角度和空间信息的多个2D透视图,从而实现单个荧光团的多角度成像。SMLFM在6μm的景深范围内实现了20nm的单分子定位精度,图7(i)展示了SMLFM对JurkatT细胞超分辨率图像的重建图。2024年该团队采用六边形微透镜阵列改进了SMLFM[10],在8μm的视场范围内进行了单次快照三维超分辨率成像,实验展示了该SMLFM用于B细胞受体跟踪以及Hela细胞微管的成像。2023年屈军乐团队将具有超分辨率能力的超分辨率光学波动成像(Super-resolutionopticalfluctuationimaging,SOFI)与FLFM结合,提出超分辨率光学波动傅里叶光场显微镜(SOFFLFM)[24],SOFI通过分析时间序列中统计独立的发射点的荧光强度波动,突破衍射极限实现超分辨率成像,该团队将此算法应用到FLFM图像重建中,成功构建了三维超分辨率FLFM系统。但是由于需要数千帧数据计算,SOFFLFM的时间分辨率相比于普通FLFM显著降低。图7(o,p)展示了不同阶数SOFFLFM对模拟数据的成像结果。
3.1.2 成像流式细胞仪细胞成像
流式细胞仪是一种精密仪器,可以同时测量细胞群体的多种物理特性,例如温度、大小和受力[25]。另一方面,荧光显微镜能够提供单个细胞的高分辨率图像。成像流式细胞仪技术巧妙地结合了两者的优势,可以直接可视化流式细胞仪检测到的细胞特性。目前流式细胞仪技术应用广泛,包括血癌诊断[26]、DNA测序[27]、T细胞表型分析[28]和稀有细胞的检测[29]等领域。
2023年,ShuJia团队着手将傅里叶光场显微镜应用到流式细胞仪中,推出了一种可以进行高通量细胞群分析的光场流式细胞仪系统(Light-fieldflowcytometry,LFC)。该系统在三轴方向可以达到接近衍射极限的空间分辨率,并且理论上具备每秒10000个目标的多色成像能力[30]。在后续工作中,该团队进一步将深度学习技术集成到傅里叶光场流式细胞仪中,实现了每秒约16个观测体的高通量高分辨率3D重建。与传统的RL解卷积重建相比,其速度提高了100倍以上[31,32]。图8(a,b)为LFC中的样品通道以及激光和相机成像的时间序列设计,图8(c-l)为LFC成像结果及相关分析。
3.2活体动物的动态捕捉
理解人类遗传与发育机制、探索生理现象背后的生化通路、以及揭示疾病和发育缺陷的病因并开发疫苗与药物,需要在分子、细胞层面以及组织或活体动物中进行验证。因此,构建具有人类器官功能的多细胞组织或使用遗传确定性、易于培养且与人类基因相似的模式生物作为活体模型,对生物医学研究至关重要。特别在疾病研究中,面对快速传播的传染性疾病和变异病原体,快速了解其致病机制是开发药物和临床治疗方案的基础。此类研究只能在合适的模式生物中进行。常用的模式生物由于具有遗传同源性,研究成果可推广至其他物种,推动人类健康和基础生物学进展。
针对模式生物的快速三维成像,傅里叶光场显微镜需根据成像样品的空间尺度与研究生物过程的时间特性进行定制。下面介绍傅里叶光场显微成像在不同的模式生物中应用的最新应用进展。
3.2.1秀丽隐杆线虫
秀丽隐杆线虫是一种非寄生的自主生活线虫,以各种细菌为食,另外这种线虫也可以在琼脂或添加了大肠杆菌的液体培养基中大量培养,其所有体细胞的解剖排列和整个细胞谱系都是已知的[33]。秀丽隐杆线虫在其整个生命周期都是光学透明的,适合采用非侵入性光学监测方秀丽隐杆线虫全部的基因组有60%-80%的基因与人类同源[34],利用线虫的这些特性,人们将秀丽隐杆线虫用于对一些常见人类疾病致病机制的研究,目前它已经成为了一种有价值的疾病模型[35]。另外,秀丽隐杆线虫对生命科学的研究也做出了突出贡献,例如发现程序性细胞死亡的遗传调控因子[36]、使用绿色荧光蛋白(GFP)作为蛋白质标记[37]以及RNAi的发现[38]。
2024年田磊团队将能够快速成像存储的事件相机与FLFM结合,提出了一种超快傅里叶光场显微镜EventLFM[39],为解决在3D重建中容易出现的伪影和轴向拉伸,该团队基于神经网络开发了事件驱动光场显微镜重建算法(图8,a),用于光场在多视图集合成像系统中高分辨率3D体积重建,实现了以千赫兹速率重建快速移动和快速闪烁的3D荧光样品,大大提升了FLFM的图像捕获速度,能够以500Hz的帧速率对3D空间内自由移动的秀丽隐杆线虫中表达绿色荧光蛋白的神经元进行成像和追踪。图8(c)展示了EventLFM算法重建后的秀丽隐杆线虫,结合传统的宽场图像可以看出秀丽隐杆线虫不同深度神经元的分布。
目前针对秀丽隐杆线虫设计的傅里叶光场显微镜系统和重建算法已经能够实现大视场以及高分辨率的快速成像,未来仍然需要在更大视场中突破分辨率的限制。
3.2.2类器官
类器官的概念演变至今,最初是指人类婴儿体形成的病理性[40]和肿瘤样组织块[41],后来其应用范围逐渐扩展,广泛用于组织移植或移植产生的组织块研究,并被越来越频繁地用于发育生物学实验[42]。近二十年来,类器官在人的组织和器官的培养上取得了更多突破,成功培育出如脑[43]、肺[44]、心脏[45]、和肾脏[46]等各种器官和组织的类器官,随着这些连续的突破,类器官的定义逐渐演变为描述源自胚胎或干细胞分化培养的体外三维结构[47]。
与传统的二维组织切片不同,类器官为三维结构,其完整的组织结构和细胞行为的研究需要实时体成像观察。为满足这一需求,类器官实时成像的一个主要挑战在于平衡体成像能力和样品健康状况[48]。2022年,ShuJia团队将傅里叶光场显微镜用于类器官研究,为了适应类器官广泛的形态和功能的可变性,该团队开发出了混合点扩散函数(hPSF)用于傅里叶光场,从而解决了定制系统中信噪比均匀性的问题[12],在三维空间展示了跨越数百微米的整个类器官动态变化的细胞毫秒级时空细节,以及类器官对渗透压和机械力等细胞外影响的瞬时响应(图10,a-l)。此外,2025年,该团队还利用FLFM研究了太空飞行对人诱导多能干细胞来源心脏的影响[49],在国际空间站中通过FLFM观察人多能干细胞培养出的心脏球体,并与地面对照组进行比较。研究发现人诱导多能干细胞短期暴露于太空环境中会导致细胞存活和带向相关的蛋白质水平和基因表达发生显著变化(图10,m-n)。
目前类器官傅里叶光场成像仍然面临深度与分辨率矛盾的问题,未来类器官3D成像将向高分辨率动态化、多模态整合及AI驱动分析发展,突破现有技术瓶颈需跨学科协作,结合工程、计算生物学与临床医学,推动类器官模型在精准医疗与药物开发中的应用[50]。
3.2.3斑马鱼
斑马鱼是一种水生脊椎动物,在胚胎阶段无需主动血液循环即可存活,它们体型较小且在幼虫阶段光学透明,易于大量饲养和繁殖。由于其易于获得和可用于高分辨率光学成像,它已经成为了一种广泛使用的模式生物。斑马鱼的研究主要集中在胚胎发育、基因表达、遗传、癌症转移、心血管研究[51]以及组织再生等方面[52]。斑马鱼和哺乳动物具有很强的遗传和生理同源性,且认知行为过程与啮齿动物和人类相似[53]。
受精9天后的斑马鱼幼虫的平均血流速度为164.2μm/s,血流速度较快[54],FLFM快速及整体成像的特性可以满足对其整个身体的三维成像的要求。2017年,王凯团队开发了XFLM,图11(a)为XLFM系统结构图,首次实现了77Hz全脑成像速率,以接近单细胞分辨率尺度解析了斑马鱼幼虫大脑中的神经活动[55](图8,b-d)。2021年,王凯团队通过改进XLFM的成像性能,设计了共聚焦傅里叶光场显微镜(图8,e),使系统具备光学切片能力,可以有选择性的收集信号,保持了高信噪比并减少厚组织成像中的重建伪影[56]。在Φ800μm×200μm的体积(6700万个有效体素)中对斑马鱼大脑进行了成像(图8,f),提供了更好的分辨率和灵敏度。为了在FLFM中获得高体分辨率的同时提高时间分辨率,2024年高亮团队提出了压缩光场显微镜(squeezedlight-fieldmicroscopy,SLIM)[57](图8,g),创造性地采用单个低格式相机传感器区域来检测光场,实现高分辨率三维光信号成像,SLIM成像速率达到1000Hz,,在Φ550μm×300μm的大视野范围内实现了3.6μm的横向分辨率和6μm的轴向分辨率,该技术成功测量斑马鱼胚胎大脑血流速度并捕获斑马鱼尾部高频摆动过程中红细胞地三维运动轨迹(图8,h)。
活体斑马鱼成像是一个快速发展的领域,近年来通过光场显微镜取得了很多的进展,但是在一些方面仍然面临着一些局限性。在分辨率方面,目前已经能够达到单个神经元水平,但这种分辨率仍然低于其他固定状态下对活体动物观察显微镜的分辨率。
3.2.4非洲爪蟾
另一种常用的模式生物是非洲爪蟾幼虫,即蝌蚪。非洲爪蟾具有诸多研究优势:可全年365天产卵,且其单日产量大,卵的尺寸大(1.0-1.3mm[16])而丰富,易于体外受精。因此研究者可以每日利用其卵产生大量同步发育的胚胎用于对照实验。这些优势使得非洲爪蟾自二十世纪起成为主要的脊椎动物模型之一[58]。同时,非洲爪蟾的基因表达和器官发育(如眼睛、肝脏、肺部、心脏、肾脏等器官)与高等脊椎动物更为接近,因此可以将其研究结果直接转移到对人类的研究上来。尤其是在心脏先天发育与遗传性疾病机制研究方面,由于非洲爪蟾心脏发育早期过程与人类心脏发育的相应过程非常相似,因此有很大的优势[59]。
非洲爪蟾的心血管成像对显微镜提出了严苛的要求。首先,心肌细胞的快速节律性收缩与舒张使其在四维时空中形成了复杂的运动轨迹。其次,心脏毗邻组织的自荧光或被误标记而发出的非靶向荧光会产生强烈的背景噪声和干扰信号,严重损伤了图像质量。为解决非洲爪蟾心脏三维活体成像的低信背比问题,2025年ShuJia团队引入多尺度递归分解算法(Multiscalerecursivedecomposition,MSR)。MSR通过整合最优稀疏表示去噪、鲁棒主成分分析和周期运动图像的递归分割,为活体心肌与血流显微成像提供了一个通用且完整的信号提取框架(图12)。借助该算法,研究者实现了对非洲爪蟾胚胎的心血管形态提取,心肌与血细胞动态过程的记录,以及蝌蚪心肌供血功能的评估(图13)。在此基础上,他们进一步利用心脏三维动态影像,开展了关键基因表达抑制下蝌蚪心脏发育的变化研究[60]。
针对非洲爪蟾等模式生物心血管系统成像设计的傅里叶光场显微镜未来将主要朝着超高帧率的方向发展。通过结合线扫相机,FLFM将实现大于千赫兹的体刷新率,并在整个体积内保持一致的空间分辨率,以利于蝌蚪活体内神经网络活动、心肌收缩和血流动态的高速观测。此外,通过集成用于图像增强的深度学习算法可进一步提高重建图像的时空分辨率,有助于进行更准确的生物分析。
3.2.5小鼠
小鼠是目前生物医学研究中应用最广泛的哺乳动物,小鼠因其对人类疾病研究的关键作用而被誉为“奇迹般地存在”。小鼠和人类的肌肉骨骼、免疫系统、内分泌系统和消化系统在功能和结构上都相似,在细胞层面,小鼠和人类的神经系统也有许多相似之处[61]。
2022年,孔令杰团队提出鲁棒性傅里叶光场显微镜(RobustFLFM,RFLFM)[62],在FLFM基础上引入结构化均匀照明调制和HiLo算法,两者协同优化,有效抑制FLFM中的背景信息,图14(a)为RFLFM的系统结构及成像过程示意图,这一处理提高了图像对比度并有助于减轻伪影。该系统在33.3Hz的体积成像速率下,实现了小鼠大脑皮层下血管网络的高对比度动态成像(图14,b-c),整体对比度较普通FLFM重建提高约10.4倍。2024年,王凯团队开发出了用于神经电压成像的共聚焦扫描光场显微镜[63],其设计如图14(f)所示,通过采用高速相机和快速扫描机制、激光噪声消除和优化光效率,超越了传统相机速度和噪声限制,能够以400Hz的频率成像直径800μm、深度180μm的体空间,对小鼠初级视觉皮层中的约1000个神经元的放电信号实现了同步记录,记录时长超过20分钟,图14(g,h)展示了共聚焦扫描光场显微镜的神经元成像结果。另一种新的技术是将FLFM与双光子激发结合,2025年费鹏团队开发出一种基于选择性照明和自监督隐式神经网络重建的近红外II(Near-infraredⅡ,NIR-Ⅱ)光场显微镜[64]实现了多模态融合,能够在深部组织中以20Hz的速率进行超快速3D成像,在直径为550μm和厚度为200μm的重建体积下实现单细胞分辨率,最大成像景深为600μm。成功重建了去甲肾上腺素下小鼠大脑的血流动力学和3D血管神经节中缺血性卒中的血流再分布,以及完整皮肤无创追踪皮下实体瘤内的免疫细胞活动。
傅里叶光场显微镜在小鼠成像领域的应用推动了神经科学和药物研发的进展。随着半导体材料和电子技术的进步,傅里叶光场显微镜有望进一步扩展成像视场、提高成像速度、增强图像信噪比,并结合双光子成像或上转换荧光染料,实现对大鼠等高级哺乳动物的深层神经回路和区域进行快速成像。结合深度学习、快速解卷积算法和微电极,可实现三维神经网络放电信号的实时捕捉与神经元调控,推动动物行为、认知、神经系统退行性疾病研究,以及神经药物和脑机接口的开发。
3.3应用场景限制分析
FLFM在兼顾空间分辨率、FOV和DOF方面展现出巨大潜力,但由于其本质上仍依赖空间与角度信息的相互编码,必然受到空间采样与角度分辨之间的资源挤占限制。以类器官成像和活体动物成像为例,前者常需高分辨率以解析亚细胞结构细节,后者则需大视场与深景深以观察完整组织或器官功能。对于类器官内部的细胞力学响应或药物扩散行为分析,若牺牲空间分辨率以扩大景深,可能导致胞器结构无法清晰分辨。而在快速运动的活体模型(如斑马鱼、非洲爪蟾或小鼠)成像中,若提升空间或角度采样密度以优化空间分辨率,势必缩小成像视场,难以同时涵盖多器官或多区域神经活动。因此,目前的FLFM系统需要针对某种生物需求特殊定制,不具有通用性,在需兼顾高速、深层次、大范围成像的应用场景中,上述性能权衡将直接影响成像系统的部署和实验设计,限制FLFM的通用性和推广。
四、傅里叶光场显微镜的发展趋势
近年来,随着深度学习算法不断发展,其在傅里叶光场显微镜领域的应用也越来越广泛。国内外相关研究团队开发出如LFMNet[65]、F-VCD[66]、DNW-VCD[67]、PCANet[68]、XLFMNet[69]、HyLFM[70]等用于光场图像三维重建或图像增强的算法。这些方法极大地提高了傅里叶光场显微镜的信噪比、信背比、重建速度和成像分辨率,有着广泛的应用前景。
2023年,费鹏团队提出了基于VCD-Net的F-VCD[66]重建方法,如图15(a)所示,F-VCD将FLFM重建问题分解为视图相关去噪和有限视图3D重建的双阶段优化框架,从而提高了重建质量,在活细胞中实现了优于200nm的分辨率(时间分辨率达到50Hz)、支持活细胞动态过程的长时程观测。其技术优势体现在:在约81μm×81μm×7μm体积内达到180nm×180nm×400nm的各向异性分辨率(图15,b-d)。同年,ShuJia团队开发的Deep-SMLFM[71]将U-net深度学习网络架构与体素级超分辨率重建融合(图15,e-g),Deep-SMLFM解决了SMLFM成像稳定性差和视场较小的问题。在60μm×60μm大视场条件下,该系统对固定Hela细胞免疫染色微管实现了67nm横向分辨率和4μm景深的成像(图15,h-j)。另外,为解决深度学习光场重建算法对噪声高度敏感或训练集稀缺的问题,2025年清华大学的于涛团队提出了一种基于视图对的去噪和三维体重建同时进行的框架,称为V2V3D[72]。该方法将噪声视图分为两个非重叠子集,使用两个网络生成相应的体,并引入PSF的物理先验约束进行特征对齐,从而增强了跨视图的特征聚合,通过针对光场成像的定制设计,该方法实现了先进的性能。
与传统解卷积方法相比,深度学习在光场数据重建中显著降低了计算量与复杂度,并有效提高了光场数据的计算速度和重建质量。但深度学习在光场重建领域仍面临多重挑战,首先是数据驱动型网络对数据具有高度依赖性,目前有监督学习需大量标注数据,数据集有限易导致过拟合和网络泛化能力下降。为解决此问题,自监督学习方法在光场显微镜重建中逐渐发展。2025年戴琼海团队提出了一种物理驱动的自监督重建网络(SeReNet)[73],将该算法用于扫描LFM(sLFM),能以在毫秒级时间尺度下实现接近衍射极限分辨率,并已成功用于多种生物样本的长时程观察。另一方面,目前已经有相关研究设计仿真数据用于训练,系统复杂性导致仿真数据与真实数据存在偏差,影响了模型的应用。另一方面,目前方法的泛化能力有限,对成像系统或场景的变化适应性比较差,对不同的光场系统下得到的数据进行处理需要重新训练。其次现有的网络结构一般为通用设计,缺乏针对傅里叶光场显微镜特性的物理驱动结构,导致神经网络输出的数学解与实际物理参数不一致,增加了应用困难。同时,神经网络的可解释性差,也制约了其应用。
将物理模型与深度学习深度融合,嵌入传统光场解卷积方法到神经网络架构,构建端到端可解释模型,是FLFM发展的关键。同时,结合迁移学习、对抗训练等数据高效策略和高保真光学仿真,可降低对标注数据的依赖,提升跨模态泛化能力。动态自适应网络与在线学习技术将进一步提高光场图像处理的速度与质量。此外,跨模态协同和多任务优化有望突破光学衍射极限,实现光场显微镜的超分辨率成像。
此外,针对空间与角度信息相互挤占的机制性瓶颈,未来可从多方面突破该限制。其一,多模态融合成像系统是构建的重要方向,例如将FLFM与双光子成像(NIR-Ⅱ光场显微镜[64])、结构光照明(SI-FLFM[74])等技术集成,在不同层面分担成像任务,突破单一系统的性能约束;其二,非均匀采样与自适应光学设计有望实现角度和空间采样的动态调节,例如通过光阑图案优化(如SMLFM[10]、HR-FLFM[11])、可变焦微透镜阵列[75]或空间光调制器[76],按需分配信息通道资源;其三,图像重建算法日趋成熟,可在低采样情况下恢复高质量体数据,如SparseDeconvolution[77]、SACD[78]、SN2N[79]。此外,部分研究尝试事件相机技术或压缩感知机制,如EventLFM[39]或SLIM[57]系统,实现以最少的图像数据获取高时空分辨率结果。未来,FLFM需在光学架构、计算重建及跨模态协同三方面协同进化,方能全面缓解空间-角度资源挤占带来的性能制约。
五、结语
本文首先介绍了傅里叶光场显微镜的应用和特点,阐述了傅里叶光场显微镜的原理、成像模型和基本重建方法。之后通过不同尺度的模式生物的应用需求为划分,给出了对应傅里叶光场显微镜的发展现状,成像系统和重建算法的改进。最后结合目前的发展现状对基于深度学习技术的傅里叶光场显微镜的发展进行了展望,深度学习与傅里叶光场成像系统的结合必然会对未来活体生物体积成像的发展带来更大的进步,为生物医学领域的发展带来更大贡献。
(文章来源于激光与光电子学进展,如有侵权,请联系删文)