关键词:光场成像;波动光学;数字重聚焦;图像去模糊

1引言

光场成像的发展历程可以追溯到Gershun［1］提出的光场成像概念及数学模型。由于当时微透镜加工工艺及精度的不足，其历经了针孔阵列、相机阵列、掩模版、微透镜阵列等变化。同时，光场理论模型也在逐渐优化：Adelson等［2］提出了光场参数传递方程，并提出基于微透镜阵列的光场成像，将探测器放置在微透镜阵的焦距处；Levoy等［3］提出了光场参数化。光场相机具有数字重聚焦的优势［4］，能够实现先拍照再聚焦的功能。Dansereau等［5］发现数字重聚焦处理相当于对光场频域在一个双扇和超锥体交点的区域内进行超滤波，从而提出体积聚焦的光场滤波方法；Wang等［6］将未聚焦区域图像的先验作为正则化项，提出了基于深度的各向异性过滤器来渲染未聚焦区域；Jayaweera等［7］对光场频域在多个双扇和超锥体交点的区域内进行超滤波，实现多体积重聚焦。目前所研究的数字重聚焦技术都需要在空域或者频域进行插值处理。由于相机拍摄出的图像存在各种各样的模糊，图像去模糊技术得到快速发展。Lumentut等［8］通过大量模糊光场数据集训练低频去模糊的神经网络；Ruan等［9］利用数字重聚焦技术生成大量离焦和聚焦图像对，提出一种卷积神经网络结构，用于去除散焦模糊；Ruan等［10］利用散焦与聚焦之间的互相关性训练一种离焦去模糊的神经网络；Zhang等［11］设计了一个端到端的网络框架，并应用于编码曝光摄影中；赵延康等［12］提出一种基于多尺度注意力级联卷积神经网络的图像复原算法；李云鹏等［13］提出一种基于归一化模糊度的分层景深叠加的图像去模糊算法。基于深度学习的图像去模糊数据集并不多，通常对与训练数据集相关的图像效果好，对其他的数据集图像效果一般，基于深度学习的去模糊算法鲁棒性不高。Srinivasan等［14］建立3D旋转模型，通过相机运动路径和锐化光场的先验进行盲去模糊处理；Su等［15］建立了光场运动信息模型，发现光场频谱中条纹间距与模糊程度成反比的先验，提出一种光场去模糊的算法；Pan等［16］发现清晰图像比模糊图像有更多的零灰度值，提出基于暗通道先验的去模糊算法；邱啟蒙等［17］提出红通道与暗通道联合先验的水下图像去模糊算法；Pan等［18］发现清晰图像相比于模糊图像强度值降低，提出一种使用L0正则化强度的图像去模糊算法；Wen等［19］通过强度先验，提出一种改进的半二次分裂算法；孙宇松等［20］提出一种使用高斯低通滤波器的多光谱图像去模糊算法；Ge等［21］提出一种非线性通道先验的图像去模糊算法。光场相机拥有数字重聚焦的功能，使其在深度估计［22］、三维重建［23］等领域有着广泛研究和应用。本文将光场成像系统应用于空间光学成像中，在顾梦涛等［24］提出的波动光学分析方法的基础上进行光场成像仿真，并通过数字重聚焦处理得到重聚焦图像。为了提升光场全孔径图像的清晰度，本文提出一种光场重聚焦图像去模糊的算法，所提算法相较于目前主流图像去模糊算法有更好的图像清晰度。

2光场相机成像模型及数字重聚焦算法

2.1光场相机成像模型

目前，建立光学成像模型的方法有两大类：一类是基于几何光学［25］的方法，另一类是基于波动光学［24］的方法。由于基于几何光学的方法忽略了衍射效应，文献［24］已经证明基于波动光学的方法模拟出的图像更接近真实图像。

基于波动光学的模型的光场相机通过菲涅耳衍射公式和透镜透过率函数逐一推导出脉冲响应并建立点扩散函数（PSF）模型。为了简化成像模型，将单个物点所成像到探测器的位置进行约束，改进光场成像的波动光学模型。由于遥感成像属于非相干成像，并且可以将光场相机看作主系统、微透镜阵列系统，进而建立其模型。

非相干成像是光强度的线性不变系统，成像系统及标识如图1所示，其中，z1为物距，z2为主透镜到微透镜平面距离，z3为微透镜到探测器平面距离。系统的脉冲响应是相干成像系统的脉冲响应模的平方：

依据非相干成像原理，考虑主镜系统，其中，主透镜具有表示为P1的广义光瞳函数，并且其对应的脉冲响应［24］为

式中：λ是系统成像波长；波矢大小从物体平面到图像平面的放大倍率令和则上述脉冲响应变

同理，加入微透镜阵列系统后的脉冲响应［24］为

式中：FFT为傅里叶变换。整个成像系统的脉冲响应如式（4）所示，由于单个物点通过主透镜成像到微透镜阵列处应为一个有限大小的光斑，光斑的大小与物距相关，通过计算即可得到光斑大小范围，因此并不用对整个微透镜阵列分析，只需对微透镜阵列处进行范围约束，M1和N1分别为被光斑约束的微透镜阵列大小集合。与文献［24］对整体的微透镜阵列进行仿真处理不同的是，所提模型考虑了离焦光斑大小与微透镜阵列成像数量之间的对应关系。因此，它只对某些微透镜进行成像仿真，这样做可以缩短建模算法的运算时间。最后，将脉冲响应转换为非相干成像的脉冲响应，即hi=|h2|2，即得到了成像系统的点扩散函数模型。建立光场成像的点扩散模型后便可以获取光场原始图像，为后续的光场数字重聚焦处理和图像去模糊提供图像支持。

2.2光场数字重聚焦算法

光场数字重聚焦算法通过算法调焦，而非像传统相机一样使用机械调焦，可以得到不同对准平面处的景物图像，达到先拍照后调焦的效果。数字重聚焦算法能够实现是因为光场相机能够捕获光场的四维信息，即光线的位置信息和方向信息，通过对原有对准平面的四维信息进行插值处理，得到新的对准平面的四维信息。

目前，光场数字重聚焦算法分为两大类：一类是空间域光场数字重聚焦算法［26］，一类是频率域光场数字重聚焦算法［4］。两种算法各有优劣，但都需要插值处理，常青等［27］发现频率域对插值的精度影响要大于空间域的算法。因此，在光场成像中，数字重聚焦算法的精度误差是不容忽视的。本研究使用的是空间域数字重聚焦算法。

3光场重聚焦图像去模糊

光场重聚焦图像模糊的原因在于：光场相机结构中光斑与微透镜相对运动造成的误差［15］。物点通过主透镜成像到微透镜平面，光斑相对于微透镜阵列出现相对运动。光场数字重聚焦算法在插值处理上有一定的误差［27］。数字重聚焦处理相当于对光场进行重新分布，需要从原来的光场分布中获取重聚焦后的光场分布值。在光场成像系统中，微透镜阵列参与成像，导致中高频信号损失，导致光场重聚焦图像模糊。分析其模糊原因后，由于难以估计出模糊核，故使用盲去模糊处理。根据图像去模糊的模型，模糊过程可以建模成卷积运算［18］：

式中：K为模糊核；I为清晰图像；B为模糊图像；n为噪声；⊗为卷积算子。目前对于普通模糊图像的先验信息有暗通道先验（DCP）［16］、L0正则化强度和梯度先验（L0）［18］、非线性通道先验（NLC）［21］和局部最小强度先验（PMP）［19］等。DCP和L0算法都用L0范数处理先验项，会导致图像过度锐化；NLC算法使用L1范数处理先验项，但其先验项并不一定会增加图像清晰度；PMP算法采用优化能量方程，并对潜在图像提前进行先验约束，但算法未加入局部最大梯度先验，不能有效提升图像清晰度。因此，所提算法使用局部最大梯度先验和PMP联合进行约束，并简化能量方程，对潜在图像和模糊核交替求解，提高图像清晰度。

图像局部最大梯度先验首先需要建立局部最大梯度（LMG）算子［28］，其由绝对值算子A=(Ah，Av)、最大算子M和梯度算子∇=(∇h，∇v)T构成：

因此，局部最大梯度［28］可以表示为绝对值算子、最大算子和梯度算子的乘积，即

根据LMG的先验约束，图像可以表示为

求解方程得：

为了简化清晰图像先验，将q近似为I，即q≈I，再加入局部最小强度先验进行优化。用简单的阈值收缩算法将PMP［19］加入去模糊算法中，即

式中：λ1是所设置的阈值；为更新的局部最小强度集合；Ist1+1，j为更新前的局部最小强度集合。为了寻找局部最小强度，需要建立局部最小算子，即

式中：M2为局部最小算子；Ωt1+1，j为局部最小值集合。因此，在每次迭代更新前，先进行潜在图像更新，即

加入局部最小强度和局部最大梯度先验优化后，光场图像去模糊的模型（即能量方程）可表示为

3.1　潜在图像估计

采用交替乘子法进行求解时，可以在给定中间模糊核Ki的情况下，通过以下公式对潜在图像进行优化：

使用半二次分裂法［16］，通过引入辅助变量z1来求解方程，式（17）可表示为

式中：λ2为惩罚因子。

可以通过以下公式求解z1：

则Z₁ⁿ⁺¹的表达式为

得到Z₁后，可求解I：

这是一个最小二乘最小化问题，可使用快速傅里叶变换［29］求解I：

式中：F、F-1、分别表示快速傅里叶变换、快速傅里叶逆变换和快速傅里叶变换的共轭。求解I的过程如算法1所示，由于LMG先验中的矩阵过大，将其先验放置在循环的最外侧。

算法1：潜像估计

输入：模糊图像B，模糊核初始值K

β←β0，I0←B

循环1：i₁=1，⋯,5通过式（12）计算u

循环2：i₂=1，⋯,5

通过式（8）计算Gⁱ

通过式（13）更新潜像I当β<β_max时，

循环3：j=1，⋯,4

通过式（15）更新潜像^t+1，j

通过式（20）更新zⁿ⁺¹通过式（22）更新I

循环3结束

β=2β

结束α₃=4α₃

循环2结束

α₁=4α₁

循环1结束

输出：潜在图像I

3.2模糊核估计

为了提高模糊核的估计精度，与最先进的算法［21］一样，通过图像梯度求解模糊核，而不是图像强度：

使用FFT即可求取得到模糊核：

求解K的过程需要进行非负数化和归一化处理，并采用金字塔结构多尺度反卷积方法从粗到精估计模糊核，具体如算法2所示。

算法2：模糊核估计

输入：模糊图像B，初始化K来自上一层粗尺度估计循环1：i=1，⋯,5

通过算法1得到潜在图像_I

通过式（24）求解潜在模糊核_K

循环1结束

输出：模糊核K和潜在图像_I

4模拟实验

4.1光场成像模拟实验

为了模拟光场成像在遥感领域的应用，通过光场成像的原理计算出一组光场相机的参数，系统参数如图₂（a）所示。根据第2节的光场成像的物理光学仿真模型进行实验，得到不同物距的光场遥感图像。UMLUD数据集［29］包含多种类型的遥感图像，便于进行成像模拟。图₂（b）是从此数据集中选择的一幅图片，图₂（c）为物平面在标准对焦平面处经过光场成像模拟后的光场原始图像。光场原始图像由一个个宏像素构成，将宏像素的相同位置处的像元合并到一幅图中，得到多张不同位置处的子孔径图像，这一过程是光场图像的解码处理，如图₂（d）所示。

将非标准对准平面处的光场原始图像解码成子孔径图像，再通过第2.2节所述的光场数字重聚焦算法处理，使用图像清晰度评价算子［27］对一系列光场重聚焦图像进行判断，得到使用数字重聚焦算法处理后的最佳光场重聚焦图像。光场重聚焦图像清晰度评价算子有很多，所提算法使用Laplace算子进行评价，计算公式如下：

式中：c是光场重聚焦图像；MN是光场重聚焦图像大小。图3为每张重聚焦图像对应的Laplace算子，图4为9张重聚焦处理后的图像。其中，这一系列重聚焦图像的Laplace算子值与图3一一对应，图4中第5张图最为清晰，对应于图3曲线中的第5个点，即曲线最高点。

4.2光场重聚焦图像去模糊实验

通过光场重聚焦图像清晰度评价算子得到清晰图像，经观察，图像有些细节并不清晰，需要进行重聚焦图像去模糊处理。本小节分别展示基于UMLUD和遥感相机拍摄的图像经过光场成像模型和数字重聚焦处理后，再进行图像去模糊处理的实验结果，图5（a）为真实遥感相机拍摄的图像，图5（b）为UMLUD数据集中的图像。图6为所提算法与DCP［16］、L0［18］、NLC［21］和PMP［19］算法的比较结果。在使用UMLUD数据集进行的模拟实验中，选择了图6（g）的图像，进行算法有效性验证。在使用遥感相机真实图像进行的模拟实验中，选择了图6（a）的真实拍摄图像进行分析。并采用图像评价指标作为判断指标，即峰值信噪比（PSNR）、结构相似性（SSIM）［21］、图像清晰度算子。所提算法在所有实验中采用以下参数：β0=0.004，βmax=105，γ=2，λ=0.1。根据多次实验分析，将计算LMG值的图像块大小设置为41×41，计算局部最小算子M值的图像块大小设置为平均尺寸大小的0.025，其他算法的参数均按作者提供的默认参数设置。

如表1所示，无论是对真实拍摄图像还是UMLUD数据集进行去模糊处理：DCP算法都会造成图像过度锐化，如图6（h）所示，使图像中的细节过度扭曲，小车边缘尤其明显，导致图像去模糊处理后效果不好；L0算法也会造成图像锐化，如图6（i）所示，但优于DCP算法处理的结果，通过小车边缘对比能够观察出处理后的效果；PMP算法对大部分图像处理是良好的，但处理后整体图像效果在主客观评价上并未优于NLC和所提算法；NLC算法在一些细节上也会出现振铃的情况，增加一些原本没有的细节，处理后整体图像要优于前几种算法，但在客观评价指标中要低于所提算法；所提算法在整体与局部均有良好的视觉效果，并且图像清晰度指标优于其他算法，更接近原图的清晰度。

为了证明算法的性能，需要测试先验的有效性。在接下来的测试中，使用包括8个不同模糊核和4幅图像的Levin数据集［30］对比DCP［16］、L0［18］、NLC［21］和PMP［19］算法的性能，并使用误差比［30］、峰值信噪比、结构相似性［21］、图像清晰度算子和核相似度作为图像评价指标。所有实验均在一台配备intelCorei7-8750HCPU和8GBRAM的计算机运行。

理论上，基于局部最大梯度和局部最小强度先验的图像去模糊算法能够获得清晰图像。将所提算法与其他算法进行对比，该算法在累积误差率方面表现优良，在平均PSNR、平均SSIM和平均Laplace算子上均优于其他算法。总之，所提算法可以有效去除图像模糊、提高图像像质。

由于所提算法在估计潜像时涉及多个辅助变量，因此可能会出现整体收敛质疑。在Levin数据集上进行实验，并通过能量方程的收敛和核相似度收敛来分析。实验在最精细的图像尺度上进行，如图7所示。所提算法在迭代18次后能量方程值达到收敛，核相似度在迭代30次后趋于收敛，验证了所提算法具有良好的收敛性，如图8所示。为了研究每种图像去模糊算法的运行效率，测试了不同算法在不同尺寸图片上处理的平均运行时间，具体如表2所示，所提算法处理图像的平均运行时间处于一般水平。

5结论

简化了基于波动光学的光场成像模型的复杂性，并提出一种提升光场成像质量的图像去模糊算法。在原有基于波动光学的光场成像模型中，增加对物点所成像到探测器的位置的约束，有效降低光场成像模型的复杂性；并基于光场相对运动的误差、数字重聚焦算法的误差及微透镜阵列参与成像导致的中高频信号损失的问题，利用局部最大梯度值减小和局部最小强度值增加的模糊图像先验知识，进行光场图像去模糊处理。为了恢复受先验约束的潜在图像，运用了一种基于半二次分裂改进的优化方案。实验结果表明，所提算法在处理光场重聚焦图像上性能优于先进的图像去模糊算法。此外，所提光场成像模型及重聚焦图像去模糊将为光场成像发现更多应用领域。