摘  要: 在低分辨图像具有相同的线性空域不变模糊核、几何扭曲为平移和包含相同的加性白噪声的条件下，给出了多帧图像超分辨重建的一种快速算法，使去模糊过程得以从重建过程中分离。采用最近邻点降采样算子和交换运动矩阵实现图像重建，避免了迭代运算，大幅度降低了超分辨重建的计算复杂度。对低分辨图像的使用数量做了概率推算。仿真实验证明了重建算法的良好效果。
关键词: 超分辨重建，空域不变模糊，平移，降采样
1.引言
   利用多幅低分辨图像重建一幅高分辨率图像即多帧超分辨率重建是近年来图像研究的热点。多帧超分辨重建模型主要由运动、模糊、降采样和加噪声这四部分组成。模型中每部分都可以用一个作用于矢量的矩阵表示。给定N幅观测到的低分辨图像，其大小为 都是对大小为的单幅高分辨图像 的不同表征。即，N幅低分辨图像都是同一幅高分辨图像X经过几何扭曲、线性空域降晰和均匀降采样后的结果。还可以进一步假设每幅观测图像都受加性高斯噪声的污染，而且不同低分辨图像之间的噪声不相关。将上面的描述转化为一个分析模型：

(1)

   其中，是的拉直，大小为( )×1；是X拉直，大小为。
   本文用下划线表示矩阵的列拉直，后文不再赘述。是的运动变换矩阵，表示作用于的几何扭曲；是模糊矩阵，是的降采样算子矩阵。代表第K观察图像中包含的加性零均值高斯噪声，它的自相关矩阵正定、大小为。
   为了便于标记，将式(1)所示的N个方程结合起来，写成矩阵形式：

（2）

   其中，定义，。
   超分辨率重建就是求解式（2）所示的模型方程。
   本文针对特定条件下的多帧图像超分辨重建问题予以讨论：（1）所有低分辨图像具有相同的线性空域不变模糊核、（2）几何扭曲仅为平移、（3）低分辨图像具有相同的加性白噪声。以上条件下超分辨重建问题的解决具有很强的现实应用价值。例如：通过场景相对于相机的轻微平移得到的一个静态的图像序列，能否经过超分辨重建获取高分辨图像，即轻微移动下的反复拍摄能否改善图像质量的命题。
2.特定条件下的超分辨重建快速算法
2.1 基于最大似然估计的一般超分辨重建算法[1]
的ML估计可以用以下最小而乘表达：

（3）

   在（3）式中对作微分并使之等于零，得到

令 ,

则（4）式可写为：（5）
   直接求解（5）式需要求得的逆。若X的大小为1000×1000，则的大小为，对如此大的矩阵求逆工作繁巨，因此求解（5）式一般用迭代方法[2-6]：

（6）
即 　　　　　　　　　　　　　　　　　　　（7）

   迭代步长的确定和迭代收敛性均与相关[7]。
2.2 特定条件下的超分辨重建算法
为方便处理起见，一般取高分辨图像X和低分辨图像均为方阵，且低分辨图像的尺寸相同，即X的尺寸为L×L，的尺寸为M×M，降采样率r = L/M。不失一般性，各低分辨图像的降采样矩阵取相同的矩阵。
   结合引言中所列特定条件给出所有讨论前提条件如下：
1）假定X满足空域上的周期性。此假设在第4节讨论。
2）低分辨图像的降采样矩阵相同，即

。

3）模糊矩阵为相同的线性空域不变矩阵，即，H为块循环矩阵。结合条件（1），H的块均为循环矩阵，即H为Block-Circulant Circulant-Block [8,9,10](BCCB)矩阵。
4）运动矩阵表示平移。结合条件1，可得均为BCCB矩阵[9]。
5）加性噪声均为相同的互不相关白噪声，即

。

   根据上述所列条件，有,。根据BCCB矩阵的可交换性质可得：

(8)

（8）式代入（7）式可得

（9）

令，（9）式两端乘上H可得：　（10）
其中，
（11）

（10）式所列迭代方程表示一个权矩阵为的梯度下降算法。由于矩阵是半正定的，所以加权迭代方程（10）和非加权迭代方程（7）收敛到同一解。据此，构建特定条件下的超分辨算法：步骤（1）计算P和R，求解， 获得；步骤   （2）求解，即去模糊获得。
   算法的关键在于：模糊过程从重建中分离，在实现低分辨图像的融合之后完成去模糊。
3.重建算法的快速实现
3.1 降采样矩阵的选取
   超分辨重建的一个瓶颈是计算量巨大，所以重建图像一般尺寸较小，否则会付出过大代价或超出目前硬件的计算能力。较低的运算复杂度和较好的重建效果是超分辨研究的目标。
   降采样矩阵有多种形式。为降低运算复杂度，经过比较分析，选用一种最近邻点方法建立降采样矩阵。为了避免叙述的过份繁琐，仅以r=2时的情况来说明最近邻点降采样对降低运算复杂度的贡献。对于降采样率不等于2的情况，可以用r=2时的相似方法来说明。
   设需要重建的图像X的尺寸为L×L，降采样率为2，低分辨图像的尺寸为L/2×L/2。
   用最近邻点方法构造2降采样矩阵D：保留X的位置[1＋2m, 1+2n]上的值不变，构成低分辨图像位置[m, n]上的值，其余位置上的值均取零。因而矩阵D = AA，其中表示Kronecker积。

3.2 运动矩阵的构造
   获取了亚像素配准信息之后，经过高分辨网格上量化取整，化为整像素运动信息。
   对周期图像X，其平移可用交换矩阵П来实现：

   П是正交矩阵，所以П的幂也是正交矩阵，并且ПT=П-1=ПL-1，ПL=I。对于方阵X表示的周期图像，ПX表示X向上平移一个像素，XП表示X向右移动一个像素。用｛m, n｝表示X的运动信息，即X向上平移m个像素、向右平移n个像素，则是平移结果。
根据Kronecker积的性质，对矩阵的拉直运算满足：

（12）

设第k帧低分辨图像的运动信息是｛｝，由式（12）知对应的运动矩阵可以表示为：

（13）

3.3 矩阵R的计算和求解R =P
   把D = A A和（13）式代入（11）式可得：
R =

   其中，。计算可得B为对角矩阵，且B = diag (1,0,1,0,1,0, ) 。
是对角矩阵B的相似变换，因而也为对角矩阵，并且计算可知若 为偶数，
；若为奇数，。同理 也是对角矩阵，要么等于B，
要么等于I -B。对角矩阵的Kronecker积仍旧是对角矩阵。
   R是N个对角矩阵的和，因此也是对角矩阵，并且是BB、B (I-B)、(I-B) B和(I-B) (I-B)这些对角矩阵的累加。而B B、B (I-B)、(I-B) B和(I-B) (I-B)的秩均为L2/4，并且满足：

B B + B (I-B) + (I-B) B + (I-B) (I-B) = diag (1,1, 1)(14)

   下面分两种情况求解
（1）R为满秩对角阵。此时 。 为（L×L）×1的列向量，计算就是 的L×L个元素和R的L×L个主对角线元素对应做除法，运算量可以忽略。根据（15）式，只要低分辨图像足够多，并且运动信息差异较大，R就可以成为满秩对角阵。例如，假设四帧低分辨图像的运动信息为{1,2}、{2,2}、{3,5}和{4,4}，则R为单位矩阵。多帧超分辨的特征在这里充分体现：需要收集足够多的信息，才能重构出较为理想高分辨图像。因此，在应用此算法时，所用低分辨图像的数量较大，其目的就是丰富运动信息，使R成为满秩对角阵，而达到这个目的的运算开销仅为加法运算，代价很小。
（2）R为非满秩阵。当低分辨图像不够多，运动信息不够丰富时R的主对角线上某些元素可能为零。此时除R的零元素外，R的其它元素仍和P的元素对应相除，结果赋值给，上对应R的零元素的位置用插值方法赋值。仿真实验证明这个简捷操作的效果并不比常规方法[7]中把R作为奇异阵处理的效果差。
3.4 去模糊求解
   由假设条件知模糊矩阵H是BCCB型矩阵。参照去模糊过程的一般处理方法，认为H是行列可分离的，即。只需要在方阵两边分别乘，即可得到方阵。
3.5 算法仿真

(a)原始图像

(b)低分辨含噪声图像

(c)双线性插值重建｛PSNR=20.45dB}

(d)双三次插值重建｛PSNR=19.55dB}

(e)超分辨快速算法重建｛PSNR=25.20dB}

图1是对一幅768×768的鹰图像做超分辨重建仿真实验。低分辨图像数量取为30。

4.算法相关讨论
4.1 周期边界的假设
   图像X的重建问题都会面临图像的边界假设，常见有零边界、周期边和Neumann边界。周期边界假定X在各个方向上都无穷尽地重复自己，对应的空域不变模糊矩阵H是Block-Circulant Circulant-Block（BCCB）矩阵。只有BCCB阵满足（8）式的可交换性，从严格的理论证明出发，本文假定了周期边界。
周期边界可能导致重建图像的边界噪声，在频域上表现为振零效应，在低分辨图像之间仅有轻微平移时对重建图像影响不大。对严重的振零效应，可用多种方法予以消除[11-12]。
4.2  低分辨图像的数量N
在2倍的最近邻点降采样模式下，低分辨图像Y隔行隔列地保留了原图像X的1/4的信息。图像X在平移运动信息分别为｛0,0｝、｛1,0｝、｛0,1｝和｛1,1｝时２降采样获得四幅低分辨图像，而X的所有平移后再２降采样获得的低分辨图像均可以由中的一幅且仅有一幅经过平移得到，即X经过平移后的２倍最近邻点降采样获得的低分辨图像由及其平移图像组成，不妨按称之为四个类。式（15）说明这四类图像包含了X的完整信息。当所用的N幅低分辨图像涵盖了上述四类图像，才包含X的完整信息。在概率意义上这是一个从四类图像中简单抽取N幅至少每类抽到一幅的问题。计算可知概率值在N = 100时达到0.9。实际应用中用主动挑选方式减小N，一般取在30～50。当采样率增大时，最近邻点降采样模式下图像X的分类增加，需要的低分辨图像随之增加。
4.3 算法计算复杂度
   多幅图像超分辨重建中，获取运动信息或配准是个相对独立的模块。在获得运动信息之后，对本算法仅用N次级加法运算和一次级逐像素除运算就可以重建大小为L×L 的 ，运算量不超过以往常规迭代处理算法的十分之一。
5.结论
   本文在空域不变模糊、平移和相同加性白噪声条件下给出了超分辨重建快速算法，避免了常规的迭代运算，极大地降低了超分辨重建的计算复杂
度。仿真结果证明了算法的良好效果。

参考文献
[1] M. Elad and A. Reuer, “Restoration of a single superresolution image from several blurred, noisy and undersampled measured         images”[J], IEEE Trans. Image Processing, 1997, Dec. vol.6, pp.1646-1658.
[2] M. Irani and S. Peleg, “Improving resolution by image registration”[J], CVGIP: Graph, Models, Image Process. 1991, May. vol. 53, pp. 231-239,.
[3] R. R. Schultz and R. L. Stevenson, “Extraction of  high-resolution frames from video sequences,”[J]，IEEE Trans. Image Processing, 1996. June. vol. 5, pp. 996 -1011,
[4] R. L. Lagendijk and J. Biemond, Iterative Identification and Restoration of Images[M] .New York: Kluwer,1991
[5] J. L. Barron, D. J. Fleet, and S. Beauchemin, “Performance of optical flow techniques” [J], Int. J. Comput. Vis., 1994, vol. 12, pp. 43-77
[6] D. Bertsekas, Nonlinear Programming[M]. Belmont, MA: Athena, 1995.
[7] Hanson P C, Matlab Software for Regularization of Discrete Ill-Posed Problems, http://www2.imm.dtu.dk/~pch/Regutools/index . html/ Regularization Tools.
[8] Andrews H, Hunt B, Digital Image Restoration[M], NJ: Prentice-Hall, Englewood Cliffs, 1977..
[9] Gonzalez R, Woods R, Digital Image Processing [M], Reading, MA: Addison-Wesley, 1992.
[10] 毛纲源，循环矩阵及其在分子振动中的应用[M]，华中理工大学出版社，1995。
[11] M. Fuderer, Ringing Artifact Reduction by an Efficient Likelihood Improvement Method[J], In: Proc. SPIE, 1989, pp. 84-90.
[12] 林宙辰,石青云. 用二进小波消除磁共振图像中的振铃效应[J].模式识别与人工智能,1999,12(3): 320～324.