摘 要: 超分辨率(SR)技术就是由低分辨率(LR)图像序列来重建高分辨率(HR)图像,而基于压缩视频的SR技术正成为当前研究的热点。本文在正则化理论的基础上,通过利用比特流中的信息，提出了一种新颖的空时自适应超分辨率重建算法。正则化代价函数控制着时域数据和空域先验信息之间的平衡，正则化参数在重建过程中得到并自适应地调整，利用迭代梯度下降法进行高分辨率图像的重建。仿真实验表明，本文提出的正则化自适应算法比传统算法重建图像的主、客观质量有一定的提高, 适合压缩视频的应用。
   关键词: 压缩视频；超分辨率重建；正则化；空时自适应
1.引言
超分辨率算法利用多帧低分辨率(LR)图像间的非冗余信息来提高图像的分辨率，它是一个病态求反问题。在以前的研究工作中，正则化方法被广泛应用在病态问题的反向求解中 ，正则化参数自动更新的迭代自适应算法 也被先后提出。而在当前的视频系统中，图像在传输和存储前都要进行压缩，这将导致多种编码效应，尤其在低码率的应用中。为消除这些效应，多种后处理和恢复算法 也相继被提出。由于这些算法不能有效利用帧间的相关信息（如时域冗余），因此效果并不是很好。Choi证实 ，充分利用帧间的相关性可大幅度提高重建图像的质量。这样一来，时间方向的各帧代表相关的同一场景但却不完全相同的序列，无论是帧内还是帧间的信息都可被利用。正因如此，超分辨率算法必须考虑压缩系统的影响。最近，Park针对。
   DCT压缩的图像，提出了在图像重建的同时正则化参数与量化噪声同时解算的方法 。
   本文基于正则化理论，提出了一种新的正则化代价函数，它用来平衡时域数据和空间先验信息，正则化操作被用来获取图像序列的空时相关性，利用迭代梯度下降法来求解HR图像，而正则化参数在迭代的过程中可同时得到。
接下来本文作如下安排：第二节讨论压缩视频的观测模型；第三节对正则化代价函数、正则化参数的自适应估计、运动估计以及迭代梯度下降法进行阐述；第四节针对合成的和真实的图像序列进行实验仿真，并对结果进行讨论；最后结束本文。
2  压缩视频观测模型
  我们用 表示HR图像， 其大小为qM*qN,q为分辨率增强因子。HR图像序列第k，l帧间的关系用矢量形式可表示为9：

（1）

这里d表示第l、k帧间偏移的列矢量；C（d）是描述整帧偏移的二维矩阵；n表示噪声，它反映了像素位置的偏移误差。
   HR图像经模糊、变形和降采样等处理（用矩阵 表示）后得到离散的LR图像序列g，其大小为M*N。HR图像与LR图像之间的关系可表示为：

（2）

   这里n是采集噪声。把式(1)，(2)联立起来可得：

（3）

   这里m包含加性噪声和采集噪声。
   LR图像序列g经压缩后得到帧矢量y，它与HR图像帧之间的关系为：

                          (4)                            

  这里T是DCT变换，Q是量化操作，Ymc是Y1的运动补偿项。
（4）式中的量化操作会在解码帧中引入量化噪声，由于它是信号独立的，所以压缩的LR帧Y1可进一步简化为：

                               (5)                                

   这里q1代表量化噪声.
   既然每个DCT系数的量化值确定了相应系数精确值之间的间隔，因此在不知晓其它附加信息的情况下，不可能精确重建HR图像，亦即从压缩的Y1去重建HR图像Fk是一个典型的病态求反问题。
3  空时自适应重建算法
3.1代价函数
   我们知道，正则化方法利用重建HR图像的先验信息可使反问题良态化。我们利用正则化的方法来获取图像序列的空时相关性，通过最小化以下代价函数来求解Fk:

（6）

   这里J（Fk）是时域正则项，J（Fk）是空域正则项, h（fk）是正则化参数。
根据压缩视频的观测模型，我们定义

                  (7)                      

   这里Tf和TB分别表示沿时间轴向前和向后方向利用的帧数, 而

(8)

   这里D1代表高通操作，D2代表沿估计帧Fk的块边沿的高通操作。
 3.2 正则参数的自适应估计
   正则参数在重建的过程中扮演着重要的角色，因为它确保代价函数的凸性和解的稳定性。参数过大，边沿和细节被平滑，参数过小，则失真较大。我们可利用重建HR图像的每一迭代过程对其进行估计。
   为了使非线性代价函数具有全局最小，h（fk）的选择应控制时域冗余项Jl（fk）和空域平滑项Jl（fk）的平衡。我们对，h（fk）施加以下特性 :

(9)

   这里rk是一系数，控制着的J（fk）的凸度。本文我们根据文献11选择

(10)

   这样一来，我们得到：

(11)

   恰当的1/rk边界不仅可阻止病态问题中正则化参数增大的可能性，而且还自适应增强了图像的细节。可以看到，空域平滑项Jl(fk)越小，能量越集中分布在重建的HR图像的低频部分，此时对应较小的h(fk)，这可用来进一步重建HR图像的高频部分，反之亦然。
3.3 运动估计
   我们知道，获取HR图像的重要一步是对运动失量进行估计，但编码器提供的运动失量不能直接应用，这是因为 (i) 精度不够高； (ii) 它们只针对LR帧 ; (iii) 并不是所有的失量都提供。因此，我们必须对HR帧的运动失量进行估计。
既然编码器为了压缩LR帧已为我们提供了运动失量，我们可以利用此信息来估计HR帧的运动失量。可考虑把已估计出的HR帧的运动失量和LR帧提供的运动失量线性组合成一新的运动失量集：

(12)

   这里Dylk是编码器提供的运动失量进行上采样后的运动失量,  Dylk是由估计的HR帧得到的运动失量，控制参数。注意到，如果Alk=0,则不利用编码器提供的运动失量, 或表明Dylk不可靠, 或编码器根本就没提供运动失量。
   已有的实验12验证了这种方法提高了对运动失量估计的精确度，但在某些情况下却未然（例如，当宏块包含部分或两个不同的运动物体时），此时，我们不去利用编码器提供的运动失量。为此，方程（12） 只应用在DYLK和DFLK的差值小于一个预定值 的情况下，即：

                        (13)                            

这里.

   3.4 循环迭代梯度下降重建
显然，j(fk）的每一项都是二次项并且是凸的。显然，在这样一个凸约束条件下的求解问题具有良态解。我们可利用迭代梯度下降优化算法来求解代价函数(6)。
   首先对HR图像进行初始估计得出F0k，然后利用以下准则进行不断迭代：

（14）                  

这里J(FK)是代价函数针对fK的梯度:

(15)

   最小的fK满足J(FK)=O, 也满足H(FK)=0. 这样, (15)式的最后一项为零。于是HR图像FK可以利用以下迭代方法得到：

(16)

   这里H(FK)和FHK分别代表第N次迭代后第K帧的正则化参数和重建的HR图像， Β是收敛参数。
   在重建过程中首先进行初始化：先把解码的图像双线性内插HR栅格上，这作为HR图像的初始估计DLK。同时计算出偏移矢量，然后进行两倍上采样，作为偏移矢量的初始估计DLK。不断循环迭代，这构成了循环迭代梯度下降算法。
  4  仿真实验
为了验证算法的性能，我们测试两组图像序列，一组是合成的，另一组是摄像机拍摄的实际图像序列。我们利用经验值hk（f)=0.1 作为固定正则化（FR：Fixed Regularization）算法，它与本文提出的自适应正则化（AR：Adaptive Regularization ）算法相比较。准则|fn+1-fn|2/|fn|2≤10-6用来终止迭代，选择β=2，tf=bf=2 ，D1和D2是二维离散拉普拉斯高通滤波函数，D1进行块卷积操作，D2沿块边沿进行差值操作。为了测试运动估计对不同方法的独立性，在方程（13）中，当编码器提供运动失量时，选取αlk=0.5，δ=2 ，否则αlk=0 。
4.1合成序列的实验
第一个实验，LR图像产生于HR“mobile” 序列的第5帧，尺寸为  ，像素以{(0,0), (0,0.5), (0.5,0), (0.5,0.5)}方式平移，然后在水平和垂直方向进行抽样，再经过模糊函数是 的运动平均滤波，产生出  的LR 序列，最后压缩成256Kbps 的MPEG-4 码流。
   利用FR和AR算法重建的图像分别如图1(a)–(b)所示 ，其峰值信噪比（PSNR）分别为28.73 dB 和29.56 dB。

(a)FR算法重建结果             (b) AR算法重建结果  
图1合成图像序列的实验结果

   4.2 真实图像序列实验
第二个实验， HR序列由摄像机轻微的摇移而拍摄到，尺寸为  ，该序列有两点不同于合成的序列：首先，帧间的子像素偏移不再是精确定义的 ，而是与场景的运动有关；其次，HR帧的有些像素可能不在LR帧中出现，有些像素可能从未观察到（如果场景中没有运动）或者它们在时间轴上看不到。这里，利用水平块匹配算法 对LR帧进行校准，其它参数同合成序列实验。图2(a)–(b) 分别是FR和AR算法重建的图像如图，其PSNR分别为29.67 dB 和30. 13dB。

(a) FR算法重建结果           (b) AR算法重建结果  
图2真实图像序列的实验结果

   从以上两个实验我们看到，FR 算法会引入编码效应，振铃效应和块效应可见，重建的图像过于平滑。这主要是由于该算法忽视了原始图像序列空时变化的特性，导致量化噪声过大所致。而AR 算法则显示出相当的优势，在重建过程中，HR帧自适应地迭代更新，正则化参数同时得到，不仅编码效应被去除，而且高频信息被有效重建，整帧的图像质量被提高。
   另外，针对合成的和真实的图像序列，AR 算法比FR 算法的PSNR分别提高0.83dB 和0.46 dB。显然，由于合成图像序列的运动情况已知，所以比真实图像序列的提高幅度要大。
 5 结论
本文针对压缩的图像，提出了一种新颖的空时自适应超分辨率重建算法。正则化代价函数用来平衡时域数据和空间先验信息，正则化操作用来获取图像序列的空/时相关性，利用迭代梯度下降法来求解HR图像，而正则化参数在迭代的过程中同时得到。仿真实验表明，本文提出的超分辨率算法与传统的算法相比，重建图像的主、客观质量有一定的提高, 适合于压缩视频的应用。

参考文献
[1] N. P. Galatsanos and A. K. Katsaggelos, “Methods for choosing the regularization parameter and estimating the noise variance in image restoration and their relation,” IEEE Trans. Image Process., 1992,1(3):322–336
[2] M. G. Kang and A. K. Katsaggelos, “Simultaneous multichannel image restoration and estimation of the regularization parameters,” IEEE Trans. Image Process., 1997, 6(5): 774–778
[3] E. S. Lee and M. G. Kang, “Regularized adaptive high-resolution image reconstruction considering inaccurate subpixel registration,” IEEE Trans. Image Process., 2003, 12(7): 826–837.
[4] Y.Yang, N. Galatsanos, and A. Katsaggelos, “Projection-based spatially adaptive image reconstruction of block transform compressed images,” IEEE Trans. Image Process., 1995, 4(7): 896–908.
[5] J. Luo, C. Chen, K. Parker, and T. S. Huang, “Artifact reduction in low bit rate DCT-based image compression,” IEEE Trans. Image Processing, 1996,5(9): 1363–1368
[6] M. C .Hong, C. M.Yon, Y. M. Park, “An efficient real time algorithm to simultaneously reduce blocking and ringing artifacts in compressed video,” Int. Conf. on Image Processing, Kobe, Japan, 1999, pp. 899–903.
[7] M. G. Choi, N. P. Galatsanos and A. K. Katsaggelos,“Multichannel regularized iterative restoration of motion compensated image sequences,”J. Visual Commun. Image Representation, 1996, 7(3): 244–258.
[8] S.C. Park, M.G. Kang, C.A. Segall and et al. “Spatially adaptive high-resolution image reconstruction of low-resolution DCT-based compressed images,” IEEE Trans. Image Process., 2004, 13(4): 573–585.
[9] C.A.Segall , A.K. Katsaggelos, R. Molina and J..Mateos. “Bayesian resolution enhancement of compressed video.”  IEEE Trans. Image Processing, 2004, 13(7): 898–911.
[10] M. G. Kang and A. K. Katsaggelos, “General choice of the regularization functional in regularized image restoration,” IEEE Trans. Image Process., 1995, 4(5):594–602.
[11] Hu He and L. P. Kondi, “ An Image Super-Resolution Algorithm  for Different Error Levels Per Frame” , IEEE Trans. Image Process., 2006, 15(3): 592-603.
[12] J. Mateos, A.K. Katsaggelos and R. Molina. “Resolution enhancement of compressed low resolution video”. IEEE Int. Conf. Acoustics, Speech, Signal Processing, Istanbul, Turkey, June 2000, vol. 6: 1919 – 1922.
[13] M. Bierling. “Displacement estimation by hierarchical block matching.” in Proc. SPIE Visual Communications and Image Processing, 1998, 942–951.