对于分布在曲面物体表面的纹理图案，为方便全面展示和后续使用，常需要将其从曲面表面提取出来并展平。因此，提出基于光场相机的曲面纹理展平方案，利用聚焦型光场相机获得高分辨曲面纹理图像和无需额外配准的深度图，并针对此方案设计曲面纹理展平算法。该算法将曲面纹理图像划分为多个有重叠的局部纹理图像，基于拟合平面法向量对局部纹理失真进行校正，最后将校正后的局部纹理图像拼接为完整的展平纹理图像。经仿真实验和真实实验验证，所提曲面纹理展平算法可以有效展平不同曲面上分布的多种纹理，并且在纹理图像质量差异和深度测量误差方面具备一定的鲁棒性。

引言

分布在曲面物体表面的纹理，如文物表面绘制的图案［1-2］、曲面客体表面遗留的指纹［3］、人脸全景纹理［4］等，为便于后续研究和使用，常需要将其从曲面表面提取出来并展平，获得对应的展平纹理图像。由于曲面表面存在深度差，透视失真是曲面物体成像时必然的现象。直接拍摄得到的曲面纹理图像随深度变化具有不同程度的透视畸变，会影响纹理细节的展现，是纹理展平过程中需要解决的问题。

目前，曲面纹理展平方法分为基于图像展平和与深度探测配合展平两类。基于图像的纹理展平，利用曲面物体的几何特性，从图像中提取相应的几何特征，由此推演曲面的三维结构，进而根据三维结构估计透视失真进行校正。这类技术通常适合对分布在特殊曲面的纹理进行展平，如柱面［5］和回旋曲面［6］等，因为此类曲面仅需少量几何特征与约束即可重建曲面结构。另一类纹理展平技术，在拍摄纹理图像的同时，利用深度探测设备获取拍摄对象的深度信息，用于纹理失真校正。如Meng等［7］利用结构光方法获取扭曲文档的三维信息，由三维信息对畸变图像进行校正，还原扭曲文档的内容。Lee等［8］利用RGB-D相机建立拍摄对象的低分辨几何结构和高分辨纹理的对应关系，进行高质量的纹理获取。相对于仅由图像中的几何特征估计曲面三维信息的展平方法，基于深度探测设备提供的拍摄对象三维信息的展平方法展平的图像更为准确，但需要额外的操作将纹理图像与深度图进行配准。失真纹理校正方法也分为两类，第一类方法根据曲面三维信息估计基于相机旋转的校正投影映射［5，8］，或根据曲面几何特性计算相应的透视校正投影映射［6］，然后按照所得映射计算校正纹理图像。对于校正投影映射的投影作用范围，现有方法的整张图像使用同一个校正映射［5］，此时只有部分区域的校正是合适的，需要进行多角度拍摄，校正后选取每幅校正图像的合适区域进行拼接，或者将图像进行网格划分后按局部［8］进行校正。第二类方法依据曲面几何约束直接优化计算展平后像素的位置［7］来进行失真纹理校正，可用于任意曲面的纹理展平。

近年来，基于光场相机的计算成像技术发展迅速［9-12］。与普通相机相比，光场相机在主镜头和图像传 感器之间加入一个微透镜阵列［13］，可以同时采集光线的强度和方向信息，进而反演拍摄场景的深度［14-15］。

传统光场相机存在最终成像分辨率低的问题，限制了其广泛应用。聚焦型光场相机［16-17］，通过改变微透镜阵列的位置，将最终成像分辨率大大提高，并能在相似相机配置条件下实现更高的深度计算精度，已被成功应用于多种工业检测场景。聚焦型光场相机在光学结构上可等效为多目相机，与双目相机［18-19］和相机阵列［20］相比，具有体积小、便于携带的优势。

鉴于聚焦型光场相机可直接获得拍摄对象的高分辨图像和深度信息，且无需对纹理图像和深度图进行配准，适合作为曲面纹理的拍摄设备。针对基于聚焦型光场相机的曲面纹理提取解决方案，本文提出一套曲面纹理展平算法。该算法基于曲面深度信息利用聚类算法对曲面进行划分，然后分区域进行相同尺度局部纹理图像透视失真校正，最后将校正后的局部纹理图像拼接成一幅展平的纹理图像。经仿真和实际实验验证，该算法可将分布在曲面上的纹理图像成功展平。最后通过多组仿真实验，分别探讨曲面弯曲程度、图像质量、深度测量误差对曲面纹理展平算法的影响。

算法原理

曲面可近似认为由若干个小平面组成，基于此，将局部曲面视作平面，并由平面法向量计算校正映射，对局部纹理进行失真校正，即可实现整个曲面的纹理展平。算法过程如图1所示，将聚焦型光场相机得到的曲面纹理图像和对应深度图作为算法输入，第一步将曲面划分为互相有重叠的若干区域；第二步对各区域进行平面拟合，基于拟合平面法向量，将各区域透视畸变纹理图像校正为正视视角下的相同尺度的纹理图像；第三步将校正后的局部纹理图像拼接为完整的纹理图像。

曲面分割

由光场相机捕获的深度图即可得到拍摄曲面各点的三维信息，根据曲面各点三维数据的分布情况对曲面进行划分。使用k-means聚类算法［21-23］对曲面三维数据点进行划分，将曲面分割为数量为k的互相不重叠的小曲面。该算法对曲面结构没有先验要求，为便于算法第三步图像拼接的实施，利用形态学膨胀运算，对各小曲面对应的局部纹理图像实施膨胀，使相邻的局部纹理图像互相有重叠，重叠程度由膨胀算子半径控制。聚类个数k的选取影响曲面分割所得小曲面的大小。

展平算法将小曲面视作小平面进行透视失真校正，小曲面区域过大会导致校正误差增大；区域过小、小区域数量较多，会增加算法第三步拼接误差累积的可能性。基于多个小平面近似曲面的拟合误差，设计了一个聚类评价指标，用于聚类个数k的选取。对于聚类个数为k的聚类结果，首先对各膨胀后图像对应的小曲面进行平面拟合，然后计算曲面各点拟合均方根误差，最后将拟合均方根误差与曲面深度差的比值作为聚类评价指标，其公式为

式中：k为聚类个数，即曲面分割数量；Δz为整个曲面的深度差；mi为第i块小曲面的数据点数；dij为第i块小曲面的第j个数据点到对应拟合平面的距离。该评价指标综合考虑曲面拟合误差和曲面深度差两方面因素。曲面拟合误差通常随聚类个数k增大而减小，可用于显示不同聚类个数对应的聚类效果。将拟合均方根误差除以曲面深度作为评价指标，使得在相同评价指标值情况下，深度范围大的曲面对应的曲面拟合误差更大。实际使用时，可从数据点中均匀抽样部分数据，进行一系列k值的预聚类，并计算相应的聚类评价指标值，构成聚类评价曲线。可以采用手肘法［23］选取评价指标值曲线拐点对应的k值作为聚类个数，也可依据经验设定一个评价指标阈值用于聚类个数的选取。

局部纹理校正

曲面分割将整幅曲面纹理图像分割为数量为k的小区域π={π1，π2，ⅆ,πk}，在局部纹理校正这步，首先采用最小二乘法对每块区域进行平面拟合，并计算各拟合平面的法向量集合n={n1，n2，ⅆ,nk}，然后基于拟合平面法向量对每块区域对应的局部纹理图像进行相同尺度的透视失真校正。

局部纹理失真校正原理如图2所示，光场相机在视角1对曲面S进行拍摄，相机中心为C，光场相机坐标系与世界坐标系重合。不考虑透镜成像带来的畸变问题，以针孔成像模型简化成像过程，像平面设置在平面1处。曲面上小区域πi受到所处曲面深度影响，在平面1上成像时发生透视畸变和尺度改变。对该区域进行纹理校正，则需要将其在成像平面1上所成的像校正为其正视视角（即图2中视角2）下所成的像，并且需要将各区域校正后的纹理尺度调整至统一。

如图2所示，小曲面πi的拟合平面法向量ni所指示的方向即为其正视视角方向，对该区域纹理进行透视校正，即按照此方向进行相机坐标系旋转，计算相机旋转后对应的像。根据针孔相机成像模型［24］，区域πi上一物点X在原成像平面plane1上的像x，经过相机坐标系旋转后的像x′表示为

式中：K为相机内参矩阵；R为相机坐标系旋转矩阵。设相机原坐标系为(iA，jA，kA)、旋转后相机坐标系为（B，jB，kB）、ni为小曲面πi的拟合平面法向量，有

式中：⋅表示向量点积；×表示向量叉积。旋转矩阵R为

由于各小区域分别进行校正，无需考虑相机中心平移问题，图2中旋转前后的相机中心C和C′实际是重合的。为便于后续的拼接，各区域校正后纹理图像的尺度需调整至统一，将x′在转为非齐次坐标时统一除以相同的尺度因子即可，相同尺度因子意味着旋转后的相机到各小区域的距离相同。上述校正和尺度调整后获得的局部校正纹理图像的坐标点分布非均匀，局部纹理校正的最后步骤是对坐标非均匀分布的校正纹理图像进行均匀网格插值。

 图像拼接

图像拼接技术研究已较为成熟，其按配准方式主要分为基于区域的拼接方法和基于特征的拼接方法两大类［25］。当待拼接图像之间存在旋转和尺度差异时，基于特征的拼接方法具有良好的鲁棒性；当待拼接图像之间仅存在平移关系，并且具有足够的重叠区域时，基于区域的拼接方法具有良好的准确性。曲面分割和局部纹理校正后，各局部纹理图像已被校正为等尺度的正视视角下的局部纹理图像，相邻局部纹理图像之间仅存在平移关系，并具有一定的重叠区域。因此，采用基于区域的拼接方法，使用归一化互相关（NCC）算法［26］计算已拼接图像和校正后的下一块待拼接局部纹理图像之间的偏移量，然后根据偏移量将各局部纹理图像依次拼接为一幅展平的整体纹理图像。NCC计算公式为

式中：f为已拼接图像；t为下一块待拼接局部纹理图像；t(x-u，y-v)为图像t相对图像f平移(u，v)后的图像；tˉ为图像t的灰度均值；fuˉ，v为图像f上平移(u，v)后的图像t所覆盖区域的灰度均值。计算不同平移量(u，v)对应的NCC值构成NCC矩阵，矩阵值最大元素对应的平移量即为图像f和t的相对偏移量。

实验与验证

为验证曲面纹理展平算法的有效性，基于针孔成像模型仿真光场相机输出的曲面纹理图像和对应深度图，进行一系列纹理展平实验。仿真参数设置如下：构造半径为2.5mm、高为2mm的圆柱体，将世界坐标系原点安放在相机中心，相机光轴与圆柱体柱面中心相交，为简单起见，设置相同的像距与物距，均为10mm，进行放大率为1的成像，图像传感器采样数为401pixel×601pixel，像素大小为5μm。因圆柱只有一个方向有曲率，可精确模拟纹理贴在柱面上的针孔成像效果。将贴于柱面的指纹、图案和文字纹理作为实验对象，按上述参数模拟光场相机分别对其拍摄输出纹理图像和深度图。图3为文字纹理的模拟纹理图像和深度图，选择文字图像作为实验对象是因其纹理较为密集且展平结果直观便于观察。

仿真实验结果

首先利用曲面纹理展平算法对图3中柱面文字纹理进行展平。图4（a）为聚类个数以20为间隔，从20至200对应的聚类评价指标值E(k)。以0.01为阈值，选择80为聚类个数，聚类结果如图4（b）所示。图4（c）上图为聚类结果中的一类对应区域的局部纹理图像，图4（c）下图为该区域膨胀后的纹理图像。图5（a）~（d）为4个相邻小曲面校正前的纹理图像，图5（e）~（h）为对应的校正结果，从图5中可见，校正前略微倾斜的文字，经校正后变得水平，并且校正后各区域纹理尺度统一。图6（a）为图5中4个相邻小曲面的校正后纹理拼接过程，图6（b）为整个曲面纹理最后的拼接结果。将图6（b）与图3（a）比较，可以明显看出，因曲面深度差异造成的文字弯曲和文字近大远小的现象，经算法展平后已基本消除，图6（b）中文字排列水平且大小一致。

随后对仿真柱面指纹、瓷器和壁画图案分别进行展平实验。图7（a）~（c）分别为指纹、瓷器和壁画图案的纹理原图，图7（d）~（f）为模拟光场相机拍摄的透视畸变图像，其展平结果如图7（g）~（i）所示，由展平结果可知，算法对不同类型的纹理均有良好的展平效果。

基于聚焦型光场相机的纹理展平实验

利用国内厂商生产的聚焦型光场相机对曲面纹理进行拍摄，将光场相机配套软件计算出的纹理图像和深度图输入曲面纹理展平算法，验证算法性能。将约22.5mm×17.0mm的指纹图像打印在纸上，然后将其贴在圆柱体表面模拟曲面纹理对象，使用光场相机对曲面指纹进行拍摄，图8（a）~（b）为光场相机软件计算出的指纹图像和深度图，如图8（b）所示，指纹在曲面上对应的深度差约为4.87mm。所提算法对该曲面指纹的展平结果如图8（c）所示，观察展平后的指纹图像，其水平方向较展平前纹理图像有明显展平效果，验证了所提算法的有效性。

分析与讨论为全面考察纹理展平算法的性能，从曲面弯曲程度、纹理图像质量和光场相机深度测量误差三个角度，讨论这些因素对展平算法的影响。鉴于文字纹理展平结果的直观性，统一使用文字纹理作为实验对象。为量化评价展平结果，将式（5）定义的NCC作为相似性度量，评价展平结果与原始纹理的相关度。首先计算展平结果图像和参考图像的NCC矩阵，然后选取矩阵元素的最大值VNCC，max作为展平结果评价值，该值越接近于1，表明纹理展平效果越好。

曲面弯曲程度

为检验纹理展平算法对不同曲率曲面纹理的展平效果，对贴于半径分别为2.0，2.5，3.0mm的柱面上的曲面文字纹理进行仿真，其余参数设置不变， 图9（a）~（c）分别为半径2.0，2.5，3.0mm柱面上的曲面文字纹理图像。以0.01为阈值选取曲面划分个数，使用曲面纹理展平算法分别对曲面进行划分、局部纹理校正和拼接，图9（d）~（f）为对应的展平结果。如 图9（d）~（f）所示，对不同弯曲程度曲面上的纹理，纹理展平算法均能顺利将其展平。以所贴纹理原始图像为参考，计算出的展平结果评价值VNCC，max分别为0.826、0.866和0.825，均接近于1，表明纹理展平算法对不同弯曲程度的曲面的纹理展平效果良好。

纹理图像质量

纹理展平算法中的图像拼接需要计算局部纹理图像之间的相对偏移，此步骤易受图像质量影响，通过对不同对比度的含噪曲面纹理图像进行展平实验，考察图像质量对纹理展平算法性能的影响。曲面仿真参数不变，通过调整图像Gamma曲线调整图像对比度，同时给不同对比度的图像统一加入均值为0、标准差为0.1mm的高斯噪声。以0.1间隔在对比度0.2~0.9区间内生成不同对比度的含噪纹理图像，对其分别进行展平实验。图10（a）~（d）、10（e）~（h）分别为对比度为0.2~0.5的含噪曲面纹理图像及其对应的展平结果，图10（i）~（l）、10（m）~（p）分别为对比度为0.6~0.9的含噪曲面纹理图像及其对应的展平结果。将对比度含噪声原始纹理图像作为参考，计算图10（e）~（h）、10（m）~（p）中展平结果对应的展平评价指标值VNCC，max，结果如表1所示。

由图10和表1可知，曲面纹理展平算法对比度较差的曲面图像也可以被有效展平，展平效果随图像对比度的提高而提升。

深度误差

曲面纹理展平算法基于曲面局部拟合法向量进行纹理失真校正。当光场相机对曲面深度测量存在误差时，势必会影响拟合平面法向量的估计，进而影响局部纹理校正效果。因此，首先通过两组仿真实验探讨光场相机深度测量误差对局部纹理校正的影响，然后分析深度误差对纹理展平算法的影响。

不同程度深度误差对局部纹理校正的影响：模拟场景对应的柱面深度差为0.557mm，对于该曲面右上角的一小块区域［图11（a）中矩形框］，在其深度数据上分别叠加均值为0、标准差σ为0.001，0.003，0.005，0.007mm的高斯噪声，模拟不同程度的光场相机深度测量误差。这4种深度噪声分别对应整个曲面深度范围的0.2%、0.5%、0.9%和1.3%。然后分别在含噪深度数据上进行平面拟合和局部纹理失真校正实验。图11（b）~（e）是叠加标准差为0.001，0.003，0.005，0.007mm高斯噪声后的纹理失真校正结果。以无噪声时该区域纹理校正结果为参考，计算出的不同深度噪声下纹理校正结果的VNCC，max分别为0.975、0.968、0.942和0.882。由图11（b）~（d）及对应的VNCC，max可知，随着深度误差的增加，局部纹理的校正效果也随之降低。如图11（e）所示，当所加的深度噪声标准差相对于整个曲面深度差超过1%时，该区域的展平结果出现模糊现象。

深度误差对不同法向量角度局部纹理校正的影响：在模拟的曲面文字纹理上选取5个具有不同法向量角度的区域，记为区域a~e，选取范围如图12（a）中矩形框所示，图12（b）为给图12（a）柱面文字纹理的深度数据加上均值为0、标准差为0.005mm的高斯噪声后的曲面纹理展平结果，对比图12（b）与图6（b）可以发现，存在深度误差时，柱面中心区域的展平效果与无深度噪声时的展平效果非常接近，接近柱面边缘的区域纹理展平效果则略有降低，即整幅图像的纹理展平结果受深度噪声影响的规律与局部纹理受深度噪声影响的规律相同。以所贴纹理原始图像为参考，计算得出图6（b）的VNCC，max为0.866，图12（b）的VNCC，max为0.844，展平效果量化评价指标值也略有下降。

图13（a）~（e）为选取区域对应的校正前局部纹理图像。无深度误差时，这5个小曲面拟合平面法向量与光轴的夹角θ如表2第2行所示，θ从0逐渐变化到32.766°。无深度噪声时的局部纹理校正结果如 图13（f）~（j）所示，可见不同法向量角度的局部纹理均得到了良好的校正。给这5个区域对应的深度数据叠加均值为0、标准差为0.005mm的高斯噪声，该高斯噪声强度对应整个曲面深度范围的0.9%，5个含噪小曲面拟合平面法向量与光轴的夹角θ′如表2第3行所示，θ′与θ之间的绝对误差（AE）如表2第4行所示，可见，引入相同程度的深度噪声后，不同法向量角度小曲面的平面法向量拟合误差较为接近。图13（k）~（o）为叠加深度噪声后各区域的局部纹理校正结果，以对应的无噪声局部纹理校正结果为参考，表2第5行给出了含深度噪声局部纹理校正结果的VNCC，max。由校正结果图和VNCC，max评价指标值可知，深度噪声对不同法向量角度局部纹理图像校正的影响不同，随着曲面法向量与光轴夹角的增大，深度噪声对纹理校正效果的影响也在增大。

由上述两组实验可知，光场相机深度测量误差对纹理展平算法的效果有影响，深度测量误差越大，对展平算法的影响也越大；不同法向量角度的局部纹理展平受深度测量误差的影响也不同，大角度法向量局部纹理的展平对深度测量噪声更为敏感。叠加0.005mm标准差高斯深度噪声的整个曲面纹理展平结果表明，所提纹理展平算法对景深范围1%以内的深度误差具备一定的鲁棒性。实际应用时，应尽量选择景深合适并且深度测量误差小的光场相机。

结论

针对曲面纹理展平问题，提出基于聚焦型光场相机的纹理展平方案，并设计了一套曲面纹理展平算法。该算法以光场相机获得的纹理图像及对应的深度信息为输入，通过曲面分割、局部纹理校正和图像拼接三步，得到展平后的纹理图像。一系列仿真实验表明，所提算法可以对不同类型纹理、不同弯曲程度曲面上纹理、不同图像质量纹理进行展平，但曲面深度测量误差对展平效果会有一定影响。实际光场相机曲面纹理展平实验进一步验证了算法的有效性。对于文物表面图案提取和刑侦指纹提取等特定场景，选取合适视场和景深的光场相机，采取合适的照明，所提算法可以得到良好的展平纹理，满足相应场景纹理提取的需求。

文章来源于《激光与光电子学进展 》杂志，如有侵权，请联系删文