基于光线模型的成像系统标定与三维测量进展（上）

摘要：标定是成像系统执行精准视觉测量的基础，其目的在于确立三维空间物点与传感平面像点的映射关系。区别于传统的小孔透视模型，主要介绍一种光线模型用于对成像系统的标定与测量。该模型以成像系统聚焦状态下每个像素点均对应空间一条虚拟主光线为前提假设，通过确定所有像素点所对应光线方程的参数即可实现标定与成像表征，从而可避免对复杂成像系统的结构分析与建模，复杂成像系统包括光场相机、大畸变镜头与远心镜头等特殊成像系统。综述了光线模型的基本原理及其标定方法发展，并介绍本课题组基于光线模型的条纹结构光三维测量所取得的部分进展，实验结果表明光线模型可通用于对各类复杂结构成像系统的高精度测量，是校准非针孔透视成像系统的有效模型。

关键词：光线模型；相机标定；三维测量；相位解调

引言

照明设备、光学系统、图像传感器、计算成像及计算机软硬件的快速发展推动了机器视觉在智能制造、工业检测、航空航天、视觉监控、生物医学、自动驾驶等诸多领域的广泛应用［1-10］。成像系统的标定是机器视 觉处理的重要环节之一，标定的精度和稳定性直接影响系统工作效率［11-16］。在市场需求与技术革新的推动下，成像系统逐步具备二维图像采集、三维感知、四维光场［17-19］记录等诸多功能，呈现出多样化、复杂化、便携化、自动化等趋势，给标定方法的通用性增强、精度提升、效率提高带来新的挑战。当前，以透视投影为代表的参数化模型在摄像机标定和摄影测量学中处于主导地位，此类标定方法着重于系统内部参数的校准，通过严格分析成像系统内部光学结构、镜头畸变等因素来构建空间物点到系统像点的对应关系。最为经典的是针孔相机模型，它将物像关系理想化为小孔成像，标定参数主要包括主点坐标和等效焦距。考虑到镜头畸变问题，采用非线性多项式表征，形成非线性畸变透视投影标定模型［20］。在镜头存在小畸变的情况下，通常只需较低的多项式阶数即可很好地表征镜头失真，常用的有径向畸变和切向畸变［21］。而对于特殊较大的非对称畸变或高频畸变，虽然可以使用高阶多项式近似表征［22-24］，但Zernike多项式在完备表征各类型镜头畸 变时尚存在不足，导致模型参数的确定存在不稳定性或存在边界矫正过度现象［25］。Bräuer-Burchardt［26］证明使用30个畸变参数后模型仍然无法完备表征镜头实际失真。此外，传统透视投影模型并不能完全适用于某些复杂的非常规成像系统，例如各类折反射系统［27-28］、光场成像系统［18-19，29］、内窥镜成像系统［30］、交叉狭缝成像系统［31］、“非中心”对称倾斜成像系统［32］、通用映射及修改光路的成像系统［33-36］、利用编码孔径或透明折射介质的组合计算成像系统［37-38］。

Baker等［39］首先提出了一种可表征任意成像系统的光线模型，认为图像是像素的离散集合，并以一组虚拟的感光元件“光素”表示每个像素与相关联的空间虚拟光线间的完整几何特性、辐射特性和光学特性。光线模型的标定着重于参数化测量空间中每个像素对应光线的分布，无需严格分析和构建成像系统内部复杂光学结构模型，因而具备一定的便携性和通用性；同时，从一定程度上可避免镜头畸变的多项式近似表征引入的测量误差，为非小孔透视投影模型成像系统的表征提供了一种新的思路，特别是对于成像器件与结构十分复杂的系统，该类非参数化的模型简化了成像建模的复杂度。

为使研究者对光线标定模型有更系统的了解，本文综述了基于光线模型的成像系统的标定方法与其最新进展，特别介绍了本课题组研究的光线模型在条纹结构光三维测量中的系列研究进展。首先，介绍了光线标定模型的概念、原理和方法；其次，从算法和标靶角度综述了当前各类光线模型标定方法和优缺点；接着，分别针对小视场远心成像系统、光场成像系统、数字微镜器件（DMD）投影系统、微机电系统（MEMS）激光投影系统、各种长短焦镜头成像系统的条纹结构光测量，讨论了光线标定模型实现高精度三维测量的方法及其特点；最后，进行总结展望。

光线标定模型

光线标定模型又可称为基于光线的广义成像模型，属于几何光学范畴内的成像模型。当被测物体位于成像系统的景深范围内，经物体上一点的光线束被清晰聚焦于相机光敏元件一点上，此时可以用一条虚拟主光线表示该光线束。在该情况下，可将整个成像系统看作一个黑匣子，光线模型仅需描述成像像素与物空间入射到该像素上的主光线的对应关系，如图1所示：

像素m与物空间中一条光线l相对应，对应关系可以表示为

式中：m表示成像面上的像素。l(a，b，θ,φ)表示入射到像素m上的主光线，具体可表示为

式中：(a，b，θ，φ)为该主光线的空间表达系数［40］；(a，b)为光线与坐标系XY平面的交点坐标，(θ,φ)分别是光线与XZ平面和YZ平面之间的夹角，如图2所示。

光线模型的标定即确定出所有像素点对应的光线方程，可通过光线上的两个或多个点计算求解，如图1中点P1和P2即可决定一条光线方程。由此，仅需提取空间共线点坐标即可求解出光线方程，实现系统标定。与传统透视成像模型相比，光线模型更加灵活，且无需过多考虑成像系统内部结构，具有较广泛的适用性，可作为透视模型的补充模型，适用于大畸变镜头的成像标定［41-42］。

在实际标定操作中，通常使用平面标靶获取所需的空间共线点的坐标，如图3所示，通过圆心提取算法确定标靶基准点。在系统成像景深范围内摆放若干个平面标靶，利用成像单元采集多组标靶图案，通过标靶标志点插值，则可计算成像于同一个像素m的标靶的三个位置点Q、Q'、Q''：

这些点在标靶坐标系下的坐标值已知，因此仅需确定出标靶所在不同位置的相对位姿关系，即可求得点Q、Q'、Q''在世界坐标系下的坐标值（可假设第一个位置的标靶坐标系作为世界坐标系），则Q、Q'、Q''在世界坐标系下可表示为

式中：R'和R''分别为标靶的第二、第三位置相对于第一位置的旋转矩阵；t'和t''为相对于第一位置的平移向量。最后，通过直线拟合即可以求解出像素m所对应的主光线方程。因此，准确估计标靶在空间中的相对位姿是光线标定的关键点之一。较为经典的求解方法采用了共线约束条件，具体如下。

式中：R'和R''分别为标靶的第二、第三位置相对于第一位置的旋转矩阵；t'和t''为相对于第一位置的平移向量。最后，通过直线拟合即可以求解出像素m所对应的主光线方程。因此，准确估计标靶在空间中的相对位姿是光线标定的关键点之一。较为经典的求解方法采用了共线约束条件，具体如下。

由三点共线可知，矩阵M的秩小于3，因此矩阵M的任意3×3子矩阵的行列式等于零，计算这些行列式并整理变量后可得

式中：k表示在选取M的每个3×3子矩阵时所去掉的某一行的行号，由于采用的是平面标靶，标志点的平面约束由矩阵M的第三行体现，因此每个选取的子矩阵都包含矩阵M的第三行；Ci表示由R和t中的元素组成的复合变量；Tik表示由Q组成的系数。表1给出了Ci和Tik所表示的具体内容。

每一组三点共线的标志点可以提供一个式（6）所示的等式，进而组成一个齐次线性方程组，利用最小二乘法可以解得Ci的值，进而分解出标靶相对位姿，实现光线标定。

光线标定方法研究进展

光线模型将成像系统视为黑匣子，只需确定成像景深范围内每个像素对应的光线方程，无需考虑成像系统的结构布局，这样不仅避免了严格分析和建立各个系统的成像模型的复杂过程，也避免了镜头畸变近似表达而带来的精度损失。随着对模型的不断深入研究，不少学者在此基础上发展了改进的光线标定方法。根据各研究的侧重点不同，通过以下方面对光线标定法的发展进行简要概述：标定算法的改进，主要包括标定方法与适用范围、标靶位姿规划、空间光线插值提高密度等；标靶的选取，主要包括各类被动标靶与主动标靶的介绍。

3.1算法改进的光线标定方法

2001年，Grossberg等［43］提出基于索引表的双平面标定方法。如图4（a）所示，在两个互相平行的位置上摆放平面显示器作为双平面标靶，通过显示图4（b）所示的20幅二进制编码图像对显示器像素pi进行编码，另外严格控制两平面间的平移距离≈,计算pf与pn连线qf，建立成像系统中每个像素i与对应光线qf之间的索引表，如图4（c）所示，实现光线模型标定。该方法具有结构简单的优点，但须严格保证双平面平行移动。

随后，Sturm等［44-47］在Grossberg等［43］的基础上发展并完善了更具通用性的光线标定方法，不再对标靶的摆放姿态有严格的要求，该方法适用于多种成像系统。他们首次提出无标靶运动约束的通用性光线标定方法，利用相机拍摄空间中三个不同姿态的二维平面标定板，根据标靶标志点定位以及共线约束恢复出标靶间相对位姿，统一标志点坐标至世界坐标系下，计算光线方程，建立空间光线与相机像素之间的映射关系。在不同光学畸变类型的相机系统（小孔相机、鱼眼相机、面镜相机等）下对该方法进行了实验验证［44］，如图5所示，证明了其通用性，并且避免了双平面法对精确运动控制的要求。

针对大视场条件下的成像系统标定问题，通常需要定制相应尺寸的大型标靶以覆盖整个测量区域，增加了加工成本并影响操作便携性。基于此，Ramalingam等［45］又提出一种利用标靶重叠性有序地筛选标定图像实现光线标定的标靶位姿优化方案，如图6所示。在初标定过程中，选取其中一张标靶图案作为第一幅标定图，选择与之覆盖区域最大的两张图片完成初次光线标定；接着，递归地合并其他标靶图，计算先前未标定像素的投影射线，直至覆盖整个视场，扩大标定图像区域。此外，该方案结合光束平差法最小化重投影误差，有效提高光线标定精度。

2006年，Ramalingam等［46］采用光线标定模型对多视角成像系统的标定进行了进一步的分析与验证，证明光线标定模型对非常规的成像系统仍然适用。图7为双目系统和由球面镜和透视相机组成的折反射系统。同时为克服标志点光线拟合时的噪声影响，他们证明了3个姿态下使用4条光线计算标靶之间的相对位姿是算法的最小解，且对噪声影响具有一定鲁棒性［47］。

此外，Gonçalves等［48］利用光线标定法计算像素射线匹配，实现了折反射模型的拟合标定。Miraldo等［49］、Dunne等［50］进一步改善了广义成像模型，使得标定流程的复杂度大幅降低，并且标定精度和稳健性得到大幅提升。Nister等［51-53］进一步提出了基于无标志的广义成像模型的自标定方法。为解决光线标定数据量大、计算复杂度高导致标定效率低的问题，Bartsch等［54］提出了一种隐式光线标定法，如图8所示。在三个处于不同位置的LCD显示器中利用条纹相位追踪光线rm的空间点Xm，n(xm，n，ym，n，zm，n)T在显示器上的像点x，n=(x，n，y，n)T，利用直线约束条件，即光线rm的三个空间点共线原理，构造出一个无需显式计算光线模型的代价函数▲，其形式为

式中：(am，0，bm，0)为光线rm的起始位置坐标；(θm，φm)为光线rm的方向角；Δ描述参考点坐标和相机光线与平面交点坐标的偏差。作者给出了该代价函数的梯度和Hessian矩阵的解析式，实现了高效的数值优化计算。

3.2标靶改进的光线标定方法

视觉标定中的基准参照物，即带有特征信息的标靶，主要分为三类：一维标靶［55］、二维标靶［56］、三维标靶［57］。一维标靶结构简单但拥有的特征信息较少，标定精度受限；三维标靶具有较高的标定精度，但体积大且造价昂贵；自Zhang［56］提出一种基于二维标靶的灵活相机标定方法以来，二维标靶被广泛应用，其包括具有圆形特征和棋盘格特征等典型的被动标靶和具有散斑、相位特征等的主动标靶［41］。

使用被动标靶对光线成像模型进行标定时，通常利用距离最近的4个标志点插值光线对应的空间点坐标［44］。具有圆形或棋盘格形的被动标靶由于依赖圆心或角点特征，间隙较大、不连续的特性限制了光线对应点查找的精度，即非标志特征点的像素插值具有较大不确定性，特别是在大畸变镜头下。而主动标靶的散斑或条纹相位等特征具有密度高、连续性好的特点，可避免该类问题。主动标靶的发展过程中，Dunne［58］基于条纹相位特征，提出了向空间中标靶投射相移条纹图和格雷码的解决方案，以标靶图案的绝对相位值为索引计算光线方程，从而实现像素级光线标定，并对两种标靶性能进行了评估，证明了主动标靶比棋盘格更适用于光线模型的标定。图9展示了使用两种标靶进行畸变校正后的残差向量图，可以看出利用主动标靶进行标定具有一定优势。Shi等［59］基于散斑特征，设计了一种纯随机散斑投影装置，向白色平面标靶投射随机散斑，利用随机图像各点邻域范围内的灰度分布各不相同的特性，简洁而有效地确定光线的直线方程。另外，部分学者利用投影装置，向标定板主动投射棋盘格或条纹编码图案实现高精度光线标定［25，60］。

基于光线模型的成像系统标定与三维测量进展（下）

摘要：标定是成像系统执行精准视觉测量的基础，其目的在于确立三维空间物点与传感平面像点的映射关系。区别于传统的小孔透视模型，主要介绍一种光线模型用于对成像系统的标定与测量。该模型以成像系统聚焦状态下每个像素点均对应空间一条虚拟主光线为前提假设，通过确定所有像素点所对应光线方程的参数即可实现标定与成像表征，从而可避免对复杂成像系统的结构分析与建模，复杂成像系统包括光场相机、大畸变镜头与远心镜头等特殊成像系统。综述了光线模型的基本原理及其标定方法发展，并介绍本课题组基于光线模型的条纹结构光三维测量所取得的部分进展，实验结果表明光线模型可通用于对各类复杂结构成像系统的高精度测量，是校准非针孔透视成像系统的有效模型。

关键词：光线模型；相机标定；三维测量；相位解调

基于光线模型的条纹结构光三维测量

在条纹结构光三维测量领域，光线模型一方面可作为三维重建的光线方案，用于表征大畸变镜头、光场相机、DMD投影机、MEMS投影机等多类特殊结构的成像与投影装置，并发展新的基于光线模型的条纹结构光三维测量方法与系统；另一方面，发掘光线模型在结构光测量中的优势，对克服投影机与相机的非线性响应、大畸变镜头成像下提升三维重建精度具有优异的效果。

从本质上讲，三维测量系统标定的目的在于确定统一坐标系下不同视角的空间光线方程，通过计算光线交汇点坐标，重建物体三维坐标。光线模型紧扣这一标定目的，直接确定系统光线方程，规避了对三维测量系统整体成像原理的分析与近似建模。条纹投影三维测量系统通常包括相机-投影机-相机结构的双目系统和相机-投影机结构的单目系统。光线模型可用于标定相机光线，也可利用相位信息追踪标定投影机光线，可概括为立体光线标定模型［59，54，61-63］和光线映射标定模型［40，64-65］两种。立体光线标定模型需标定相机与相机（双目系统）或相机与投影机（单目系统）的光线，基于双目立体原理通过建立光线对应关系重建三维。立体光线标定模型可以同时解决三维测量系统中基于特殊结构的投影机、相机标定问题，然而在重建过程中需要查找对应像点的光线，且当对应像点在亚像素位置时需要利用整像素光线进行光线插值，导致重建效率较低。光线映射标定模型一般仅需标定相机（或投影机）的光线，基于几何模型提前建立相机光线与投影条纹相位（或投影机光线与相机对应坐标）的三维映射关系，从而避免了三维重建中耗时的对应搜索过程，提高了三维重建效率。本课题组分别基于立体光线标定模型和光线映射标定模型，解决了基于特殊成像模型或结构的三维测量系统标定问题，具有代表性的系统如：基于Scheimpflug结构的远心三维测量系统、结构光场三维测量系统、基于特殊投影装置和相机的结构光三维测量系统。

4.1Scheimpflug小视场远心结构光测量系统光线模型与三维测量

小视场条纹投影三维测量系统中，投影机与相机均采用远心镜头，景深小，为克服两者间夹角造成公共景深区域减小的问题，采用Scheimpflug结构设计确保公共景深覆盖，如图10所示。

为此，本课题组提出一种基于光线模型的非参数化广义标定方法［61-62］。之所以采用光线模型，主要有两个方面考虑：第一，系统的投影机和相机均采用远心镜头，该类镜头属平行正交投影，非透视投影，不满足小孔透视成像模型的要求；第二，Scheimpflug的倾斜成像结构影响畸变模型不对称，需要额外标定倾斜因子。故采用光线模型可减少对该问题的考虑。系统中相机与投影机成像过程均采用光线模型表征，标定其像素与空间光线对应关系，根据三角测量原理计算光线交汇点坐标，实现三维重建，具体原理如图11所示。投影机可视为逆相机，被测物体表面一点X经投影机成像于mi，mi处对应的绝对相位为(φ(mi)，φ(mi))，如果在相机的成像面上搜索到一点mj，该点处对应的绝对相位满足φ(mi)=φ(mj)和φ(mi)=φ(mj)，则点mj为点mi的同名点。该同名点所对应的入射光线Ii和Ij的空间光线方程在系统标定后是已知的，即可通过两条光线相交求得物点X的空间三维坐标，表示为

在本课题组系统标定中，采用了圆形标志的平面标靶，通过对标靶姿态引入一些特殊设定，简化了估计标靶姿态的复杂度。借助精密位移台，使标靶的第一姿态和第三姿态平行，第二姿态在系统景深范围内任意摆放，但不平行于另外两个姿态，标靶姿态的设定情况如图12所示：

由此可以将R''简化为单位矩阵，从而将式（5）的矩阵M简化为

图13展示了基于Scheimpflug结构的小视场条纹投影测量系统的设计图与实物图。

图14为光线标定模型对五角硬币局部小区域的三维重建结果，测量精度为2μm。

4.2光场相机的光线模型标定与主动光场三维测量

光场相机作为一种可同步探测多维光辐射信息的新兴探测技术，与传统相机不同，其在传感面前放置微透镜阵列，可实现光线强度和方向的同时记录，如图15（a）所示。目前，光场相机标定模型多采用薄透镜-针孔模型和等效多相机模型［66-69］，此外还延伸出了多投影中心模型［70］、光场相机共线约束模型［71］、基于双平面的两步模型［72］等。然而，这些模型多未考虑主透镜、微透镜的成像畸变像差和结构装配各类偏差等因素，导致标定模型不完备，影响三维重建精度。而要想构造完备光场成像模型，需对其内部各光学器件与结构进行严格数学表征，较为复杂。本课题组在对主动结构光场实现三维测量方面做了系列工作［40，73-81］，并最早采用光线模型来表征光场成像过程［40］。在几何意义上，光场相机按空间-角度坐标直接记录入射光线，因而光线与像元同样具有一一对应关系，即可将光场相机作为黑盒，采用光线模型表征，仅考虑物空间光线与像素点的对应关系，如图15（b）所示。

在光场相机的光线模型标定中，为更精准获取光线上点的空间坐标，引入一个常规工业相机加以辅助，其与投影机可构成条纹投影（FPP）三维测量系统，可精确测量出光场相机光线上空间点的三维坐标值（如图16所示的空间点）。将标靶放置于测量空间中，投影机投射正交条纹图案，常规相机和光场相机同时采集目标条纹图像并进行正交绝对相位计算。

使用正交绝对相位图，可以定位光线上的物点在三维测量系统中的同名像点，进而计算对应的空间坐标。改变标靶与光场相机的相对位姿，可以重建出光线上的不同物点，通过这些共线空间点可拟合光线方程，从而确定出各像素对应的光线参数，即实现了光场相机光线模型标定，此时可去除该辅助相机。

通过光场光线标定建立光场物空间的基准之后，需要进一步建立从光场物空间到像空间的度量映射，以实现准确物理尺寸三维测量。在条纹结构光照明下，光场相机所记录的光线携带投影机的相位编码信息。因此，光场相机的像空间与投影机的像面通过相位值建立了对应关系，并且与空间物点构成了闭环结构。光场物像空间的度量映射对应于结构光场的物点空间坐标与相位编码信息之间的映射关系。在结构光场中，光线lf上的不同物点被投影机的相位编码面上的不同相位值所编码。根据射影几何的线性不变性，光线lf对应于相位编码面上的一条直线lp，如图17所示。

由于受到投影镜头畸变影响，lp应为一条曲线，与Cai等［82］的模型类似，光线lf所携带的调制相位信息可以直接映射到相应的空间物点，相位映射公式可表示为

式中：cn为映射系数；ϕf为相位值。

图18为光场相机光线标定结果，其中图18（a）展示了光线的标定拟合精度，图18（b）为一个视角下的光线标定结果。基于光场多角度记录的特点，可标定多角度光线并重构多角度的三维信息。

通过构建基于条纹调制度的多角度数据筛选机制，实现了场景的高动态三维测量，如图19所示，黑色面板与反光金属可同时重建。

图20为条纹结构光场多视角三维重建结果，可以看出由于视线遮挡，各个视角下的重建模型存在细微区别。

4.3投影机光线模型标定与三维测量

4.3.1基于镜头成像的投影装置与双轴MEMS激光扫描投影装置

在主动结构光三维测量中，投影机兼具两种角色：一方面，作为结构光照明单元，对被测物体表面进行编码；另一方面，被视为逆相机，与相机构成双目立体视觉实施三维测量。当前应用于结构光三维测量的投影机主要有两类。一类是基于镜头成像的投影装置，较典型的如基于数字微镜器件（DMD）、液晶显示（LCD）、硅基液晶（LCOS）等的投影机，它们采用光学镜头实现投影成像，其标定过程主要是基于针孔透视投影模型以逆相机方式校准的。然而，为了近距离投影出大视场高亮度画面，投影机采用了较大的孔径光阑和近焦广角镜头，用针孔透视投影模型表征存在一定的精度损失。另一类是基于激光扫描微机电系统（MEMS）的投影机，依靠激光点双轴扫描实现投影画面，因其无透镜结构，不适用于针孔透视投影模型。图21展示了基于激光扫描的双轴MEMS投影原理。此外，投影机用于解决结构光三维测量存在的非线性响应问题，但进行条纹相位解算时会引入非线性误差，需要通过构建相位基准、标定系统Gamma值、拟合响应曲线等特定的条件辅助解决该问题，过程较为复杂耗时且通用性、灵活性有限［83-89］。

针对以上系列问题，本课题组［64］提出了一种基于投影机光线模型的条纹结构光三维测量系统标定方法，该方法通过标定测量空间中投影机的光线，对其进行精确表征。对于DMD或MEMS投影机，投影条纹的相位值具有连续性特征，因此可根据应用需求自适应地采样光线，提升或降低光线采样数量以实现计算速度与细节分辨率的权衡。对于投影光线的标定，利用提前校准的相机和平面标靶，如图22所示，在测量空间移动多个位置，在每个位置下基于投影光线的正交相位在相机像平面识别对应点后，利用标定参数反向计算相机光线，相机光线与标靶相交后计算空间点坐标，利用多个标靶位姿下的空间点坐标拟合投影光线方程。在去畸变图像平面上，投影光线l的像为一条直线l，可理解为极线。投影光线上点的深度Zc与极线上对应点的x轴坐标xc存在以下关系：

式中：aij和θij为lpij的投影光线参数，与式（2）对应。在三维重建时仅需投射单方向相位再利用极线约束即可确定投影光线的对应点，将对应点横坐标代入式（2）和式（11）即可计算三维坐标。

图23展示了基于MEMS投影的三维测量系统的标定结果。

图24展示了对标准球进行重建的球体拟合误差分布，由于激光散斑噪声影响，相较于基于LED光源的DMD投影系统，基于MEMS投影的三维测量系统的三维测量精度有所降低。

值得提出的是，光线模型对投影机与相机的非线性响应的影响具有很好的免疫性，可显著抑制非线性相位误差。分析原因为：每条投影光线对应条纹同一相位值，即携带恒定的相位误差，在光线标定过程中光线方程的确定囊括了非线性响应影响因素，在进行同步长相移三维重建时即对该影响具有了免疫性。众所周知，受非线性响应影响的3步相移法求取的相位误差较大［84-89］，图25展示了在3步相移法的基础上使用透视模型标定重建的结果与使用光线模型标定重建的结果比较，采集一个标准平面的三维点云，求取点到拟合平面的距离误差分布，可见光线模型法的非线性响应误差获得明显抑制。类似，图26展示了透视模型与光线模型对石膏雕塑的三维重建结果（分别是3步相移和12步相移）。可见：在3步相移下，透视模型的非线性响应误差较大，光线模型可有效抑制非线性响应的误差；由于相移步数增加可有效抑制非线性响应误差，故12步相移下，两模型都获取了很好的重建结果。

4.3.2单轴MEMS激光扫描投影装置

以上方法中，对投影光线的追踪依赖于双方向相位编码，需要投影双方向条纹加以实现，该约束条件对单轴MEMS激光扫描投影装置来说是无法满足的。图27显示了单轴MEMS激光扫描投影原理图，强度可调激光经鲍威尔柱镜扩为激光线，通过一维振镜扫描与激光强度正弦调制，即可获取正弦分布的条纹图。其具有扫描速度快、景深大、体积小的特点，在条纹结构光三维测量领域应用前景大。

本课题组［65］提出一种投影光线的等相位面模型，将MEMS产生的激光面视为具有等相位值的光线平面束，即为等相位面，如图28所示。

推导出了相机反向投影射线与该等相位面交点的三维坐标相位映射函数，其形式为多项式倒数：

式中：{an，aX；bn，bY；cn，cZ}是映射系数；ϕc为相位值。

为标定该映射函数的系数，设计了标志点四周分布的白底标准平面作为标定参照物，可降低标志点对相位的影响，并保证足够多的相位基准点参与多项式拟合求解映射系数的过程。映射系数的标定方法如图29所示，将平面标靶任意放置在测量空间的不同位置，投影机投射单方向相移条纹图，相机反投影光线与标靶相交后即可计算交点的三维坐标，同时记录了交点位置的相位，利用多个交点的三维坐标和相位值即可解算映射系数。

基于式（12）映射函数，只需计算相位即可快速获取三维坐标，实现高效高精度三维重建。图30展示了投影等相位面模型标定重建的标准平面的点云和误差分布，标准差为0.063mm（视场范围为400mm×400mm），由于激光噪声与振镜不稳定的影响，重建精度较LED光源的DMD投影有所下降。但由于单轴MEMS扫描速度较快，可用于动态场景三维测量。

图31展示了使用高速相机搭建的单目测量系统对场景的重建结果，经同步软硬件控制，投影采集速率为1000frame/s，实验投影4幅相移条纹图像和7幅格雷码图像以提取绝对展开相位，此时三维重建速率为90frame/s。后续为适应更高速率测量应用，可将单目扩展为双目或多目系统，采用单帧解调相位和多极线约束相位展开等方法减少投影图像数量，提升三维测量速率。

4.4大畸变镜头成像的光线模型标定与相位映射三维测量

投影机采用光线模型，标定三维测量系统时无需考虑投影单元的内部参数和光学构造，同样，对于复杂畸变、复杂结构相机存在的针孔透视模型标定误差大和不适用的问题，也可采用光线模型。本课题组前期利用离散标志点特征标定稀疏的相机和投影机光线，相机与投影机同时采用光线模型实现了基于Scheimpflug结构的小视场三维测量系统的标定与三维重建［61］，但在重建过程中需要搜索对应点，并确定对应光线，对于未标定的亚像素对应点还需执行光线插值操作，使得三维重建效率较低。针对以上问题，基于课题组前期证明在条纹投影三维测量空间中，相机光线上点的相位与三维坐标之间存在多项式映射关系［65，82］，提出相机光线与条纹相位映射模型，在不涉及系统内参的条件下，通过标定相机光线与投影相位的倒数多项式映射系数，实现相机光线上相位到三维坐标的直接映射，避免了繁琐的对应点搜索与光线插值操作。

相机光线相位映射模型的标定过程分为两个部分。首先，利用主动标靶确定相机光线参数，标定原理与Bartsch等［54］的方法相似。其次，利用平面标靶将相机光线与投影相位相关联，标定原理如图32所示，其中光线lij为相机整像素p对应光线，像点b为第k个位姿下第m个标靶基准点的像点，光线l为b对应的已提前标定的光线。整像素光线参数已在第一步中标定，投影机向白底标靶投射相移条纹图案，利用相移算法可计算出整像素p感知的相位ϕ，为计算光线与平面靶交点坐标值，需确定平面靶位姿参数。为此，光线映射模型以平面靶的基准点光线作为空间约束条件，即理想情况下，基准点光线与平面靶的交点与基准点重合。基于此建立损失函数，通过最小化交点与基准点之间的距离得到最优的平面靶位姿，具体形式为

式中：为K个参与优化的平面标靶位姿参数；Pkm代表第m个基准点光线lkm与第k个位姿参数为(R，t)的平面靶的交点。最终，可利用得到的K组相机光线上空间点坐标和投影相位{(X，ϕ)，k=1，2，⋯,K}，拟合光线映射系数。

图33分别展示了装配了远心镜头（OPTO-Engineering，TC23048，X0.184）、常规镜头（Computar，M1214，焦距f=12mm）、广角镜头（AZURE，0420MM，f=4mm）的测量装置的光线标定结果，光线拟合均方根（RMS）误差分别是0.0048mm、0.0106mm、0.0109mm。

装配广角镜头的三维测量装置分别基于透视模型和光线模型重建的标准球三维结果与球面拟合误差分布如图34（a）和图34（b）所示，可见由于广角镜头畸变较大，透视模型无法精准完备表征畸变，导致重建精度有一定的损失，而光线模型避免了对大畸变的影响。

总结与展望

概述了光线模型与标定的原理、标定模型的种类、标定方法的分类及研究进展，并在此基础上重点介绍了基于光线模型的条纹结构光三维测量理论方法与系统应用。光线模型相较于透视投影模型具有更好的通用性，适用于大畸变镜头、远心镜头、光场相机、投影机等具有复杂结构的成像装置。光线模型无需考虑系统结构误差，关键在于确定像素与对应空间光线方程的准确性，这对辅助标定设备或器件本身的精度存在一定的依赖，如标靶的精度、标定板的平整度、位移平台精度等。为摆脱硬件的局限性，介绍了主动条纹结构光辅助的光线标定方法与系统，条纹相位为光线追踪提供了可靠的编码信息，从而在标靶基准点提取精度、空间对应点插值精度、光线采样率等方面有了大大改善。追求更精密测量和更高光线采样率会导致标定过程计算量庞大，标定过程耗时。故在后续研究中，一方面要考虑如何提高标定与重建算法的效率，另一方面考虑发展局部光线高精度插值算法，在不损失精度的情况下压缩光线标定数量。特别对于结构光三维测量，可进一步扩展光线模型三维测量的方法与应用，提升测量精度、效率与通用性，解决各类特殊复杂场景中的应用测量问题。