首页>论文>正文
日期
09/20
2024
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

水下三维光学成像探测技术国内外研究现状及展望
收藏
2024-09-20 11:44:52来源: 中国机器视觉网

海洋约占地球面积的70%,其中有95%的面积尚未开发。水下成像技术对建设和开发海洋具有至关重要的意义,例如,在工程建设方面,这项技术可以帮助工程师在海底管道、电缆建设和险害检测中提供数据支持。在资源开发上,这项技术可以用于海底矿产的勘探,获取海底地质地貌信息,帮助确定潜在的矿产资源分布和储量。

目前,水下成像采用的技术方法主要有声学成像和光学成像两种,声学成像在水中传播能力较好,可以穿透一定深度和距离的水体,获取较远距离的图像信息。但值得注意的是,声波在水中传播受波长限制,无法捕捉到物体的细微特征,获取图像分辨率较低。

相反的是,光学成像利用可见光成像,较小的波长使得光学系统获取图像分辨率较高。水下成像主要受到两个因素的影响,水体引起的和水对激光的吸收。因此,需要设计一些特殊的光学成像方法来提高水下光学成像的距离和质量。

现阶段水下光学成像方法包括被动光学成像与主动光学成像。被动光学成像是指利用自然光源(如太阳光)或环境中存在的光来获取目标物体的图像,例如多目相机成像和基于深度学习的立体视觉,但是被动光学成像受水下光强限制,只能在浅水区域进行成像。

与之相反的是主动光学成像,是利用自身发射的光源来获取目标物体图像的技术,例如结构光成像和单光子计数成像。

现阶段主要采用激光雷达进行探测,1963年S. Q. Duntely和S. A. Sullivan发现在海洋中470~580纳米之间波长范围内的光衰减系数比较小,针对这个发现,使得激光雷达探测在水下的运用成为可能。

激光雷达通过脉冲激光器发射激光,脉冲激光在极短的时间内(纳秒级)将激光能量发出,因此激光的峰值能量一般都比较高,多数在毫焦级以上,峰值功率更是能到兆瓦级别,如此高的能量使得脉冲点激光器能够探测到更远距离的水中微弱信号。

水下三维成像作用的范围非常广阔,在远距离方面,单光子计数和距离选通是较常用的方法。例如,中国科学院光电技术研究所的华康健博士使用Nd:YAG532纳米激光器发射激光,并利用TCSPC模块进行水下实验,成功接收到了距离达20米的信号。

而在近距离方面,结构光扫描和多目相机则成为实际采用较多的方式,并且普遍具有更高的精确度,刘涛采用的线结构光旋转三维成像在水下达到0.02 mm的绝对精度,能够满足于高精度水下勘测的需求。

随着海洋资源探测和国防应用的发展,水下三维成像已经成为当下精密工程的重要研究方向,并且为我国水下精密工程发展战略提供有力的技术支撑。

下面主要围绕结构光、距离选通、单光子计数和多目相机为典型的三维视觉探测技术展开论述,总结介绍现阶段三维测量成像的关键技术内容,综述现阶段的发展现状和技术总结,并展望该领域相关发展的技术趋势,为相关技术的研究者提供参考。

水下距离选通技术

原理

距离选通系统由脉冲激光器、控制模块、高电压模块、时间延迟系统、驱动单元和像增强型探测器(ICCD工业相机)组成。脉冲激光器按照时间间隔进行发射脉冲激光,发射出的激光信号其中一部分经过水介质的反射返回接收器中成为噪声,这种噪声是由水体中的后向散射造成的,这个信号是成像所需要的有用信号,因此需要尽可能的抑制水体的后向散射从而提高成像信噪比。

距离选通则基于后向散射和目标反射信号的时间差异,在相应的时间关闭接收端口,从而隔离噪声信号只接受目标信号。距离选通技术所采用的脉冲激光器脉宽τ一般为几纳秒到几十纳秒,在激光行进的过程中,激光会先受到水介质的散射,一部分的反射光会沿着激光发射的反方向发射到接收器,在这个过程中接收器一直是关闭状态,激光行进到目标时会反射回目标反射光,由于脉冲激光器的脉宽极窄,一般选通快门的时间为激光器的脉宽或稍微宽于脉宽,这确保接收器可以接收到大部分目标物的反射光而水体的后向散射等噪声则被接收器所隔离,距离选通技术所成像的距离与选通快门的打开时间成线性关系,若激光从激光器发射到目标到返回接收器所用时间为T,则该时间量可以对距离cT处的目标成像(c为光速),激光器的脉宽和快门打开时间决定距离i选通成像的选通深度,脉宽时间越长,可观测的区域深度就越大。然而,脉宽时间越长,也意味着快门开启时间越长,可能导致噪声进入探测器。

如图1(a)所示,激光器发射的激光被水中悬浮粒子(圆形粒子)反射,相机的最大能量信号来自近距离粒子(上曲线),因此相机在GATEOPEN区域进行选通从而提高成像信噪比。

360截图20240923114726990.jpg

360截图20240923114736798.jpg

国内外研究现状

水下距离选通成像为了实现较远距离成像,通常选用532纳米蓝绿光的脉冲激光器,这种波长的选择原因在于,532纳米波长的光在水下表现出较高的峰值能量和较小的光衰减系数。表1详细列举了国内外水下距离选通系统使用的设备类型及实验探测距离。其中AL表示水下衰减长度,即水下激光能量减弱到发射能量的1/e时传播的距离。

360截图20240923114747113.jpg

总之,水下距离选通成像的优点在于其能够实现远距离的目标探测和识别,通常在6 AL以上,激光器脉宽较短,通常为ns级,这使得成像具有较高的信噪比,主要应用于远距离、大型目标探测;然而,水下距离选通也存在一些缺点,由于激光器脉冲能量较高,通常为mJ级,对于接收器感光元件有较高要求,更适用于水下较远距离的探测与识别,而不太适合进行超精细目标的检测。

水下单光子探测技术

原理

单光子探测技术是水下三维探测的关键方法之一,由于水介质对于激光信号的吸收和散射,使得目标信号非常的微弱,特别是在远距离的水下探测时一般的CCD相机很难探测到回波信号。相比之下,单光子探测技术具有极高的灵敏度,并在时间分辨率上可达到皮秒级,该技术可以探测极其微弱的回波信号。

常见的单光子探测器主要有:光电倍增管(PMT)、雪崩光电二极管(APD)和超导纳米线单光子探测器(SNSPD)。PMT在探测紫外、可见光中蓝色光,具有极高的灵敏度和极低的噪声;APD检测器具有超低噪声、高速、高互阻抗增益,以及高灵敏度等特点,因此它们主要用于可见光红绿荧光和近红外荧光的检测,SNSPD采用低温超导材料制备,系统可靠性强,可实现7×24小时不间断运行。

单光子成像探测使用的方法多为基于时间的激光探测方法,探测的目标与信号接收器之间的距离为:D=c×tfly/2,式中:c为光速;tfly为激光从发射器发射到返回探测器所用时间。

单光子探测技术主要使用的是单光子计数成像,通过对回波信号的光子进行累加计数,实现对每个回波光子的数据统计。在探测中往往使用振镜等旋转装置对目标进行不断的扫描,从而得到目标的信息,振镜通过x轴振镜和y轴振镜来控制横向、纵向扫描获得每一个光子的成像时间间隔,进而得到每一个光子对应的目标的距离,通过记录x轴和y轴振镜旋转的角度θ和φ,并代入下式(D为目标与接收器的距离),可还原出目标在笛卡尔坐标系下的三维信息。

360截图20240923114805761.jpg

360截图20240923114817766.jpg

360截图20240923114827734.jpg

国内外研究现状

单光子水下三维成像具有较高的精度,而且单光子技术使得从空气到水下的成像成为可能,为机载激光提供了潜在应用。结合表2分析近年国内外单光子探测技术的部分实验及实验结果,水下单光子成像距离大多在20米,满足水下远距离成像要求。目前水下单光子主要问题是水下计数噪声较大,且计数的形成时间较长,为了应对这些挑战,目前主流趋势是将单光子探测技术与距离选通门控技术相组合,在远距离探测信号的同时有效提高信噪比。

360截图20240923114838206.jpg

水下结构光三维点云成像

原理

结构光在三维成像中通常分为线结构光、面结构光和点结构光。线结构光多采用旋转方式进行信息点采集,如线结构光自扫描成像;面结构光多采用矩阵方式进行信息采点;点结构光多采用振镜扫描方式进行信息采点,如激光差频扫描成像利用帧转镜差频扫描目标从而获得三维信息。每种结构光在具体扫描方式存在一些差异,结构光成像具有成像简便、精确率高、成本低等优势,因此被广泛应用于水下探测领域。

其原理是激光在被测目标上形成光亮点,然后通过相机捕捉亮点的三维信息,如图5(a)所示,当确定被测目标,激光器和相机之间的三维坐标关系之后,就可以通过数据处理的方式形成待测物体的三维点云信息。结构光的成像过程本质上涉及世界坐标系与相机坐标系之间的转换,如图5(c)所示,由于坐标系之间的数学运算较为准确且结构光的光条较窄,水下结构光三维成像精确度可达到0.1 mm。

360截图20240923114849707.jpg

360截图20240923114900833.jpg

国内外研究现状

在结构光成像中,通常使用绝对误差和相对误差来评价扫描成像的精度,其中绝对误差指测量数据与实际数据的尺寸差值,而相对误差则是绝对误差与目标尺寸的比值。

表3总结了国内外部分结构光成像方法及各自实验方式的特点,可以看出线结构光成像绝对误差普遍在0.5 mm以内,相对误差普遍在2%以内。然而,由于激光经过分光束导致激发能量较小,因此结构光难以实现远距离探测,最大成像距离多在3 m以内,在近距离、小目标、高精度的探测任务中的表现令人十分满意,尤其是国内外近年的实验多使用“结构光+”模式将相对误差结果提高到1%。因此结构光探测主要应用于近距离、小目标、高精度探测任务。

360截图20240923114912014.jpg

水下条纹管激光成像

原理

条纹管成像技术是水下三维探测中关键技术之一,条纹管主要由光电阴极、电子加速系统、聚焦偏转系统、微通道板和荧光显示屏组成,主要结构和工作原理由图7所示。

360截图20240923114922825.jpg

因为目标物体在场景中的位置和反射率等特征各不相同,所以激光发射到目标上返回的回波信号到达光电阴极的强度和时间也各异。由于偏转板会产生随时间线性变化的斜坡电压,因此在不同时刻,进入偏转电场的电子会受到不同的偏转电压影响。这样,电子沿着垂直于狭缝方向扫开并依次排列,从而获得不同时间的电子图像。该图像对应于图7(a)中的时间通道。最后,经过微通道管(MCP)进行电路增益放大后,信号投射在荧光屏上。荧光屏可以实时读取和记录数值。时间通道中的电子排布与目标距离相关。通过荧光屏,我们可以获得关于空间信息维度的电子信息,即将狭缝方向上每个点的时间信息展开以获取空间信息。通过一次条纹管成像,我们可以获得部分目标物体的方位和距离信息,即可以得到一条线上的目标物体信息。通过多次机载拖拽成像,我们可以获取目标物体的完整三维信息,实现目标物体的三维成像。

360截图20240923114934647.jpg

国内外研究现状

就条纹管技术而言,三维成像的距离精度取决于条纹管的距离分辨率和空间分辨率,本文采用距离分辨率作为评价条纹管成像精度的指标。表4总结了国内外条纹管实验结果。在水下环境中,条纹管能够被用于较远距离的探测,其优点在于扫描成像速度快、扫描范围广,可对一定区域进行地毯式扫描,随后再确定精准方位进行探测,非常适合机载雷达进行海洋水雷扫描。缺点是由于条纹管的成像机制,其成像精度大多在厘米级,无法完成高精度的扫描任务。

360截图20240923114945417.jpg

水下多目相机成像

原理

多目相机成像包括单目、双目、三目等成像技术,具有操作方便、成本低廉、精度较高等优点,并且不需要主动式照明方式,只需要两台相机就可以进行实验,因此多目相机是进行三维数据采集的常用方法。然而,由于双目相机缺乏主动式照明方式,因此在较深水域或亮度较暗的水域的使用受到限制。

双目视觉方法又称为立体视觉法,主要是通过三角测量法将两台相机匹配点的视差信息转化为深度信息。该方法利用两台相机从两个不同的视角去观察同一物象,通过三角测量法将两台相机匹配点的视差信息转化为深度信息。

图9(c)为双目相机成像原理,由空间三角形几何关系可得到下式:

360截图20240923115908809.jpg

式中:T为两相机光心之间的距离;xl为左像素平面左侧到交点Pl的距离;xr为右像素平面到交点Pr的距离;Z0为目标到线段Ol-Or的距离;f为相机焦距。

对于上式进行整理,可得物点到基线之间的距离大小为:

360截图20240923115917108.jpg

根据上式,当求得双目图像的视差值与相机之间的位置关系,就可以得到空间上一点P0在Z轴上的坐标,同理可以求得在X、Y轴上的坐标,从而得到目标点的三维信息。

360截图20240923114958017.jpg

360截图20240923115006772.jpg

国内外研究现状

结合表5分析可得,水下双目立体视觉多作用于近距离成像,受限于没有主动光源,因此仅能在光线较充足的浅水区域使用。双目相机具有设备简单、方便进行三维重建和较高的成像精度等优点。然而,由于受到水下背景噪声和无主动照明的限制,很难用于远距离成像。  

360截图20240923115018589.jpg

对比与分析

对上述提到的不同水下三维成像原理和技术指标进行了比较与分析,从成像距离、成像目标大小、精确度和使用场景等方面对不同的水下三维成像方式进行了总结,如表6所示,在水下远距离成像中,虽然距离选通成像精度较低,但成像的噪声信号相对较少,故距离选通图像具有较高的信噪比。

360截图20240923115028593.jpg

对国内外文献中提供的各种水下三维成像实验数据进行总结与分析,以实验中的水下三维探测距离和相对误差为分析数据,探讨了不同成像方式在探测距离和成像相对误差方面的关系,并得出了不同成像方式主要适用于的实验场景。相关分析见图11。

360截图20240923115037674.jpg

水下三维成像中,结合表6和图11分析可得,水下距离选通成像作用原理是抑制后向散射,因此目前主要运用在水下环境中,环境噪声越大,成像优势越明显,成像目标多在水下较远距离,实验中常使用脉宽极短的激光器,这使得周期内门控开启时间极短(ns级),后向散射噪声信号被尽可能的过滤,成像的信噪比较高,优点是能过滤噪声,常被应用于浑浊水域进行水下勘测。缺点是脉冲激光能量极高,探测较近目标可能会损伤探测器感光元件,故无法进行较近目标探测。

水下单光子成像计数利用单光子的叠加累计可以较完整的还原目标物,但因为需要进行单光子的累计,因此成像所需要的时间较长。优点是探测灵敏度极高,能进行较远距离的探测,可用于获取陆地与海洋地貌图像,缺点是成像时间较长,不适合探测能够移动的物体。

水下结构光成像采用激光亮点提取三维信息,亮点越小所获取的三维信息越精确,故对线条提取算法有较高要求,目前最常用的算法包括极值法、灰度重心法和基于Hessian矩阵的Steger法。使用场景不受限,水中与空气中均可使用且成像性能差异不大,优点是成像精度较高,常用于水下建筑维护与设备故障检测,缺点是线激光能量被分散,故激光无法发射到较远距离,成像距离多在2m以内,无法进行远距离目标成像。

水下条纹管成像技术最先是采用在机载雷达,由于脉冲激光峰值能量高,可实现从空气入射水中进行扫描,最早是由美军安置,采用机载雷达方式进行海域水雷扫描。优点可扫描范围较大,可用来进行大面积搜寻式扫描,缺点是成像精度较差即使使用更高规格的设备,最终的成像标准差仍在厘米级左右,因此,条纹管成像适合用于雷达扫描等关键技术应用。

双目相机成像作为陆上常用的三维成像方式,由于其成本低,使用方便,现也逐渐在水下使用,双目相机成像由于成像原理限制,要求两台相机进行不同角度拍摄,所以无法进行较远距离成像,且由于无主动光源,只能在光线较充足的水域进行成像,成像精度较低,多用于非精细目标成像使用。

现阶段组合式成像方法在实验中较多使用,线结构光结合多目成像,用于提高立体匹配精度;单光子计数结合距离选通,用于降低成像信噪比。

展望

综上所述,结构光和多目相机是近距离水下成像的首选,依据实验的特点选择成像方法。20 m以上的探测距离主要使用距离选通、单光子和条纹管成像,但成像精度较差。远距离高精度领域是水下光学三维成像主要发展方向。

由于水下成像的环境特殊,在进行海底作业和水下目标观测时,激光衰减度和后向散射的干扰仍是水下三维远距离成像的难题。尽管当前水下光学三维成像的有关研究取得了巨大的进步,但是不论是近距离成像还是远距离成像,现有成像方式仍不同程度的存在一定的局限性,如何突破这些局限将是水下光学三维未来研究的热点。对水下光学三维成像的未来研究方向进行展望如下:

针对激光前向散射问题,大部分文献和实验多考虑的是后向散射问题,未考虑前向散射带来的三维点云噪声问题。因此,前向散射是进行精细化问题的探索的一个方向。例如有关文献提出的利用倾斜刃边法求解点扩散函数,抑制前向散射对图像细节分辨率的影响。前向散射的抑制与过滤可能成为未来水下光学三维成像的研究方向之一。

针对水下折射问题,激光从激光发射器到水中的传播势必会由于介质的变化而产生折射问题,这是对于高精细三维成像中不可忽略的问题,例如有关文献提出一种引入折射补偿的水下相机成像模型,该模型可准确的描述激光在不同介质间传播过程中的光路,基于水下激光平面方程的约束,对水下点云进行折射校正,对提高三维成像精度具有重要意义。

将水下成像研究与相关学习算法领域结合,如神经网络、机器学习、深度学习等。该领域目前多为二维图像的识别与分割,对于三维领域的研究相对较少。有关文献采用的遗传-反卷积算法,通过通过反卷积实现非视域目标的三维重建。有关文献提出的Point CleanNet的点云降噪模型,有效降低扫描后的点云噪声问题。深度学习算法将是未来的发展趋势。

(文章来源于《激光与光电子学进展》,如有侵权请联系删除)