日期
05/05
2023
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

事件和普通图像如何精准对齐?试下分光镜吧!
收藏
2023-05-05 17:15:03来源: 中国机器视觉网

大家经常会问到的一个问题是,如何实现普通图像和事件的对齐?在产品层面,DAVIS240和346能够同时输出event和frame,CeleX5的不同模式也能输出两种数据但并不是同时,除此之外似乎并无他法。实则不然,在论文中看到过采用分光镜(Beam Splitter,准确翻译应为“分束镜”,但这里称作“分光”更合适,因此下文统称“分光镜”)的方案。但是这些论文只是一句“我们用分光镜啦”,但并没有说很多细节即背后可能遇到的问题。

分光镜基本原理

分光镜基本原理如下图:一束光线射入后,可以分成两束,这玩意在光学实验中用得很多。分出的两束光可以是偏振的、能量不同的,也可以是完全相同的。

640 (2).png

但是相机使用,会有哪些问题?本人咨询过厂商和做光学的同学,他们表示想象不出来相机拍摄会有什么问题,而搞相机镜头的人也不清楚这玩意怎么和镜头搭配。于是只能自己硬着头皮踩坑。

参考方案

最初,我是看到了这篇论文[1]的图片关注到的分光镜,通过图片上面的名牌参数,搜到了产品并研究原理。可以看出,下图中分光镜后方有两个相机分别是事件相机和普通相机。也就是说,这种方案是,首先把场景光分出两部分,然后分别由镜头接收。我们这里称作“方案1”。

640.png

后来,又看到了这篇论文[2]的方案2如下图,用了两个分光镜,因此可以由3个相机进行接收。但问题是,图中还出现了一个Relay Lens,而且分光镜和相机之间并没有连接镜头(上图中方案1可以明显看到镜头的光圈、对焦环等)。

640 (1).png

那么,这个Relay Lens是什么?于是我又问了一些搞光学的同学,同学们表示:“你到底在搞什么?”。后面找到了下面这幅图解释中继镜原理。(由于我不搞光学,解释原理可能不准确,但认为不影响理解;如有原理性错误,请批评指正)。物镜对焦后,光心到焦平面的距离是很短的,但有时我们实际的感光芯片很远,因此需要一步“中继”。比如,一些内窥镜就是在经过镜头后再过中继镜传到了末端。

640 (3).png

因此了解原理后再看平台搭建图。方案2在经过中继镜聚焦后再经过的分光镜,因此需要中继镜到所有相机感光芯片的距离一致,否则会对不上焦。也就是说,下图中红绿黄三个箭头的长度必须是一样的!

640 (4).png

方案选择与实际制作

那么这两种方案应该选哪一种呢?对比之下,我选了方案1。原因有2:中继镜这玩意,我找了半天没有找到合适的厂商提供(不清楚这玩意到底什么领域用的多),怕有坑;2. 自己没有精密的光学器件,怕不好控制中继镜到后面3个相机距离相等。

但方案1还是有缺陷的,那就是镜头的视角FoV不能太大,因为分光镜尺寸限制,FoV太大会无法完全被分光镜覆盖。例如,采用2.5立方厘米的分束立方,12mm镜头,拍视频如下,可以发现存在一个严重的对焦问题:对焦中心区域时,分束立方侧面反光但是失焦的产生弥散圆,会对区域的成像造成影响。如果是经过2次分光,FoV会更小(因此方案2采用了前端加中继镜,那样的FoV是中继镜或其前方物镜的FoV)。

640 (5).png

(12mm镜头拍摄经过分光镜后的图像)

上面提到了分束立方,如左下图,上面两篇论文用的都是这玩意;还有一种东西叫“分光平面”,右下图。  

640 (6).png

(图:分光立方和分光平面)

二者都可以进行分光,但有一些区别。分束立方,只有一个分光面(45°对角线处),因此成像质量较好,但每个侧面会出现镜像反射(上面解释的),同时价格较高;体积一般在2-2.5立方厘米左右,限制了镜头的FoV不能太大(实测18mm焦距镜头怼到分束立方后面才基本ok);分光平面,在光入射和出射都会发生一次反射有可能会造成虚影(但一般一侧镀膜降低这种影响),价格低且尺寸更大(淘宝能轻易买到5平方厘米的),而且不会发生立方的侧面发光问题。买回来以后,具体的安装固定,可以参考上面两篇论文,采用做光学的整套设备,但这种成本太高。也可以采用[3]这篇论文的方法,直接3D打印固定,如下图:

640 (7).png

在安装时,有些注意事项或提醒:自测采用3D打印件安装分光镜和相机,精度也ok;分光镜除入射和出射方向外,其他面尽量全部遮挡不透光,避免其他光线干扰;分光平面尽量保证45°安装,后续相机对准;经过一步简单的光学校准消除细微误差:放一个棋盘格,计算两个相机拍摄图像的单应性矩阵,然后对齐;分光立方、分光平面都有偏振/非偏振等多种型号,选择非偏振;淘宝上最便宜的分光平面精度就够(小几百),不需要买很贵的。

(本文来源于事件相机,作者larrydong)