首页>论文>正文
日期
10/10
2024
咨询
  • QQ扫一扫

  • Vision小助手
    (CMVU)

元光场事件计算成像
收藏
2024-10-10 16:35:46来源: 中国机器视觉网

摘要:捕捉动态变化场景的光场信息,在虚拟现实、显微观测、工业检测、天文等重要观测应用中具有重要的应用价值。现有动态光场成像数据通量大,对动态光场数据的采集、传输和处理提出了巨大的挑战。本文受到昆虫视觉系统的复眼光学结构和快速多目融合感知的浅层视觉神经工作机制启发,提出一种新型动态光场成像范式-元光场事件成像技术来捕获具有高维光场时变属性的元光场事件,可以极大程度增强对场景的高效光场感知和表征能力。通过充分利用光场结构下事件之间的时空相关性,我们进一步提出了一种类生物视觉的时空事件聚合升维算法,实现了光场事件高效且鲁棒地提取。为了证明我们提出的元光场事件成像技术的应用价值,我们搭建了一套元光场事件成像的原型系统,在不同的计算机视觉任务中广泛地开展了真实实验应用,如场景重建、去噪和运动轨迹重建等,结合仿真和真实实验充分证明了我们所提出的元光场事件相机的捕获动态光场信息的高效性和鲁棒性。

关键词:光场;事件相机;多视角;元光场事件。

引言

基于微透镜阵列构建的光场相机[1]能够模拟昆虫复眼的成像过程[2],每个微透镜对应复眼中每一个小眼,能够以四维(4D)(u,v,x,y)数据结构的记录光线的位置和方向,其中(u,v)表示方向,(x,y)描述光线的像素域投影位置。这样的光学设置能够以较小的硬件规模进行高维光场信息的感知。此外,得益于额外的方向属性,光场相机可以捕获场景的三维几何信息,因此可以应用于许多视觉任务,如识别[3,4]、分割[5]和三维重建[6]等等。此外,光场成像系统在动态场景中应用也十分广泛,如高自由度的沉浸式虚拟现实多媒体[7]、大范围高速神经元活动三维显微成像[8,9]以及工业缺陷检测[10]等等。然而,光场的高维属性也带来了大数据通量的问题。例如常见的基于微透镜的小型光场相机[7],光场成像结构的引入通常会导致数倍的空间分辨率损失,因此原始光场数据的像素空间分辨率通常较高,高分辨率带来的巨大数据通量导致其在动态场景中的拍摄帧率受限。如Raytrix R8相机的传感器分辨率为3840×2160,帧率为30帧每秒。分辨率增加了5倍的Raytrix R42相机则只能以7帧每秒的速度拍摄[7],在动态场景中的应用十分受限。因此,通过光场图像超分辨率技术[11,12]和光场图像去模糊技术[13]对光场图像进行后处理增强,成为了从低分辨率光场成像系统获取高质量光场数据的有效方法。更进一步地,元成像芯片[14](Meta-imaging Sensor)的提出极大地改进了传统4D光场数据采集的方法,该芯片能够通过集成化的振动编码微透镜阵列捕获更高分辨率的4D光场数据,并通过基于数字自适应光学(Digital Adaptive Optics,DAO)的相差校正和基于光流的运动补偿算法增强所采集数据的质量,极大地降低了了高分辨光场成像的系统成本、数据通量以及数据处理的复杂性,并能够针对动态场景进行高质量的采集和重建。

此外,传统光场相机的数据处理过程中,为了匹配不同微透镜视角下的相同内容以进行重建,传统的光场相机通常需要对所拍摄的数据进行特征提取和匹配进行特征点配准,比较常见的特征有角点、边缘、形状[15]和尺度不变特征转换(Scale Invariant Feature Transform,SIFT)算子[16]等等。这样的匹配过程通常是计算密集型任务,同时也会引入额外的延迟。因此,如何克服高数据通量问题,将光场成像系统应用到高速运动场景;以及如何快速汇总对齐光场中各个子视角的信息形成对场景的低延时初级感知,是两个亟待研究的问题。从空间分辨率的指标看,人眼中的视网膜拥有高达约1亿个视杆细胞和600万个视锥细胞,合计可达1.06亿像素的空间分辨率[17]。然而得益于视网膜异步和稀疏等等高效的感知特性,人类的视觉系统通常不会因高数据通量影响对动态场景的感知。类似地,与传统的基于帧的相机不同,事件相机[18]是一种基于类生物视网膜的神经形态视觉传感器。与生物视网膜上的视觉神经类似,事件传感器可以异步且稀疏地捕捉并输出以时序异步脉冲序列描述的场景信息,即用四元组(x,y,t,p)序列编码、记录和输出场景的亮度变化信息;其中(x,y)表示亮度变化事件的像素平面坐标,t是事件发生的时间,p描述了亮度变化的极性。得益于这种高效的类生物工作模式,事件相机以其异步和稀疏的特性在视觉任务中获得了许多优势,如时间分辨率高、功耗低、信息冗余少和动态范围大等。基于事件相机构建的系统在传统的视觉任务中已经有了十分广泛的应用。如手势识别[19]、插帧[20]、光流估计[21]和高动态视频重建[22]等等。而将事件相机引入传统的成像系统以利用其优势获得额外的性能增益也已经有了许多探索,如事件偏振成像[23]、事件结构光[24]、事件驱动编码曝光[25]、波前传感[26]和事件引导自动对焦[27]等。此外,随着计算机视觉研究发展愈发倾向于算力密集型的实现和摩尔定律越来越接近晶体管的物理极限,基于神经形态视觉传感器实现的更加高效的类脑神经形态计算也将提供一个低功耗和低算力依赖的解决方案[28]。但事件相机也因其稀疏、异步、仅极性的方式导致其对场景的表征能力弱于传统逐帧采集的强度相机。因此,如何更高效地组织事件数据流,从而能够基于事件相机的优势进一步增强其表征能力成为了事件相机在应用时必须要解决的问题[29]。在生物的视觉系统中,信息处理是存在明确层级区分的,其感知和处理能力也逐渐增强。例如果蝇复眼中的圆柱状感杆束[30]能够将数百个复眼视角的信息汇总形成完整的视场信息传递到更深层的视觉神经。而脊椎动物的外侧膝状核(LateralGeniculateNucleus,LGN)作为视觉神经向深层神经传递信息的中继站,能够对左右两侧的视觉信息进行整合,关注场景中动态变化的部分,从而对所捕获的信息中的重点内容进行快速的处理,产生如位姿、速度和深度等初级视觉感知[31],可以实现高效、低延时的场景信息处理。本工作受到昆虫视觉系统的复眼光学结构和多目快速融合感知的浅层视觉神经工作机制启发,构建了元光场事件成像系统。

首先,在硬件系统中,我们将类神经形态传感器,即事件相机传感器与类昆虫复眼光场相机的光学设计结合,从而能够以低延时、稀疏和异步的方式进行光场数据的获取,得到包含元光场事件的数据流。我们所构建的元光场事件(Meta Light Field Event,MLFE)即包含多视角事件的高维事件,能够高效地完成场景光场信息的感知并基于多视角的先验增强事件感知的鲁棒性。元光场事件的概念能够极大地加速光场数据的采集和处理过程,并增强事件对场景的感知和表征能力。其次,在数据处理过程中,受到圆柱状感杆束[30]和LGN的启发,本研究利用元光场事件数据流的稀疏性和时空相关性,在不依赖高性能计算平台和复杂特征提取匹配方法的前提下,可以实现将不同微透镜视角下对应同一个外部刺激的多个事件高效聚合为包含三维信息的元光场事件,在高效感知场景光场信息的同时完成了初步的多视角匹配,有效优化了传统光场相机三维重建过程中的算力依赖和高数据通量下的低帧率导致的感知延迟问题。最后,为了应对事件相机的噪声和元光场事件异步读出时的延迟,减少事件聚合升维算法的运行频率和时间,我们针对性优化设计了事件读出后待处理时的事件队列管理器(Event Queue Manager,EQM),基元于元光场事件相机的光学结构和事件数据异步稀疏的特性,将不同视角下的事件分别存储到不同的缓冲区,并基于局部多视角对应的缓冲区存储情况进行局部的事件取出与聚合升维判定,从而进一步增强了本方法的鲁棒性和抗噪声能力。

与光场图像超分辨率技术[11,12]、光场图像去模糊技术[13]和元成像芯片[14]等光场成像增强方法对比,本工作所构建的元光场事件成像系统是仿生启发性地将神经形态传感器引入了传统4D光场采集系统,并针对这种异步、稀疏和低延迟的数据表征形式进行了针对性的数据处理优化设计,从而能够从采集端开始去除光场数据处理的延迟和对高性能计算资源的依赖。基于上述针对性的设计,我们的元光场事件成像系统能够为后续的计算机视觉任务有效地提供更多的场景特征。我们在几个典型的视觉任务中,如三维感知、事件去噪和运动估计重建,都证明了所构建系统的有效性。

360截图20241011171615611.jpg

类生物视觉的时空事件聚合升维判定算法

受到生物视觉结构的启发,本研究提出了基于时空相关性的事件聚合升维方法,与生物浅层的视觉神经角色类似,该方法能够快速地处理元光场事件相机的输出序列,即汇总多视角信息形成完成视场的感知,并将来自同一个外部亮度变化刺激的多个事件响应聚合输出,形成初级的深度估计、结构检测和运动感知。如图1所示本文所提出的元光场事件成像系统主要包含两个部分:元光场事件相机和基于时空相关性的元光场事件聚合升维算法(SpatialTemporalCorrelationEventPackaging,STCEP)。该系统能够结合光场成像的高维特性,利用事件传感器解决传统光场相机在动态场景中的低帧率和高冗余问题。本系统所输出的元光场事件包含了对应被观测场景的三维信息,在保留了事件相机的低延迟、低数据冗余、高动态等优势的基础上,补充了三维信息的感知与表征,为后续的计算机视觉任务提供了更丰富的信息。本章节主要介绍我们所构造的基于时空相关性的事件聚合升维方法,包括基于多视角几何的反投影权重弥散投票以及用于读出事件序列缓冲的事件队列管理器优化设计。

2.1基于几何加权的多视角事件升维方法

本小节主要介绍元光场事件成像系统数据处理的事件聚合升维判定方法,即基于多视角几何的反投影权重弥散投票部分,主要包括反投影的处理过程、权重弥散的设计和相关参数设置讨论。传统的多视图几何中的空间扫面法(SpaceSweep)通过将二维平面的特征点反投影后在三维空间中寻找交点的方式进行三维重建[32],但传统的空间扫面法依赖多视角扫描和特征提取两个关键步骤。

如图2所示,本研究利用事件相机的稀疏性和低延时优势,构建了基于几何加权的多视角事件聚合方法,与果蝇复眼中的圆柱状感杆束[30]类似,我们将可能包含了多视角事件的一组事件的像素坐标点与对应微透镜中心连接为反投影光线并向像空间延伸。这样的反投影过程与感杆束的作用类似,能够快速地恢复微透镜成像的倒置和翻转,并将多视角的事件脉冲信息进行汇总,实现对完整场景的信息感知。

首先我们以相机坐标为基础,构建一个三维坐标系,以传感器朝向场景的方向为Z轴正方向,坐标系单位长度为像素宽度。在这个坐标系中,成像过程可以描述为,对于真实空间中一点P(X,Y,Z),经过主镜头成像后,可以得到在微透镜阵列和主镜头之后的主成像空间的对应成像点Q(X',Y',Z'),其中Z和Z'的关系可以由主镜头焦距fL和物体距离Z算出,令主镜头光心坐标为O(Xo,Yo,Zo),则有

360截图20241011171625443.jpg

成像点Q(X',Y',Z')被微透镜阵列上的多个子透镜{li(cx,cy,b)|i∈[1,n×n]}成像,其中n×n为视角数量,(cx,cy)为微透镜中心对应像素平面的坐标,b为微透镜到传感器的距离。每个微透镜视角下都有对应的成像像素{pj(u,v)|j∈[1,m]},其中(u,v)为像素坐标,m为视角数量,理想情况下m=n×n。如图2所示,在对事件的升维判定过程中,我们将上述成像过程进行反投影。即将潜在包含多视角事件的候选事件队列中C{ek(u,v,p,t)|k∈[1,N]}所有事件对应的像素点pj与微透镜中心点Li连接,并向主成像空间进行反投影延长,对反投影射线经过的主成像空间的点进行权重赋值。其中,候选事件队列的最小长度为N>(0.5×n×n),控制最小候选长度可以避免频繁地触发投影和筛选。

360截图20241011171632526.jpg

在实际的拍摄过程中,受到事件相机的异步工作模式、信噪比波动和读出协议设计的影响,我们通常无法获取m=n×n的理想多视角事件感知,同时为了应对噪声干扰和标定误差等不可避免的干扰,本方法在反投影光线时引入了权重弥散机制以增强鲁棒性,即以每一条反投影光线经过的中心网格坐标权重为1,周围点的权重按照离中心点的距离以高斯分布进行权重赋值,以应对噪声、视角缺失、标定误差等非理想因素的影响。举例来说,反投影光线经过主成像空间一点Q1(X1,Y1,Z1),对应的权重w1=1,则受该点影响点Q2(X2,Y2,Z2)权重的计算公式为:

360截图20241011171640334.jpg

其中d为Q1(X1,Y1,Z1)到Q2(X2,Y2,Z2)之间的欧氏距离,μ和σ为高斯分布的期望和标准差参数。本方法使用的是期望为0,方差为1的高斯分布。我们在主成像空间对光线经过的空间点进行权重累计,当像空间出现某个点的计数值超过设定权重阈值wt,则认为该点对应了真实场景中的一个刺激,相关的事件将被聚合为一个高维元光场事件,并按照式(1)进行从主成像空间向实际场景的反投影,得到真实场景的对应深度。从而能够将异步读出的多视角事件重新聚合升维成表征3D距离和运动信息的高维事件,实现类似LGN的对场景内高维信息的初级获取功能。

2.2事件队列管理器优化设计

本小节主要介绍我们如何从异步读出的事件流中高效地获取潜在包含多视角事件的候选事件队列,即元光场事件成像系统的事件缓存和缓冲区管理优化方法介绍。由于事件传感器的异步读出机制和噪声的存在,事件数据的响应和读出通常是非理想的。例如,理想情况下,空间中某点能够被n×n个微透镜视角成像。然而,在事件相机的工作机制下,由于噪声、不应期和读出缓冲区的管理机制,这n×n个响应事件不会理想地生成和读出,而是会存在不同程度的缺失,并离散地分布在不同的时间点。另外,高频触发聚合升维判定会引入较多的处理延迟,而对大量事件同时进行判定则会导致较大的内存占用。因此,为了能够高效地从事件流中获取合适长度候选事件队列,避免过多的计算资源占用和延迟引入,本研究在读出事件缓冲保存的事件队列管理器中进行了针对性的设计。

360截图20241011171648525.jpg

如图3所示,本方法针对读出缓冲进行了优化设计。缓冲事件的存储数据结构组织为具有先入先出特性的队列。首先,我们利用了光场结构引入的空间特性,将读出事件缓冲区按照微透镜阵列形成的视角进行了区分,即每一个微透镜视角都对应一个单独的缓冲队列,构成了多视角缓冲区(MultiviewBuffers,MVB)。对于有事件存储的视角缓冲区,则标记状态为激活缓冲区(ActiveBuffer),反之则为非激活缓冲区(InactiveBuffer)对于每一个读出事件,首先需要判断所属的缓冲队列。在确定缓冲队列后,以当前事件所在视角缓冲区为中心,向周围进行视角搜索和判断。即若最新到达事件所属的视角周围的激活缓冲区(LocalActiveBuffer,LAB)数量达到设定阈值Tb=0.5×n×n,这些视角队列缓冲的事件都会被取出,并以新事件为基准进行对极约束筛选,进一步增强稀疏性,降低后续处理的计算量。得到潜在的匹配点后,进行聚合升维判定,判定成功则删除缓冲区中匹配成功的事件数据。同时,为了避免噪声长时间的干扰,本方法也对缓存的总事件数量加以约束,超过缓冲数量时会删除缓冲区内最早存储的事件。事件队列管理器的流程以伪代码形式描述如下:

360截图20241011171709839.jpg

分析与讨论

为了验证所提出的元光场事件成像系统的实用性,我们在基于仿真数据进行了量化分析,证明了我们提出的元光场事件成像系统的有效性。更进一步地,我们搭建了元光场事件成像原型系统,并将所提出的元光场事件相机应用于真实世界的微动场景重建、跟踪和去噪等不同的计算机视觉任务。目前常见的事件相机仿真都是基于高帧率视频生成事件流数据,如V2E[33]和IEBCS[34]等。因此,在我们的仿真实验中,我们基于Blender进行场景的搭建和运动视频的渲染,基于光场仿真工具[35]实现并进行视频渲染和导出,基于IEBCS进行事件流数据的生成。仿真视频的分辨率为1024×768,帧率为1000帧/秒。

360截图20241011171716800.jpg

与真实实验的光学设置类似,在仿真场景中,观测物体能够经过微透镜阵列形成3×3个多视角进行成像。在Blender中,我们使用焦距为100mm的主镜头,微透镜焦距为1.2mm,主镜头到微透镜之间距离为131mm,微透镜到传感器距离为1.5mm。仿真数据处理的参数设置,包括局部缓冲区激活阈值(LocalBufferActivationThreshold)、权重弥散范围(RangeofWeightSpreading)、缓冲队列总长(LengthofBufferQueue)、投票成功的权重阈值(WeightingThresholdofVoting)以及权重值弥散分布类型(DistributionofWeightSpreading)如下表。

360截图20241011171725765.jpg

如图5所示,我们的元光场事件成像系统及其对应的事件聚合升维方法能够在仿真场景中真实重建出运动物体的主要轮廓和其对应的深度,形成初级的场景信息感知处理,两个场景的重建结果都是基于长度为10ms时间窗(Time Window)内的事件流进行的。值得注意的是,与运动方向接近平行的区域出现了事件的空缺,这是因为与运动方向接近平行的位置亮度变化较小而无法触发足够的事件导致的。仿真实验的误差分析结果如表2,可以看出我们的聚合升维方法能够较为准确的定位场景中运动物体的轮廓位置,与运动边缘的真实值(Groundtruth)对比误差均值(Average error)小于7%。另外,我们计算了深度维度的标准差(DepthSTD)指标评估我们基于高维事件所定位的平面散布情况,在表2中可以看出本方法得到的高维事件在两个场景下的深度维度散布情况相近,对不同场景都能够稳定维持在较低的散布水平。

360截图20241011171734156.jpg

3.2硬件设置

在我们的成像系统中,我们使用DAVIS346[18]作为事件传感器。主透镜的f值在1.0-1.6之间可调,光圈大小可变。物镜焦距12mm。微透镜焦距0.3mm。设置主透镜与微透镜之间的距离为1.2mm,微透镜阵列与事件传感器之间的距离为0.4mm。采用中继透镜(Relaylens)将聚焦光场图像中继到事件传感器;光场成像系统的虚拟深度为3,可以保证每个场景点的亮度变化都可以通过3×3微透镜看到。相机通过USB3.0接口与主机相连。本小节将结合示意图介绍元光场事件相机的光学设计。如图6所示,本系统包括主镜头、微透镜阵列、中继显微镜头和神经形态视觉传感器DAVIS346[18]组成。本系统的微透镜放置位置参考开普勒构型[36],即主镜头作为物镜(Objectlens),被摄场景的经过主镜头成像的平面在微透镜阵列(Micro-lensarray,MLA)前。微透镜阵列的每个子透镜都能都对主镜头成像平面的内容进行二次成像,从而形成多视角的光场成像系统。因此,在成像过程中,主镜头捕捉到的场景中某点亮度变化会经过微透镜阵列在传感器的不同位置同时激发一组相应,这组响应包含的事件在时间和空间维度高度相关,在后续的数据处理中,本研究将充分利用时空相关性简化处理过程。本光学系统的标定采用传统光场相机的标定算法[37],基于DAVIS346传感器的灰度帧工作模式进行标定。

360截图20241011171742267.jpg

3.3抗噪声性能

对事件相机的噪声进行标定、建模和去除是极具挑战性的[38],本文所提出的元光场事件聚合升维算法利用了光场结构引入的空间相关性和事件相机高时间分辨率的时间相关性,具有天然的抗噪声属性,从而能够有效去除读出事件种的噪声,保留真实响应事件数据。在本小节种,我们将证明本方法的去噪优势。包括去噪实验在内的后续所有真实实验的参数设置如下表。值得注意的是,在真实实验中我们的缓冲事件数量更少,这是因为真实实验的传感器分辨率更低,为346×260。

360截图20241011171748443.jpg

在去噪实验中,我们将捕获的场景设置为在屏幕上闪烁的十字,同时在屏幕之外的区域设置了黑色背景。根据DAVIS的特点,降低亮度可以以引入显著的背景噪声[18]。作为对比,我们引入了Dynamic vision viewer(DVS)开发套件中的两种去噪方法进行比较,即Ynoise filter[39]和Knoise filter[40]。如图7(a)所示,原始的事件数据中有明显的背景噪声和在真实事件周围的近边缘噪声。图7(b)中来自YnoiseFilter的方法在对背景噪声区域处理时留下了较多的背景噪声事件。图7(c)中来自Knoisefilter的结果在矩形框标记的区域对真实事件的结构也产生了明显的破坏。得益于我们的方法对元光场事件相机所捕获的事件数据的时空相关性的利用,图7(d)中我们的方法能够在去除大部分噪声的同时保留真实的事件数据。此外,为了定量分析所提出方法的抗噪声能力,我们手动在原始事件数据上添加服从均匀分布的噪声事件。我们通过分析经过算法处理后的输出事件中包含的手动添加的噪声事件数量,展示了所提方法在抑制噪声方面的优异性能。如表4所示,我们手动添加数量从300到2000个的噪声事件,并计算输出的事件中被保留的噪声事件数量。在表4中,Ni表示手动添加的噪声数量,No表示输出的事件中包含的噪声事件数,噪声保持率(NoiseRetainingRate)NRR的计算公式为

360截图20241011171754935.jpg

从NRR的变化趋势可以看出,在大多数情况下,在完成元光场事件提取后能够去除95%以上的噪声事件。在表4中,Ei和Eo表示输入事件和输出事件的数量,我们引入事件保留比(Event retaining ratio)Err=Eo/Ei评估方法的稳定性,可以看出随着输入噪声的增加,Err呈现逐渐下降的趋势,进一步说明了本方法稳定的去噪性能。在图8中,我们展示了添加300和2000个噪声事件的结果。实验结果表明,所提方法在大范围人工添加噪声事件上的去噪能力一致,进一步证明了所构造的元光场事件的在强噪声条件下的感知鲁棒性。

360截图20241011171807130.jpg

3.4场景重建

在本小节,为了验证所提方法的有效性,我们捕获了沿时间维度发生闪烁的同一物体的元光场事件数据;本实验成像方案如图9(a)所示。通过在DELLP2421H计算机显示器上显示视频,可以捕获对应的元光场事件流,并对光场事件进行聚合升维以进行场景重建。视频速率设定为60帧每秒,视频序列由纯白背景帧和数字图案帧交替组成。元光场事件成像系统的实拍结果如图所示。元光场事件聚合升维方法可以将同一场景点的多视角光场事件进行有效打包,并通过打包后的升维事件提取空间信息。如图9(b)所示,我们从时长为16ms的事件流中提取0、2、3、4、5、7、8、9个闪烁数字视频的空间结果。实验结果表明,处理后所得到的若干元光场事件仍然能够成功地表征场景中的边缘、角点等特征,并同时增加了三维信息,验证了元光场事件成像方法的有效性。

360截图20241011171816209.jpg

3.5运动物体轨迹重建

在本小节中,我们将展示所提出的方法对运动目标的跟踪能力。如图所示,我们捕捉到在不同距离扔两个球的成像场景。较近的球直径约为1厘米,较远的球直径约为4厘米。两个球的颜色都是灰黑色。在图11(b)中,使用不同的颜色表示不同的深度,颜色越深表示深度范围越近。从图11(b)中可以同时提取元光场事件的深度和轨迹,显示了所提出的元光场事件相机的三维跟踪和三维运动的表征能力。如图11(b)所示,每个轨迹都混合了一些不同颜色的点,这些点表示深度误差。这是坐标系中空间维度离散化造成的。

360截图20241011171823751.jpg

4 结论

本文提出了一种受到生物视觉启发的新型元光场事件成像系统,能够捕捉并聚合事件流中同一外部刺激触发的多视角事件,从而实现对被观测场景光场信息的高效、低数据通量获取。同时所得到的元光场事件极大地增强了事件相机的对场景的感知表征能力和探测鲁棒性。为了将事件流中属于同一变化的事件聚合升维成高维事件,本方法充分利用光场和事件引入的时空相关性,提出了基于时空相关性的事件聚合升维方法。通过在场景重建、跟踪和去噪等方面的实际实验验证了元光场事件相机所提供的高维事件信息的有效性。值得指出的是,传统的光场相机通常具有较高的空间分辨率,我们目前使用的事件相机(DAVIS346)的分辨率只有346×260,未来,随着事件相机传感器的进一步发展,所提出的光场事件相机架构可以用于高效捕获更复杂的特征,可以进一步应用于更复杂的视觉任务,如高效人脸识别、场景检测、目标跟踪、深度提取等。此外,本研究所提出的元光事件成像方法不需要任何高性能计算资源,未来可以广泛应用于边缘端观测应用的高效部署。在未来,以元成像芯片[14]为代表的光场采集系统优化成果也将启发我们进一步探索和改进元光场事件成像系统。