申请/专利权人：北京三星通信技术研究有限公司;三星电子株式会社

申请日：2016-11-14

公开（公告）日：2024-02-27

公开（公告）号：CN108073857B

主分类号：G06V10/46

分类号：G06V10/46;G06V10/74;G06T7/73

优先权：

专利状态码：有效-授权

法律状态：2024.02.27#授权;2019.12.10#实质审查的生效;2018.05.25#公开

摘要：本发明实施例提供了一种动态视觉传感器DVS事件处理的方法及装置，该方法包括：获取DVS事件图序列，然后针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，其中，DVS事件特征描述子具有尺度不变特性和或旋转不变特性，然后根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，然后根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列，本发明实施例用于将DVS事件图序列，生成具备时域一致性的DVS事件图序列。

主权项：1.一种动态视觉传感器DVS事件处理的方法，其特征在于，所述方法包括：获取目标DVS事件图序列，其中，所述目标DVS事件图序列包括目标DVS事件图，所述目标DVS事件图序列包括第一DVS事件图序列和第二DVS事件图序列中的至少一种，所述目标DVS事件图包括第一DVS事件图和第二DVS事件图中的至少一种，所述第二DVS事件图序列由双目DVS捕捉获得；从所述目标DVS事件图中提取目标DVS事件特征描述子，所述目标DVS事件特征描述子具有尺度不变特性和或旋转不变特性；根据所述目标DVS事件特征描述子，将当前时刻的目标DVS事件图和目标DVS事件图序列中的关键帧进行匹配，根据匹配结果确定当前时刻的目标DVS事件图的三维空间位姿；调整当前时刻的目标DVS事件图的三维空间位姿，以使得目标DVS事件图在匹配过程中产生的累积误差小于预置值；根据调整后的目标DVS事件图的三维空间位姿，生成具备时域一致性的目标DVS事件图序列，用于生成视频图像。

全文数据：动态视觉传感器DVS事件处理的方法及装置技术领域[0001]本发明涉及计算机视觉领域，具体而言，本发明涉及一种动态视觉传感器DVS事件处理的方法及装置。背景技术[0002]近年来，在计算机视觉、人工智能和机器人等领域，动态视觉传感器英文全称：DynamicVisionSensor，英文缩写:DVS相机逐渐广为人知。和传统的互补金属氧化物半导体（英文全称：ComplementaryMetal-Oxide-Semiconductor，英文缩写：CMOS传感器或电荷藕合器件图像英文全称:ChargeCoupledDevice，英文缩写:CCD传感器比起来，DVS相机具有以下的三个特点，使其更适用于存在高实时性要求的应用：[0003]1事件异步性，不同于CM0SCXD敏感器，DVS相机的成像过程是异步的，其每个像素均可以自主地根据场景光照变化强度大小来产生事件。因此，DVS相机对场景变化的响应速度要远快于CM0SCCD敏感器，从而在根本上为超实时视觉算法的提出和实现提供了可能性。[0004]2事件稀疏性，不同于CM0SCXD敏感器，DVS相机是一种运动敏感型敏感器，只捕获存在相对运动且光照变化达到一定阈值的物体边界或轮廓事件。因此，仅需少量事件就可以描述场景内容。相对CM0SCCD敏感器，DVS相机需要处理的内容大大减少，因此能很大程度上节省计算开销，提高计算效率。[0005]3光照鲁棒性，DVS产生的事件和场景光照变化强度有关，当场景中光照变化大于给定阈值，DVS相应产生对应事件，以描述场景内容变化。因此，DVS相机是一种光照变化鲁棒型的敏感器，不会因为光照强度增加，产出场景纹理弱化或镜面效果，很大程度上减少了光照、纹理等因素的影响。[0006]尽管DVS相机具有低延迟、低功耗和高动态范围等优点，其成像原理及生成图像的过程和传统光学相机之间存在着巨大的差异。DVS相机的事件异步性和稀疏性将不可避免地导致不同DVS事件图之间往往会具有事件分布不一致以及所包含的事件数量不一致的特点，其中，每一帧图像分别对应一个DVS事件图，每个DVS事件图包含若干个事件。由于上述事件分布不一致以及事件数量不一致的特点，对应的DVS事件图序列并不具有光学相机序列普遍具备的时间一致性，其中，时间一致性是指DVS事件图序列中相邻两帧图像对应的事件图的事件分布和事件数量均一致。[0007]如果使用不具备时域一致性的DVS事件图序列进行后续的姿态识别处理或三维重建处理，则将导致处理结果不精确且不鲁棒，因此生成具备时域一致性的DVS事件图序列是目前亟待解决的问题。发明内容[0008]为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：[0009]本发明的一个实施例提供了一种动态视觉传感器DVS事件处理的方法，包括：[0010]获取DVS事件图序列；[0011]针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和或旋转不变特性；[0012]根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；[0013]根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。[0014]本发明的另一个实施例提供了一种动态视觉传感器DVS事件处理的装置，包括：[0015]获取模块，用于获取DVS事件图序列；[0016]提取模块，用于针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和或旋转不变特性；[0017]确定模块，用于根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的二维空间位姿；[0018]生成模块，用于根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。[0019]本发明提供了一种动态视觉传感器DVS事件处理的方法及装置，与现有的DVS相机的成像质量相比，本发明通过获取DVS事件图序列，能够提取从任一DVS事件图中提取到具有尺度不变特性和或旋转不变特性的DVS事件特征描述子，并能够确定当前时刻DVS事件图的三维空间位姿，并生成具备时域一致性的DVS事件图序列，即能够提取到具备尺度不变特性和或旋转不变特性的DVS事件特征描述子，并能够对不同时刻的DVS事件图之间的对应关系进行有效估计，从而可以确保生成事件图的时域一致性，进而可以在对进行后续的姿态识别处理或三维重建处理，提高处理结果的精确度，并且使处理结果具备鲁棒性。[0020]本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明[0021]本发明上述的和或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：[0022]图1为本发明实施例的一种动态视觉传感器DVS事件处理的方法流程图；[0023]图2为本发明实施例的另一种动态视觉传感器DVS事件处理的方法流程图；[0024]图3为DVS事件图在8方向中各个方向上的距离图；[0025]图4为时域一致性的DVS事件图；[0026]图5为本发明实施例的一种动态视觉传感器DVS事件处理的装置结构示意图。具体实施方式[0027]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。[0028]本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。[0029]本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语包括技术术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。[0030]本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCSPersonalCommunicationsService，个人通信系统），其可以组合语音、数据处理、传真和或数据通信能力;PDAPersonalDigitalAssistant，个人数字助理），其可以包括射频接收器、寻呼机、互联网内联网访问、网络浏览器、记事本、日历和或GPSGlobalPositioningSystem，全球定位系统接收器;常规膝上型和或掌上型计算机或其他设备，其具有和或包括射频接收器的常规膝上型和或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具航空、海运和或陆地）中的，或者适合于和或配置为在本地运行，和或以分布形式，运行在地球和或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐视频播放终端，例如可以是PDA、MIDMobileInternetDevice，移动互联网设备和或具有音乐视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。[0031]实施例1[0032]本发明实施例提供了一种动态视觉传感器DVS事件处理的方法，如图1所示，该方法包括：[0033]步骤101、获取DVS事件图序列。[0034]步骤102、针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。[0035]其中，DVS事件特征描述子具有尺度不变特性和或旋转不变特性。[0036]对于本发明实施例，DVS事件图具有尺度不变特性和或旋转不变特性指的是针对某物体提取的DVS事件特征描述子，当DVS相机和该物体之间的拍摄距离和或拍摄角度发生变化时，具有能够保持不变的特性。[0037]步骤103、根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。[0038]步骤104、根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。[0039]本发明实施例提供了一种动态视觉传感器DVS事件处理的方法，与现有的DVS相机的成像质量相比，本发明实施例通过获取DVS事件图序列，能够提取从任一DVS事件图中提取到具有尺度不变特性和或旋转不变特性的DVS事件特征描述子，并能够确定当前时刻DVS事件图的三维空间位姿，并生成具备时域一致性的DVS事件图序列，即能够提取到具备尺度不变特性和或旋转不变特性的DVS事件特征描述子，并能够对不同时刻的DVS事件图之间的对应关系进行有效估计，从而可以确保生成事件图的时域一致性，进而可以在对进行后续的姿态识别处理或三维重建处理，提高处理结果的精确度，并且使处理结果具备鲁棒性。[0040]实施例2[0041]其中，如图1所示的步骤为针对单目视频，生成具备时域一致性的DVS事件图序列。优选地，针对双目视频，生成具备时域一致性的DVS事件图序列，具体包括如图2所示，其中，步骤101、获取DVS事件图序列，包括如图2所示的步骤201、步骤102、针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，包括如图2所示的步骤202,步骤203-204所示的操作与步骤103-104所示的操作相似，在此不再赘述。[0042]步骤201、获取双目DVS事件图序列。[0043]其中，双目DVS事件图序列包括左目DVS事件图序列以及右目DVS事件图序列。[0044]步骤202、针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。[0045]对于本发明实施例，任一目DVS事件图可以为左目DVS事件图序列，也可以为右目DVS事件图序列。在本发明实施例中不做限定。在本发明实施例中，一个DVS事件图序列包含若干个DVS事件图，每个DVS事件图分别对应一帧图像。[0046]实施例3[0047]本发明实施例的另一种可能的实现方式，在实施例2所示的基础上，步骤203、根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，之前还包括实施例3所示的步骤303，步骤203、根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，具体包括实施例3所示的步骤304,其中，步骤201-202、204所执行的操作与步骤301-302、305所执行的操作相似，在此不再赘述。[0048]步骤303、针对任一目DVS事件图序列中的任一DVS事件图，根据DVS事件特征描述子，确定每一事件分别对应的深度值。[0049]步骤304、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。[0050]实施例4[0051]本发明实施例的另一种可能的实现方式，在实施例3所示的基础上，步骤304、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，包括实施例4所示的步骤404-405,其中步骤301-303、305所执行的操作与步骤401-403、406所执行的操作相似，在此不再赘述。[0052]步骤404、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，将当前时刻DVS事件图和所对应的DVS事件图序列中的关键帧进行匹配。[0053]其中，上述步骤404中的关键帧指的是关键的DVS事件图。[0054]步骤405、根据匹配结果确定当前时刻DVS事件图的三维空间位姿。[0055]实施例5[0056]本发明实施例的另一种可能的实现方式，在实施例4所示的基础上，步骤405、根据匹配结果确定当前时刻DVS事件图的三维空间位姿，之后还包括实施例5所示的步骤506,步骤406、根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列，包括实施例5所示的步骤507,其中步骤401-405所执行的操作与步骤501-505所执行的操作相似，在此不再赘述。[0057]步骤506、调整当前时刻DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值。[0058]步骤507、根据调整后的各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。[0059]实施例6[0060]本发明实施例的另一种可能的实现方式，在实施例2所示的基础上，步骤202、针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，包括实施例6所示的步骤602-603,其中步骤201、203-204，所执行的操作与步骤601、604-605所执行的操作相似，在此不再赘述。[0061]步骤602、针对任一目DVS事件图序列中的任一DVS事件图，创建视觉金字塔。[0062]其中，视觉金字塔的层数为第一预设值，视觉金字塔的任意相邻两层之间的下采样系数为第二预设值。[0063]对于本发明实施例，可以将视觉金字塔的层数设为8,并且将金字塔中任意相邻两层之间的下采样系数设为0.5,可以获得DVS图像的最佳尺度不变性，从而可以得到DVS事件间更好地对应关系。[0064]步骤603、根据视觉金字塔，获取尺度不变的DVS事件特征描述子。[0065]实施例7[0066]本发明实施例的另一种可能的实现方式，在实施例6所示的基础上，步骤603、根据视觉金字塔，获取尺度不变的DVS事件特征描述子，包括如实施例7所示的步骤703-705，其中步骤601-602、604-605所执行的操作与步骤701-702、706-707所执行的操作相似，在此不再赘述。[0067]步骤703、分别确定视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图。[0068]步骤704、根据任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向。[0069]步骤705、根据任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取DVS事件特征描述子。[0070]实施例8[0071]本发明实施例的另一种可能的实现方式，在实施例7所示的基础上，步骤703、分别确定视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图，包括实施例8所示的步骤803,步骤704、根据任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向，包括实施例8所示的步骤804-805,步骤705、根据任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取DVS事件特征描述子，包括实施例8所示的步骤806-809,其中步骤701-702、706-707所执行的操作与步骤801-802、810-811所执行的操作相同，在此不再赘述。[0072]步骤803、根据任一层中每个事件在预置方向上到最近事件的欧式距离以及该每个事件分别对应的属性，分别确定任一层中每个事件在8方向中的各个方向上对应的距离图。[0073]其中，每个事件对应的属性包括:非事件、负极性事件以及正极性事件。[0074]对于本发明实施例，DVS相机产生的图像具有一定的特点:事件通常出现在场景中物体的轮廓周围，反应了对象的结构信息。在本发明实施例中，通过计算每个事件到给定方向上其他事件的距离来描述当前事件的特征。[0075]具体的，确定任一层中每个事件在8方向中的各个方向上对应的距离图，如图3所不。[0076]对于本发明实施例，通过公式ί角定尺度为s的层中每个事件在8方向中各个方向上对应的距离图。[0077]其中为尺度s的层中事件（u，v在r方向上到最近事件的欧氏距离，表征在非事件、负极性事件以及正极性事件处分别等于〇、1、2。[0078]步骤804、针对任一层中每个事件，确定邻域中每个DVS事件到当前事件的方向和欧式距离，以及当前事件的邻域中的DVS事件的个数。[0079]其中，当前事件为当前正在处理的事件。[0080]步骤805、根据确定出的方向、欧式距离和DVS事件的个数，确定当前事件运动的主方向。[0081]对于本发明实施例，根据公式[0083]，确定当前事件运动的主方向。[0084]其中，Neighborp为事件p的领域，！NeighborpI为事件p的领域内包含事件的个数分别为事件P以及q分别在u，v和t方向上的欧式距离。[0085]对于本发明实施例，可以将领域在u，v和t方向上的大小分别设为80像素，80像素，5帧获得特征描述子的最佳旋转不变性。[0086]步骤806、对当前DVS事件图中的每个事件在视觉金字塔任一尺度的DVS事件图层中8方向的各个方向上对应的距离图进行事件采样，并确定各个采样事件的位置。[0087]对于本发明实施例，对当前DVS事件图中的每个事件在视觉金字塔任一尺度的DVS事件图层中8方向的各个方向上对应的距离图进行事件采样，并确定各个采样事件的位置，其中，采样事件的位置记为[0088]其中，s表示DVS事件图层的尺度，r表示采样事件所对应的距离图的方向。[0089]步骤807、以各个采样事件为中心，将预置像素大小的图像块进行旋转并对齐至该层尺度该方向中该采样事件DVS事件图中所有DVS事件运动的主方向上，得到各层在各个方向上的图像块。[0090]对于本发明实施例，在每个方向对应的距离图中，将以为中心，21像素大小的图像块进行旋转并对齐到上。[0091]步骤808、将预置宽度的高斯核分别对图像块进行卷积，得到在各层各个方向上的一维特征向量。[0092]对于本发明实施例，可以宽度为21的高斯核对旋转后的图像块进行卷积操作，并对得到的图像块进行优先操作得到一维特征向量，记为[0093]步骤809、根据一维特征向量，提取DVS事件特征描述子。[0094]对于本发明实施例，将各层各个方向上的一维特征向量罗列起来组成事件p最终的特征描述子。[0095]其中，事件p最终的特征描述子为[0096][0097]实施例9[0098]本发明实施例的另一种可能的实现方式，实施例3所示的基础上，步骤303、针对任一目DVS事件图序列中的任一DVS事件图，根据DVS事件特征描述子，确定每一事件分别对应的深度值，包括实施例9所示的步骤903-905,其中步骤301-302、304-305所示的操作与步骤901-902、906-907所执行的操作相似，在此不再赘述。[0099]步骤903、针对任一目DVS事件图序列中的任一DVS事件图中的每一事件，根据以当前事件为中心，预置像素大小的图像块中的任一事件的DVS事件特征描述子，确定任一事件在当前时刻的双目DVS事件图的特征匹配代价。[0100]其中，预置像素大小的图像块可以为1〇像素大小的图像块。[0101]步骤904、根据确定出的特征匹配代价，确定当前事件的视差。[0102]对于本发明实施例，若当前事件为左目DVS事件图中的事件，则根据公式_计算当前事件的特征匹配代价。[0103]其中，W表示以左目DVS事件图中以事件p为中心，预置像素大小的图像块，F1q表示左目事件图中事件对应的尺度和或旋转不变的DVS事件特征描述子，Frqd表示右目DVS事件图中事件qd=Uq-d，Vq对应的尺度和或旋转不变的特征描述子，或者，[0104]若当前事件为右目DVS事件图中的事件，则根据公式计算当前事件的特征匹配代价。[0105]其中，W表示以右目DVS事件图中以事件p为中心，预置像素大小的图像块，Frq表示右目事件图中事件q=uq，vq对应的尺度和或旋转不变的DVS事件特征描述子表示左目DVS事件图中事件对应的尺度和或旋转不变的特征描述子，[0106]对于本发明实施例，根据公式’确定当前事件对应的视差值。[0107]其中，当的最小值作为当前事件对应的视差值，W表示左目事件图中以P为中心，预置像素大小的图像块。例如可以为[0108]其中，预置大小的图像块为10像素大小的图像块。[0109]步骤905、根据当前事件的视差，确定当前事件对应的深度值。[0110]对干本发明实施例，若当前車件为左目DVS事件图中的事件，则根据公式确定当前事件对应的深度值。[0111]其中，Depthp为当前事件对应的深度值，Baseline为左右两目DVS之间的基线距离‘'为左目DVS在u方向的焦距，这两个值均通过事先标定得到。[0112]对干本发明实施例，若当前車件为右目DVS事件图中的事件，则根据公式确定当前事件对应的深度值。[0113]其中，Depthp为当前事件对应的深度值，Baseline为左右两目DVS之间的基线距离‘'为右目DVS在u方向的焦距，这两个值均通过事先标定得到。[0114]实施例10[0115]本发明实施例的另一种可能的实现方式，在实施例3所示的基础上，步骤304、针对任一目DVS事件图序列中的任一DVS事件图，根据每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿，包括实施例10所示的步骤1004-1006,其中步骤301-303、305所执行的操作与步骤1001-1003、1007所执行的操作相似，在此不再赘述。[0116]步骤1004、根据提取的DVS事件特征描述子，建立不同时刻DVS事件图之间的对应关系。[0117]对于本发明实施例，根据提取的DVS事件特征描述子，建立左目DVS相机或者右目DVS相机在不同时刻事件图之间的对应关系。[0118]步骤1005、根据不同时刻DVS事件图之间的对应关系，以及每一DVS事件分别对应的深度值，确定不同时刻DVS事件图之间的三维空间相对运动矩阵。[0119]步骤1006、根据不同时刻DVS事件图之间的三维空间相对运动矩阵，以及上个时刻对应的DVS事件图的三维空间位姿，确定当前时刻DVS事件图的三维空间位姿。[0120]其中，上个时刻对应的DVS事件图的三维空间位姿为预先获取的。[0121]实施例11[0122]本发明实施例的另一种可能的实现方式，在实施例5所示的基础上，步骤506、调整当前时刻DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值，包括实施例11所示的步骤1106-1111，其中步骤501-505、507所执行的操作与步骤1101-1105、1112所执行的操作相似，在此不再赘述。[0123]步骤1106、创建关键帧图。[0124]其中，关键帧图中每个关键帧分别表征不同时刻的DVS事件图。[0125]对于本发明实施例，可以针对当前场景构建了一个关键帧图，该关键帧图中第i个关键帧由Ii表示，代表了某一时刻的DVS事件图。[0126]步骤1107、确定当前时刻DVS事件图中每个事件与关键帧图的关键帧中每个事件之间的对应关系。[0127]对于本发明实施例，该关键帧图的第一个节点被初始化为左目DVS事件序列的第一个事件图或者右目DVS事件序列的第一个事件图。在本发明实施例中，左目DVS事件图或者右目DVS事件图的三维位姿被初始化为坐标系原点，当输入新DVS事件图时，在已提取DVS事件特征描述子的基础上，首先以暴力搜索的方式建立新DVS事件图和关键帧图中最后一个关键帧之间的DVS事件对应关系。[0128]步骤1108、从当前时刻DVS事件图中每个事件与关键帧图的关键帧中每个事件之间的对应关系中随机选取预置个数的DVS事件对。[0129]对于本发明实施例，预置个数的DVS事件对可以为3个DVS事件对。[0130]步骤1109、根据预置运动模型，计算DVS事件对中两个DVS事件图之间的相对运动，并确定符合相对运动的DVS事件对。[0131]对于本发明实施例，利用随机抽样一致性算法（英文全称：Randomsampleconsensus，英文缩写:RANSAC从上述当前DVS事件图中每个事件与关键帧图之间DVS事件图中每个事件的对应关系中，选取符合6自由度相对运动模型且数量尽可能多的子样本集。[0132]步骤1110、当符合相对运动的DVS事件对的个数大于预置阈值时，计算当前时刻DVS事件图与关键帧图之间的三维空间相对运动矩阵。[0133]对于本发明实施例，预置阈值可以为60、70、80。在本发明实施例中不做限定。[0134]对于本发明实施例，当符合预置运动模型的DVS事件对大于预置阈值时，对找到的事件对用最小二乘法计算出当前时刻DVS事件图与关键帧图之间的三维空间相对运动矩阵。[0135]步骤1111、根据计算出的三维空间相对运动矩阵，调整当前时刻DVS事件图以及关键帧图中关键帧的三维空间位姿，以使得DVS事件图在匹配过程中所产生的累积误差小于预置值。[0136]对于本发明实施例，在算出相对运动信息的基础上，通过以下两个条件来判断当前时刻DVS事件图是否应当被加入到关键帧图中。其中所述两个条件包括：[0137]1该事件图中事件的数量超过500;[0138]⑵该事件图到关键帧图中最后一个关键帧之间的距离超过10_。[0139]对于本发明实施例，当一个新的关键帧被加入到关键帧图中时，该关键帧图需要同时加入两条边，一条边连接最新的和倒数第二新的关键帧，另一条边连接最新的关键帧和之前随机选取的一个关键帧，通过优化以下公式来对关键帧图中所有节点的三维空间位姿进行捆绑调整，目的是保持DVS事件图三维空间位姿的全局一致性并降低DVS事件图匹配过程中产生的累积误差。[0140]具体地，根据公式调整DVS事件图在当前时刻的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值。[0141]其中，N表示关键帧图中的节点数量，E表示关键帧图中的边组成的集合，II.Ilh为胡伯范数为第i，j个关键帧的三维空间位姿和他们之间相对运动的不一致所产生的误差，Ti为i时刻DVS事件图的三维空间位姿，Tj为j时刻DVS事件图的三维空间位姿，Tij为i时刻DVS事件图与j时刻DVS事件图之间的三维空间相对运动矩阵。[0142]对于本发明实施例，上述DVS事件图在匹配过程中产生的累积误差小于预置值中的预置值可以为0.01、〇.001。在本发明实施例中不做限定。[0143]实施例12[0144]本发明实施例的另一种可能的实现方式，在实施例11所示的基础上，步骤1112、根据调整后的各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列，包括实施例12所示的步骤1212,其中，步骤1101-1111所执行的操作与步骤1201-1211所执行的操作相似，在此不再赘述。[0145]步骤1212、将关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具备时域一致性的DVS事件图序列。[0146]对于本发明实施例，通过将关键帧图中的所有关键帧上的事件投影至当前时刻的DVS事件图中，进行聚合，以生成时域一致性的DVS事件图。[0147]实施例13[0148]本发明实施例的另一种可能的实现方式，在实施例12所示的基础上，步骤1212、将关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具备时域一致性的DVS事件图序列，包括实施例13所示的步骤1312，其中步骤1201-1211所执行的操作与步骤1301-1311所执行的操作相似，在此不再赘述。[0149]步骤1312、根据关键帧中每个事件按照当前时刻DVS事件图的三维空间位姿以及关键帧的三维空间位姿、DVS敏感器在水平以及垂直方向上的焦距和光心，将所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具有时域一致性的DVS事件图序列。[0150]对于本发明实施例，以关键帧图中的第i个关键帧为例，其中，若事件u，v，d为左目DVS事件图中的事件，事件u，v，d投影到当前事件图中的过程可用以下公式来表示：[0151][0152]其中，[0154]Uc，Vc，dc为事件u，v，d投影到当前时刻事件图上的二维坐标以及深度值，Tc以及Ti分别为DVS事件图在当前时刻的三维空间位姿以及第i个关键帧的三维空间位姿，分别代表左目DVS敏感器在水平以及垂直方向上的焦距，分别代表左目DVS敏感器在水平以及垂直方向上的光心，这四个值均通过预先设置。[0155]对于本发明实施例，生成具有时域一致性的DVS事件图序列可以如图4所示。[0156]对于本发明实施例，以关键帧图中的第i个关键帧为例，其中，若事件u，v，d为右目DVS事件图中的事件，事件u，v，d投影到当前事件图中的过程可用以下公式来表示：[0157][0158]其中，[0160]Uc，vc，dc为事件u，v，d投影到当前时刻事件图上的二维坐标以及深度值，Tc以及Ti分别为DVS事件图在当前时刻的三维空间位姿以及第i个关键帧的三维空间位姿，分别代表右目DVS敏感器在水平以及垂直方向上的焦距，分别代表右目DVS敏感器在水平以及垂直方向上的光心，这四个值均通过预先设置。[0161]实施例14[0162]本发明实施例的另一种可能的实现方式，在实施例13所示的基础上，步骤1312、根据关键帧中每个事件按照当前时刻DVS事件图的三维空间位姿以及关键帧的三维空间位姿、DVS敏感器在水平以及垂直方向上的焦距和光心，将所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具有时域一致性的DVS事件图序列，之前还包括实施例14所示的步骤1412,其中步骤1301-1312所执行的操作与步骤1401-1411、1413所执行的操作相似，在此不再赘述。[0163]步骤1412、预先标定DVS敏感器在水平以及垂直方向上的焦距和光心的数值。[0164]本发明实施例提供了一种动态视觉传感器DVS事件处理的装置，如图5所示，该装置包括:获取模块1501、提取模块1502、确定模块1503、生成模块1504，其中，[0165]获取模块1501，用于获取DVS事件图序列。[0166]提取模块1502,用于针对DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。[0167]其中，DVS事件特征描述子具有尺度不变特性和或旋转不变特性。[0168]确定模块1503,用于根据提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。[0169]生成模块1504,用于根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。[0170]本发明实施例提供了一种动态视觉传感器DVS事件处理的装置，与现有的DVS相机的成像质量相比，本发明实施例通过获取DVS事件图序列，能够提取从任一DVS事件图中提取到具有尺度不变特性和或旋转不变特性的DVS事件特征描述子，并能够确定当前时刻DVS事件图的三维空间位姿，并生成具备时域一致性的DVS事件图序列，即能够提取到具备尺度不变特性和或旋转不变特性的DVS事件特征描述子，并能够对不同时刻的DVS事件图之间的对应关系进行有效估计，从而可以确保生成事件图的时域一致性，进而可以在对进行后续的姿态识别处理或三维重建处理，提高处理结果的精确度，并且使处理结果具备鲁棒性。[0171]本发明实施例提供的动态视觉传感器DVS事件处理的装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的动态视觉传感器DVS事件处理的装置及装置可以适用于将DVS事件图生成为时域一致性的DVS事件图，但不仅限于此。[0172]本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备例如，计算机可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘包括软盘、硬盘、光盘、CD-ROM、和磁光盘）、ROMRead-OnlyMemory，只读存储器）、RAMRandomAccessMemory，随即存储器）、EPR0MErasableProgrammableRead-OnlyMemory，可擦写可编程只读存储器）、EEPROIVKElect;ricallyErasableProgrammableRead-OnlyMemory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备例如，计算机）以能够读的形式存储或传输信息的任何介质。[0173]本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和或框图和或流图中的每个框以及这些结构图和或框图和或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和或框图和或流图的框或多个框中指定的方案。[0174]本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。[0175]以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

权利要求：1.一种动态视觉传感器DVS事件处理的方法，其特征在于，所述方法包括：获取DVS事件图序列；针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和或旋转不变特性；根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。2.根据权利要求1所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述获取DVS事件图序列，包括：获取双目DVS事件图序列；针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，具体包括：针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子。3.根据权利要求2所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿的步骤之前，还包括：针对任一目DVS事件图序列中的任一DVS事件图，根据所述DVS事件特征描述子，确定每一事件分别对应的深度值；其中，所述根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿的步骤，包括：针对任一目DVS事件图序列中的任一DVS事件图，根据所述每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿。4.根据权利要求3所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据所述每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿的步骤，包括：根据所述每一事件分别对应的深度值、提取的DVS事件特征描述子，将当前时刻DVS事件图和所对应的DVS事件图序列中的关键帧进行匹配；根据匹配结果确定当前时刻DVS事件图的三维空间位姿。5.根据权利要求4所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据匹配结果确定当前时刻DVS事件图的三维空间位姿的步骤之后，还包括：调整当前时刻DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值；其中，所述根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列的步骤，包括：根据调整后的各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。6.根据权利要求2-5任一项所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述针对任一目DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子的步骤，包括：针对任一目DVS事件图序列中的任一DVS事件图，创建视觉金字塔，所述视觉金字塔的层数为第一预设值，所述视觉金字塔的任意相邻两层之间的下采样系数为第二预设值；根据所述视觉金字塔，获取尺度不变的DVS事件特征描述子。7.根据权利要求6所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据所述视觉金字塔，获取尺度不变的DVS事件特征描述子的步骤，包括：分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图；根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向；根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取所述DVS事件特征描述子。8.根据权利要求7所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述分别确定所述视觉金字塔的任一层中每个事件在8方向中的各个方向上对应的距离图的步骤，包括：根据所述任一层中每个事件在预置方向上到最近事件的欧式距离以及该每个事件分别对应的属性，分别确定所述任一层中每个事件在8方向中的各个方向上对应的距离图；其中，所述每个事件对应的属性包括:非事件、负极性事件以及正极性事件；其中，根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，确定该层中每个事件运动的主方向的步骤，包括：针对所述任一层中每个事件，确定邻域中每个DVS事件到当前事件的方向和欧式距离，以及当前事件的邻域中的DVS事件的个数；根据确定出的方向、欧式距离和DVS事件的个数，确定当前事件运动的主方向；其中，根据所述任一层中每个事件在8方向中的各个方向上对应的距离图，以及该层中每个事件运动的主方向，提取所述DVS事件特征描述子的步骤，包括：对当前DVS事件图中的每个事件在所述视觉金字塔任一层中8方向的各个方向上对应的距离图进行事件采样，确定各个采样事件的位置；以各个采样事件为中心，将预置像素大小的图像块进行旋转并对齐至该层该方向中该采样事件的主方向上，得到各层各个方向上的图像块；将预置宽度的高斯核分别对所述图像块进行卷积，得到在各层各个方向上的一维特征向量；根据所述一维特征向量，提取所述DVS事件特征描述子。9.根据权利要求3所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述针对任一目DVS事件图序列中的任一DVS事件图，根据所述DVS事件特征描述子，确定每一事件分别对应的深度值的步骤，包括：针对任一目DVS事件图序列中的任一DVS事件图中的每一事件，根据以当前事件为中心，预置像素大小的图像块中的任一事件的DVS事件特征描述子，确定所述任一事件在当前时刻的双目DVS事件图的特征匹配代价；根据确定出的特征匹配代价，确定所述当前事件的视差；根据所述当前事件的视差，确定所述当前事件对应的深度值。10.根据权利要求3所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述针对任一目DVS事件图序列中的任一DVS事件图，根据所述每一事件分别对应的深度值、提取的DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿的步骤，包括：根据所述提取的DVS事件特征描述子，建立不同时刻DVS事件图之间的对应关系；根据所述不同时刻DVS事件图之间的对应关系，以及所述每一DVS事件分别对应的深度值，确定不同时刻DVS事件图之间的三维空间相对运动矩阵；根据所述不同时刻DVS事件图之间的三维空间相对运动矩阵，以及上个时刻对应的DVS事件图的三维空间位姿，确定当前时刻DVS事件图的三维空间位姿。11.根据权利要求5所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述调整当前时刻DVS事件图的三维空间位姿，以使得DVS事件图在匹配过程中产生的累积误差小于预置值的步骤，包括：创建关键帧图，其中所述关键帧图中每个关键帧分别表征不同时刻的DVS事件图；确定当前时刻DVS事件图中每个事件与所述关键帧图的关键帧中每个事件之间的对应关系；从当前时刻DVS事件图中每个事件与所述关键帧图的关键帧中每个事件之间的对应关系中随机选取预置个数的DVS事件对；根据预置运动模型，计算所述DVS事件对中两个DVS事件图之间的相对运动，并确定符合所述相对运动的DVS事件对；当符合所述相对运动的DVS事件对的个数大于预置阈值时，计算所述当前时刻DVS事件图与所述关键帧图之间的三维空间相对运动矩阵；根据计算出的所述三维空间相对运动矩阵，调整所述当前时刻DVS事件图以及所述关键帧图中关键帧的三维空间位姿，以使得DVS事件图在匹配过程中所产生的累积误差小于预置值。12.根据权利要求11所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述根据调整后的各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列的步骤，包括：将所述关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具备时域一致性的DVS事件图序列。13.根据权利要求12所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述将所述关键帧图中，所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具备时域一致性的DVS事件图序列的步骤，包括：根据所述关键帧中每个事件按照当前时刻DVS事件图的三维空间位姿以及所述关键帧的三维空间位姿、DVS敏感器在水平以及垂直方向上的焦距和光心，将所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具有时域一致性的DVS事件图序列。14.根据权利要求13所述的动态视觉传感器DVS事件处理的方法，其特征在于，所述将所有关键帧上的每个DVS事件投影至当前时刻DVS事件图，生成具有时域一致性的DVS事件图序列的步骤之前，还包括：预先标定DVS敏感器在水平以及垂直方向上的焦距和光心的数值。15.—种动态视觉传感器DVS事件处理的装置，其特征在于，所述装置包括：获取模块，用于获取DVS事件图序列；提取模块，用于针对所述DVS事件图序列中的任一DVS事件图，提取DVS事件特征描述子，所述DVS事件特征描述子具有尺度不变特性和或旋转不变特性；确定模块，用于根据提取的所述DVS事件特征描述子，确定当前时刻DVS事件图的三维空间位姿；生成模块，用于根据各DVS事件图的三维空间位姿，生成具备时域一致性的DVS事件图序列。

百度查询： 北京三星通信技术研究有限公司;三星电子株式会社 动态视觉传感器DVS事件处理的方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD