申请/专利权人：中国科学技术大学

申请日：2022-06-07

公开（公告）日：2024-04-02

公开（公告）号：CN115035597B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/44;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.09.30#实质审查的生效;2022.09.09#公开

摘要：本发明公开了一种基于事件相机的变光照动作识别方法，其步骤包括：1、对拍摄得到的事件数据进行预处理得到事件帧序列；2、构建事件帧去噪增强模块对事件帧进行噪声过滤以及对比度增强，输出经过修复的事件帧；3、基于局部‑‑全局演化感知模块，在特征层面对事件帧进行边缘相关性加强；4、设计中央差分卷积并引入密度估计核，提取强度一致的鲁棒特征；5、基于提取特征，输出对应概率最大的类别标签。本发明通过两阶段模型能有效提升识别精度，且无需调整参数即可适用于其他光照场景，从而优化了变光照场景的泛化性能。

主权项：1.一种基于事件相机的变光照动作识别方法，其特征在于，是按如下步骤进行：步骤1获取训练事件序列，并对序列进行预处理构成事件帧；步骤1.1利用事件相机拍摄运动对象并得到事件序列其中，ek表示第k个事件，且ek＝pkδt-tk，x-xk，y-yk，其中，pk代表第k个事件ek的极性，pk∈{-1，1}；tk代表第k个事件ek的发生时刻；xk和yk分别表示第k个事件ek发生的空间坐标；N表示事件总数；t，x，y表示时空投影坐标；δ为示性函数；步骤1.2根据事件的极性和时空坐标统计事件数量，从而得到事件帧E∈R2×H×W，其中，第i个事件帧xi，yi为第i个事件帧的空间投影坐标，pi为第i个事件帧的极性；H，W分别表示事件帧的高和宽；步骤2构建两阶段的事件识别网络，包括：噪声抑制子网络和特征提取网络；步骤2.1所述噪声抑制子网络由a层Inception模块构成，每个Inception模块由并行的b个卷积层组成，且每个卷积层的卷积核大小不同，将每个卷积层的卷积结果在通道上拼接后作为每个Inception模块的输出；所述事件帧Ex，y，p输入所述噪声抑制子网络中进行处理，并输出与输入同维度的去噪和对比度增强掩码S，再利用式1获得增强后的事件帧 步骤2.2构建所述特征提取网络，包括：方向感知模块、l层串联的密度自适应中央差分卷积模块和最后的全连接层；步骤2.2.1所述方向感知模块由方向卷积层、全局池化层和高斯融合模块组成；步骤2.2.1.1所述方向卷积层包含d个卷积核，且任意第j个卷积核Wj对应一个选定的方向，所述卷积核Wj的中心值为1，其对应方向值为-1；所述方向卷积层利用式2获得第j个方邻域向梯度图 步骤2.2.1.2所述全局池化层利用式3对第j个方向梯度图进行处理，获得相应全局演化信息Zj： 式3中，GAP表示全局池化操作；步骤2.2.1.3所述高斯融合模块利用式4对第j个全局演化信息Zj进行归一化处理，得到对应归一化演化信息σj： 式4中，softmax表示激活函数；步骤2.2.1.4所述高斯融合模块利用式5对第j个方向梯度图进行梯度域的边缘修复，得到第j个重加权后的梯度图 步骤2.2.1.5所述方向感知模块利用式6对所有重加权后的梯度图进行处理，得到边缘修复的事件帧 式6中，βj为加权第j个方向梯度图的系数；步骤2.2.2所述密度自适应中央差分卷积模块对事件信息进行事件特征的抽取并通过全连接层输出最终的类别信息；步骤2.2.2.1密度自适应的中央差分卷积模块利用式7对事件信息进行二值化处理，得到掩码，再利用式8对所述掩码进行池化处理，得到局部事件密度信息； 式7和式8中，T为设定阈值，p0为事件帧任一像素点的空间位置，R表示p0的邻域，pn为邻域R中第n个像素点的空间位置相对p0的偏移，|R|代表邻域的面积；M·为掩码；为边缘修复事件帧；θ·为局部事件密度；步骤2.2.2.2所述密度自适应的中央差分卷积模块利用式9获得事件帧最终的特征响应f： 式9中，w为中央差分卷积模块中的卷积核；G为平衡参数，且G∈[0，1]；步骤2.2.2.4所述全连接层对所述特征响应f进行处理，并输出类别预测概率c∈RT，T为类别数，并取c中最大值所对应类别为模型的预测类别；步骤3构建损失函数；步骤3.1构建噪声抑制子网络的自监督损失函数，包括：噪声抑制损失LN、增强损失LE和一致性损失LC；利用式12和式13构建所述噪声抑制损失LN： 式12和式13中，p表示小于均值的像素点所形成的噪点的空间位置，P表示该空间位置的集合；表示增强事件帧，Λ为空间位置p的空间邻域，p′n为邻域Λ中第n个像素点的空间位置相对p的偏移，Mean表示均值操作；利用式14和式15构建所述增强损失LE： 式14和式15中，A表示对增强事件帧进行局部池化后的增强事件帧信息，AvgPool·为池化函数；利用式16构建所述一致性损失LC：LC＝MeanSp-MeanSn216式16中，Sp表示去噪增强掩码S的正极性通道，Sn表示去噪增强掩码S的负极性通道；步骤3.1.4利用式17构建所述噪声抑制子网络的自监督损失函数L1：L1＝LN+λ1LE+λ2LC17式17中，λ1，λ2为平衡系数；步骤3.2利用式18构建所述特征网络的交叉熵损失函数L2： 式18中，ci代表第i类别的预测概率，qi为输入事件序列属于第i类别的真实概率，T为类别数；步骤4模型训练：利用梯度下降法对所述噪声抑制子网络络进行训练，并计算所述自监督损失函数L1，当训练迭代达到设定的次数或自监督损失小于阈值时，停止训练噪声抑制子网络，并固定训练后的噪声抑制子网络的参数，再对所述特征增强网络进行训练，同时计算交叉熵损失函数L2，当训练迭代达到设定的次数或交叉熵损失小于阈值时，停止训练，从而得到训练后的特征增强网络，并完成事件识别网络的训练，用于对任意光照强度下拍摄的事件进行分类识别。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于事件相机的变光照动作识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD