申请/专利权人：松立控股集团股份有限公司

申请日：2022-06-27

公开（公告）日：2022-09-20

公开（公告）号：CN114821449B

主分类号：G06V20/40

分类号：G06V20/40;G06V20/62;G06V10/40;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2022.09.20#授权;2022.08.16#实质审查的生效;2022.07.29#公开

摘要：本发明属于图像处理技术领域，涉及一种基于注意力机制的车牌图像处理方法，通过使用不同大小的卷积核扩大感受野，并使用实例规范化对特征进行处理，在不受批处理大小影响的情况下重新校准图像特征的均值和方差；在不同阶段之间设计了跨阶段注意力模块，将前后两个阶段的多尺度残差特征融合，能够弥补特征在传输时的损失，同时能够放大更有价值的图像特征，使网络在训练过程中逐渐关注有利于去模糊的特征信息，同时阶段内使用局部注意力机制，辅助网络学习去模糊，改进了能量损失函数，提升网络模型的整体训练效果，在重建清晰的车牌图像方面取得了较好的效果。

主权项：1.一种基于注意力机制的车牌图像处理方法，其特征在于，具体过程为：（1）利用相机设备获取车辆行驶和停止状态下包含车辆牌照信息的视频；（2）按照预设的时间间隔从视频中抽取包含车牌信息的图像子序列，对图片子序列进行特征提取得到的特征维度，其中B是批次维度，表示训练时的批次大小；T为时间维度，表示每个视频选取的序列间隔的数量；C为特征通道数量；W为特征在空间上的宽度；H为特征在空间上的高度，组成基于增强多尺度特征和注意力的车牌图像去模糊方法所需的数据集；（3）构建增强多尺度特征和注意力的车牌图像去模糊网络，利用增强多尺度特征模块提取车牌图像的特征信息，并通过注意力机制放大车牌信息特征的权重，具体为：将步骤（2）得到的特征维度作为网络模型的输入，采用加入增强多尺度特征提取模块的多阶段卷积神经网络模型作为学习器，学习用于图像去模糊的模糊核，具体包括如下操作：（31）将特征维度F重新排列为（32）对于输入特征，采用包含不同大小卷积核的多尺度特征提取模块，充分提取图像的空间特征，保留更多的图像细节信息；其中，增强的多尺度特征提取模块由个多尺度残差块构成，先对于输入的图像特征Fin，经过一个3×3的卷积对特征图像进行处理，然后分别输入到一个3×3的卷积和一个5×5的卷积生成中间特征图Fmid1和Fmid2，再将Fmid1分为两部分Fmid11和Fmid12，对Fmid11使用实例规范化对其进行规范，然后将得到的Fmid11和Fmid12进行拼接，最后在经过卷积层和激活层后，与来自Fin的特征进行像素级的相加；（33）将所有多尺度残差块的输出相加，得到增强多尺度特征提取模块的输出特征 ；（34）将输入注意力模块，提取车牌图像的注意力特征图，为提高恢复效果，整个网络由两个多尺度特征提取模块堆叠而成，逐步恢复清晰的车牌图像，相邻阶段间采用跨阶段注意力模块连接；所使用的跨阶段注意力模块采用局部注意力模块，对于输入到局部注意力模块的图像特征，先进行3×3的卷积和激活操作，采用的激活函数为LeakyReLU函数，然后通过池化层将图像特征H×W×C进行每个通道的像素加和求平均得到每个通道的权重参数，再使用卷积和激活层进一步对特征进行处理，最后使用Sigmoid激活函数，为每个特征通道分配相应的权重值，通过上述操作得到注意力特征图像，其中包含的低利用价值的特征信息被分配一个小的权重，对于更有价值的特征信息分配一个更大的权重，网络会逐渐关注有价值的信息；（4）训练增强多尺度特征和注意力的车牌图像去模糊网络时，将步骤（2）中所得到的数据集中，70%作为训练集，10%作为验证集，20%作为测试集；具体过程为：（41）数据增广：使用时间和空间维度的数据增广策略，在时间和空间维度上分别对图像进行数据增广，得到增广后的数据；（42）使用恢复的清晰图像与真实的清晰图像的均方误差作为损失函数： ；其中Ri为第i阶段恢复的图像，GT为真实的清晰图像，n为样本总数，λi为第i阶段的损失占比，训练中设置λ1为0.3，λ2为0.7；（43）经过设定次数迭代训练后，保存结果最好的模型参数，作为最终模型训练好的参数，得到训练好的网络模型；（5）测试基于增强多尺度特征和注意力的车牌图像去模糊方法时，直接将模糊车牌图像输入网络，利用训练好的权重参数，对模糊车牌图像进行处理，输出去模糊后的车牌图像。

全文数据：

权利要求：

百度查询： 松立控股集团股份有限公司 一种基于注意力机制的车牌图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD