申请/专利权人：江南大学

申请日：2020-12-31

公开（公告）日：2024-03-15

公开（公告）号：CN112686345B

主分类号：G06V30/244

分类号：G06V30/244;G06V30/19;G06V10/82;G06N3/0464;G06N3/0442;G06N3/045;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2021.05.07#实质审查的生效;2021.04.20#公开

摘要：本发明提供一种基于注意力机制的脱机英文手写识别方法，其可以提高对手写字符串的识别率，满足实际应用的需求。本发明技术方案中构建的脱机英文手写识别模型包括基于注意力机制的卷积神经网络和双向长短期记忆网络模型，基于注意力机制构建的卷积神经网络提取的图像特征，特征图经注意力模块后更能聚焦有用特征而非无用的手写拖拽特征，使得提取的图像特征更加关注有用信息，忽略无用信息，进而提高了图像识别的准确率。

主权项：1.一种基于注意力机制的脱机英文手写识别方法，其包括以下步骤：S1：选取书写来源不同的脱机手写单词图像，并进行预处理，添加标签，获得训练数据集；S2：构建脱机英文手写识别模型；S3：将已知标签的所述训练数据集输入到所述脱机英文手写识别模型中进行训练，获得训练好的所述脱机英文手写识别模型；S4：将待识别手写单词的图像输入到训练好的所述脱机英文手写识别模型中，获得识别结果；其特征在于：所述脱机英文手写识别模型包括：依次连接的基于卷积神经网络构建的图像特征提取模块、基于双向长短期记忆网络模型构建的序列特征提取模块、生成模块；所述图像特征提取模块直接从输入的图像中提取特征，生成特征序列，其包括：9个卷积层，4个池化层，3个注意力模块层以及2个批量标准化层；其中，将9个卷积层分成5个卷积块，前四个所述卷积块包括连续的两个卷积层，最后一个所述卷积块包括一个卷积层，每个卷积层后面都设置一个修正线性单元激活函数；前四个所述卷积块后面分别跟着一个所述池化层，前三个所述卷积块的所述池化层前面分别设置一个注意力模块层；第四个所述卷积块中，每个卷积层和修正线性单元激活函数之间设置一个批量标准化层；所述序列特征提取模块从图像特征中学习序列联系，其包括依次连接的双向长短期记忆网络模型、全连接层；所述生成模块把特征分布转化成标签序列，其包括：损失函数层；所述注意力模块层中的计算过程，详细如下所示：a1：将输入特征图F分别输入到通道注意力模块Ms和空间注意模块Mc中，并联的获取到特征图的通道注意力映射McF和空间注意力映射MsF；a2：将空间注意模块输出的特征图Fc和通道注意力模块输出的特征图Fs相加后生成了3D的注意力特征图F′；a3：将所述3D的注意力特征图F′与所述注意力模块层的所述输入特征图F的卷积结果相加得到最终的细化特征图F"'；步骤S3中，对所述脱机英文手写识别模型中进行训练时，学习率更新策略采用如下方法：lr＝base_lr*decay_rateglobal_stepdecay_steps其中：base_lr为初始化学习率，global_step为当前迭代次数，decay_rate为学习率衰减系数，decay_steps为常数；步骤a1中通道注意力映射McF的计算方法如下： 其中，和为F在全局平均池化和最大池化操作后得到的空间背景描述，MLP为由多层感知机组成的共享网络对这两个不同的空间背景进行计算；在多层感知机中，隐层神经元个数为C8，输出层单元个数为C；W0后使用了Relu作为激励函数，σ表示Sigmoid激活函数；步骤a1中空间注意力映射MsF的计算方法如下： 其中，和为F在channel维度上使用最大池化和平均池化得到两个特征描述，σ表示Sigmoid激活函数；f7*7表示7*7的卷积层；步骤a2中注意力特征图F′的计算过程如下： 步骤a3中最终的细化特征图F"'的计算过程如下：F″＝Reluf3*3FF″′＝F′+F″。

全文数据：

权利要求：

百度查询： 江南大学 一种基于注意力机制的脱机英文手写识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD