申请/专利权人：北京计算机技术及应用研究所

申请日：2020-09-24

公开（公告）日：2024-03-29

公开（公告）号：CN112132050B

主分类号：G06V30/32

分类号：G06V30/32;G06V30/19;G06V10/82;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2021.01.12#实质审查的生效;2020.12.25#公开

摘要：本发明涉及一种联机手写汉字识别算法及可视化关键笔画评估方法，属于模式识别技术领域。本发明提出一种局部自注意力机制，能够通过神经网络自身产生对应各个时刻隐含层状态的注意力权重，通过这种注意力机制能够有效地提升联机手写汉字的识别精度。本发明提出了一种可视化的联机手写汉字识别中关键笔画评估方法，通过自注意力机制生成的权重，将输入字符样本轨迹坐标中对识别起关键作用的笔画轨迹点或者轨迹段显示出来，能够更直观的评估联机手写汉字字符样本中的关键笔画，分析神经网络学习字符样本时的方式。

主权项：1.一种联机手写汉字识别算法及可视化关键笔画评估方法，其特征在于，包括：第一步、联机手写汉字识别阶段，具体流程为：1数据预处理模块接收联机手写汉字字符原始轨迹坐标序列，对坐标数据进行预处理；2基于神经网络的特征提取模块，接收数据预处理模块处理过的坐标数据，即字符样本坐标序列，经过递归神经网络的计算生成对应各个时刻的神经网络顶层状态向量，即字符样本特征；3局部自注意力模块接收基于神经网络的特征提取模块产生的状态向量，经过计算生成各时刻顶层状态向量对应的权值，并结合权值计算所有状态向量的加权和；4分类模块接收局部自注意力模块输出的结果，通过softmax分类器基于神经网络的特征提取模块提取的字符样本特征进行分类；第二步、联机手写汉字关键笔画可视化评估阶段，具体流程为：1权值二值化模块接收局部自注意力机制模块产生的权值信息，设定特定的阈值，将接收到的权值二值化；2关键笔画显示模块，是结合权值二值化模块二值化后的权重信息以及数据预处理模块处理过的字符样本轨迹坐标数据，将输入字符样本的关键笔画显示出来，对当前的输入字符样本的坐标轨迹点的重要程度做一个可视化的评估；所述数据预处理模块对坐标数据进行预处理，包括坐标归一化、坐标点下采样；所述基于神经网络的特征提取模块，是一个门控循环单元类型的递归神经网络；所述分类模块包含一个全连接层和一个softmax分类器；所述关键笔画显示模块是一个基于opencv的显示模块，将二值化权重作为一个mask，与字符样本坐标序列相乘，即将字符坐标序列中对应权重为0的坐标点擦除，并将最终的结果显示出来；所述数据预处理模块的实现方法具体包括：1对于给定的字符，字符坐标序列中所有坐标点mt,nt都归一化到[0,64]的范围之内,t＝1,2,…,T；T为整数； 2将字符的坐标序列进一步归一化，使得所有的坐标点的均值为0，即其中，和分别代表相应所有横坐标m′t和纵坐标n′t的平均值，在后续出现的所有mt和nt均表示经过预处理之后的数据；所述基于神经网络的特征提取模块的实现方法包括：对于联机手写汉字样本，原始数据其实是一系列点坐标的序列，以联机手写汉字样本的坐标点序列为系统的输入，x＝x1,x2,…,xt,…,xT，其中，xt＝mt,nt，mt和nt分别代表坐标点序列在时刻t的横坐标和纵坐标，将这些坐标点送入递归神经网络进行计算，在神经网络的顶层得到一系列的隐含层状态向量，在每个时刻，神经网络计算过程如下： 其中，表示在时刻t，第n层的隐含层状态向量，表示计算第一个隐含层的函数，表示计算第n个隐含层的函数，θ1，θn表示相应层的神经网络的参数，经过T个时刻的迭代，在神经网络的顶层产生T个隐含层状态所述局部自注意力模块的实现方法包括：计算递归神经网络顶层状态向量对应的权重向量，并求相应的加权和：1引入参数矩阵W和参数向量p，将矩阵转化为一维向量：z＝ptanhWH其中，递归神经网络顶层状态向量的维度为u，那么矩阵H是一个u×T维的矩阵，矩阵W是一个d×u维的矩阵，两个矩阵的乘积WH是一个d×T维的矩阵，向量p是一个维度为d的行向量，通过计算得到向量z，它的维度为T；2对向量z使用softmax归一化，得到对应T个时刻状态向量的权重向量a:a＝softmaxz其中，a是一个维度为T的向量，a中的T个元素分别代表T个时刻状态向量的权重；3结合权重向量a求T个时刻状态向量的加权和： 其中，aT表示向量a＝a1,a2,…,at,…,aT的转置；局部自注意力模块接收神经网络顶层的状态向量，计算状态向量对应的权重向量，并计算T个时刻状态向量的加权和输出给分类模块；所述分类模块的实现方法包括：1将局部自注意力模块输出的向量f通过全连接层映射到与字符类别数相同的维度上，假设类别数为K，则输出向量y＝by+Wfyf其中，Wfy全连接层的参数矩阵，维度为K×u，by对应全连接层的偏置向量；2使用softmax分类器进行分类：通过softmax分类器的计算，会生成对应于K个类别的概率分布，这个概率分布用于判别当前字符属于哪个类别；具体地，给定一个字符样本xi，通过前述各模块的计算生成对应的输出向量通过softmax分类器的计算生成对应K个类别的概率分布，其中对应类别标签Ci＝l,l＝1,2,…,K的概率值为： 其中，θ表示参与计算的所有参数的集合；根据计算出来的概率分布，取概率值最大的项对应的字符类别标签判断为当前输入字符的类别： 神经网络训练过程中的损失函数为： 其中，Jθ表示损失函数，Y{i}表示训练样本真实类别标签，m表示参与训练的样本的总数；所述权重二值化模块的实现方法包括：给定一个特定的阈值r，二值化权重向量中的元素通过如下方法算出： 其中at为权重向量a中的元素；所述关键笔画显示模块的实现方法包括：给定字符输入样本xi，轨迹坐标序列为x1,x2,…,xt,…,xT，二值化权重向量将字符样本轨迹坐标序列中对应二值化权重为零的轨迹坐标点移除，将剩余的坐标轨迹显示出来，对应二值化权重为1的坐标点，即在识别过程中其关键作用的坐标点，将这些坐标点连接起来，则做到了联机手写汉字识别中关键笔画可视化评估。

全文数据：

权利要求：

百度查询： 北京计算机技术及应用研究所 联机手写汉字识别算法及可视化关键笔画评估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD