申请/专利权人：北方工业大学

申请日：2020-06-24

公开（公告）日：2023-05-23

公开（公告）号：CN111738169B

主分类号：G06V30/32

分类号：G06V30/32;G06V30/19;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2023.05.23#授权;2020.10.30#实质审查的生效;2020.10.02#公开

摘要：本发明涉及手写公式识别领域，公开了一种基于端对端网络模型的手写公式识别方法，包括步骤：采集手写公式识别图片数据集，对手写公式识别图片数据集进行预处理；建立encoder‑decoder模型，encoder‑decoder模型包括特征提取层、encoder编码器和decoder解码器；利用预处理后的手写公式识别图片数据集对encoder‑decoder模型进行训练，获得训练完成后的encoder‑decoder模型；利用训练完成后的encoder‑decoder模型对待识别手写公式图片进行识别，获得待识别手写公式图片的识别结果。本发明利用不同感受野对手写公式图片进行大小特征提取，对不同的特征完成词向量编码以及与标签间的对接和解码操作，优化了网络超参数，避免了多次卷积后特征图分辨率较低导致部分文本缺失问题，能够更好的识别手写公式，识别准确率高。

主权项：1.一种基于端对端网络模型的手写公式识别方法，其特征在于，包括以下步骤：S1采集手写公式识别图片数据集，对所述手写公式识别图片数据集进行预处理；所述手写公式识别图片数据集包括原始数据集以及与所述原始数据集相对应的标签集；S2建立encoder-decoder模型，所述encoder-decoder模型包括encoder编码器和decoder解码器；所述encoder编码器，用于提取手写公式识别图片的主要特征和小特征、并对主要特征和小特征进行编码，从而提取手写公式识别图片中每个字符对应的输入词向量；所述decoder解码器，通过注意力机制对特征向量进行注意力概率权重计算、并获得手写公式识别图片的识别结果；S3利用预处理后的手写公式识别图片数据集对所述encoder-decoder模型进行训练，获得训练完成后的encoder-decoder模型；S4利用训练完成后的encoder-decoder模型对待识别手写公式图片进行识别，获得待识别手写公式图片的识别结果；步骤S3中，利用预处理后的手写公式识别图片数据集对所述encoder-decoder模型进行训练，包括步骤：S31利用特征提取层提取手写公式识别图片的主要特征和小特征；获得主要特征图和小特征图，对主要特征图的元素和小特征图中的元素进行拼接、并进行wordembedding操作，获得手写公式识别图片中每个字符对应的输入词向量；获得由手写公式识别图片中所有字符的输入词向量构成的输入词向量矩阵；S32decoder解码器包括解码器输入层、BiGRU层和maxout输出层；将输入词向量矩阵作为解码器输入层、并输入至BiGRU层，计算BiGRU层输出的词向量；计算BiGRU层输出的词向量具体过程如下： 其中表示t时刻正向GRU输出的隐藏状态，为t时刻反向输出的隐藏状态，ht表示t时刻BiGRU输出的隐藏状态，ωt、υt分别为t时刻正向GRU输出的隐藏状态和上一时刻反向输出的隐藏状态的权值矩阵，为上一时刻正向输出的隐藏状态，bt为偏置，xtj表示与第j个字符对应的输入词向量；htj为BiGRU层与第j个字符对应的输出词向量；S33引入coverage机制、计算每个输入词向量应分配的注意力概率权重，BiGRU输出与第j个字符相对应的隐藏状态时第i个字符的输入词向量注意力概率权重L为字符总数；中间过程向量βT为注意力概率权值矩阵，ht-1为上一时刻BiGRU输出的隐藏状态，w1、w2分别为上一时刻BiGRU输出的隐藏状态的权值矩阵、中间特性向量权值矩阵；中间特征权值向量vT表示中间特征权值向量的权值矩阵；wh表示与第i个字符对应的BiGRU输出的隐藏状态hi的权重系数；bw表示偏置项；xti表示与第j个字符对应的输入词向量；为上下文向量，初始化时将上下文向量设为0；S34获得当前时刻由attention机制分配的不同注意力概率权重与所述BiGRU层中各个字符对应的中间特征权值向量的乘积的累加和S35将由attention机制分配的不同注意力概率权重与BiGRU层各个字符对应的中间特征权值向量的乘积的累加和ct作为BiGRU层的当前输入，根据上一次BiGRU输出的隐藏状态ht-1重新更新计算BiGRU输出的隐藏状态ht＝GRUht-1,ct,在maxout输出层采用maxout函数获得手写公式识别预测概率分布结果其中w3、w4分别为待训练的上下文向量权重系数矩阵和待训练的隐藏状态权重系数矩阵。

全文数据：

权利要求：

百度查询： 北方工业大学 一种基于端对端网络模型的手写公式识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD