申请/专利权人：西安建筑科技大学

申请日：2023-12-26

公开（公告）日：2024-03-29

公开（公告）号：CN117789225A

主分类号：G06V30/226

分类号：G06V30/226;G06V10/82;G06N3/0464;G06V10/42

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明提供一种基于卷积神经与ViT网络的手写中文端到端识别方法及系统，通过Embedding文字编码器编码文字标签生成文字笔画序列矩阵，卷积神经和特征增强金字塔网络进行卷积计算生成特征矩阵，像素聚类和像素投影分割执行文字区域检测生成单文字特征检测矩阵，掩码兴趣区域生成文本区域掩码特征矩阵，Transfomer网络和相似匹配卷积网络解码掩码特征矩阵匹配相似文字，产生预测的文字；Transformer网络可用于文字笔画序列的训练计算，减小分类类别；相似匹配卷积网络则实现零样本预测，降低训练的计算负担，以实现端到端识别文字、零样本的预测文字、降低计算负担及提高泛化能力。

主权项：1.一种基于卷积神经与ViT网络的手写中文端到端识别方法，其特征在于，包括，通过Embedding文字编码器将输入文字标签进行编码文字后，获得文字笔画序列以产生文字序列编码矩阵；通过卷积神经网络对输入图像数据矩阵进行卷积计算以产生不同维度特征矩阵；采用特征增强金字塔网络对不同维度特征矩阵进行多维度融合计算以产生多维度融合特征矩阵；通过像素聚类算法对多维度融合特征矩阵进行文字区域检测聚类计算以产生文本行特征检测矩阵；通过像素投影分割算法对文本行特征检测矩阵进行像素投影计算单文字区域，以产生单文字特征检测矩阵；通过掩码兴趣区域网络对单文字特征检测矩阵计算文本区域掩码，以产生掩码特征矩阵；通过Transfomer网络对掩码特征矩阵和文字序列编码矩阵进行解码计算特征矩阵笔画序列以产生笔画序列矩阵；通过相似匹配卷积网络将笔画序列矩阵在笔画字库中查找对应笔画序列的文字以及与同笔画文字进行卷积计算，匹配相似文字以产生预测的文字。

全文数据：

权利要求：

百度查询： 西安建筑科技大学 基于卷积神经与ViT网络的手写中文端到端识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD