申请/专利权人：重庆理工大学

申请日：2024-03-08

公开（公告）日：2024-05-17

公开（公告）号：CN118053150A

主分类号：G06V20/62

分类号：G06V20/62;G06V30/146;G06V30/18;G06V30/19;G06V10/82;G06N3/045;G06N3/0464;G06N3/09;G06N3/0985

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.04#实质审查的生效;2024.05.17#公开

摘要：本发明涉及一种基于文本细节图作为端到端文本检测与识别的监督方法，属于文本处理领域。该方法包括以下步骤：给定一个包含任意形状文本的输入图像，该输入图像经过两个独立的处理分支进行处理；设计文本注意力头TAH，设计特征金字塔增强融合模块FPEFM；FPEFM通过在不同尺寸上进行特征自增强，融合文本注意力头TAH模块提取到的文本图像局部特征和全局文本位置信息，融合文本注意力头TAH从不同尺寸的特征图中提取的特征；通过堆叠多个FPEFM，不断增强模型的特征表征能力和模型的深度；将特征图上采样到统一的尺寸，得到最终增强的特征图。

主权项：1.基于文本细节图作为端到端文本检测与识别的监督方法，其特征在于：该方法包括以下步骤：给定一个包含任意形状文本的输入图像，该输入图像经过两个独立的处理分支进行处理；第一个处理分支从输入图像中提取文本纹理和边界信息，生成一个文本细节图；第二个处理分支利用深度学习神经网络学习和推断不同情境下的文本位置和内容；在文本细节图作为新标签的监督下，提出端到端自然场景文本检测和识别模型DiZNet；在第二个处理分支中，深度学习分支处理期间，使用轻量级特征提取网络ResNet18作为DiZNet的骨干网络；骨干网络从输入图像中提取具有不同分辨率14、18、116、132的浅层特征图，分别对应于conv2、conv3、conv4和conv5层；使用1x1卷积处理所述浅层特征图，将通道数统一为128；设计文本注意力头TAH，设计特征金字塔增强融合模块FPEFM；FPEFM通过在不同尺寸上进行特征自增强，融合文本注意力头TAH模块提取到的文本图像局部特征和全局文本位置信息，融合文本注意力头TAH从不同尺寸的特征图中提取的特征；通过堆叠多个FPEFM，不断增强模型的特征表征能力和模型的深度；将特征图上采样到统一的尺寸，得到最终增强的特征图；增强的特征图预测三个组件：检测头负责预测文本位置；检测头预测文本核、文本区域和文本向量，通过像素聚合预测文本行；细节头利用文本细节图作为监督信号来预测文本纹理和边界；识别头通过整合文本细节图进行文本内容识别，得到识的结果；在模型推断阶段，无需使用文本细节真值图作为监督标签；相反，模型预测文本纹理和边界，然后将预测的文本细节图融合到检测头中以推理文本位置；预测的文本细节图融合到识别头中以识别文本内容。

全文数据：

权利要求：

百度查询： 重庆理工大学 基于文本细节图作为端到端文本检测与识别的监督方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD