申请/专利权人：华南理工大学

申请日：2024-01-10

公开（公告）日：2024-04-09

公开（公告）号：CN117542063B

主分类号：G06V30/19

分类号：G06V30/19;G06N3/045;G06N3/048;G06N3/08;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本发明公开了一种多语言多模态多分支文档视觉信息抽取方法，本发明属于模式识别与人工智能领域，包括：获取若干种语言的文档图像，对所述文档图像进行检测识别，得到文本检测识别结果；对所述文本检测识别结果进行排序，得到已排序检测识别结果；对所述已排序检测识别结果和所述文档图像进行特征提取，得到多模态特征，将所述多模态特征输入多任务预训练模块内不同的预训练任务中进行预训练；基于预训练好的多模态特征，分别进行实体类别预测、实体链接预测，以实现文档视觉信息的抽取。本发明设计的方法在文档视觉信息抽取任务上表现出优异的性能，显著超越同类具有竞争力的其他现有方法。

主权项：1.一种多语言多模态多分支文档视觉信息抽取方法，其特征在于，包括：获取若干种语言的文档图像，对所述文档图像进行检测识别，得到文本检测识别结果；对所述文本检测识别结果进行排序，得到已排序检测识别结果；对所述已排序检测识别结果和所述文档图像进行特征提取，得到多模态特征；将所述多模态特征输入多任务预训练模块内不同的预训练任务中进行预训练，得到预训练好的多模态特征；分别对预训练好的多模态特征进行实体类别预测、实体链接预测，以实现文档视觉信息的抽取；分别对预训练好的多模态特征进行实体类别预测、实体链接预测的过程包括：实体分类与实体链接模块包括：线性层和双线性映射层；基于所述线性层对预训练好的多模态特征进行实体类别预测，公式为： 其中，⊕是指特征拼接操作，是指线性层，为输出的实体类别预测分数；基于所述双线性映射层和所述线性层对预训练好的多模态特征进行实体链接预测，公式为： 其中，⊕是指特征拼接操作，是第p个多模态特征，是第q个多模态特征，是指线性层,是指双线性映射层，为输出的实体链接预测分数。

全文数据：

权利要求：

百度查询： 华南理工大学 一种多语言多模态多分支文档视觉信息抽取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD