申请/专利权人：中国科学技术信息研究所

申请日：2022-11-10

公开（公告）日：2024-04-12

公开（公告）号：CN115879441B

主分类号：G06F40/211

分类号：G06F40/211;G06F40/242;G06F40/30;G06F18/24;G06N3/082

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2023.04.18#实质审查的生效;2023.03.31#公开

摘要：本申请实施例提供了一种文本新颖性检测方法、装置、电子设备及可读存储介质，涉及文本智能处理领域。该方法包括：对待检测文本进行句法分析，得到词汇以及词汇间的层级逻辑关系；通过引入预设词典对词汇进行过滤、合并和语义扩展处理，通过单分支划分方法拆分待检测文本为多个检索分支，然后构建待检测文本对应的总检索式以及多个单分支检索式；依照总、单分支、双分支及多分支的多级检索流程在预设的文献数据库中进行检索，再参照新颖性检测条件以及对各单篇文献对比检测后得到新颖性结论，实现基于自动检索的文本内容新颖性检测；本申请通过分支划分、多级检索等方法，实现了文本自动新颖性检测，提高了文本新颖性检索效率以及检测准确性。

主权项：1.一种文本新颖性检测方法，其特征在于，包括：获取待检测文本，对所述待检测文本进行成分句法分析，得到所述待检测文本的至少两个词汇、句法成分标签和句法树结构；引入预设词典对所述句法树的词汇进行处理，包括对停用词和高频词进行过滤去除，对至少两个词汇进行合并，得到检索概念及所述句法树结构的精简句法树结构；所述精简句法树结构中包括待检测文本的至少两个检索概念；所述预设词典包括停用词典、高频词典和领域词典；基于所述精简句法结构树中的句法成分标签特征，通过单分支划分方法获取待检测文本的至少一个检索单分支；基于所述预设词典对所述至少两个检索概念进行第一次词形以及语义扩展，生成表征所述待检测文本的总检索式；在第一次语义扩展的基础上，对所述至少两个检索概念进行第二次语义扩展，基于所述至少一个检索单分支，生成表征所述待检测文本多个不同角度检索的单分支检索式；基于所述总检索式和所述多个单分支检索式，预设新颖性条件，对所述待检测文本在预设数据库中依照总检索、单分支检索、双分支检索及多分支检索的多级顺序进行检索，通过剪枝序列检索方法得到每一次检索的文献信息；接收用户终端发送的针对文献信息的对比检测结果，基于所述文献信息以及所述对比检测结果，确定出相关的目标文献以及针对所述待检测文本的新颖性检测结论；其中，所述基于所述精简句法结构树中的句法成分标签特征，通过单分支划分方法获取待检测文本的至少一个检索单分支，具体包括：采用从顶层向下按照广度优先遍历结构树的方式对精简句法结构树进行遍历，利用精简句法树前2个层次的句法标签类型进行划分支处理，得到所述的至少一个检索单分支，具体方法如下：步骤一：取第一次划分分支：若精简句法结构树根节点的下一层分支节点结构为mNP+nVP+xIP，即根节点的首层结构含VP节点，转步骤二；若精简句法结构树根节点的下一层分支节点结构为qNP+yW，即即根节点的首层结构不含VP节点，转步骤三；其中，记根节点的下一层节点为为S1，S2……Si，Si的下一层级子分支为Si1，Si2……Sij，m、x、y为自然数，n、q、i、j为大于0的自然数，W为修饰短语；步骤二：根据Sij节点是否为VP节点划分第二次分支，具体为：1当Sij节点为VP节点时，Sij节点所在的分支作为一个独立的划分分支；2当Sij节点为非VP节点时，向下遍历Sij节点的下层分支，当Sij节点的分支节点含VP节点时，取该Sij节点所在的分支为独立的划分分支；3如有未划分的Sij节点，将Sij节点所在的分支作为逻辑上的另外一个独立的划分分支；步骤三：根据Si节点类型划分第二次分支，具体为：1当Si节点为NP节点时，取NP节点所在的分支为一个独立的划分分支；2当Si节点为W节点，即修饰短语类型时，若W节点的分支节点Sij为VP节点或Sij的分支节点中含VP节点，则Sij节点所在的分支作为一个独立的划分分支；3如有未划分的Sij节点，与最后一个NP节点所在的分支一起作为逻辑上的一个独立的划分分支；若精简句法结构树中无NP节点，则其余的Sij节点所在的分支一起作为逻辑上的一个独立的划分分支；步骤四：上述独立的划分分支共同构成最终精简句法结构树的至少一个检索单分支；其中，所述基于所述预设词典对所述至少两个检索概念进行第一次词形以及语义扩展，生成表征所述待检测文本的总检索式，具体包括：基于所述预设词典，对所述至少两个检索概念通过获取每个检索概念在词典中对应的不同词形以及同义词、下位词的方法，进行第一次词形以及语义扩展，得到第一次扩展结果，各词汇之间以逻辑或组配连接；基于第一次扩展结果，各个检索概念之间采用逻辑与的关系组配连接后，生成所述待检测文本对应的总检索式；其中，所述在第一次语义扩展的基础上，对所述至少两个检索概念进行第二次语义扩展，基于所述至少一个检索单分支，生成表征所述待检测文本多个不同角度检索的单分支检索式，具体包括：在第一次语义扩展的基础上，基于所述预设词典，对所述至少两个检索概念获取每个检索概念在词典中对应的同位词以及上位关联词的方法，进行第二次语义扩展，得到第二次扩展结果，各词汇之间以逻辑或组配连接；基于第二次语义扩展结果，各个检索概念之间采用逻辑与的关系组配连接后，生成所述待检测文本对应的一个或多个单分支检索式。

全文数据：

权利要求：

百度查询： 中国科学技术信息研究所 文本新颖性检测方法、装置、电子设备及可读存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD