申请/专利权人：中国电子信息产业集团有限公司第六研究所

申请日：2021-06-24

公开（公告）日：2024-01-19

公开（公告）号：CN113378088B

主分类号：G06F16/957

分类号：G06F16/957;G06F40/14

优先权：

专利状态码：有效-授权

法律状态：2024.01.19#授权;2021.09.28#实质审查的生效;2021.09.10#公开

摘要：本申请提供了一种网页正文抽取方法、装置、设备及存储介质，该方法包括：从网页内容中抽取出网页正文段落，将抽取的网页正文段落添加至文本文件中，计算网页内容中每个起始标签和结束标签之间标点符号数量与包含字符数量的最小商值，得到的最小商值作为网页正文判定阈值，根据抽取模板中起始文本信息和结束文本信息，确定标签滑动窗口，根据标签滑动窗口遍历网页内容中标点符号数量与包含字符数量，抽取符合网页正文判定阈值的网页正文字段。本申请的有益效果在于：能够根据网页正文判定阈值从网页内容中精准的抽取出网页正文段落，提高了抽取精度、避免了抽取网页正文段落的冗余问题，以及通过滑动窗口算法，有效提高了抽取效率。

主权项：1.一种网页正文抽取方法，其特征在于，所述方法包括：运用正则表达式将网页源码中所有噪声标签和脚本代码进行清洗，清洗后得到网页内容；获取所述网页内容对应的抽取模板，所述抽取模板中包括至少一个起始文本信息和一个结束文本信息；运用递归算法逐一遍历所述抽取模板中起始文本信息和结束文本信息，根据起始文本信息和结束文本信息从网页内容中抽取出网页正文段落，将抽取的网页正文段落添加至文本文件中；计算网页内容中每个起始标签和结束标签之间网页源码的标点符号数量与包含字符数量的最小商值，得到的最小商值作为网页正文判定阈值；采用滑动窗口算法，根据所述抽取模板中起始文本信息和结束文本信息，确定标签滑动窗口；根据标签滑动窗口遍历网页内容中标点符号数量与包含字符数量，抽取符合网页正文判定阈值的网页正文字段；根据标签滑动窗口遍历网页内容中标点符号数量与包含字符数量，抽取符合网页正文判定阈值的网页正文字段，包括：根据标签滑动窗口的第一边界，将指针不断扩大向后至抽取模板中结束文本信息的指针位置；其中，标签滑动窗口的第一边界为所述抽取模板中起始文本信息的指针位置；在扩大标签滑动窗口的同时，计算网页内容中标点符号数量与包含字符数量的比值，直到标签滑动窗口内比值小于等于网页正文判定阈值，停止扩大标签滑动窗口；移动第一边界的指针缩小标签滑动窗口，直到标签滑动窗口内的标点符号数量及包含字符数量的比值大于网页正文判定阈值，停止缩小标签滑动窗口；根据标签滑动窗口，从网页内容中抽取出符合网页正文判定阈值的网页正文字段。

全文数据：

权利要求：

百度查询： 中国电子信息产业集团有限公司第六研究所 一种网页正文抽取方法、装置、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD