申请/专利权人：山东亿云信息技术有限公司

申请日：2022-09-29

公开（公告）日：2022-12-23

公开（公告）号：CN115510307A

主分类号：G06F16/9532

分类号：G06F16/9532;G06F16/33;G06F16/958

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.01.10#实质审查的生效;2022.12.23#公开

摘要：本发明提供了一种基于统计规则的族群网页正文提取方法及系统，以网页族群的形式获取一组待处理网页，得到网页族群列表；遍历网页族群列表，提取每个网页的原始HTML代码，形成HTML代码列表；遍历HTML代码列表，提取每个网页中的所有文本内容，根据HTML结构，将全部网页的各长文本转化为短文本字符串列表，并保留文本顺序；其中，各短文本字符串列表均属于整个网页族群的文本列表集合；遍历文本列表集合并对每个短文本字符串列表定位起始位置和结束位置；选取从起始位置到结束位置的文本，输出正文文本列表；本发明无需人工参与，无需特殊规则，能够提取不同形式的网页文本，极大的提高了提取精度和提取效率。

主权项：1.一种基于统计规则的族群网页正文提取方法，其特征在于：包括以下过程：以网页族群的形式获取一组待处理网页，得到网页族群列表；遍历网页族群列表，提取每个网页的原始HTML代码，形成HTML代码列表；遍历HTML代码列表，提取每个网页中的所有文本内容，根据HTML结构，将全部网页的各长文本转化为短文本字符串列表，并保留文本顺序；其中，各短文本字符串列表均属于整个网页族群的文本列表集合；建立去重字典，去重字典的键为文本字符串，去重字典的值为字符串在整个网页族群出现的次数，遍历文本列表集合并对每个短文本字符串列表去除重复的字符串，得到去重后的短文本字符串列表，并依此填充去重字典；字符串在去重字典中对应的值大于设定阈值则被剔除，否则字符串被保留；遍历文本列表集合并对每个短文本字符串列表定位起始位置和结束位置；选取从起始位置到结束位置的文本，输出正文文本列表。

全文数据：

权利要求：

百度查询： 山东亿云信息技术有限公司 基于统计规则的族群网页正文提取方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD