申请/专利权人：名创优品(横琴)企业管理有限公司

申请日：2020-03-20

公开（公告）日：2020-07-17

公开（公告）号：CN111428180A

主分类号：G06F16/958(20190101)

分类号：G06F16/958(20190101);G06F40/284(20200101);G06F40/30(20200101);G06F40/151(20200101)

优先权：

专利状态码：有效-授权

法律状态：2022.02.08#授权;2020.08.11#实质审查的生效;2020.07.17#公开

摘要：本申请公开了一种网页去重方法、装置和设备，对海量网页进行二进制词向量的提取，利用二进制词向量对网页进行基于语义局部敏感散列表示，通过基于语义局部敏感散列表示进行网页内容比较，从而判断待比较网页是否为与预置数据存储结构中的网页内容重复的网页，充分利用了语义的相似性，降低了hash变换引入的随机噪声的影响，从而提高了重复网页的判别准确性，解决了现有的基于hash计算的网页去重方法准确率不高的技术问题。

主权项：1.一种网页去重方法，其特征在于，包括：对获取到的海量网页的网页内容进行正文提取和文本预处理，得到网页文本数据；对所述网页文本数据进行词向量训练，得到语料库中所有词条对应的实数值词向量；对所述实数值词向量进行二进制转换，得到二进制词向量，存入预置数据存储结构中；基于所述二进制词向量，对所述网页文本数据进行基于语义局部敏感散列表示转换，将得到的第一转换结果存入所述预置数据存储结构中；将对待比较网页进行基于语义局部敏感散列表示转换得到的第二转换结果与所述第一转换结果进行比较，若比较结果为重复，则去掉所述待比较网页，若比较结果为不重复，则将所述第二转换结果存入所述预置数据存储结构中。

全文数据：

权利要求：

百度查询： 名创优品(横琴)企业管理有限公司 一种网页去重方法、装置和设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD