申请/专利权人：武汉斗鱼网络科技有限公司

申请日：2016-10-09

公开（公告）日：2019-05-17

公开（公告）号：CN106502980B

主分类号：G06F17/27(2006.01)I

分类号：G06F17/27(2006.01)I;G06F16/242(2019.01)I;G06F16/22(2019.01)I

优先权：

专利状态码：有效-授权

法律状态：2019.05.17#授权;2017.04.12#实质审查的生效;2017.03.15#公开

摘要：本发明公开了一种基于文本词素切分的检索方法及系统，涉及大数据检索领域，该方法包括建立用户检索词库，判断待切分的文本中是否包含用户检索词库已出现的检索词组，并在存在时将该检索词组作为存在词组，判断当前存在词组的Ew是否大于Eavg，并在大于时判断用户检索词库中是否存在该存在词组的词素，并在不存在时将当前存在词组的词素存入词库，作为存在词组相对应的词素，取出相对应的存在词组，将文本的剩余部分进行细粒度词素切分；判断存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。本发明能够降低更新和维护的频率，并提高检索质量。

主权项：1.一种基于文本词素切分的检索方法，其特征在于：建立用户检索词库，所述词库记录并存储有当前用户的所有检索词组和每个检索词组出现的次数n，所有检索词组的总数为m，每个检索词组的检索频率P为nm，每个检索词组的期望值为Ew，Ew＝P*n；所有检索词组的平均期望值为：Eavg＝[Ew1+Ew2+……+Ewn]m；所述检索包括以下步骤：S1、判断待切分的文本中是否包含用户检索词库中已经出现过的检索词组，若存在，将当前检索词组作为存在词组，转入步骤S2；S2、并判断当前存在词组的Ew是否大于Eavg，并在大于时判断用户检索词库中是否存在当前存在词组的词素，并在不存在时将当前存在词组的词素存入词库，作为存在词组相对应的词素，转入步骤S3；S3、取出相对应的存在词组，将文本的剩余部分进行细粒度词素切分；判断存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。

全文数据：一种基于文本词素切分的检索方法及系统技术领域本发明涉及大数据检索领域，具体涉及一种基于文本词素切分的检索方法及系统。背景技术随着互联网行业的飞速发展，大数据检索亦变得尤为重要，一个高效的检索系统，需要配备有一套良好的文档解析方案，对待检索的文本进行解析，解析过程中最重要的一步是对文档进行词素切分，即识别获取构成文档内容的词素、词和短语。目前进行文档解析的方法主要为：识别文档结构，将文本中任何以空格和特殊符号结束的字母数字序列识别为词语，并将大写字符转换为小写，如“ILoveChina！Yeah”，即可切分为“i”“love”“china”“！”“yeah”。由于中文文档通常不会通过空格来断开，如“我爱中国！耶”，采用现有的文档解析方法会被切分为“我爱中国”“！”“耶”，但是，这种分词方法会导致切分后的词难以在数据库中找到相对应的查询词匹配，因此，对于中文文档，词素切分需要采用其他的方式进行处理，从而保证查询和文档词项可以相互匹配。当下比较流行的一些索引方案为：基于词库的分词索引、基于正则表达式的分词索引、基于空格等特殊字符的分词索引以及一些自定义分词索引。其中基于词库的分词索引是目前搜索引擎中应用最为广泛、分词检索效果最好的方案，比如ApacheLuceneApache旗下的一款开源全文检索项目，ApacheSolrApache旗下的一款开源全文检索项目，ElasticSearch一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎等。现有的细粒度分词方法，会将检索文档切割至最小单元，比如将“我爱中国！耶”直接切分成“我”“爱”“中”“国”“！”“耶”，但这样不仅会给检索系统的存储模块带来巨大的存储压力，而且导致有意义的短语如“中国”被切割，增大检索难度。综上所述，目前的分词方法不仅需要强大且充足的词库支持，且检索质量较低，但是，词库需要实时更新和维护，需要耗费大量的人力，成本较高。发明内容针对现有技术中存在的缺陷，本发明的目的在于提供一种基于文本词素切分的检索方法及系统，能够降低更新和维护的频率，并提高检索质量。为达到以上目的，本发明采取的技术方案是：一种基于文本词素切分的检索方法，建立用户检索词库，所述词库记录并存储有当前用户的所有检索词组和每个检索词组出现的次数n，所有检索词组的总数为m，每个检索词组的检索频率P为nm，每个检索词组的期望值为Ew，Ew＝P*n；所有检索词组的平均期望值为：Eavg＝[Ew1+Ew2+……+Ewn]m；所述检索包括以下步骤：S1、判断待切分的文本中是否包含用户检索词库中已经出现过的检索词组，若存在，将当前检索词组作为存在词组，转入步骤S2；S2、并判断当前存在词组的Ew是否大于Eavg，并在大于时判断用户检索词库中是否存在当前存在词组的词素，并在不存在时将当前存在词组的词素存入词库，作为存在词组相对应的词素，转入步骤S3；S3、取出相对应的存在词组，将文本的剩余部分进行细粒度词素切分；判断存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。在上述技术方案的基础上，步骤S1中，所述待切分的文本中不包含用户检索词库中的词组时，将待切分的文本进行细粒度词素切分并索引。在上述技术方案的基础上，步骤S3中，判断存在词组是否超过八个字节，当超过时，将存在词组作为待切分的文本，转入步骤S1。在上述技术方案的基础上，步骤S1中，当待切分的文本中不包含用存在词组时，对待切分的文本进行细粒度词素切分。在上述技术方案的基础上，所述步骤S1和S2之间还包括以下步骤：去除待切分文本中的停用词和特殊字符。在上述技术方案的基础上，所述停用词包括英文字符、数字、数学字符、标点符号、语气助词、副词、介词和连接词。在上述技术方案的基础上，所述特殊字符为数学符号、单位符号和制表符。一种基于文本词素切分的检索系统，包括数据库建立模块、输入模块、判断比较模块、切分模块和检索模块；所述数据库建立模块用于建立用户检索词库；所述输入模块用于向检索系统中输入待切分的文本；所述判断比较模块用于判断待切分的文本中是否包含存在词组，并比较当前存在词组的Ew是否大于Eavg，并在大于时将当前存在词组的词素存入词库；所述切分模块用于将去除存在词组后的待切分文本进行细粒度词素切分；所述检索模块用于根据切分后的词素进行检索。在上述技术方案的基础上，所述判断比较模块还用于判断当前存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。在上述技术方案的基础上，所述切分模块还用于对不包含存在词组的待切分文本进行细粒度词素切分。与现有技术相比，本发明的优点在于：1本发明的一种基于文本词素切分的检索方法，根据用户的检索习惯，将用户常用的检索词组存储在检索词库中，并记录每个检索词组的期望值，根据期望值和平均值判断是否将相对应检索词组的词素存入词库中，同时，本发明还结合细粒度词素切分和判断检索词组的长度对方法进行进一步的优化，由于每个用户感兴趣的领域对应的词素有一定的相关和重复性，因此，该词库能够提高检索质量，降低更新和维护的频率。附图说明图1为本发明实施例中基于文本词素切分的检索方法的流程图；图2为本发明实施例中基于文本词素切分的检索系统的结构框图。具体实施方式以下结合附图及实施例对本发明作进一步详细说明。参见图1所示，本发明实施例提供一种基于文本词素切分的检索方法，包括以下步骤：建立用户检索词库，所述词库记录并存储有当前用户的所有检索词组和每个检索词组出现的次数n，所有检索词组的总数为m，每个检索词组的检索频率P为nm，每个检索词组的期望值为Ew，Ew＝P*n；所有检索词组的平均期望值为：Eavg＝[Ew1+Ew2+……+Ewn]m。判断待切分的文本中是否包含用户检索词库中已存在的检索词组，若不存在，将待切分的文本进行细粒度词素切分并索引。若存在，将当前检索词组作为存在词组，去除待切分文本中的停用词和特殊字符，停用词包括英文字符、数字、数学字符、标点符号、语气助词、副词、介词和连接词；特殊字符为数学符号、单位符号和制表符。判断当前存在词组的Ew是否大于Eavg，并在大于时判断用户检索词库中是否存在于存在词组相对应的词素，并在不存在时将当前存在词组的词素存入词库，作为存在词组相对应的词素。取出相对应的存在词组，将文本的剩余部分进行细粒度词素切分；判断存在词组是否超过八个字节，若超过，将当前存在词组作为待切分文本进行重新检索；若不超过，以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。本发明的方法详细步骤为：S1、输入待切分文本。S2、判断待切分的文本中是否包含用户检索词库中的词组，即存在词组：若存在，转入步骤S3；否则，转入步骤S6。S3、判断当前存在词组的Ew是否大于Eavg，若大于，转入步骤S4；否则，转入步骤S5。S4、判断用户检索词库中是否存在相对应的词素，并在不存在时将当前存在词组的词素存入词库，转入步骤S5。S5、去除待切分文本中的停用词和特殊字符，转入步骤S6。S6、取出待切分的文本中相对应的存在词组，判断存在词组是否超过八个字节，若是，将存在词组作为待切分的文本，转入步骤S2；否则，转入步骤S7。S7、将文本进行细粒度词素切分，得到检索词素，此处所指文本包括去除存在词组后的待切分文本和不包括存在词组的待切分文本，包括存在词组的待切分文本词素为存在词组的词素和细粒度切分的词素；不包括存在词组的待切分文本词素为细粒度切分词素，转入步骤S8。S8、以切分词素进行索引。本发明还提供一种基于文本词素切分的检索系统，包括数据库建立模块、输入模块、判断比较模块、切分模块和检索模块。数据库建立模块用于建立用户检索词库，输入模块用于向检索系统中输入待切分的文本。判断比较模块用于判断待切分的文本中是否包含存在词组，并比较当前存在词组的Ew是否大于Eavg，并在大于时将当前存在词组的词素存入词库。判断比较模块还用于判断当前存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。切分模块用于对不包括存在词组的待切分文本和去除存在词组后的待切分文本进行细粒度词素切分；还用于对不包含存在词组的待切分文本进行细粒度词素切分，检索模块用于根据切分后的词素进行检索。本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

权利要求：1.一种基于文本词素切分的检索方法，其特征在于：建立用户检索词库，所述词库记录并存储有当前用户的所有检索词组和每个检索词组出现的次数n，所有检索词组的总数为m，每个检索词组的检索频率P为nm，每个检索词组的期望值为Ew，Ew＝P*n；所有检索词组的平均期望值为：Eavg＝[Ew1+Ew2+……+Ewn]m；所述检索包括以下步骤：S1、判断待切分的文本中是否包含用户检索词库中已经出现过的检索词组，若存在，将当前检索词组作为存在词组，转入步骤S2；S2、并判断当前存在词组的Ew是否大于Eavg，并在大于时判断用户检索词库中是否存在当前存在词组的词素，并在不存在时将当前存在词组的词素存入词库，作为存在词组相对应的词素，转入步骤S3；S3、取出相对应的存在词组，将文本的剩余部分进行细粒度词素切分；判断存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。2.如权利要求1所述的一种基于文本词素切分的检索方法，其特征在于：步骤S1中，所述待切分的文本中不包含用户检索词库中的词组时，将待切分的文本进行细粒度词素切分并索引。3.如权利要求1所述的一种基于文本词素切分的检索方法及系统，其特征在于：步骤S3中，判断存在词组是否超过八个字节，当超过时，将存在词组作为待切分的文本，转入步骤S1。4.如权利要求1至3中任一项所述的一种基于文本词素切分的检索方法，其特征在于：步骤S1中，当待切分的文本中不包含用存在词组时，对待切分的文本进行细粒度词素切分。5.如权利要求4所述的一种基于文本词素切分的检索方法，其特征在于：所述步骤S1和S2之间还包括以下步骤：去除待切分文本中的停用词和特殊字符。6.如权利要求5所述的一种基于文本词素切分的检索方法，其特征在于：所述停用词包括英文字符、数字、数学字符、标点符号、语气助词、副词、介词和连接词。7.如权利要求5所述的一种基于文本词素切分的检索方法，其特征在于：所述特殊字符为数学符号、单位符号和制表符。8.一种实现权利要求1至7任一项所述检索方法的基于文本词素切分的检索系统，其特征在于：包括数据库建立模块、输入模块、判断比较模块、切分模块和检索模块；所述数据库建立模块用于建立用户检索词库；所述输入模块用于向检索系统中输入待切分的文本；所述判断比较模块用于判断待切分的文本中是否包含存在词组，并比较当前存在词组的Ew是否大于Eavg，并在大于时继续判断用户检索词库中是否存在相对应的词素，若不存在，则将当前存在词组的词素存入词库；所述切分模块用于将去除存在词组后的待切分文本进行细粒度词素切分；所述检索模块用于根据切分后的词素进行检索。9.如权利要求8所述的一种基于文本词素切分的检索系统，其特征在于：所述判断比较模块还用于判断当前存在词组是否超过八个字节，在不超过时以当前存在词组的词素和细粒度切分后的词素作为切分词素，然后进行索引。10.如权利要求8所述的一种基于文本词素切分的检索系统，其特征在于：所述切分模块还用于对不包含存在词组的待切分文本进行细粒度词素切分。

百度查询： 武汉斗鱼网络科技有限公司 一种基于文本词素切分的检索方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD