申请/专利权人：福建工程学院

申请日：2017-06-19

公开（公告）日：2020-10-16

公开（公告）号：CN107391574B

主分类号：G06F16/33(20190101)

分类号：G06F16/33(20190101);G06F16/332(20190101);G06F16/36(20190101);G06F40/216(20200101);G06F40/295(20200101);G06F40/30(20200101)

优先权：

专利状态码：有效-授权

法律状态：2020.10.16#授权;2017.12.19#实质审查的生效;2017.11.24#公开

摘要：本发明提供一种基于本体和群智能算法的中文歧义切分方法，包括：获取用户输入的一个问句进行预处理，得到至少一个候选切分方式，形成候选切分方式集合W；利用本体中标注的同义词信息创建同义词簇；并计算词形的词位置e；以三个连续词形为单位，创建双向三元模型、含词位置信息的语义双向三元模型以及含词位置信息的偏好语义双向三元模型，计算每一种候选切分方式在不同模型下出现的概率；利用不同的模型以及考虑句子断点向量的淘汰集，创建单目标优化模型，并通过群智能算法求解最优的句子断点向量，作为最优分词结果。本发明结合本体计算词频，并利用智能群算法求最优句子断点向量，有效降低错误分词结果，大大提高分词准确性。

主权项：1.一种基于本体和群智能算法的中文歧义切分方法，其特征在于：包括如下步骤：步骤1、获取用户输入的一个问句进行预处理，得到至少一个候选切分方式，形成候选切分方式集合W；所述步骤1具体为：获取用户输入的问句进行建图处理，对所述图的结构求解k种最短路径，得到k种候选切分方式，用候选切分方式集合W存储，所述集合W＝{Wi＝wi,1wi,2,...|wi,j∈Cname∪Rname∪S,i＝1,...,k}，其中，S＝{s1,s2,...}表示问句字符序列的字符集合，k表示候选切分方式的数量，Wi为第i种候选切分方式，wi，j为第i种候选切分方式的第j个词形，Cname表示概念名称集合，Rname表示谓语名称集合；步骤2、利用本体中标注的同义词信息创建同义词簇，包括对每一候选切分方式中的每两个连续词形扩展成一个二元同义词簇，每三个连续词形扩展成一个三元同义词簇；步骤3、计算每一候选切分方式中每一词形的词位置e；所述词位置e的计算公式为： 其中，wi，j为第i种候选切分方式的第j个词形，indexwi，j为词wi，j的首个字符wi，j，1同句子Wi的首个字符wi，1，1的距离，为第i种候选切分方式中所有字符的数量；BK为句子断点向量，且BK＝bk1，bk2，...，bkqT，q＝3，j＝1,2,3，且其中为Wi中所有字符的数量；步骤4、以三个连续词形为单位，考虑其中前两个词和后两个词的词形对当前处理词形出现的概率的影响创建双向三元模型，计算每一种候选切分方式在所述双向三元模型下出现的概率BP；步骤5、以三个连续词形为单位，考虑其中前两个词和后两个词的词形、扩展同义词簇以及词位置对当前处理词形出现的概率的影响创建含词位置信息的语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的语义双向三元模型下出现的概率SWP；步骤6、以三个连续词形为单位，在含词位置信息的语义双向三元模型和双向三元模型的基础上进一步考虑候选切分方式长度以及候选切分方式偏好值对候选切分方式出现的概率的影响创建含词位置信息的偏好语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP；步骤7、利用所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP，并考虑句子断点向量的淘汰集，创建单目标优化模型，并通过群智能算法求解最优的句子断点向量，将其对应的候选切分方式作为最优分词结果；所述步骤4中概率BP的具体公式为： countwi,j-2wi,j-1wi,j表示词串wi,j-2wi,j-1wi,j在训练语料中出现的次数；countwi,j-2wi,j-1表示词串wi,j-2wi,j-1在训练语料中出现的次数；countwi,jwi,j+1wi,j+2表示词串wi,jwi,j+1wi,j+2在训练语料中出现的次数；countwi,j+1wi,j+2表示词串wi,j+1wi,j+2训练语料中出现的次数；所述步骤5中概率SWP的具体公式为： 其中，countSWwi,j-2uSWwi,j-1zSWwi,jk,e表示SWwi,j-2SWwi,j-1SWwi,j笛卡尔积元素在训练语料中在第e＝positionwi,j,BK区间上的次数；countSWwi,j-2uSWwi,j-1z,e表示SWwi,j-2SWwi,j-1笛卡尔积元素在训练语料中在第e＝positionwi,j,BK区间上的次数；countSWwi,jkSWwi,j+1uSWwi,j+2z,e表示SWwi,jSWwi,j+1SWwi,j+2笛卡尔积元素在训练语料中在第e＝positionwi,j,BK区间上的次数；countSWwi,j+1uSWwi,j+2z,e表示SWwi,j+1SWwi,j+2笛卡尔积元素在训练语料中在第e＝positionwi,j,BK区间上的次数；上述SWx表示概念x在本体中标注的同义词集合，SWwi,j-2SWwi,j-1和SWwi,j+1SWwi,j+2为二元同义词簇，SWwi,j-2SWwi,j-1SWwi,j和SWwi,jSWwi,j+1SWwi,j+2为三元同义词簇；所述步骤6中概率PSWP的具体公式为： 其中，为根据第i中候选切分方式的语义标注结果计算得到的第i中候选切分方式的偏好值；lengthmax＝max{|W1|，|W2|，...}，lengthmin＝min{|W1|，|W2|，...}，|Wi|为切分方式Wi的词数量，i＝1,2,..；所述语义标注结果获取过程具体为：通过所述本体中的名词集合Cname和谓语集合Rname来抽取候选切分方式中的所有名词和谓语，若没有谓语，则语义标注结束；将名词间不重复的两个词分别充当主语和宾语同各个谓词进行组合，使得每一种候选切分方式都具有n种语义标注结果，并用表示第i种候选切分方式Wi的第j种语义标注结果，其中，subj、pred、obje分别为标注的主语、谓语和宾语，且subj，obje∈Cname，pred∈Rname；所述偏好值的计算方式具体为： 其中：SWpred为pred的同义词集合；domainSWpred为pred以及pred的同义词在本体中标注的主语集合；rangeSWpred为pred以及pred的同义词在本体中标注的宾语集合；SWSdomainSWpred表示pred以及pred的同义词在本体中标注的主语集合中每一个元素在本体中标注的同义词集合；SWSrangeSWpred表示pred以及pred的同义词在本体中标注的宾语集合中每一个元素在本体中标注的同义词集合；所述单目标优化模型具体为：其中，

全文数据：一种基于本体和群智能算法的中文歧义切分方法技术领域[0001]本发明涉及信息处理技术领域，尤其涉及一种用于图书馆检索的基于本体和群智能算法的中文歧义切分技术。背景技术[0002]图书馆智能虚拟参考咨询系统是一类信息检索系统，该系统依赖于自然语言处理技术来实现对用户检索意图的理解，从而完成后续的信息检索过程。由于自然语言处理技术直接影响着图书馆智能虚拟参考咨询系统的性能，因此实现该技术的自然语言处理模块是图书馆智能虚拟参考咨询系统的核心模块，而中文分词技术是自然语言处理的基础。[0003]目前，中文分词技术领域中，基于统计的方法逐渐成为主流方法之一。基于统计的分词方法是根据某种概率统计模型统计语料库（即训练语料）中词的出现频率或概率，作为衡量待切分句子中所有子序列组合是否成词的标准。现有文献中，王晓龙等1991年提出将词频统计应用在在分词技术中，提出了一种最少分词词频选择算法具体见王晓龙，王开铸，白小华.自然语言理解中的音字流自动分词[J].中文信息学报，1991,53MS-SS.，该方法利用最少匹配算法确定候选结果集，然后再利用静态的词频统计结果和候选词词长来排序候选结果，达到了查准率小于双向最大匹配法的效果;Tang等将n-gram和互信息结合提出NGMI算法（具体见TangLingXiang,GevaShlomo，XuYue,etal.WordSegmentationforChineseWikipediaUsingN-GramMutualInformation[J].PlosMedicine，2009,27:576-582.，该算法需要从语料库中提取单字、二字、三字、四字频度来计算NGMI，达到查全率高于ICTCLAS汉语词法分析系统，具体可参见刘群，张华平，俞鸿魁，等.基于层叠隐马模型的汉语词法分析[J].计算机研究与发展，2004,418:1421-1429.;何爱元等提出综合考虑了基于词频和分词位置的双向三元模型（具体见何爱元.基于词典和概率统计的中文分词算法研究[D].辽宁大学，2011.，该方法同ICTCLAS相比，分词速度有一定的优势，查全率和查准率都远大于正向最大匹配法。巫黄旭提出将逐点互信息、信息熵和对数似然比联合起来提出字间关联度来辅助分词（具体见巫黄旭.基于统计学习的中文分词改进及其在面向应用分词中的应用[D].浙江大学，2012.。该方法统计语料库中的单字频度、字对频度、三字频度来计算字间关联度，显著地提高了已有方法的查准率和查全率。[0004]上述基于统计的分词技术中，都仅仅考虑词形因素，忽略了一意多词的现象，导致相关技术无法在不同背景下保证分词结果的质量。[0005]另外，由于在分词过程中，断点位置直接影响分词结果的质量，不合理的断点位置也会导致错误的分词结果，导致分词的准确性不高。[0006]有鉴于此，本发明提供一种基于图书馆领域本体和群智能算法的中文歧义切分方法，且为了对本发明方法进行详细说明，引入以下概念：[0007]本体:是共享概念模型的明确的形式化规范说明，它由概念以及概念间的关系组成的；[0008]N元模型:N元模型的任务是求出由任意词序列Wi,1Wi,2…τ组成的句子Wi出现的概率PW1，该模型认为词的出现概率只同它前面的N-I个词有关正向）；[0009]三元双向模型:该模型是在正向的三元模型的基础上考虑词Wi,j右边的上下文信息（即同时考虑词前面的词以及后面的词对其出现概率的影响）。发明内容[0010]本发明要解决的技术问题，在于提供一种基于本体和群智能算法的中文歧义切分方法，结合本体同义词进行词频计算，并利用群智能算法求得最优解，有效降低错误分词结果，大大提高分词准确性。[0011]本发明是这样实现的：一种基于本体和群智能算法的中文歧义切分方法，包括如下步骤：[0012]步骤1、获取用户输入的一个问句进行预处理，得到至少一个候选切分方式，形成候选切分方式集合W;[0013]步骤2、利用本体中标注的同义词信息创建同义词簇，包括对每一候选切分方式中的每两个连续词形扩展成一个二元同义词簇，每三个连续词形扩展成一个三元同义词簇；[0014]步骤3、计算每一候选切分方式中每一词形的词位置e;[0015]步骤4、以三个连续词形为单位，考虑其中前两个词和后两个词的词形对当前处理词形出现的概率的影响创建双向三元模型，计算每一种候选切分方式在所述双向三元模型下出现的概率BP;[0016]步骤5、以三个连续词形为单位，考虑其中前两个词和后两个词的词形、扩展同义词簇以及词位置对当前处理词形出现的概率的影响创建含词位置信息的语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的语义双向三元模型下出现的概率SWP；[0017]步骤6、以三个连续词形为单位，在含词位置信息的语义双向三元模型和双向三元模型的基础上进一步考虑候选切分方式长度以及候选切分方式偏好值对候选切分方式出现的概率的影响创建含词位置信息的偏好语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP;[0018]步骤7、利用所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP，并考虑句子断点向量的淘汰集，创建单目标优化模型，并通过群智能算法求解最优的句子断点向量，将其对应的候选切分方式作为最优分词结果。[0019]进一步的，所述步骤1具体为:获取用户输入的问句进行建图处理，对所述图结构求解k种最短路径，得到k种候选切分方式，用候选切分方式集合W存储，所述集合W=W1=Wi,lWi,2···IWi,jeCnameURnameUS，i=1，···，k}，其中，S={S1，S2,···}表示问句字符序列的字符集合，k表不候选切分方式的数量，Wi为第i种候选切分方式，Wi,j为第i种候选切分方式的第j个词形，Cname表不概念名称集合，Rname表不谓语名称集合。[0020]进一步的，所述词位置e的计算公式为：[0022]其中，Wi,j为第i种候选切分方式的第j个词形，indexWi,j为词Wi,j的首个字符Wi,j,i同句子Wi的首个字符Wi,i,i的距尚为第i种候选切分方式中所有字符的数量；[0023]BK为句子断点向量，且BK=bkhbh，···，bkqT，q=3，为Wi中所有字符的数量。[0024]进一步的，所述步骤4中概率BP的具体公式为：[0028]countWi,j—2Wij—m,j表示词串Wi,j—2Wi,j—mj在训练语料中出现的次数；[0029]countWij—2Wij—i表示词串Wij—2Wij—1在训练语料中出现的次数；[0030]countWijWij+iWij+2表示词串WijWij+iWij+2在训练语料中出现的次数；[0031]countWij+iWij+2表示词串Wij+iWij+2训练语料中出现的次数。[0032]进一步的，所述步骤5中概率SWP的具体公式为：[0036]其中，countSWWi,j—2USWWi,j—DZSWWi,jk，e表示SWWi,j—2SWWi,j—DSWWi,j笛卡尔积元素在训练语料中在第e=positionWi,j，BK区间上的次数；[0037]countSWWi,j—2uSWWi,j—Iz，e表示SWWi,j—2SWWi,j—1笛卡尔积元素在训练语料中在第e=positionWi,j，BK区间上的次数；[0038]countSWWi,jkSWWi,j+iuSWWi,j+2z，e表示SWWi,jSWWi,j+iSWWi,j+2笛卡尔积元素在训练语料中在第e=positionwi,j，BK区间上的次数；[0039]countSWWi,j+iuSWWi,j+2z，e表示SWWi,j+iSWWi,j+2笛卡尔积元素在训练语料中在第e=positionwi,j，BK区间上的次数；[0040]上述SWX表示概念X在本体中标注的同义词集合，SWWi,j—2SWWi,j—i和SWWi,j+1SWWi,j+2为二元同义词簇，SWWi,j—2SWWi,j—ISWWi,j和SWWi,jSWWi,j+1SWWi,j+2为三元同义词簇。[0041]进一步的，所述步骤6中概率PSWP的具体公式为：[0042][0044]其中I为根据第i中候选切分方式的语义标注结果计算得到的第i中候选切分方式的偏好值；[0045]lengthmax=max{IWlI，IW2I，···I}，lengthmin=min{IWlI，IW2I，···}，IWiI为切分方式Wi的词数量，i=l,2，..；[0046]所述语义标注结果Si?%获取过程具体为：[0047]通过所述本体中的名词集合Cname3和谓语集合Rname3来抽取候选切分方式中的所有名词和谓语，若没有谓语，则语义标注结束；[0048]将名词间不重复的两个词分别充当主语和宾语同各个谓词进行组合，使得每一种候选切分方式都具有η种语义标注结果，并用表示第i种候选切分方式W1的第j种语义标注结果，其中，SUbj、pred、〇bje分别为标注的主语、谓语和宾语，JzLsubj，objeGCname，predGRname;[0049]所述偏好值細的计算方式具体为：[0054]其中：[0055]SWpred为pred的同义词集合；[0056]domainSWpred为pred以及pred的同义词在本体中标注的主语集合；[0057]rangeSWpred为pred以及pred的同义词在本体中标注的宾语集合；[0058]SWSdomainSWpred表示pred以及pred的同义词在本体中标注的主语集合中每一个元素在本体中标注的同义词集合；[0059]SWSrangeSWpred表示pred以及pred的同义词在本体中标注的宾语集合中每一个元素在本体中标注的同义词集合。[0060]进一步的，所述单目标优化模型具体为：[0063]进一步的，通过蜂群智能算法对所述单目标优化模型求解最优的句子断点向量，具体过程包括：[0064]步骤a、设计编码方案：将种群中每个个体的编码表示为bkibk2bk3,其中，bkjG{1，2，...，|1|}，]_=1，2,3且为句子Wi中的字符个数，bkj用来表示句子中第j个字符和第j+Ι个字符之间的分界，解空间对应句子Wi中每两个相邻字符之间的分界，个体数为m的种群计为D={BKi，BK2,;[0065]步骤b、求最优解如下：[0066]步骤bl、对蜜源数量NP、蜜源存活最大代数limit、进化最大代数maxtime进行初始化；[0067]步骤b2、初始化种群并计算各个蜜源的适应度值fBK，从而得到初始化后的最优解Dbest;[0068]步骤b3、运行引领蜂、跟随蜂和侦查蜂三个阶段来更新最优解Dbest;[0069]在引领蜂阶段中，在蜜源0,周围进行领域搜索出新蜜源V1，然后根据选择出适应度高的蜜源作为Di;[0070]在跟随蜂阶段中，根据赌轮盘算法来挑选蜜源0,进行开采^，然后根据选择出适应度高的蜜源作为Di;[0071]在侦查蜂阶段中，生成新的蜜源来替换当前某个存活代数大于limit的蜜源；[0072]步骤b4、重复运行步骤b3的三个阶段，当重复运行的次数达到进化最大代数maxtime之后，停止计算并且返回最优解Dbest。[0073]进一步的，所述第i个蜜源初始化公式：[0074]Dijx=Lx+[rand0,1XUx-Lx+0.5]；[0075]其中，Lx为第X维的下界，Ux为第X维的上界。[0076]进一步的，所述步骤b3具体为：[0077]在引领蜂阶段中，在蜜源01周围进行领域搜索出新蜜源V1，然后根据选择出适应度高的蜜源作SD1，所述领域搜索公式为：[0078][0079]其中，X:位置的下标，即引领蜂随机地选择一维进行搜索蜜源；[0080]i^j；[0081]穸是[_2,2]内的均匀分布的随机数；[0082]在跟随蜂阶段中，根据赌轮盘算法来挑选蜜源01进行开采^，然后根据选择出适应度高的蜜源作为D1，所述第i个蜜源队被选中的概率为：[0083][0084]其中，NP为蜜源数量；[0085]在侦查蜂阶段中，生成新的蜜源来替换当前某个存活代数大于limit的蜜源，所述替换蜜源的公式为：[0087]其中，trial表示第i个蜜源在进化过程中存活的代数，limit为每个蜜源能够存活的最大代数：表示第i个蜜源的第X维在第t代时的值。[0088]本发明具有如下优点：[0089]1、通过引入领域本体来分析相关术语的语义信息，并在此基础上统计相应的词频以提高基于词频统计的分词技术的准确性；[0090]2、通过蜂群算法计算最优的句子断点向量，进一步提高分词结果的准确性。附图说明[0091]下面参照附图结合实施例对本发明作进一步的说明。[0092]图1为本发明方法执行流程图。[0093]图2为本发明技术框架原理示意图。[0094]图3为本发明方法的蜂群算法的执行流程图。具体实施方式[0095]如图1和图2所示，本发明的一种基于本体和群智能算法的中文歧义切分方法，包括如下步骤：[0096]步骤1、获取用户输入的一个问句进行预处理，得到至少一个候选切分方式，形成候选切分方式集合W;[0097]步骤2、利用本体中标注的同义词信息创建同义词簇，包括对每一候选切分方式中的每两个连续词形扩展成一个二元同义词簇，每三个连续词形扩展成一个三元同义词簇；[0098]步骤3、计算每一候选切分方式中每一词形的词位置e;[0099]步骤4、以三个连续词形为单位，考虑其中前两个词和后两个词的词形对当前处理词形出现的概率的影响创建双向三元模型，计算每一种候选切分方式在所述双向三元模型下出现的概率BP;[0100]步骤5、以三个连续词形为单位，考虑其中前两个词和后两个词的词形、扩展同义词簇以及词位置对当前处理词形出现的概率的影响创建含词位置信息的语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的语义双向三元模型下出现的概率SWP；[0101]步骤6、以三个连续词形为单位，在含词位置信息的语义双向三元模型和双向三元模型的基础上进一步考虑候选切分方式长度以及候选切分方式偏好值对候选切分方式出现的概率的影响创建含词位置信息的偏好语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP;[0102]步骤7、利用所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP，并考虑句子断点向量的淘汰集，创建单目标优化模型，并通过群智能算法求解最优的句子断点向量，将其对应的候选切分方式作为最优分词结果。[0103]优选的，所述步骤1具体为:获取用户输入的问句进行建图处理，对所述图结构求解k种最短路径，得到k种候选切分方式，用候选切分方式集合W存储，所述集合W=W1=Wi,lWi,2···IWi,jeCnameURnameUS，i=1，···，k}，其中，S={si，S2,···}表示问句字符序列的字符集合，k表不候选切分方式的数量，Wi为第i种候选切分方式，Wi,j为第i种候选切分方式的第j个词形，Cname表不概念名称集合，Rname表不谓语名称集合。[0104]优选的，所述词位置e的计算公式为：[0106]其中，Wi,j为第i种候选切分方式的第j个词形，indexWi,j为词Wi,j的首个字符Wi,j,1同句子Wi的首个字符Wi,1,1的距尚为第i种候选切分方式中所有字符的数量；[0107]81为句子断点向量，且81=匕1〇，匕1^2，...，匕1^了，9=3，匕1^£为Wi中所有字符的数量。[0108]优选的，所述步骤4中概率BP的具体公式为：[0109][0112]30111^¥1，」-2¥1，」-1¥1，」表示词串^，」-2¥1，」-1¥1，」在训练语料中出现的次数；[0113]countWi，j-2Wi，j-i表示词串Wi，j-2Wi，j-i在训练语料中出现的次数；[0114]30111^¥1，」¥1，」+1¥1，」+2表示词串^，」¥1，」+1¥1，」+2在训练语料中出现的次数；[0115]countWi，j+iWi，j+2表示词串Wi，j+iWi，j+2训练语料中出现的次数[0116]优选的，所述步骤5中概率SWP的具体公式为：[0120]其中，countSWWi,j—2uSWWi,j—IzSWWi,jk，e表示SWWi,j—2SWWi,j—ISWWi,j笛卡尔积元素在训练语料中在第e=positionwi,j，BK区间上的次数；[0121]countSWWi,j-2USWWi,j-iz，e表示SWWi,j-2SWWi,j-i笛卡尔积元素在训练语料中在第e=positionwi,j，BK区间上的次数；[0122]countSWWi,jkSWWi,j+iUSWWi,j+2z，e表示SWWi,jSWWi,j+iSWWi,j+2笛卡尔积元素在训练语料中在第e=positionwi,j，BK区间上的次数；[0123]countSWWi,j+iUSWWi,j+2z，e表示SWWi,j+iSWWi,j+2笛卡尔积元素在训练语料中在第e=positionwi,j，BK区间上的次数；[0124]上述SWX表示概念X在本体中标注的同义词集合，SWWi,j-2SWWi,j-i和SWwi,j+iSWwi,j+2为二元同义词簇，SWwi,j-2SWwi,j-iSWwi,j和SWwi,jSWwi,j+iSWWi,j+2为三元同义词簇。[0125]优选的，所述步骤6中概率PSWP的具体公式为：[0126][0128]其中，为根据第i中候选切分方式的语义标注结果计算得到的第i中候选切分方式的偏好值；[0129]lengthmax=max{IWlI，IW2I，···I}，lengthmin=min{IWlI，IW2I，···}，IWiI为切分方式Wi的词数量，i=l,2，..；[0130]所述语义标注结果获取过程具体为：[0131]通过所述本体中的名词集合Cname3和谓语集合Rname3来抽取候选切分方式中的所有名词和谓语，若没有谓语，则语义标注结束；[0132]将名词间不重复的两个词分别充当主语和宾语同各个谓词进行组合，使得每一种候选切分方式都具有η种语义标注结果，并用^表示第i种候选切分方式W1的第j种语义标注结果，其中，SUbj、pred、〇bje分别为标注的主语、谓语和宾语，JzLsubj，objeGCname，predGRname;[0133]所述偏好值的计算方式具体为：[0138]其中：[0139]SWpred为pred的同义词集合；[0140]domainSWpred为pred以及pred的同义词在本体中标注的主语集合；[0141]rangeSWpred为pred以及pred的同义词在本体中标注的宾语集合；[0142]SWSdomainSWpred表示pred以及pred的同义词在本体中标注的主语集合中每一个元素在本体中标注的同义词集合；[0143]SWSrangeSWpred表示pred以及pred的同义词在本体中标注的宾语集合中每一个元素在本体中标注的同义词集合。[0144]优选的，所述单目标优化模型具体为：[0147]下面结合一具体实施例对本发明中单目标优化模型求最优解做进一步说明：[0148]如图3所示，本发明可采用蜂群智能算法（S卩ABC算法对所述单目标优化模型求解最优的句子断点向量时具体为：[0149]步骤a，设计编码方案，将种群中每个个体的编码表示为bkibksbks，其中，bkje{1，2，···，|Wi|}，j=l，2,3且为句子Wi中的字符个数，bkj用来表示句子中第j个字符和第j+Ι个字符之间的分界，解空间对应句子Wi中每两个相邻字符之间的分界，个体数为m的种群计为D=BKhBK2r^BKJ;[0150]步骤b，进行求最优解操作，具体如下：[0151]步骤bl对蜜源数量NP、蜜源存活最大代数limit、进化最大代数maxtime以及当前代数k进行初始化；[0152]步骤b2、初始化种群D，包括对种群个体初始化（即蜜源初始化），并计算各个蜜源的适应度值fBK，从而得到初始化后的最优解Dbe3st,第i个蜜源初始化公式为：[0153]Di,x=Lx+[rand0，lXUx-Lx+0.5];其中，Lx为第X维的下界，Ux为第X维的上界；[0154]进入引领蜂、跟随蜂和侦查蜂三个阶段更新最优解Dbest:[0155]在引领蜂阶段中，在第i个蜜源D1周围进行领域搜索出新蜜源V1，计算蜜源D1和新蜜源^的适应度，然后对蜜源D1和新蜜源^进行贪婪选择，选择出适应度高的蜜源作为D1,所述领域搜索公式为：[0156]谋中，X:位置的下标，即引领蜂随机地选择一维进行搜索蜜源；i辛j;資是[-2，2]内的均匀分布的随机数；[0157]在跟随蜂阶段中，计算第i个蜜源D1被选择的概率P1，根据赌轮盘算法来挑选蜜源D1进行开采^，计算^的适应度，对蜜源01和新蜜源^进行贪婪选择，然后根据选择出适应度高的蜜源作为Di，蜜源Di被选中的概率为：[0158]其中，NP为蜜源数量；[0159]在侦查蜂阶段中，当第i个蜜源存活代数小于limit时，更新最优解Dbe3st,否则，抛弃第i个蜜源，生成新的蜜源来替换当前某个存活代数大于limit的蜜源，该替换蜜源的公式为：[0160]:;其中，trial表示第i个蜜源在进化过程中存活的代数，limit为每个蜜源能够存活的最大代数，表示第i个蜜源的第X维在第t代时的值；[0161]步骤b4、重复运行上述三个阶段，当重复运行的次数达到进化最大代数Hiaxtime之后，停止计算并且返回最优解Dbest;[0162]之后，进行解码（即编码的逆过程利用最优句子断点位置，找出最大fBK对应的切分方式作为最后的分词结果。[0163]本发明中的群智能算法除了蜂群智能算法外，还可以为蚁群算法等。[0164]另外，在上述步骤1中的对问句进行预处理中的建图处理可参考张华平，刘群等提出的基于N—最短路径方法的中文词语粗分模型具体参见中文信息学报，2002,165:1-7.，且求解k最短路径处理可参考JosgAugustodeAzevedo等提出的方法对上述构建的图结构进行求解（具体参见J〇s6AugustodeAzevedo,SilvestreMadeira,ErnestoQVieiraMartins,etal.Ashortestpathsrankingalgorithm[J].1990.〇[0165]上述在进行词频和词位置计算时，通过标记状态为“已处理”和“未处理”来识别某种候选切分方式是否已经计算了词频和词位置，其中词频的计算可用于在各个模型中计算候选切分方式的概率。[0166]本发明在基于领域本体的语义词频统计技术中，利用领域本体中标注的同义词信息对切分方式中的词形扩展成同义词簇，从而计算同义词簇的词频来当作当前处理词形的词频，还计算同义词簇的位置来当作当前处理词形在训练语料中的位置，以便后序步骤的处理;在基于abc算法（即蜂群算法）的动态词位置确定中，先在语义统计阶段统计出词组合的词频和位置;之后，利用语义标注模块对每种候选切分方式进行语义标注;然后，利用语义标注结果来计算每个候选切分方式的偏好值;最后，通过ABC算法来确定最优句子断点向量。本发明基于本体和群智能算法来解决中文分词中的歧义切分的问题，大大提高切分准确性。[0167]虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

权利要求：1.一种基于本体和群智能算法的中文歧义切分方法，其特征在于:包括如下步骤：步骤1、获取用户输入的一个问句进行预处理，得到至少一个候选切分方式，形成候选切分方式集合W;步骤2、利用本体中标注的同义词信息创建同义词簇，包括对每一候选切分方式中的每两个连续词形扩展成一个二元同义词簇，每三个连续词形扩展成一个三元同义词簇；步骤3、计算每一候选切分方式中每一词形的词位置e;步骤4、以三个连续词形为单位，考虑其中前两个词和后两个词的词形对当前处理词形出现的概率的影响创建双向三元模型，计算每一种候选切分方式在所述双向三元模型下出现的概率BP;步骤5、以三个连续词形为单位，考虑其中前两个词和后两个词的词形、扩展同义词簇以及词位置对当前处理词形出现的概率的影响创建含词位置信息的语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的语义双向三元模型下出现的概率SWP;步骤6、以三个连续词形为单位，在含词位置信息的语义双向三元模型和双向三元模型的基础上进一步考虑候选切分方式长度以及候选切分方式偏好值对候选切分方式出现的概率的影响创建含词位置信息的偏好语义双向三元模型，计算每一种候选切分方式在所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP;步骤7、利用所述含词位置信息的偏好语义双向三元模型下出现的概率PSWP，并考虑句子断点向量的淘汰集，创建单目标优化模型，并通过群智能算法求解最优的句子断点向量，将其对应的候选切分方式作为最优分词结果。2.根据权利要求1所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:所述步骤1具体为：获取用户输入的问句进行建图处理，对所述图结构求解k种最短路径，得到k种候选切分方式，用候选切分方式集合W存储，所述集合W={Wi=wi,iwi,2...|wi,jec随eUR随eUS，i=l，···，k}，其中，S={S1，S2,···}表示问句字符序列的字符集合，k表不候选切分方式的数量，Wi为第i种候选切分方式，Wi,j为第i种候选切分方式的第j个词形，Cname表不概念名称集合，Rname表不谓语名称集合。3.根据权利要求2所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:所述词位置e的计算公式为：其中，Wi,j为第i种候选切分方式的第j个词形，indexWi,j为词Wi,j的首个字符Wi,j,i同句子Wi的首个字符Wi,i,i的距离，为第i种候选切分方式中所有字符的数量；BK为句子断点向量，且BK=bkhbk〗，···，bkqT，q=3,S其中为Wi中所有t字符的数量。4.根据权利要求3所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:所述步骤4中概率BP的具体公式为：countWi,j-2WiJ-IWiJ表示词串WiJ-2WiJ-IWiJ在训练语料中出现的次数；countWi,j-2Wij-ι表示词串Wij-2WiJ-I在训练语料中出现的次数；countWi,jWi,j+1Wi,j+2表示词串Wi,jWiJ+1Wi,j+2在训练语料中出现的次数；countWi,j+iWi,j+2表示词串WiJ+1Wi,j+2训练语料中出现的次数。5.根据权利要求4所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:所述步骤5中概率SWP的具体公式为：其中，countSWWi,j—2uSWWi,j—IzSWWi,jk，e表示SWWi,j—2SWWi,j—ISWWi,j笛卡尔积元素在训练语料中在第e=positionWij,BK区间上的次数；countSWWi,j—2uSWWi,j—iz,e表示SWWi,j—2SWWi,j—i笛卡尔积元素在训练语料中在第e=positionWij,BK区间上的次数；countSWWijkSWWi,j+iuSWWi,j+2z,e表示SWWijSWWi,j+iSWWi,j+2笛卡尔积元素在训练语料中在第e=positionWij,BK区间上的次数；countSWWi,j+iuSWWi,j+2z,e表示SWWi,j+iSWWi,j+2笛卡尔积元素在训练语料中在第e=positionWij,BK区间上的次数；上述SWX表示概念X在本体中标注的同义词集合，SWWi,j—2SWWi,j—i和SWWi,j+iSWWi,j+2为二元同义词簇，SWWi,j—2SWWi,j—iSWWij和SWWi,jSWWi,j+iSWWi,j+2为三元同义词簇。6.根据权利要求5所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:所述步骤6中概率PSWP的具体公式为：其中，为根据第i中候选切分方式的语义标注结果Sn胃计算得到的第i中候选切分方式的偏好值；lengthmax=max{IWlI，IW2I，···I}，lengthmin=min{IWlI，IW2I，···}，IWiI为切分方式Wi的词数量，i=l，2,..；所述语义标注结果SI?%获取过程具体为：通过所述本体中的名词集合Cname3和谓语集合Rname3来抽取候选切分方式中的所有名词和谓语，若没有谓语，则语义标注结束；将名词间不重复的两个词分别充当主语和宾语同各个谓词进行组合，使得每一种候选切分方式都具有η种语义标注结果，并用I表示第i种候选切分方式1的第j种语义标注结果，其中，subj、pred、obje分别为标注的主语、谓语和宾语，且subj，objeεCname，predGRname;所述偏好值j_的计算方式具体为：其中：SWpred为pred的同义词集合；domainSWpred为pred以及pred的同义词在本体中标注的主语集合；rangeSWpred为pred以及pred的同义词在本体中标注的宾语集合；SWSdomainSWpred表示pred以及pred的同义词在本体中标注的主语集合中每一个元素在本体中标注的同义词集合；SWSrangeSWpred表示pred以及pred的同义词在本体中标注的宾语集合中每一个元素在本体中标注的同义词集合。7.根据权利要求6所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于：所述单目标优化模型具体为：其中，8.根据权利要求7所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:通过蜂群智能算法对所述单目标优化模型求解最优的句子断点向量，具体过程包括：步骤a、设计编码方案：将种群中每个个体的编码表示为bkibk2bk3，其中，bkje{1，2，...，IWiI}，j=1，2，3且其中―罐为句子Wi中的字符个数，bh用来表示句子中第j个字符和第j+Ι个字符之间的分界，解空间对应句子W1中每两个相邻字符之间的分界，个体数为m的种群计为D=BK1，BK2，…，BKJ;步骤b、求最优解如下：步骤bl、对蜜源数量NP、蜜源存活最大代数limit、进化最大代数Hiaxtime3进行初始化；步骤b2、初始化种群并计算各个蜜源的适应度值fBK，从而得到初始化后的最优解Dbest;步骤b3、运行引领蜂、跟随蜂和侦查蜂三个阶段来更新最优解Dbest;在引领蜂阶段中，在蜜源〇1周围进行领域搜索出新蜜源V1，然后根据选择出适应度高的蜜源作为Di;在跟随蜂阶段中，根据赌轮盘算法来挑选蜜源〇1进行开采^，然后根据选择出适应度高的蜜源作为Di;在侦查蜂阶段中，生成新的蜜源来替换当前某个存活代数大于limit的蜜源；步骤b4、重复运行步骤b3的三个阶段，当重复运行的次数达到进化最大代数Hiaxtime之后，停止计算并且返回最优解Dbest。9.根据权利要求8所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:所述第i个蜜源初始化公式：Di,X=Lx+[rand0,1XUx-Lx+0.5]；其中，Lx为第X维的下界，Ux为第X维的上界。10.根据权利要求9所述的一种基于本体和群智能算法的中文歧义切分方法，其特征在于:所述步骤b3具体为：在引领蜂阶段中，在蜜源〇1周围进行领域搜索出新蜜源V1，然后根据选择出适应度高的蜜源作SD1，所述领域搜索公式为：其中，X:位置的下标，即引领蜂随机地选择一维进行搜索蜜源；j;_是[-2,2]内的均匀分布的随机数；在跟随蜂阶段中，根据赌轮盘算法来挑选蜜源〇1进行开采^，然后根据选择出适应度高的蜜源作为D1，所述第i个蜜源队被选中的概率为：其中，NP为蜜源数量；在侦查蜂阶段中，生成新的蜜源来替换当前某个存活代数大于limit的蜜源，所述替换蜜源的公式为：其中，trial表示第i个蜜源在进化过程中存活的代数，limit为每个蜜源能够存活的最大代数，_示第i个蜜源的第X维在第t代时的值。

百度查询： 福建工程学院 一种基于本体和群智能算法的中文歧义切分方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD