买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种基于分布式表示模型困惑度的人机对话方法与系统_重庆邮电大学_201911073080.2 

申请/专利权人:重庆邮电大学

申请日:2019-11-05

公开(公告)日:2022-05-03

公开(公告)号:CN110825861B

主分类号:G06F16/332

分类号:G06F16/332;G06F16/35;G06K9/62

优先权:

专利状态码:有效-授权

法律状态:2022.05.03#授权;2020.03.17#实质审查的生效;2020.02.21#公开

摘要:本发明涉及自然语言处理领域,特别涉及一种基于分布式表示模型困惑度的人机对话方法;本方法包括:获取文本数据;对文本数据进行处理,得到BERT模型和模型困惑度特征向量;将文本数据转换为768维句向量;利用768维句向量训练t‑SNE模型,并结合k得到3维向量;利用3维向量训练单分类One‑ClassSVM模型,并判别输入数据属于域内还是域外;利用768维句向量训练逻辑回归文本分类模型,并对文本数据进行领域内分类;输入文本数据,判断输入的数据为域内还是域外,并做出回答;本发明实现了对文本域内域外的判断,从而判别出用户输入是否在问答系统解决能力范围内,避免了问答系统对不知情的问题乱回答的现象。

主权项:1.一种基于分布式表示模型困惑度的人机对话方法,其特征在于,所述方法步骤为:S1:获取文本数据;S2:通过问答数据集训练SequencetoSequence模型;S3:使用BERT算法对文本数据进行处理,得到BERT模型,并利用BERT模型对所有文本数据进行测试,将测试得到的数据进行处理得到每个文本的模型困惑度特征向量;S4:结合BERT模型和bert-as-service库把文本数据转换为768维句向量;S5:利用768维句向量训练t-SNE模型,得到2维向量数据,并结合模型困惑度特征向量得到3维向量;S6:利用3维句向量训练单分类One-ClassSVM模型,通过单分类One-ClassSVM模型判别输入数据属于域内还是域外;利用单分类One-ClassSVM模型判别输入数据是域内还是域外包括:S601:选取3维数据的任一一个点,形成半径为R的最小球面,使得3维数据均在这个球面内;S602:输入新的数据,利用Lagrange乘子法求解得到新的数据点;S603:判断得到的数据点是否在球面内,若在球面内,则判定新输入的数据在域内;若在球面外,则判定新输入的数据在域外;S7:利用768维句向量数据结合逻辑回归分类算法训练逻辑回归文本分类模型,通过逻辑回归文本分类模型完成领域分类;S8:输入文本数据,判断输入的数据为域内还是域外;若为域内,利用训练的SequencetoSequence模型对输入的数据做出相应的回答;若为域外,则提供给用户网络上的相关回答。

全文数据:

权利要求:

百度查询: 重庆邮电大学 一种基于分布式表示模型困惑度的人机对话方法与系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。