申请/专利权人:北京澜舟科技有限公司
申请日:2024-02-03
公开(公告)日:2024-03-12
公开(公告)号:CN117688164A
主分类号:G06F16/332
分类号:G06F16/332;G06F40/30;G06F40/289;G06F40/211
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.03.29#实质审查的生效;2024.03.12#公开
摘要:本发明涉及大语言模型幻觉检测领域,特别涉及一种基于大语言模型的幻觉检测方法、系统以及存储介质。本发明通过获取大语言模型、待检测内容以及与所述待检测内容相关的相关文档集;构建与待检测内容中的数字和实体单位对应的多道填空题和多道判断题组成的题库集;根据相关文档集对题库集中的所有填空题进行填空,并对所有填空题的填空结果和所有判断题一一进行判断;若存在一道填空题的填空结果或一道判断题在相关文档集的所有相关文档下均被判断为非正确,则确定待检测内容中存在幻觉。实现了对数字幻觉、实体幻觉等细粒度幻觉问题的检测。
主权项:1.一种基于大语言模型的幻觉检测方法,其特征在于:包括以下步骤:获取大语言模型、待检测内容以及与所述待检测内容相关的相关文档集;构建与所述待检测内容中的数字和实体单位对应的多道填空题和多道判断题组成的题库集;根据所述相关文档集对所述题库集中的所有填空题进行填空,并对所有填空题的填空结果和所有判断题一一进行判断;若存在一道填空题的填空结果或一道判断题在所述相关文档集的所有相关文档下均被判断为非正确,则确定所述待检测内容中存在幻觉。
全文数据:
权利要求:
百度查询: 北京澜舟科技有限公司 基于大语言模型的幻觉检测方法、系统以及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。