申请/专利权人：山西三友和智慧信息技术股份有限公司

申请日：2023-12-29

公开（公告）日：2024-03-29

公开（公告）号：CN117787289A

主分类号：G06F40/30

分类号：G06F40/30;G06F16/332;G06F16/33

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明属于深度学习技术领域，具体涉及一种基于问答系统的阅读理解中Bert的可解释性方法，包括下列步骤：数据采集：采集模型所需的数据，并对其类别进行标注，完成模型所需的数据集构建；数据预处理：对数据集进行的预处理，为后续的搜索做必要准备；对Bert基准模型分析：寻找段落词：在每一层找出对答案最重要的段落词；保留或移除优先级队列：主要用JSD来表征和可视化一个层的功能；验证模型：在数据集中验证方法的有效性和可行性。本发明使用集成梯度定义每个层的功能，其分析表明，Bert在得到答案之前，正在其初始层中学习某种形式的段落‑查询交互。这对解释Bert具体怎样完成相关自然语言处理任务有一个好的启发，具有较大的实用意义。

主权项：1.一种基于问答系统的阅读理解中Bert的可解释性方法，其特征在于：包括下列步骤：S1、数据采集：采集模型所需的数据，并对其类别进行标注，完成模型所需的数据集构建；S2、数据预处理：对数据集进行的预处理，为后续的搜索做必要准备；S3、对Bert基准模型分析：对于Bert分析，使用Bert-base模型，所述Bert-base模型有12个变压器块，每个变压器块有一个多方向自我注意机制和一个前馈神经网络；S4、寻找段落词：理解RCQA的每个Bert层的功能；在每一层找出对答案最重要的段落词；S5、保留或移除优先级队列：用JSD来表征和可视化一个层的功能；S6、验证模型：在数据集中验证方法的有效性和可行性。

全文数据：

权利要求：

百度查询： 山西三友和智慧信息技术股份有限公司 一种基于问答系统的阅读理解中Bert的可解释性方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD