申请/专利权人：浙江大学

申请日：2023-07-31

公开（公告）日：2024-03-26

公开（公告）号：CN117077761B

主分类号：G06N3/0895

分类号：G06N3/0895;G06N3/094;G06N3/10

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2023.12.05#实质审查的生效;2023.11.17#公开

摘要：本发明公开了一种基于反事实对比的深度神经网络模型可视化解释方法及系统，提出的基于反事实的深度神经网络模型可视化解释方法可以实现对无目标因果问题和有目标因果问题的解释，对有目标因果问题的解释实现了对对抗样本现象的可视化解释，提出了针对不同因果问题的反事实样本生成算法以生成特定的反事实图像，拓展了深度神经网络模型的可视化解释范围，对待解释图像添加强度一致的高斯噪声消除反事实扰动的影响，通过比较扰动噪声图像和反事实图像在深度神经网络模型的内部加权特征图的差异，解耦出对模型决策类别影响强烈的区域，实现了对深度神经网络模型的可视化解释。

主权项：1.一种基于反事实对比的深度神经网络模型可视化解释方法，其特征在于，包含如下步骤：确定目标深度神经网络模型F，获得待解释图像x0；将待解释图像x0输入到目标深度神经网络模型F中，获得图像的原始类别p；获得因果问题Q，根据因果问题Q是否包含特定目标类别q，将其划分为无目标因果问题和有目标因果问题，基于此选择针对待解释图像x0的反事实样本使用无目标的生成方式或有目标的生成方式；若因果问题Q是针对原始类别p的无目标因果问题，则使用无目标的生成方式得到反事实图像；若因果问题Q是针对特定目标类别q的有目标因果问题，则使用有目标的生成方式得到反事实图像；根据因果问题的内容将其划分为无目标因果问题和有目标因果问题，用于解决不同因果问题的侧重点不同的问题，具体为：无目标因果问题的形式为“为什么模型F认为图像x0的类别是p？”，有目标因果问题的形式为“为什么模型F认为图像x0的类别是p而不是q？”，特别的对抗样本现象的解释即对应有目标因果问题，对于无目标因果问题，反事实图像的生成目标为最小化原始类别p的概率；对于有目标因果问题，反事实图像的生成目标为最大化特定目标类别q的概率；根据选择的针对待解释图像x0的反事实样本的生成方式，使用待解释图像x0针对深度神经网络模型F生成N张反事实图像，构成反事实图像集合{xc}；使用待解释图像x0针对深度神经网络模型F生成反事实图像，具体为：对于无目标因果问题，反事实图像xc的生成目标为最小化原始类别p在深度神经网络模型F全连接层的输出，并保持其他类别在全连接层的输出不变，其优化目标函数为： 其中表示反事实图像xc输入模型后，在原始类别p上对应的全连接层输出概率；分布距离度量损失Dmse采用均方误差衡量反事实图像xc与待解释图像xo的在原始类别p以外的全连接层输出概率分布的距离，超参数γ用于平衡两个损失之间的权重，∈是反事实扰动的最大阈值；对于有目标因果问题，反事实图像xc的生成目标为最小化原始类别p在深度神经网络模型F全连接层的输出，同时最大化特定目标类别q在深度神经网络模型F全连接层的输出，并保持除类别为p和q以外的其他类别r在全连接层的输出概率不变，优化目标函数为： s.t.||x0-xc||2≤∈；其中，超参数β和γ用于平衡不同损失之间的权重，使用投影梯度下降算法分别对两种目标函数进行求解得到对应的反事实图像xc；通过对待解释图像x0添加随机高斯噪声，生成N张包含高斯扰动的扰动图像，构成噪声图像集合{x′0}；使用噪声图像集合{x′0}和反事实图像集合{xc}，分别计算针对深度神经网络模型F的噪声加权特征图集合{Rx0′}和反事实加权特征图集合{Rxc}；根据噪声加权特征图集合{Rx0′}，计算平均噪声加权特征图通过平均噪声加权特征图和反事实加权特征图集合{Rxc}，计算平均正向特征表达和平均负向特征表达分别计算每一张反事实图像的正向特征表达和负向特征表达，并求取平均值作为平均正向特征表达和平均负向特征表达通过平均正向特征表达和平均负向特征表达使用上采样算法计算得到以热力图形式可视化的正向显著图Mp和负向显著图Mn。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于反事实对比的深度神经网络模型可视化解释方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD