申请/专利权人：江苏大学;无锡维伊恩智能科技有限公司;镇江昭远智能科技有限公司

申请日：2023-12-15

公开（公告）日：2024-03-22

公开（公告）号：CN117744738A

主分类号：G06N3/082

分类号：G06N3/082;G06N3/084;G06N3/0464;G06N3/0475;G06N3/045;G06V10/82;G06V10/774;G06V20/70

优先权：

专利状态码：在审-公开

法律状态：2024.03.22#公开

摘要：在本发明中，我们提出了一种基于视觉语义探针SVProbe和反事实验证的新型并行解释网络以及模型优化方案，旨在提高深度神经网络的可解释性，并促进用户对网络决策的理解。该网络的新颖之处在于SVProbe将先验知识纳入梯度计算，并解释文本属性及其相应的视觉映射，从而指导模型决策。同时，反事实验证通过改变图像的颜色、纹理和形状信息生成反事实样本，并将其输入原始模型，以评估不同决策解释的一致性，从而为SVProbe的解释提供可靠性验证。最后，分析反事实样本的预测结果，通过调整对结果有特殊贡献的特定层或神经元的权重来优化模型。这种并行解释网络结构能让用户更直观、更高效地理解网络决策。我们在预训练模型和公共数据集上进行了广泛的实验。结果表明，本发明能有效揭示模型决策背后的证据，在可解释性和可信度方面优于现有方法。此外，在VGG16、ResNet50和ResNet101上，边框Bbox得分分别为64.85％、77.02％和77.26％。与其他方法相比，本发明的属性准确率平均提高了1.8％。

主权项：1.一种利用语义视觉探针和反事实验证对深度神经网络进行可解释并优化的方法，其特征在于，包括以下步骤：步骤1.1：基于视觉语义探针的模型决策解释指导方法研究，在训练阶段，语义视觉探针被植入训练好的模型，并通过训练获取模型每个滤波器所包含的文本属性。在解释阶段，对输入样本进行反向传播，以获得相应层的梯度特征。对全局平均池化后的梯度、每个过滤器的属性概率和特征图进行加权，以获得相应属性的视觉映射。步骤1.2：基于反事实验证的模型决策可靠性方法研究。通过修改原始图像的颜色、纹理和部分形状，并将其重新输入模型，使用视觉语义探针解读，并与与原先结果进行比较，根据前后的解读情况验证评估模型在面对不同输入变化时决策的可靠性，以及为后续提高模型的鲁棒性和泛化能力提供基础。步骤1.3：基于反事实样本预测结果的模型结构优化方法研究。分析反事实样本的预测结果，通过调整对结果有特殊贡献的特定层或神经元的权重来微调模型，使模型更加健壮。除此之外，将反事实优化整合到训练中，将训练数据集与反事实样本一起进行增广，并根据原始和反事实样本计算的损失来更新模型权重。

全文数据：

权利要求：

百度查询： 江苏大学;无锡维伊恩智能科技有限公司;镇江昭远智能科技有限公司 基于视觉语义探针和反事实验证的并行可解释网络及优化

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD