申请/专利权人：上海交通大学

申请日：2024-01-25

公开（公告）日：2024-04-16

公开（公告）号：CN117892317A

主分类号：G06F21/57

分类号：G06F21/57;G06N3/0464;G06N3/08;G06F18/241

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明提供了一种基于对抗攻击的深度学习模型弱标签漏洞挖掘方法及系统，使用任意对抗攻击算法挖掘人工智能分类模型的漏洞标签，并使用其他对抗攻击方法对漏洞标签进行目标对抗攻击的成功率变化验证模型漏洞性。包括：选取任意对抗攻击方法进行变幅度对抗样本攻击，根据攻击结果提取易转移标签与脆弱标签，更换其他对抗攻击算法对两类标签进行攻击。本方法创新性提出并验证使用任意一种对抗攻击算法得到的结果在使用其他攻击算法时具有迁移性，在公开模型上进行了实验，验证了本方法能有效提取模型漏洞标签，是一种全流程的挖掘模型漏洞挖掘方法，具有通用性、效果好、可解释性强等优势特点，在人工智能分类领域具有实际应用价值。

主权项：1.一种基于对抗攻击的深度学习模型弱标签漏洞挖掘方法，其特征在于，包括：步骤S1：获取待评估模型作为靶模型；步骤S2：选取任意一种对抗攻击方法对靶模型进行变幅度对抗样本攻击，记录在攻击幅度变化时识别结果的变化与样本识别标签的迁移；步骤S3：根据记录结果计算攻击前后靶模型对样本分类的混淆矩阵；步骤S4：根据混淆矩阵提取易转移标签与脆弱标签两类标签；步骤S5：将易转移标签与脆弱标签作为目标，利用其他对抗攻击方法攻击靶模型；步骤S6：若以易转移标签为目标进行攻击的成功率低于其他标签的样本识别成功率并满足预设条件，同时以脆弱标签为目标进行攻击的成功率高于其他标签的样本识别成功率并满足预设条件，则认为当前靶模型存在弱标签漏洞；选取另一种对抗攻击方法，重复触发步骤S2至步骤S6；所述易转移标签是作为转移终点次数最多的标签；所述脆弱标签是作为转移起点次数最多的标签。

全文数据：

权利要求：

百度查询： 上海交通大学 基于对抗攻击的深度学习模型弱标签漏洞挖掘方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD