申请/专利权人：上海安般信息科技有限公司

申请日：2023-11-07

公开（公告）日：2024-03-22

公开（公告）号：CN117493140B

主分类号：G06F11/34

分类号：G06F11/34

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.02.23#实质审查的生效;2024.02.02#公开

摘要：本发明提供一种针对深度学习模型的评测系统，包括用户操作模块，其用于获取模型和数据集测试请求；业务处理模块，其用于完成模型和数据集的测试，管理测试任务、变异策略和数据集；测试引擎模块，其用于自动适配模型训练框架类型、自动选择变异策略以及动态生成对抗样本；数据存储模块，其用于实现对所述模型信息、数据集信息和测试报告信息的存储；测试引擎模块包括AI框架单元、变异单元、对抗样本单元、数据增强单元、神经元覆盖单元。本发明提供的针对深度学习模型的评测系统，通过在测试引擎模块中设置各个测试单元，实现测试过程通用化和自动化，测试指标齐全，极大地简化了测试过程并提高了测试效率。

主权项：1.一种针对深度学习模型的评测系统，其特征在于，包括：用户操作模块，其用于获取模型和数据集测试请求，并实时展示模型信息、数据集信息和测试报告信息；业务处理模块，其用于响应所述用户操作模块的请求，完成模型和数据集的测试，管理测试任务、变异策略和数据集；测试引擎模块，其用于响应所述业务处理模块的需求，自动适配模型训练框架类型、自动选择变异策略以及动态生成对抗样本；数据存储模块，其用于响应所述业务处理模块和所述测试引擎模块的数据操作请求，实现对所述模型信息、数据集信息和测试报告信息的存储；其中，所述测试引擎模块包括：测试调度单元，其用于根据所述业务处理模块下发的测试指令，调度所述数据存储模块的测试数据集和对应的测试单元以执行所述测试指令，完成测试任务后接收各个测试单元反馈的测试结果并存储到所述数据存储模块；AI框架单元，其用于自适应不同框架下训练的模型，使用Docker创建容器，通过创建Dockerfile来定义容器镜像，包含PyTorch和TensorFlow两种模型训练环境；变异单元，其用于为鲁棒性测试提供变异策略，实现对图像测试集、语音测试集和文本测试集的变异；对抗样本单元，其用于生成大量对抗样本，支持模型对抗攻击下的鲁棒性测试，并支持将对抗样本用于模型重新练，提升模型鲁棒性；数据增强单元，其用于在数据集较少时进行数据增强，对所述图像测试集中的数据进行亮度变换、高斯模糊和随机遮挡，对所述语音测试集中的数据进行音量变化、语速变换和音调变换，对所述文本测试集中的数据进行词汇替代、回译和文字表面转换；神经元覆盖单元，其用于执行神经元覆盖率指标测试，通过将模型的第一层和最后一层的神经元值拼接到NumPy数组中来表示模型状态，并通过快速近似最近邻算法来计算当前覆盖与整个测试中生成覆盖的欧式距离相似度，以判断当前覆盖是否为新的覆盖，将相应的突变种子添加到种子池的新种子集，将当前覆盖添加到所有覆盖集，以实现对激活神经元的记录。

全文数据：

权利要求：

百度查询： 上海安般信息科技有限公司 一种针对深度学习模型的评测系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD