申请/专利权人：北京临近空间飞行器系统工程研究所

申请日：2021-08-18

公开（公告）日：2024-02-13

公开（公告）号：CN113762359B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/80;G06V10/762;G06V10/774;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.02.13#授权;2021.12.24#实质审查的生效;2021.12.07#公开

摘要：本发明一种面向RD时频数据的深度学习模型评测系统及方法，其过程包括验证集扩充、多IOU阈值F1计算、多IOU阈值mAP计算、FLOPs计算、评测指标集成计算。评测方法主体为验证集扩充方法及基于集成策略的模型评测方法，通过图像融合与检验机制对验证集进行扩充，解决面向RD时频数据短缺问题，可以在不引入明显噪声信息、不泄露目标标签信息、不改变数据分布情况下得到更大规模的验证集，使得验证集更好地表征整体数据的特征，更好地评测模型的泛化性能；用多IOU阈值的F1得分、多IOU阈值的mAP、FLOPs的加权得分表示深度学习模型的整体能力，可以更准确地表征模型在单点最优、全局平均最优、时间性能方面的能力，从而为面向RD时频数据的深度学习模型评测提供有力技术支撑。

主权项：1.一种面向RD时频数据的深度学习模型评测系统，其特征在于：包括验证集扩充模块、多IOU阈值F1得分计算模块、多IOU阈值mAP计算模块、FLOPs计算模块和评测指标集成计算模块；验证集扩充模块接收灰度化后的训练集和验证集、复制粘贴盲检测允许偏差、扩充数量作为输入，通过分析训练集和验证集整体数据中标签位置的整体分布，将训练集和验证集组成的整体数据图像中的目标剪出形成目标池，将背景挖空处理形成背景池，满足约束条件下进行目标图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长，根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合，然后计算复制粘贴盲检测得分，包括特征点提取、特征点匹配、聚类和几何评估，根据得分是否满足得分要求，自动搜索图像处理参数或更换融合的目标与背景，直到满足得分要求则将融合图像纳入验证集，扩充过程完成后得到扩充后的验证集；多IOU阈值F1得分计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、F1得分，然后计算各个类别的平均F1得分，最后计算各个IOU阈值下的平均F1得分；多IOU阈值mAP计算模块将模型在扩充后的验证集上的预测结果作为输入，在每个IOU阈值下，计算验证集内每个类别的召回率recall、精确率precision、平均精确率AP，计算各个类别AP的平均值mAP，计算各个IOU阈值下mAP的平均值；FLOPs计算模块将外置的深度学习模型结构配置作为输入，自动分析模型中的卷积层、池化层、全连接层的个数，根据维度和法则自动计算FLOPs；评测指标集成计算模块对多IOU阈值F1得分、多IOU阈值mAP、FLOPs进行量纲化，计算得到加权和作为深度学习模型评测得分；所述训练集和验证集整体数据中标签位置的整体分布包括：每个图像中目标个数分布、目标左上角坐标分布、目标旋转角度分布、复制粘贴盲检测得分分布；所述验证集扩充模块内部的具体工作流程为：步骤11、提示用户录入灰度化的训练集和验证集、扩充数量、复制粘贴盲检测允许偏差，统计训练集和验证集整体数据的目标左上角坐标范围分布、目标旋转角度分布、复制粘贴盲检得分范围；步骤12、在训练集和验证集组成的整体数据上，将每个图像上的目标框剪切出来组成目标池，背景处填充背景色组成背景池，记录数据集中已经存在的目标，背景的配对关系；步骤13、判断验证集扩充数量是否达到用户输入的扩充数量，若未达到，跳转执行步骤15；步骤14、在步骤13的判断中，若验证集扩充数量达到用户输入的扩充数量，则退出验证集扩充模块工作流程；步骤15、判断是否已经遍历完目标池和背景池，如果未遍历完，则跳转执行步骤17；步骤16、在步骤15的判断中，如果已遍历完，则退出验证集扩充模块工作流程；步骤17、随机从目标池和背景池中选择目标图像和背景图像，保证目标，背景配对关系没有出现过；步骤18、对待融合的目标进行图像处理，处理手段包括背景透明和边缘模糊，背景透明参数和边缘模糊参数有预设的阈值范围和步长；步骤19、根据整体数据的目标左上角坐标范围分布、目标旋转角度分布，生成随机融合参数：目标左上角坐标和旋转角度，将目标图像根据融合参数与背景进行融合；步骤110、计算融合图像的复制粘贴盲检测得分，包括特征点提取、特征点匹配、聚类和几何评估，将复制粘贴盲检测得分量纲化到0到100范围内，分数越高表示图片是通过复制粘贴形式生成的概率越低；步骤111、在原始数据的复制粘贴盲检得分范围基础上，范围下限向下偏移用户输入的允许偏差，判断当前融合图像的复制粘贴盲检测得分是否满足要求，如果满足要求则执行步骤112；步骤112、将当前融合的图像加入验证集中，然后返回步骤13；这里只考虑每个图片中存在一个目标的情况，如果对于多目标情况，则需要将融合后的图片再次加入背景池并做好记录；步骤113、在步骤111中，如果当前融合图像的复制粘贴盲检测得分不满足要求，则判断是否已经遍历完图像处理调参范围，如果已经遍历完，则返回步骤15；步骤114、在步骤113的判断中，如果未遍历完图像处理调参范围，则调整图像处理参数，然后返回步骤18；所述多IOU阈值F1得分计算模块内部的具体工作流程为：步骤21、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；步骤22、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的F1平均得分；步骤23、在步骤22的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤24；步骤24、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的F1平均得分；步骤25、在步骤24的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤26；步骤26、判断是否已遍历完所有待评测验证集图片，如果已遍历完，则计算类别j的各个图像的F1得分的平均值；步骤27、在步骤26的判断中，如果未遍历完所有待评测验证集图片，则获取下一个图像g，之后执行步骤28；步骤28、对于步骤27获取到的图像，筛选出其中和当前类别j的第k个标注框的IOU大于等于IOU阈值i的若干个预测框；步骤29、按照置信度降序顺序对步骤28筛选出的预测框进行排序；步骤210、根据IOU阈值i，构建混淆矩阵，计算正检数TP、漏检数FN、误检数FP；步骤211、计算精度计算召回率步骤212、计算F1得分计算完成后返回步骤26；所述多IOU阈值mAP计算模块内部的具体工作流程为：步骤31、提示用户输入验证集预测结果，根据预设IOU阈值范围和步长，得到IOU阈值的所有值；步骤32、判断是否已遍历完IOU阈值，如果已遍历完，则计算各IOU的mAP平均得分；步骤33、在步骤32的判断中，如果未遍历完IOU阈值，则获取下一个IOU阈值i，之后执行步骤34；步骤34、判断是否已遍历完全部分类，如果已遍历完，则计算各类别的AP平均得分；步骤35、在步骤34的判断中，如果未遍历完全部分类，则获取下一个类别j，之后执行步骤36；步骤36、根据预设的置信度取值范围，在置信度阈值取值范围内进行等距取值，获得n个置信度阈值；步骤37、筛选出评测图像中置信度大于等于第m个置信度阈值的若干个预测框；步骤38、将若干个预测框分别与若干个标注框进行匹配；步骤39、根据IOU阈值i，构建混淆矩阵，计算与第m个置信度阈值相对应的正检数TP、漏检数FN、误检数FP；步骤310、计算与第m个置信度阈值相对应的精度计算召回率步骤311、判断是否已遍历完所有置信度阈值，如果未遍历完，则返回步骤37；步骤312、在步骤311的判断中，如果已遍历完，则根据各个置信度下的precision和recall绘制P-R曲线获得分类j的AP，然后返回步骤34。

全文数据：

权利要求：

百度查询： 北京临近空间飞行器系统工程研究所 一种面向RD时频数据的深度学习模型评测系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD