申请/专利权人：湖南大学

申请日：2021-09-06

公开（公告）日：2024-03-19

公开（公告）号：CN113807420B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/764;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.01.04#实质审查的生效;2021.12.17#公开

摘要：本发明公开了一种考虑类别语义匹配的域自适应目标检测方法及系统。该方法包括：步骤1，获取源域带标签图像和目标域无标签图像；步骤2，使用源域带标签图像训练得到经过预训练的基础目标检测器；步骤3，在经过预训练的基础目标检测器上增加域自适应组件，使用源域带标签图像和目标域无标签图像训练得到经过训练的域自适应目标检测模型；步骤4，移除增加的域自适应组件，使用经过训练的域自适应目标检测模型对目标域场景进行目标检测。本发明考虑了跨域目标检测中两域特定类别语义匹配的问题，避免源域和目标域的目标类别在共享类别空间中出现错误对齐的问题，从而促使目标检测模型在目标域上的检测性能得到进一步提高。

主权项：1.一种考虑类别语义匹配的域自适应目标检测方法，其特征在于，包括如下步骤：步骤1，获取源域带标签图像和目标域无标签图像；步骤2，使用源域带标签图像训练得到经过预训练的基础目标检测器；步骤3，在经过预训练的基础目标检测器上增加域自适应组件，使用源域带标签图像和目标域无标签图像训练得到经过训练的域自适应目标检测模型；步骤3.1，在经过预训练的基础目标检测器增加域自适应组件；步骤3.2，使用源域带标签图像和目标域无标签图像训练得到域自适应目标检测模型；所述步骤3.1，包括如下步骤：步骤3.1.1，增加全局特征判别组件：在主干网络G的输出位置构建域判别器D，域判别器D用于区分主干网络G输出的特征图来自源域还是目标域；在主干网络G和域判别器D之间引入梯度反转层，梯度反转层用于在反向传播时对梯度符号取反，实现主干网络G和域判别器D的对抗训练，从而对齐源域和目标域的全局特征；采用焦点损失计算域判别器D的损失： 其中，为使用焦点损失计算域判别器D对源域样本的分类损失，为使用焦点损失计算域判别器D对目标域样本的分类损失，为域判别器D对源域和目标域样本的总分类损失，即全局特征判别损失；κ为聚焦参数，用来控制对难分类样本施加的权重；D表示域分类器D预测样本属于源域的概率；步骤3.1.2，增加伪标签动态选取组件：基于源域带标签图像边界框标签b以及对应的类别标签c，根据公式5，使用所有属于类别c的源域目标类别样本计算对应类别的中心点特征表示得到源域所有目标类别在嵌入空间中的中心点特征表示 其中，Sc表示属于类别c的所有源域目标类别样本集合；表示第i个源域目标类别样本；R表示嵌入函数，具体为兴趣区域对齐以及随后的两个串联全连接层；|Sc|表示属于类别c的源域目标类别样本的数量；使用步骤2中预训练的基础目标检测器为目标域所有无标签图像赋予伪标签，伪标签包括边界框伪标签以及对应的类别伪标签；根据公式6，计算伪标签下第j个目标域目标类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似性分数将保存到属于类别c'的所有目标域目标类别样本集合Tc'中，其中 其中，cos为余弦相似度；根据公式7在训练过程中对阈值τ进行动态调整；对于中的每个目标域类别样本如果相似性分数大于或等于当前的阈值τ，那么就选取该目标类别样本，并保存到经过选取的属于类别c'的所有目标域目标类别样本集合中，否则不选取； 其中，α和β为常数；n为当前遍历次数，n＝{1,2,…,max_epoch}；表示各个类别的目标域目标类别样本集合的集合，表示经过选取的属于类别c'的所有目标域目标类别样本集合；max_epoch表示设定的最大遍历次数；步骤3.1.3，增加类别语义匹配组件：在选取具有正确伪标签的目标类别样本后，在类别空间中对齐源域和目标域目标类别的分布，从而增强目标类别特征的可判别性：基于选取后的目标域目标类别样本，根据公式8，使用所有属于类别c'的目标域目标类别样本计算对应类别的中心点特征表示得到目标域所有目标类别在嵌入空间中的中心点特征表示 其中，表示经过选取的属于类别c'的所有目标域目标类别样本集合；R表示嵌入函数，具体为兴趣区域对齐以及随后的两个串联全连接层；表示经过选取的属于类别c'的目标域目标类别样本的数量；使用指数加权平均策略对源域和目标域的所有目标类别在嵌入空间中的中心点特征表示进行动态更新；当对源域目标类别中心点特征表示进行更新时，基于属于类别c的所有源域目标类别样本集合Sc，根据公式5对目标类别中心点特征表示进行初始化，得到源域初始目标类别中心点特征表示根据公式9计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξS；根据公式10对旧的中心点特征表示进行覆盖，以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息； 其中，iter为当前遍历次数中的迭代次数，iter＝{1,2,…,max_iter}； 表示经过第iter次迭代后源域目标类别中心点特征表示；当对目标域目标类别中心点特征表示进行更新时，基于经过选取的属于类别c'的所有目标域目标类别样本集合根据公式8对目标类别中心点特征表示进行初始化，得到目标域初始目标类别中心点特征表示根据公式11计算新一轮迭代的中心点特征表示与前一轮迭代的中心点特征表示之间的余弦相似度ξt；根据公式12对旧的中心点特征表示进行覆盖，以保证新的中心点特征表示既包含当前类别信息又包含此前类别信息； 其中，表示经过第iter次迭代后目标域目标类别中心点特征表示；对不同域的目标类别与对应目标类别中心点特征表示之间进行双向对齐，当进行源域目标类别样本与目标域对应的目标类别中心点特征表示的单向对齐时，给定源域目标类别样本目标域对应的目标类别中心点特征表示根据公式13计算得到源域匹配目标域相似性概率分布 其中，d表示距离函数，具体为欧氏距离的平方；γ为温度参数，用来控制相似性概率分布集中或分散程度；当进行目标域目标类别样本与源域对应的目标类别中心点特征表示的单向对齐时，给定目标域目标类别样本源域对应的目标类别中心点特征表示根据公式14计算得到目标域匹配源域相似性概率分布 根据公式15和公式16，分别计算源域匹配目标域相似性概率分布的熵和目标域匹配源域相似性概率分布的熵 根据公式17，将双向对齐得到的相似性概率分布的熵和之和作为跨域目标类别语义匹配的损失 步骤4，移除增加的域自适应组件，使用经过训练的域自适应目标检测模型对目标域场景进行目标检测。

全文数据：

权利要求：

百度查询： 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD