申请/专利权人：湖南工业大学

申请日：2023-12-29

公开（公告）日：2024-04-05

公开（公告）号：CN117828121A

主分类号：G06F16/58

分类号：G06F16/58;G06F16/535;G06V10/62;G06V20/52;G06V10/80;G06F40/289;G06N5/025

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.23#实质审查的生效;2024.04.05#公开

摘要：本发明公开了一种依存属性增强的文搜图行人重识别方法，包括：进行文本模态预处理，用以增强文本的语义特征；通过文本编码器得到文本特征Tf，并引入自注意力网络Attn，以输出依存增强后的文本特征E；进行视觉模态预处理，对行人图像Vp进行数据增强，再通过视觉编码器获得图像特征F；将文本特征E和图像特征F进行特征嵌入化，得到文本嵌入t和图像嵌入v；计算分类损失和排名损失，以训练属性依存增强的文搜图行人重识别模型；综上所述，本发明使用依存关系的先验知识挖掘属性信息来增强语义特征，克服了在文搜图行人重识别的领域上常规的图文匹配方法对行人属性挖掘的不足。

主权项：1.一种依存属性增强的文搜图行人重识别方法，其特征在于，所述方法的步骤如下：S1、进行文本模态预处理，包括使用自然语言处理工具SpaCy对原始文本Tp进行依存分析得到依存关系输出Dt，通过计算在Dt中的依存距离dij，得到矩阵Dm并将其映射到高斯函数上得到依存矩阵G，用以增强文本的语义特征；S2、将Tp馈送到文本编码器fθ，得到文本特征Tf＝fθTp，引入自注意力网络Attn将Tf和G融合，用以依存增强，输出依存增强后的文本特征E，其文本特征E的计算公式为：E＝concatE1,E2,…,EH其中，文本特征E由H个注意力头A输出的Eh拼接得到，ei表示对应第i个分词twi的词嵌入；S3、对视觉模态进行预处理，对行人图像Vp进行数据增强，并将其转化为张量并归一化后再进行标准化，得到关于Vp的多样化样本Va；S4、将Va馈送到视觉编码器fθ，得到图像特征F＝fθVa；S5、将文本特征E和图像特征F进行特征嵌入化，分别得到文本嵌入t和图像嵌入v，用以缩小不同模态之间的差异；S6、将步骤S5中的文本嵌入t和图像嵌入v馈送到一层全连接Wfc做预测头，经过Softmax函数预测行人概率，t对应预测的行人概率为v对应预测的行人概率为和的表达式分别为： 其中，Np表示训练集中行人唯一标签的总数，行人概率即行人概率为对每个行人预测的一组概率值；S7、计算分类损失IDLoss和排名损失RankingLoss，利用两个损失之和对整个网络进行反向传播，用于联合训练属性依存增强的文搜图行人重识别模型。

全文数据：

权利要求：

百度查询： 湖南工业大学 一种依存属性增强的文搜图行人重识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD