申请/专利权人：大连民族大学

申请日：2021-06-18

公开（公告）日：2024-04-16

公开（公告）号：CN113609893B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/75;G06V10/764;G06V10/774;G06T7/90

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.11.23#实质审查的生效;2021.11.05#公开

摘要：基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络，属于图像可视化处理技术领域，为了解决人体目标可见光重构的问题，通过红外摄像机获取红外图像，通过人体目标可见光特征重构网络，将红外图像中的红外人体目标图像转换为可见光人体目标图像，通过颜色语义推理网络模块，生成修正人体目标形态和服装颜色，效果是实现了人体目标可见光重构。

主权项：1.一种基于红外摄像机的低光照度室内人体目标可见光特征重构方法，其特征在于，包括通过红外摄像机获取红外图像；通过人体目标可见光特征重构网络，将红外图像中的红外人体目标图像转换为可见光人体目标图像；通过颜色语义推理网络模块，生成修正人体目标形态和服装颜色；通过颜色强制建议网络模块，颜色强制建议网络模块在已知条件下获取目标人物的形态和服装颜色的特征信息，颜色强制建议网络模块使用强制建议标签对人物目标的特征信息进行修正，强制修正人体目标形态和服装颜色；人体目标置信度网络模块，输出人体目标形态和服装颜色置信度；其中，步骤通过人体目标可见光特征重构网络，将红外图像中的红外人体目标图像转换为可见光人体目标图像的方法，包括：S1.设定两个样本的空间，红外人体目标图像样本A空间和可见光人体目标图像样本B空间；S2.通过深度学习训练，获取从A空间到B空间的映射关系及从B空间到A空间的映射关系并构建对应的对抗网络，取得可见光特征人体重构损失、红外人体重构损失和红外人体目标可见光特征一致性检验损失；S3.通过可见光特征人体重构损失、红外人体重构损失和红外人体目标可见光特征一致性检验损失确定网络的总损函数，并对网络训练迭代，循环网络通过不断训练迭代构建得到的模型，使循环网络输入的红外人体目标图像转换为可见光人体目标图像；其中：步骤S2中，从A空间到B空间的映射关系为M，映射M将红外人体目标图像样本A中的图片a转换为可见光人体目标图像样本B中的图片Ma，构建对抗网络，对应的设判别器为DB，对于映射M及其判别器DB，可见光特征人体重构损失表达式为： 其中，为真实样本的平均期望，是由生成样本和真实样本混合得到的平均期望，DBb为空间B中的图像b在判别器DB中的评分，DBb越接近1则判别器DB认为图像越真实；DBMa为判别器DB根据M映射转换为图像Ma得到的评分，如果判别器DB认为转换的图像Ma越真实，则DBMa越接近1；从B空间到A空间的映射关系为N，映射N将可见光人体目标图像样本B中的图片b转换为红外人体目标图像样本A中的图片Nb，其对应的判别器为DA，红外人体重构损失表达式为： 其中：为空间A中图像a的数据分布，为经过N映射后图像Nb的数据分布，DAa空间A中的图像a在判别器DA中的评分，DAa越接近1则判别器DA认为图像越真实；DANb为判别器DA根据N映射转换为图像Nb得到的评分，如果判别器DA认为转换的图像Nb越真实，则DANb越接近1；步骤S2中，红外人体目标可见光特征一致性检验损失的表达式为： 其中：为空间A中的图像a在经过M映射和N映射后，得到循环一致图像NMa的数据分布，为空间B中的图像b在经过N映射和M映射后，得到循环一致图像MNb的数据分布；NMa为空间A中的图像a经过M映射后转换为图像Ma后作为N映射的输入转换回与原始图像a接近的图像，||NMa-a||1的值越小，表示转换图像NMa与原始图像a越接近；MNb为空间B中的图像b经过N映射后转换为图像Nb后作为M映射的输入转换回与原始图像b接近的图像，||MNb-b||1的值越小，表示转换图像MNb与原始图像b越接近；步骤S3中，网络的总损失函数表达式为： 其中λ是控制重构损失和一致性检验损失的比重，其取值范围为非负实数，表示为{λ|λ∈R,λ≥0}；其中，步骤构建颜色语义推理网络模块的方法，包括第一步，根据来自多个域的属性转换图像而得到生成图像；第二步，构建所述网络模块的对抗性损失使生成图像更加趋近于真实图像，采用对抗性损失，表达式为： 其中，为真实样本的平均期望，是由附加属性标签的生成样本和附加属性标签的真实样本混合得到的平均期望，Px,c为生成器P在输入图像x和目标域标签c为条件下生成目标图像，Qsrcx为鉴别器Q给出真实样本的概率分布；第三步，将鉴别器添加辅助分类器，并优化鉴别器和生成器利用域分类损失，用于优化鉴别器Q的真实图像的域分类损失和用于优化生成图像的域分类损失，分别表示为 其中为真实样本域分类的平均期望，为生成样本域分类的平均期望，Qclsc′|x表示由鉴别器Q计算的原始域标签c′上的概率分布，输入的训练数据是x,c′；Qclsc|Px,c表示由鉴别器Q计算的目标域标签c上的概率分布，鉴别器Q通过最小化公式5来学习这种分类方式，而生成器P将公式6最小化，生成可分类为目标域标签c的图像；第四步，通过生成器将转换后得到的生成图像和原始域标签重构回输入图像，重构一致性损失，定义为： 其中为重构后生成样本的平均期望，采用L1范数作为重构损失，生成器U将转换后的图像Px,c和原始域标签c′作为输入，并尝试重构输入图像x；第五步，根据对抗性损失和域分类损失优化生成器和鉴别器；其中，步骤通过颜色语义推理网络模块，生成修正人体目标形态和服装颜色的方法，包括构建颜色语义推理网络模块，响应于具有人体目标的红外图像，颜色语义推理网络模块生成人体目标形态和服装颜色；其中：人体目标置信度网络模块包括目标形态精确度确定模块和颜色建议置信度确定模块；目标形态精确度是可见光特征重构人体目标与真实人体目标形态的匹配程度，由公式11表示： 其中obaIk∩Igt表示图像中人体形态区域的函数，Ik为可见光特征重构人体目标形态，Igt为真实人体目标形态，Ik∩Igt表示重构后人体目标形态与真实人体目标形态重合区域，Ik∪Igt表示重构后人体目标形态与真实人体目标形态所占总区域；颜色建议置信度是将人体目标HSI色彩图像转换为RGB图像，转换后的RGB图像色彩参数值与真实的RGB色彩参数相比，通过颜色置信度公式表示： 其中，表示整个颜色空间的平均期望，Hd表示整个颜色空间的平均色彩值，代表差异系数，σd代表标准差，F是颜色频率熵，表示色彩分布的随机性；人体目标置信度表达式为：Robn＝αRoba+βRobc13其中，α是控制目标形态精确度的权重，β是控制颜色建议置信度的权重，二者取值范围为0到1之间，分别表示为{α|α∈0,1}，{β|β∈0,1}。

全文数据：

权利要求：

百度查询： 大连民族大学 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD