福州大学牛玉贞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福州大学申请的专利一种基于生成对抗网络的昼夜域自适应语义分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116258849B 。
龙图腾网通过国家知识产权局官网在2025-06-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211487842.5,技术领域涉及:G06V10/26;该发明授权一种基于生成对抗网络的昼夜域自适应语义分割方法是由牛玉贞;伍晨薇;许瑞设计研发完成,并于2022-11-24向国家知识产权局提交的专利申请。
本一种基于生成对抗网络的昼夜域自适应语义分割方法在说明书摘要公布了:本发明涉及一种基于生成对抗网络的昼夜域自适应语义分割方法。包括:将待训练的数据集,进行数据预处理;设计两个基于生成对抗网络的语义分割分支,分支A用来预测源域图像和目标域白天图像,分别获得对应的语义分割预测结果,分支B用来预测源域图像和目标域夜晚图像,获得对应的语义分割预测结果;根据设计的目标损失函数loss,利用反向传播方法计算昼夜域自适应语义分割网络中各参数的梯度,并利用随机梯度下降方法更新参数,学习到模型的最优参数;将待测的夜晚图像输入到分支B网络中,获得相应的语义分割预测结果。本发明利用有限的白天语义分割数据集,结合生成对抗网络思想和域自适应方法,显著提高对夜晚图像的语义分割的性能。
本发明授权一种基于生成对抗网络的昼夜域自适应语义分割方法在权利要求书中公布了:1.一种基于生成对抗网络的昼夜域自适应语义分割方法,其特征在于,包括如下步骤: 步骤A、将待训练的数据集,包括源域图像及目标域成对的白天图像和夜晚图像,进行数据预处理,包括数据增强和标准化处理; 步骤B、设计两个基于生成对抗网络的语义分割分支,一个分支A用来预测源域图像和目标域白天图像,获得对应的语义分割预测结果P1和P2,一个分支B用来预测源域图像和目标域夜晚图像,获得对应的语义分割预测结果P3和P4; 步骤C、根据设计的目标损失函数loss,利用反向传播方法计算昼夜域自适应语义分割网络中各参数的梯度,并利用随机梯度下降方法更新参数,学习到昼夜域自适应语义分割网络的最优参数; 步骤D、将待测的夜晚图像输入到步骤C参数优化后的分支B网络中,获得相应的语义分割预测结果; 步骤B中,设计两个基于生成对抗网络的语义分割分支A和分支B,具体包括以下步骤: 步骤B1、设计基于生成对抗网络的域自适应语义分割分支A,以包括DeepLab-v2、RefineNet、PSPNet的语义分割主干网络为GAN的生成器,判别器Dd由5个卷积层组成,每层输出的通道数分别为{64,128,256,256,1},卷积核大小为4×4;前两个卷积层的步长为2,其余卷积层步长为1; 步骤B2、设计基于生成对抗网络的域自适应语义分割分支B,以低照度增强网络Zero-DCE以及包括DeepLab-v2、RefineNet、PSPNet的语义分割主干网络为GAN的生成器,判别器结构Dn和分支A中的判别器Dd相同; 步骤B1中,设计基于生成对抗网络的域自适应语义分割分支A,具体包括以下步骤: 步骤B11、假设源域图像为S,S对应标签图像为GT,目标域白天图像为Td;将S和Td输入分支A的主干网络,获得对应的语义分割预测结果,再将预测结果分别上采样还原至各自的输入大小,设还原后源域图像的预测结果为P1,目标域白天图像预测结果为P2; 步骤B12、固定判别器,使判别器中各参数梯度不更新,训练生成器;利用加权交叉熵损失函数,计算P1和对应标签GT的语义分割损失Lseg1,公式如下所示: 其中,N1是预测结果P1的像素值总数,表示总类别数,即通道总数;是来自源域图像预测结果P1的第k个通道,ωk是对应第k个通道的固定权重;GTk是第k个类别的one-hot编码标签;||·||1为L1范数; 基于生成对抗网络的域自适应语义分割分支A的GAN结构中的生成损失采用最小平方损失函数来计算,公式如下所示: Ladv1=MDdsoftmaxP2,ffake 其中,M·表示平方损失函数,softmax·表示激活函数,ffake是编码全为0的标签,ffake的分辨率大小与判别器输出相同; 步骤B13、固定生成器,使生成器中各参数梯度不更新,训练判别器;判别器Dd的目标函数由下式定义: 其中,M·表示平方损失函数,softmax·表示激活函数,ffake是编码全为0的标签,freal是编码全为1的标签,ffake和freal的分辨率大小与判别器输出相同; 步骤B2中,设计基于生成对抗网络的域自适应语义分割分支B,具体包括以下步骤: 步骤B21、假设目标域夜晚图像为Tn;首先将Tn输入低照度增强网络,训练低照度增强网络;低照度增强网络的损失包括变化损失Ltv、曝光控制损失Lexp和结构相似性损失Lssim; 变化损失Ltv的公式如下: 其中,N是输入图像中的像素总数,和分别表示沿x和y方向相邻像素点之间的强度梯度,T′n是低照度增强网络的输出图像,||·||1为L1范数; 曝光控制损失Lexp的公式如下: 其中,是平均池化函数,N'为的像素值的总数,E是输入图像Tn的像素平均值,||·||1为L1范数; 结构相似性损失Lssim的公式如下: 其中,SSIM·是结构相似性指数度量函数,N为输入图像中的像素总数,||·||1为L1范数; 步骤B22、将S和T′n输入基于生成对抗网络的域自适应语义分割分支B的语义分割主干网络,获得对应的语义分割预测结果,再将预测结果分别上采样还原至各自的输入大小,设还原后源域图像的预测结果为P3,目标域夜晚图像预测结果为P4; 步骤B23、固定判别器,使判别器中各参数梯度不更新,训练生成器;利用加权交叉熵损失函数,计算P3和对应标签GT的语义分割损失Lseg2,计算公式如下所示: 其中,N3是预测结果P3的像素值总数,表示总类别数,即通道总数;是来自源域图像预测结果P3的第k个通道,ωk是自定义的对应第k个通道的权重;GTk是第k个类别的one-hot编码标签;||·||1为L1范数; 分支B的GAN结构中的生成损失采用最小平方损失函数来计算,公式如下所示: Ladv2=MDnsoftmaxP4,ffake 其中,M·表示平方损失函数,softmax·表示激活函数,ffake是编码全为0的标签,ffake的分辨率大小与判别器输出相同; 步骤B24、将道路、人行道、墙、栅栏、电线杆、建筑、灯、标志牌、草地、树木和天空十一个类别定义为静态类别;给定只考虑P2、P4中静态类别对应的通道来计算静态损失,设CS为静态类别数,则对应的P2、P4对应的静态预测结果分别为为提高小目标的预测准确性,用对应第k个类别的固定权重与对应的通道分别相乘进行重新加权,生成静态伪标签Ftd; 步骤B25、利用静态伪标签Ftd对相应的计算静态类别损失;静态类别损失计算公式如下: 其中,N4表示Ftd中的预测为静态类别的像素总数,p是静态预测类别的似然概率,o是静态伪标签Ftd的one-hot编码,c表示静态类别,j表示以i为中心的3×3区域的每个位置;在3×3的局部区域内,对每一个位置j对应的类别c的概率进行编码,即为one-hot向量oc,j;此外,对于该区域的中心位置i对应的类别c的概率预测为将该区域每个位置的概率加权到中心位置i的预测值上,最终返回最大概率值,其对应i位置的类别概率即pc,i; 步骤B26、固定生成器,使生成器中各参数梯度不更新,训练判别器;判别器Dn的目标函数由下式定义: 其中,M·表示平方损失函数,softmax·表示激活函数,ffake是编码全为0的标签,freal是编码全为1的标签,ffake和freal的分辨率大小与判别器输出相同; 步骤C中,根据设计的目标损失函数loss,利用反向传播方法计算昼夜域自适应语义分割网络中各参数的梯度,并利用随机梯度下降方法更新参数,具体包括以下步骤: 步骤C1、重复步骤B11、B12、B13,使用反向传播方法计算基于生成对抗网络的域自适应语义分割分支A中各参数的梯度,并利用随机梯度下降方法更新神经网络参数;基于生成对抗网络的域自适应语义分割分支A中损失总和如下所示: 其中,λseg1和λadv1分别为Lseg1和Ladv1的系数; 步骤C2、重复步骤B21、B22、B23、B24、B25、B26,使用反向传播方法计算基于生成对抗网络的域自适应语义分割分支B中各参数的梯度,并利用随机梯度下降方法更新神经网络参数,直至计算得到的损失值收敛并趋于稳定;训练完毕后,保存网络参数,得到训练好的基于生成对抗网络的域自适应语义分割分支B;基于生成对抗网络的域自适应语义分割分支B中联合损失如下所示: LLight=αtvLtv+αexpLexp+αssimLssim 其中,αtv、αexp、αssim分别为Ltv、Lexp和Lssim的系数;λlight、λseg2、λadv2、λstatic分别为LLight、Lseg2、Ladv2、Lstatic的系数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。