申请/专利权人：常州工学院

申请日：2023-12-07

公开（公告）日：2024-04-26

公开（公告）号：CN117934327A

主分类号：G06T5/73

分类号：G06T5/73;G06T5/60;G06N3/0464;G06N3/09;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明涉及一种应用于视觉图像复原技术的改进，特别是一种基于特征动态交叉感知的反光图像去除方法，包括如下步骤，步骤一、构建浅层特征提取模块；步骤二、构建特征动态交叉感知模块；所述构建特征动态交叉感知模块，包括三个部分：动态卷积感知模块、特征余弦感知模块和交叉感知模块，动态卷积感知模块可通过两个分支组成：一个分支计算不同通道对输出特征贡献率，另一个分支提取表征力更强的视觉特征，通道贡献率分支通过1个全局池化层，2个全连接层和1个Softmax函数层实现，步骤三、构建代码重构模块；步骤四、设计深度优化代价函数；所述构建浅层特征提取模块，可由2个卷积激活块、1个核宽为1的卷积层和1个批归一化层构成。

主权项：1.一种基于特征动态交叉感知的反光图像去除方法，其特征在于，包括如下步骤，步骤一、构建浅层特征提取模块；所述构建浅层特征提取模块，可由2个卷积激活块ConvA、1个核宽为1的卷积层Conv1x1和1个批归一化层BN构成，其中每个卷积激活块ConvA由1个核宽为3的卷积层Conv3x3和1个Leakyrelu激活层组成；从数学角度，该模块可表示为：Fsfa＝Conv1×1BNConvAConvAX1其中，Conv1x1.表示核宽为1的卷积函数，BN.表批归一化函数，ConvAX＝LReluConv3x3X,这里的Conv3x3.表示核宽为3的卷积层，LRelu.表示Leakyrelu激活函数，X是浅层输入特征，Fsfa是浅层输出特征；步骤二、构建特征动态交叉感知模块；所述构建特征动态交叉感知模块FDCA，包括三个部分：动态卷积感知模块DCA、特征余弦感知模块FCA和交叉感知模块，动态卷积感知模块DCA可通过两个分支组成：一个分支计算不同通道对输出特征贡献率，另一个分支提取表征力更强的视觉特征，通道贡献率分支通过1个全局池化层，2个全连接层和1个Softmax函数层实现，其数学表达式可表示为α＝softmaxFCFCGAPXin2其中Xin∈Rc×h×w是输入特征,c,h,w分别表示视觉特征的通道数、水平分辨率和垂直分辨率，GAP.表示全局平均池化函数，FC.表示全连接函数，softmax.表示softmax函数；另一个分支可有若干个核宽不同的带边补充卷积层Pconv结合通道贡献率线性组合而成，所采用核宽分别为1，3，5，7；从数学角度线性融合的视觉特征Fp可以表示为 其中pconvXin,ks表示核宽为ks的带边补充卷积函数，表示通道级相乘，N表示所用的核的个数；经过两个分支后，动态卷积感知的视觉输出Fdca可以表示为Fdca＝ConvBFp4ConvB.表示包含1个核宽为1的卷积层、1个激活函数为Relu的激活层和1个批归一化层的卷积块；特征余弦感知模块FCA的网络有效结合了离散余弦变换获取融合后的通道感知系数，提取了表征能力更强的视觉特征；该网络首先将输入特征X1和X2级联，然后通过核为1的卷积层获取融合后的视觉特征，紧接着通过离散余弦感知块获取融合视觉特征的通道贡献系数，最后结合融合特征通道级相乘，获取余弦感知特征Ffca，从数学角度可以表示为 其中，是两个输入特征经过级联后再通过卷积核为1的卷积层视觉特征，Conv1x1.表示核宽为1的卷积函数，表示经过离散余弦变换，全连接层以及LRelu激活函数和sigmoid的视觉特征，DCT.表示离散余弦变换块函数，FC.表示全连接函数，LRelu.表示leakyrelu函数,σ·表示sigmoid函数；Ffca表示余弦感知特征，表示通道级相乘。特征动态交叉感知模块FDCA是由动态卷积感知模块DCA与特征余弦感知模块FCA交叉组成；首先输入特征X和Y通过动态卷积模块DCA分别进行处理，然后各自输出特征交叉作为特征余弦感知模块FCA的输入，紧接着特征余弦感知模块FCA的输出交叉作为下一层特征余弦感知模块FCA的输入，随后分别经过核宽为3的卷积层，再分别结合各自的短链接形成新的特征，然后将新的特征级联形成更强的视觉特征，最后通过核宽为1的卷积层融合形成新的特征动态交叉感知特征Ffdca，其对应的数学表达式可表示为 其中和分别表示左右两个特征余弦感知模块的输出特征，和分别表示左右两个特征输出，Ffdca表示特征动态交叉感知模块的特征输出，FCA.表示特征余弦感知函数，DCA.表示动态卷积感知函数，Conv3x3.表示核宽为3的卷积函数，Conv1x1.表示核宽为1的卷积函数，表示元素级相加操作，X和Y分别表示特征动态交叉感知的输入特征；步骤三、构建代码重构模块；所述构解码重构模块,该模块首先将两个输入特征Xh和X2级联形成一个新的特征，接着通过核宽为1的卷积层Conv1x1和两个卷积块ConvB后形成解码的视觉特征；其中每个卷积块包含1个核宽为3的卷积层、1个Relu激活层和1个批归一化层；该模块利用数学可表示为：Fdecode＝ConvBConvBConv1×1concatX1,X27其中，Conv1x1.表示核宽为1的卷积函数，ConvBX＝BNReluConv3x3X,这里的Conv3x3.表示核宽为3的卷积层，Relu.表示Relu激活函数，BN.表示批归一化函数，X是输入特征，Fdecode是解码输出特征；所述构建多尺度动态交叉感知的反光图像去除网络，可由浅层特征提取模块SFA，特征动态交叉感知模块FDCA，解码和融合模块Decode构成；首先通过对输入反光图像降采样形成高斯金子塔，然后对每个尺度进行浅层特征提取，接着通过特征动态交叉感知模块提取动态交叉感知后的视觉特征，然后再通过解码重构模块，依次上采样形成最终的解码重构特征，最后通过融合操作，形成清晰图像，其中fusion表示融合操作，可采用核宽为1的卷积层实现，网络的数学表征形式可以为： 其中Ijj＝1..3表示反光的输入图像，I1表示原图像，I2表示下采样为2的输入图像，也就是分辨率为原图像的四分之一，I3表示在I2的基础上下采样2的图像，符号↓和↑分别表示下采样和上采样，符号后面的数字表示采样的像素数，和Fj分别表示第j个相对应模块的输出特征；SFA.表示浅层特征提取函数，FDCA.表示特征动态交叉感知函数，Decode.是解码重构函数，fusion.表示融合特征函数；步骤四、设计深度优化代价函数；所述设计深度代价函数，该代价函数结合不同尺度的重构图像构建网络代价函数，其数学表达式为： 其中，IT表示真实清晰图像，||·||1表示1范式，↑2×j表示以上采样2×j进行采样。

全文数据：

权利要求：

百度查询： 常州工学院 一种基于特征动态交叉感知的反光图像去除方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD