申请/专利权人：成都信息工程大学

申请日：2024-04-03

公开（公告）日：2024-05-17

公开（公告）号：CN118052706A

主分类号：G06T3/04

分类号：G06T3/04;G06V10/80;G06V10/774;G06V10/82;G06V10/764

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.04#实质审查的生效;2024.05.17#公开

摘要：发明提出融合交互注意力机制的任意风格迁移方法和装置，构建的迁移网络主要包括：基于Transformer编码器和可逆神经网络的联合特征编码模块、融合通道和空间的交互注意力的风格转换模块和空间感知插值模块，首先利用联合特征编码器中的Transformer编码器提取内容图像和风格图像的全局特征，利用可逆神经网络提取内容图像和风格图像的细节特征，然后将内容图像和风格图像的全局和细节的特征分别送进通道和空间的交互注意力中进行融合，得到全局风格化的特征和细节风格化特征；最后，使用空间感知插值模块进行自适应插值融合。本发明方法捕捉序列数据中的长距离依赖关系和局部模式，具有较强的泛化能力，融合空间和通道细节信息，更好地维持了图像原本的结构。

主权项：1.基于交互注意力机制的任意风格迁移方法，其特征在于，所述风格迁移方法利用联合特征编码器中的Transformer编码器提取内容图像和风格图像的全局特征，利用可逆神经网络提取内容图像和风格图像的细节特征，将内容图像和风格图像的全局和细节的特征分别送进通道和空间的交互注意力中进行融合，得到全局风格化特征和细节风格化特征，再使用空间感知插值模块进行自适应插值融合，最后解码得到风格化图像，具体包括：步骤1：准备数据集，包括MS-COCO数据集作为内容图像和WiKiArt数据集作为风格图像；步骤2：对数据集分别进行预处理，先将其缩放到512X512的大小，然后再随机裁剪为256X256的大小；步骤3：构建并初始化风格迁移网络，所述风格迁移网络包括联合特征编码器、风格转换模块、空间感知插值模块、解码器和判别器，其中，所述风格迁移网络的联合特征编码器由两个并行的独立分类主干网络构成，所述独立分类主干网络包括一个Transformer编码器和一个可逆神经网络，所述Transformer编码器所在的分支作为全局分支，所述可逆神经网络所在的分支作为细节分支；风格转换模块包括两个结构相同的第一分支和第二分支，第一分支用于全局的风格和内容特征的融合，第二分支用于细节的风格和内容特征融合，第一分支和第二分支均包括通道空间注意力模块和空间通道注意力模块；空间感知插值模块用于融合风格化的全局特征和风格化的细节特征；解码器将融合特征解码为风格化图像，判别器用于判别生成的风格化图像和风格图像的真假；步骤4：将步骤2处理后的训练数据输入步骤3构建完成的风格迁移网络中，对网络进行训练，具体包括：步骤41：将所述训练集中的内容图像IC和风格图像IS分别传入联合特征编码器中提取特征信息，所述内容图像IC经过联合特征编码器中的Transformer编码器和可逆神经网络后分别得到全局内容特征TC和细节内容特征DC，所述风格图像IS经过联合特征编码器中的Transformer编码器和可逆神经网络后分别得到全局风格特征TS和细节风格特征DS；步骤42：将步骤41提取的特征图输入到所述风格转换模块，具体的，将所述全局内容特征TC和所述全局风格特征TS送入风格转换模块的第一分支，得到全局风格化特征TCS，将细节内容特征DC和细节风格特征DS送入风格转换模块的第二分支，得到细节风格化特征DCS；步骤43：将所述全局风格化特征TCS和细节风格化特征DCS输入空间感知插值模块进行融合得到融合特征FCS；步骤44：使用解码器对所述融合特征FCS进行解码，得到风格化图像ICS；步骤5：计算风格迁移网络的总损失，至少包括矩阵匹配损失、感知损失、颜色一致性损失和对抗损失，具体为：步骤51：使用预训练好的VGG网络提取1层到5层特征，使用1层到5层的特征计算得到矩阵匹配损失和感知损失，使用3层到5层的特征计算得到自相似损失和rEMD损失；步骤52：计算风格化图像ICS与风格图像IS的颜色一致性损失；步骤53：将风格化图像ICS与风格图像IS输入判别器中，判断是否为风格图像，以此来计算对抗损失；步骤6：步骤4和步骤5依次经过设定的总训练次数，每次训练固定的次数后保存模型权重，然后将测试集传入训练完成的图像迁移网络进行测试，计算出所述风格迁移网络的当前测试指标是否最高，若是，则结束训练，若否则调整模型损失的权重参数，重新训练。

全文数据：

权利要求：

百度查询： 成都信息工程大学 融合交互注意力机制的任意风格迁移方法和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD