申请/专利权人：大连理工大学

申请日：2021-10-25

公开（公告）日：2024-04-16

公开（公告）号：CN114022372B

主分类号：G06T5/77

分类号：G06T5/77;G06V10/82;G06N3/0464;G06N3/0455;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.02.25#实质审查的生效;2022.02.08#公开

摘要：本发明提供一种引入语义损失上下文编码器的掩膜图像修补方法，属于掩膜图像修补领域。包括以下步骤：首先，数据集的处理和分割后，利用上下文编码器算法的编码器—解码器结构完成从掩膜图片到生成图像的生成。其次，利用注意生成对抗网络的生成器完成生成图像的生成并同上下文编码器模块生成的图像进行交叉熵计算。最后，利用深度注意力多模态相似模型计算图片和文本之间的损失。本发明通过引入语义损失弥补了传统的深度学习方法对于大范围掩图像修补的性能较差的缺点，在该种图像修复领域有着更好的表现。

主权项：1.一种引入语义损失上下文编码器的掩膜图像修补方法，其特征在于，包括以下步骤：第一步，利用上下文编码器算法的编码器-解码器结构完成从掩膜图片到生成图像的生成；利用编码器接收掩膜图像，并通过提取和分析掩膜图像周围的图像特征来预测图像缺失部分的特征表示，采用的编码器架构是VGGNet架构；利用解码器接收编码器预测图像缺失部分的特征表示并生成图像缺失部分；其中解码器部分首先由五个上层卷积层组成，用于获得更高分辨率的图像，每个卷积层都有一个修正线性单元激活函数，该函数通过一系列上卷积和非线性函数对编码器生成的特征进行采样，直到样本达到目标大小，最终得到上下文编码器修补完成的图像；第二步，利用注意生成对抗网络的生成器完成生成图像的生成，并同上下文编码器模块生成的图像进行交叉熵计算；将m个生成器表示为G0,G1,G2,…,Gm-1，生成器用来生成图像，每个生成器用于生成图像的不同部分；将m个注意力模型表示为F0,F1,F2,…,Fm-1，注意力模型指的是从不同的单词生成到图片的不同部分；将每个注意力模型把单词转换成的m个向量表示为h0,h1,h2,…,hm-1；并将每个中间状态生成得到的图片表示为最终，多个生成器将多个单词转换成的向量生成图片的不同部分；通过下述公式表示上述向量之间的关系： 其中，z是一个噪音向量；则是整个句子整段话的词向量；Fca表示的函数具有两个功能，一个是将向量张量的维度缩小到合适范围，另一个则是引入一些随机多样的内容；Fiattn是注意力模型中的第i个生成器；Gihi表示第i个生成器；最终得到的最后一个生成图像即为利用注意生成对抗网络AttnGAN的生成器生成的生成图像；通过在Inception-v3网络后面增加一层感知机，将利用上下文编码器生成的图像特征转换到词向量维度，即利用替换公式2中的噪声向量Z，以引入语义来辅助缺失区域极大的图像修复任务，因此的产生变化为： 其中，为替代完成后的词向量，FCNN为卷积神经网络操作，fcorpped-image是待转换的上下文编码器生成的图像，式5表示将图像特征转换到词向量维度的过程；利用上下文编码器和注意生成对抗网络完成生成图像生成以后，将直接计算二者之间的交叉熵损失； 其中，Lcross-entropy表示上下文编码器和注意生成对抗网络生成图像之间的损失，pi与分别表示上下文编码器和注意生成对抗网络完成的两个生成图像；第三步，利用注意生成对抗网络的生成器完成生成图像的生成并同上下文编码器模块生成的图像进行交叉熵计算；图片与该图片相对应的文本描述之间的损失包括两部分：单词向量与图片子区域之间的损失，以及整个句子与图片之间的损失；利用深度注意力多模态相似模型的文本编码器提取文本特征向量；利用深度注意力多模态相似模型的图像编码器即Inception-v3网络提取图片特征向量，该模型的中间层学习不同子区域的局部特征，而接近输出层的部分学习图像的全局特征；其中所述文本特征向量、图片特征向量为对文本、图片进行向量化表示，利用向量代替原有文本及图片内容以将二者转化到相同空间，从而进行损失计算；利用提取出的图片特征向量与文本特征向量计算生成图像与文本之间的损失。

全文数据：

权利要求：

百度查询： 大连理工大学 一种引入语义损失上下文编码器的掩膜图像修补方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD