申请/专利权人：电子科技大学

申请日：2023-04-10

公开（公告）日：2024-04-30

公开（公告）号：CN117078510B

主分类号：G06T3/4053

分类号：G06T3/4053;G06T3/4046;G06T5/70;G06T5/60;G06N3/0464;G06N3/0455;G06N3/094

优先权：["20221116 CN 2022114511562"]

专利状态码：有效-授权

法律状态：2024.04.30#授权;2023.12.26#实质审查的生效;2023.11.17#公开

摘要：本发明公开了一种潜在特征的单幅图像超分辨重建方法，属于图像处理技术领域。为了保证扩散概率模型在少量的采样步数下进行高质量的采样，本发明基于设置的多模态分布模型来实现高分辨率图像的重构，该模型基于生成器和归一化流实现，在较少的迭代步数下，专注于重建高分辨率图像的高频细节。并通过自适应多头注意力机制和变分自编码器将低分辨率图像转换为隐条件作为模型的条件输入，在快速采样的同时减少模型崩塌带来的负面影响，以产生复杂多样化且高质量的高分辨率图像。通过自适应多头注意力机制和变分自编码器限制了扩散概率模型中的最大化变分下界带来的预测随机性影响，使模型训练稳定且能够生成与原始高分辨率图像风格和内容一致的图像。

主权项：1.一种潜在特征的单幅图像超分辨重建方法，其特征在于，包括下列步骤：步骤1，构建及训练面向潜在特征的扩散概率模型；面向潜在特征的扩散概率模型的训练数据包括多组由高分辨率图像Y和低分辨率图像X组成的图像组；所述面向潜在特征的扩散概率模型包括第一图像编码器，判别器，噪声U-Net网络和噪声生成器；所述第一图像编码器的输入为低分辨率图像X，输出指定维度的低分辨率图像的编码特征τθX；所述噪声生成器用于输出第i步的噪声分布∈i；根据Xi＝Xi-1+∈i得到第i步的噪声图像Xi，其中，i＝1,…，T，T表示预置的处理步数，且X0＝Y；所述噪声U-Net网络用于预测噪声，噪声U-Net网络包括拼接层、条件变分自编码器、U-Net编码器、卷积层、流生成模型和U-Net编码器解码器；其中，拼接层用于对编码特征τθX和噪声图像Xi进行通道维度的拼接，再分别送入条件变分自编码器和U-Net编码器；条件变分自编码器依次包括第一卷积层、特征编码器、特征解码器和第二卷积层，特征编码器的输入为第一卷积层的输出，用于提取输入特征的高斯分布的均值μθ与方差σθ；特征解码器基于输入的均值和方差，输出图像的像素间的概率分布；第二卷积层用于将该概率分布投影到空间域，输出条件概率映射特征FR；U-Net编码器采用自适应注意力机制，其输入包括拼接层的输出和编码特征τθX，其中，编码特征τθX作为U-Net编码器的自适应注意力机制中的键K和值V运算的输入值，拼接层的输出作为U-Net编码器的自适应注意力机制中的查询Q运算的输入值，U-Net编码器输出的特征映射表示为FX；并通过卷积层学习特征映射FX的特征映射空间均值Fμ和特征映射空间方差Fδ，将条件变分自编码器输出的条件概率映射特征FR与特征映射空间方差Fδ进行Hadamard乘积后再与特征映射空间方差Fδ相加，得到融合特征Fg；流生成模型的输入包括融合特征Fg和编码特征τθX，用于输出图像的像素间的第二概率分布C；U-Net解码器用于输出第i步的预测噪声∈θi，U-Net解码器采用自适应注意力机制，其输入包括第二概率分布C和编码特征τθX，其中，编码特征τθX作为U-Net解码器的自适应注意力机制中的键K和值V运算的输入值，第二概率分布C作为U-Net解码器的自适应注意力机制中的查询Q运算的输入值；基于噪声生成器生成的∈i和噪声U-Net网络输出的预测噪声∈θi计算第i步的噪声图像估计和第i-1步的噪声图像估计并将其输入判别器中，判别器用于输出噪声图像估计和之间的置信度；训练时，判别器还用于输出噪声图像Xi和Xi-1之间的置信度；其中，αi-1表示第i-1步的方差σθ的高斯分布变换矩阵，表示对α1至αi-1求和；基于预置的训练损失函数，通过训练数据对面向潜在特征的扩散概率模型进行参数训练，直至达到预置的训练结束条件，得到训练好的面向潜在特征的扩散概率模型；并保留最后一次计算得到的第T步的预测噪声∈θT记为噪声图像步骤2，基于训练好的面向潜在特征的扩散概率模型中的第一图像编码器和噪声U-Net网络重建目标低分辨率图像的高分辨率图像将目标低分辨率图像输入第一图像编码器，得到第一图像编码特征；将第一图像编码特征分别输入至噪声U-Net网络的拼接层、U-Net编码器、流生成模型和U-Net编码器解码器，从第T步开始，将当前步的目标噪声图像输入噪声U-Net网络的拼接层，基于其输出得到当前步的目标预测噪声其中，t的初始值为T，且再从当前步的目标噪声图像中去除上一步的预测噪声得到上一步的目标噪声图像，并继续输入噪声U-Net网络，重复迭代输出上一步的预测噪声，直至得到第1步的目标预测噪声；从第1步的目标噪声图像中去除第1步的目标预测噪声，得到重构的高分辨率图像

全文数据：

权利要求：

百度查询： 电子科技大学 一种潜在特征的单幅图像超分辨重建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD