申请/专利权人：西北大学

申请日：2021-03-12

公开（公告）日：2024-04-05

公开（公告）号：CN113034388B

主分类号：G06T5/77

分类号：G06T5/77;G06T5/60;G06N3/0455;G06N3/0464;G06N3/088;G06T3/4046;G06T3/4023

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.07.13#实质审查的生效;2021.06.25#公开

摘要：本发明提供了一种古代绘画虚拟修复模型构建及古代绘画虚拟修复方法，通过对预构建的古代绘画虚拟修复网络模型进行训练，以获得训练好的古代绘画虚拟修复网络模型M2；采集损坏的古代绘画图像；制作该损坏的古代绘画图像对应的二进制掩膜；将采集的损坏的古代绘画图像和描绘破损区域的二进制掩膜，输入到训练好的古代绘画虚拟修复模型M2，并输出图像修复结果。通过实验结果比较表明，本发明采用的古代绘画虚拟修复方法能够有效地预测破损孔洞的像素值，重建出高品质的古代绘画图像，具有更好的主客观效果。

主权项：1.一种古代绘画虚拟修复模型的构建方法，其特征在于，该方法包括以下步骤：步骤1，获取公开的大型自然图像数据集；采集多张古代绘画，获得古代绘画数据集；步骤2，对代表黑白颜色的二进制数字0和1进行随机掩膜生成处理，生成不规则掩膜数据集，用于模拟网络模型训练时图像输入集中完整图像的破损区域；步骤2.1，用二进制随机掩膜生成方法生成不规则掩膜数据集，包括掩膜数据训练集、掩膜数据原始测试集、掩膜数据验证集；步骤2.2，将掩膜数据原始测试集中的不规则掩膜随机扩展、旋转和裁剪，生成4类具有不同孔图像面积比的掩膜，这4类具有不同孔图像面积比的掩膜分别是[0.01，0.1]，0.1，0.2]，0.2，0.3]，0.3，0.4]；每个类别包含掩膜数相同；步骤3，预构建古代绘画虚拟修复网络模型M0；所述的预构建的古代绘画虚拟修复网络模型M0以编码器-解码器网络框架为基础；所述的编码器以损坏的图像作为输入，以提取的损坏的绘画图像的图像特征作为输出，从输入的损坏的绘画图像中获取特征信息，并对提取的图像特征信息进行解析；所述的编码器用E表示，包含i个下采样层，i＝1,2,3,4,5,6,7；所述的下采样层中包含双域部分卷积层、批量归一化层和空间自适应激活单元层；所述的解码器以编码器输出的提取的损坏的绘画图像的图像特征作为输入，将编码器解析的特征信息对应成最终输出的图像形式，对缩小后的特征图像进行上采样，对上采样后的图像进行卷积处理，输出修复的图像；进一步完善图像，弥补编码器中将图像缩小造成的细节损失；所述的解码器用D表示，包含k个上采样层，k＝1,2,3,4,5,6,7；所述的上采样层中包含最近邻插值层、部分卷积层、批量归一化层和泄露空间自适应激活单元层；所述的解码器中Dk层和相应的编码器中E7-k层之间通过跳跃连接进行连接；所述的编码器下采样层中双域部分卷积层中对特征图f0和掩膜m0进行双域部分卷积处理；所述的特征图f0中每个位置特征值的双域部分卷积表示为： 其中，X是使用滑动窗口方法进行当前卷积操作的特征值，M是使用滑动窗口方法进行当前卷积操作的二进制掩膜值；Ws是空间域卷积滤波器权重，Wf为频域卷积滤波器权重，Wx为级联空间特征的卷积滤波器权重，b并为相应的偏差，sum1sumM是比例因子，sum1为当前使用滑动窗口方法进行卷积操作时假设窗口内二进制掩膜值都为1时，所有二进制掩膜值的和，sumM为当前使用滑动窗口方法进行卷积操作的窗口内所有二进制掩膜值的和，T表示转置运算，·表示逐元素乘法，F·是FDCT，F-1·是IDCT；所述的掩膜m0每个位置的双域部分卷积表示为： 其中M是使用滑动窗口方法进行当前双域部分卷积操作的二进制掩膜值，表示使用双域部分卷积操作后的二进制掩膜更新值；所述的编码器下采样层中空间自适应激活单元层中对特征图进行空间自适应激活处理；特征图中每个位置特征值X的空间自适应激活单元函数表示为： 其中，W表示执行卷积运算，b是偏置项，D代表特征值X的ReLU激活函数值进行多尺度可分离卷积和卷积后并进行通道间融合，BN·表示批量归一化层，是高斯函数，表示按元素哈达玛积；步骤4，以自然图像输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，以完全无监督训练方式训练预构建的古代绘画虚拟修复网络模型M0以最小化联合损失，以获得古代绘画虚拟修复网络的预训练模型M1；步骤5，以古代绘画输入集作为图像输入集，以不规则掩膜数据集作为掩膜输入集，对古代绘画虚拟修复网络的预训练模型M1以完全无监督训练方式迁移学习训练古代绘画数据集以最小化联合损失，获得训练好的古代绘画虚拟修复网络模型M2。

全文数据：

权利要求：

百度查询： 西北大学 一种古代绘画虚拟修复方法及修复模型的构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD