申请/专利权人：北京元跃科技有限公司

申请日：2023-05-18

公开（公告）日：2024-04-09

公开（公告）号：CN116580121B

主分类号：G06T11/00

分类号：G06T11/00;G06T11/20;G06V10/26;G06V10/764;G06V10/774;G06V10/44;G06V10/56;G06T5/70;G06T5/60;G06N3/08;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.08.29#实质审查的生效;2023.08.11#公开

摘要：一种基于深度学习的单张绘画生成2D模型的方法及系统本发明涉及一种基于深度学习的单张绘画生成2D模型的方法及系统，包括以下步骤：获取多张绘画分类为多个数据集，并对数据集进行预处理；将预处理后的数据集中的图像进行图像切割，获取输入图像x和目标图像y；建立2D生成模型，并以图像切割后的数据集作为训练样本，对2D生成模型进行训练；对训练后的2D生成模型进行优化及测试；将单张绘画作为输入图像输入至测试后的2D生成模型中，并对2D生成模型输出的2D模型进行后处理操作。本发明可以基于单张绘画图像生成其特定的2D模型，可以应用于电影动画特效、游戏场景、虚拟试衣等多个领域。

主权项：1.一种基于深度学习的单张绘画生成2D模型的方法，其特征在于：包括以下步骤：获取多张绘画分类为多个数据集，并对数据集进行预处理,包括以下步骤：对数据集进行图片缩放、图像增强及数据清洗；将数据集中的图像进行边缘检测，提取绘画作品的轮廓,包括：通过高斯滤波器平滑图像，利用公式二维高斯函数对图像进行平滑，其中，通过高斯函数的分布参数σ，控制平滑图像的程度，σ越小，滤波器的定位精度越高，信噪比越低，反之相反,x1和y1分别为二维平面上的坐标点的横纵坐标；通过公式： 计算绘画作品I中每个点的梯度幅值G和梯度方向θ，其中Gxi,j和Gyi,j分别为点i，j在x,y方向的偏导数；以点i，j为领域中心点，将领域中θi，j方向上的每个点的梯度值Gi,j进行比较，取其中梯度最大的值所在的点i，j作为候选边缘点，否则为非边缘点，得到候选边缘图像K；设定高阈值Th和低阈值Tl，对获得的候选边缘点的任一点i,j进行检测，若点i,j的梯度值Gi,j＞Th，则判定该点为边缘点，若Gi,j＜Tl，则该点不为边缘点；若Tl＜Gi,j＜Th，则判断该点的领域是否存在边缘点，若存在则该点为边缘点，反之不为边缘点；根据绘画作品的轮廓对绘画作品的色彩特征进行提取,包括：通过公式： 计算绘画作品中颜色的一阶矩μci1、二阶矩σci1、三阶矩ξci1；其中，N为图像中像素的个数，Pci1为颜色值为c且颜色分量为i1的像素出现的概率，C为绘画作品中包含的颜色种数，每种颜色有三个分量，每个分量各有三阶矩；通过公式： 将每张绘画作品的颜色特征生成颜色特征集PC；将预处理后的数据集中的图像进行图像切割，获取输入图像sx和目标图像sy，包括以下步骤：从[0.5,1]的范围内随机选择一个缩放因子s，并将图像缩放到s×原始分辨率；从缩放后的图像中随机选取一个宽度和高度都为原始分辨率的窗口作为切割区域；根据切割区域将图像切割为多个小块，其中，输入图像sx为经过随机切割后的小块图像，目标图像sy是对应的原始图像中与输入图像sx相同的位置上的小块图像；建立2D生成模型，并以图像切割后的数据集作为训练样本，对2D生成模型进行训练，包括以下步骤：通过搭建生成器GG和判别器D，建立2D生成模型；定义损失函数，包括生成器损失和判别器损失；基于图像切割后的数据集，通过交替训练生成器和判别器，使损失函数下降，完成对2D生成模型的训练；所述生成器定义式为：w＝MLPz∈Rdlatent,w,y1＝GGprojw,y1∈Rdlatent,x1＝GGw,y1∈RCC*H*W，其中，z表示输入的低维噪声向量，MLP表示多层感知机，用于将输入的噪声向量z映射成潜在空间中的样式向量w，dlatent代表潜在空间的维度，GGproj表示可学习的投影层，用于将样式向量w和条件信息y1合并，并生成一个维度新向量w,y1，GG表示生成器模型，由多个GeneratorBlocks组成，用于将输入的样式向量w,y1转化为高分辨率图像x1，CC、H、W分别代表图像的通道数、高度和宽度；所述判别器定义式为： 其中，sx表示输入的图像，经过卷积和降采样处理后得到不同分辨率的特征图，Si2sx表示对输入图像sx进行第i2层卷积和下采样处理后得到的特征图，Di2表示第i2层的判别器模型，用于对第i2层的特征图进行分类和评分，ai2表示对应的判别器Di2的权重系数，用于控制每个层次对最终分类结果的贡献度；对训练后的2D生成模型进行优化及测试；将单张绘画作为输入图像输入至测试后的2D生成模型中，并对2D生成模型输出的2D模型进行后处理操作。

全文数据：

权利要求：

百度查询： 北京元跃科技有限公司 一种基于深度学习的单张绘画生成2D模型的方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD