申请/专利权人：大连理工大学

申请日：2021-01-15

公开（公告）日：2021-05-07

公开（公告）号：CN112767507A

主分类号：G06T11/00(20060101)

分类号：G06T11/00(20060101);G06T11/40(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.11.18#授权;2021.05.25#实质审查的生效;2021.05.07#公开

摘要：本发明提供了一种基于动态记忆模块和生成对抗网络的动漫草图上色方法，属于图像处理技术领域。本发明首次利用动态记忆模块完成图像上色任务，首先将动漫草图输入到网络中，获取图片特征图；利用动态记忆模块动态地从图像标签中读取信息，组合图片特征和图像标签信息，对生成器和判别器进行训练，以生成符合标签描述的彩色图像。本发明利用动态记忆模块和条件生成对抗网络实现了由动漫草图及相应的图片标签生成彩色图片的任务，通过动态组合标签信息和图像信息提升图片质量；本发明利用真实的图像数据集进行评估，并观察在最先进的基线上的改进。

主权项：1.一种基于动态记忆模块和生成对抗网络的动漫草图上色方法，其特征在于，该方法包括以下步骤：步骤S1：获取训练数据集，包括彩色动漫图片、相应的图片标签和草图；步骤S2：构建草图上色网络模型生成器的编码器部分，将草图和对应的图片标签输入到生成器中，获取图像特征和文本特征；并将图像特征和文本特征拼接，得到更新的图像特征；所述的草图上色网络模型包含一个生成器和一个判别器，所述的生成器包含一个图像编码器、两个文本编码器、一个主解码器和一个辅助解码器；步骤S3：将更新的图像特征输入到辅助解码器中，生成一张上色图像，防止神经网络的梯度消失；步骤S4：构建动态记忆模块，动态地从图片标签的文本中选择对上色最重要的部分，并利用门控机制动态地组合文本和图像信息；步骤S5：构建多个动态记忆模块，作为主解码器进行处理，直到图像特征大小与原本图片的大小相同；步骤S6：在主解码器中添加一个3*3卷积、一个LeakyRelu激活层、一个3*3卷积和一个Tanh激活层，生成上色图片；步骤S7：将步骤S6中生成的上色图片和真实彩色图片输入到判别器中，令判别器去判别图像的真假以及输入的图像文本标签，交替训练生成器和判别器，相应的最小化生成器和判别器各自的损失函数。

全文数据：

权利要求：

百度查询： 大连理工大学 基于动态记忆模块和生成对抗网络的动漫草图上色方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD