申请/专利权人：广州极点三维信息科技有限公司

申请日：2023-06-19

公开（公告）日：2024-03-15

公开（公告）号：CN116957917B

主分类号：G06T3/04

分类号：G06T3/04;G06T5/90;G06T5/60;G06N3/0475;G06N3/045;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2023.11.14#实质审查的生效;2023.10.27#公开

摘要：本发明公开了一种基于近端策略优化的图像美化方法及装置，方法包括：构建CLIP模型的文本和图像编码模块，将全量渲染图输入图像编码模块，确定初始数据集；构建初始深度强化学习网络，将初始数据集输入初始深度强化学习网络，结合近端策略优化完成初始深度强化学习网络的训练，得到目标深度强化学习网络，将待美化图像通过目标深度强化学习网络，得到美化后的图像；本发明通过构建CLIP模型的文本和图像编码模块，在深度强化学习网络的训练过程中可以提高训练效率，还通过构建深度强化学习网络，多种算法对图像进行美化，解决了传统的数字图像处理方法只能处理单一图像缺陷的问题，提高了方法的泛化性，可广泛应用于图像处理技术领域。

主权项：1.一种基于近端策略优化的图像美化方法，其特征在于，包括：构建CLIP模型的文本编码模块和图像编码模块；通过将图像评价文本输入所述文本编码模块得到文本特征向量，所述文本特征向量包括第一质量文本特征向量、第二质量文本特征向量、第一场景文本特征向量和第二场景文本特征向量；通过所述图像编码模块提取全量渲染图的渲染图像特征，基于所述渲染图像特征与所述文本特征向量计算所述全量渲染图的场景复杂度，将所述场景复杂度与预设的第一阈值进行对比，将所述场景复杂度大于所述第一阈值的渲染图确定为初始数据集；构建初始深度强化学习网络；将所述初始数据集输入所述初始深度强化学习网络，通过近端策略优化完成所述初始深度强化学习网络的训练，得到目标深度强化学习网络；将待美化图像输入所述图像编码模块，得到待美化特征向量，将所述待美化特征向量输入所述目标深度强化学习网络进行图像美化，得到美化后的图像；所述通过所述图像编码模块提取全量渲染图的渲染图像特征，基于所述渲染图像特征与所述文本特征向量计算所述全量渲染图的场景复杂度，包括：获取全量渲染图，将所述全量渲染图进行预处理后输入所述图像编码模块，提取所述全量渲染图的渲染图像特征；将所述渲染图像特征与所述第一场景文本特征向量、所述第二场景文本特征向量，通过向量点乘计算得到第一场景相似度和第二场景相似度；将所述第一场景相似度和所述第二场景相似度通过激活处理，计算得到场景复杂度；所述构建初始深度强化学习网络，包括：根据图像处理选择动作模块、图像处理参数动作模块和评估价值函数模块构建初始深度强化学习网络；所述将所述初始数据集输入所述初始深度强化学习网络，通过近端策略优化完成所述初始深度强化学习网络的训练，得到目标深度强化学习网络，包括：将所述初始数据集通过所述图像编码模块，获得第一图像特征；将所述第一图像特征与第一质量文本特征向量、第二质量文本特征向量进行计算，得到第一相似度得分和第二相似度得分；将所述第一相似度得分和所述第二相似度得分进行激活处理，得到第一质量得分；将所述第一图像特征输入所述图像处理选择动作模块，得到选择动作概率；将所述第一图像特征输入所述图像处理参数动作模块，得到参数动作均值；将所述第一图像特征输入所述评估价值函数模块，得到价值评估分数；将所述全量渲染图通过所述图像编码模块，获得第二图像特征；将所述第二图像特征与第一质量文本特征向量、第二质量文本特征向量进行计算，得到第三相似度得分和第四相似度得分；将所述第三相似度得分和所述第四相似度得分进行激活处理，得到第二质量得分；将所述第一质量得分与所述第二质量得分作差得到奖赏得分；基于所述选择动作概率、所述参数动作均值、所述价值评估分数和所述奖赏得分完成所述初始深度强化学习网络的训练。

全文数据：

权利要求：

百度查询： 广州极点三维信息科技有限公司 一种基于近端策略优化的图像美化方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD