申请/专利权人：之江实验室;电子科技大学

申请日：2022-08-17

公开（公告）日：2022-12-02

公开（公告）号：CN115424109A

主分类号：G06V10/82

分类号：G06V10/82;G06N3/04;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.12.20#实质审查的生效;2022.12.02#公开

摘要：本发明涉及图像处理领域，具体涉及一种可形变实例级图像翻译方法，其解决了现有技术中，域之间差距过大而导致的实例难以形变、实例无法和掩码信息保持一致的问题。其将前景的边缘信息、背景掩码信息和目标域标签信息的特征编码进行融合，获得混合掩码；然后，将背景特征和混合掩码，输入生成器，生成器的解码网络将输入的背景特征进行解码，同时从混合掩码提取附加信息，并将提取的附加信息作用于归一化后的解码输出上，通过附加信息对归一化后的解码输出进行仿射变换，从而获得了包括对应目标域掩码的前景信息和指示前景位置的位置信息的融合信息；最终，利用位置信息将生成的前景信息和源域背景图像进行融合，输出保留源域背景的目标域图片。

主权项：1.一种可形变实例级图像翻译方法，其特征在于，包括以下步骤：C1、将源域的图像掩码对及目标域的标签信息和实例掩码，输入图像翻译模型，所述图像掩码对包括一组实例掩码及其对应的图像；所述图像翻译模型包括预先训练好的图像补全模型和实例生成网络；C2、基于步骤C1输入的源域图像掩码对，首先将源域的所有实例掩码进行聚合，获得源域掩码，然后，根据源域掩码去除对应源域图像的前景，获得去除了掩码部分的剩余图像，使用图像补全模型，对剩余图像进行补全，得到源域的背景图像；C3、基于步骤C1输入的目标域实例掩码，首先将目标域的所有实例掩码进行聚合，获得目标域掩码，然后，将目标域掩码和步骤C2获得的源域背景图像BS，输入实例生成网络；所述实例生成网络包括编码器和生成器，并按如下步骤进行处理：基于输入的源域背景图像，通过编码器，提取源域背景图像的背景特征；基于输入的目标域掩码，通过边缘提取算法，获取其前景的边缘信息；将目标域掩码通过取反得到背景掩码信息；对目标域的标签信息进行特征编码；然后，将前景的边缘信息、背景掩码信息和目标域标签信息的特征编码进行融合，获得混合掩码；将背景特征和混合掩码，输入生成器，所述生成器包括一个解码网络，所述解码网络将输入的背景特征进行解码，同时生成器从混合掩码提取附加信息，并将提取的附加信息作用于归一化后的解码所获得输出上，通过附加信息对归一化后的解码输出进行仿射变换，从而获得了包括对应目标域掩码的前景信息和指示前景位置的位置信息的融合信息；最终，利用位置信息将生成的前景信息和源域背景图像进行融合，输出保留源域背景的目标域图片。

全文数据：

权利要求：

百度查询： 之江实验室;电子科技大学 一种可形变实例级图像翻译方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD