申请/专利权人：浙江大学;浙江大学滨海产业技术研究院

申请日：2020-11-23

公开（公告）日：2021-02-19

公开（公告）号：CN112381168A

主分类号：G06K9/62(20060101)

分类号：G06K9/62(20060101);G06N3/04(20060101);G06T11/00(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.04.01#授权;2021.03.09#实质审查的生效;2021.02.19#公开

摘要：基于单样例引导物体表征拆分的图像编辑算法，包括下列步骤：1基于单样例的监督模块构建；2单样例引导下的自监督模块中的对偶策略构建；3单样例引导下的自监督模块中的模糊分类策略构建4基于单样例标注图像引导物体表征拆分的图像编辑。通过上述步骤建立的基于单样例引导物体表征拆分的图像编辑算法，只需要为每一类别图像标注一个样本形成单样例样本，利用单样例样本引导大量无标注数据训练的方式，通过单样例的监督模块和单样例引导无标注数据的自监督模块，实现复杂场景的前景物体和背景表征拆分，使得在图像表征空间即可直接操作图像，轻松实现相关图像编辑任务。

主权项：1.基于单样例引导物体表征拆分的图像编辑算法，包括如下步骤：1构建基于单样例的监督模块；选取ResNet50网络作为编码器fφ和解码器fψ，使用通用的全连接层网络作为分类器数据中的每一类图像都会标注一个单样例样本，所有的单样例样本进行数据增强并根据物体掩膜得到置换前景物体之后的ground-truth，具体而言对于输入的两个单样例图片对Ia,I′a同时输入fφ得到两张图像的表征向量，约束表征向量的前半部分为前景物体信息，后半部分为背景信息，重建约束包括两部分，一部分是将得到的表征直接输入fψ得到重建的原始图像，另一部分在表征域中，将两张图像对应表征的各自前半部分交换，得到交换后的混合表征，之后将混合表征输入到fψ得到重建的混合图像，利用L2范式约束重建损失，让重建的原始图像和输入的图像保持一致并且让重建的混合图像与交换前景物体后的ground-truth图片保持一致在分类中根据图像中物体的标签进行表征空间前景物体和背景信息的约束其中p是使用分类器对{ro,rb,r′o,r′b}进行分类得到的预测概率；2构建单样例引导下的自监督模块中的对偶策略；为利用数据中大量无标注的数据，构建了基于单样例引导的对偶自监督策略；对于随机输入的无标注图片Iu和有标注的单样例图片Ia，包含三部分的约束：重建原始图像约束、对偶交换约束和单样例的物体重建约束；对于随机输入的无标注图片Iu，同步骤1让重建的原始图像月输入图像保持一致对于随机输入的无标注图片Iu和有标注的单样例图片Ia，同时经过编码器得到两个表征向量，分别为和[ro,rb]，利用交换操作，将和ro互换，得到混合表征和将混合表征同时输入解码器得到重建的混合图像，之后再经过一次编码-交换-解码过程，如果物体表征能够被很好的拆分出来，最后得到的重建图像应该和输入保持一致为了确保编码的表征中前半部分是物体的信息，应该和输入的单样例图像Ia具有相同的前景物体，所以物体重建约束为其中Ma为单样例图像的前景物体的掩膜；3构建单样例引导下的自监督模块中的模糊分类策略；对于大量无标注数据来说，图像中物体的标签是未知的，很难约束一个特定的物体被提取到固定的表征中，然而在无标注的数据中，物体的特征应该和背景的特征具有区别性，背景的特征应该和前景物体的特征不同；对于图像的表征空间来讲，如果表征中前半部分提取到的都是物体的信息，那么它应该可以很容易被分类为物体类别，所以通过设计模糊分类策略实现对于大量无标注图像也能约束它们的表征能够被正确分类到前景物体和背景两类，模糊分类定义为其中4编辑基于单样例标注图像引导物体表征拆分的图像；为了能够实现每一类图像只需要一张标注样本引导就可以进行图像物体表征拆分，在表征域对图像直接进行操作，可以利用所有的有标注单样例图像形成监督和引导下的自监督机制；基于编解码器结构，对于所有有标注的单样例图像，通过数据增强和步骤1中重建、分类损失初步实现复杂背景下的物体表征拆分训练，对于大量无标注数据，通过步骤2与步骤3实现自监督机制，利用单样例样本引导无标注数据训练，通过对偶交换、重建损失、模糊分类实现在无标注数据上的物体表征拆分，最终实现单样例标注图像引导物体表征拆分的图像编辑。

全文数据：

权利要求：

百度查询： 浙江大学;浙江大学滨海产业技术研究院 基于单样例引导物体表征拆分的图像编辑算法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD