申请/专利权人：上海艾麒信息科技股份有限公司

申请日：2019-07-30

公开（公告）日：2020-11-24

公开（公告）号：CN110400323B

主分类号：G06T7/11(20170101)

分类号：G06T7/11(20170101)

优先权：

专利状态码：有效-授权

法律状态：2020.11.24#授权;2019.11.26#实质审查的生效;2019.11.01#公开

摘要：一种自动抠图系统，包括：主体分割模块，根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图；三分图生成模块，对包含主体区域的遮罩图进行处理，生成三分图；抠图模块，抠出原始图像中的主体，输出包含主体的第一图像。系统还包括精修模块，精修模块对抠图模块输出的第一图像进行进一步的修图，得到包含主体的第二图像。

主权项：1.一种自动抠图系统，其特征在于，所述系统包括：主体分割模块，根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图，候选区域生成模块，检测输入的原始图像，根据检测到的主体候选区域生成候选区域的边框；边界生成模块，对候选区域边框进行细分，将图像划分为主体内和主体外，将主体内的图像区域颜色设为第一色，主体外的图像区域颜色设为第二色，得到包含主体区域的遮罩图；其主体检测模块是一个Unet结构的神经网络，U型的左半部分是特征提取部分，采用了四个卷积池化层，每一个卷积池化操作之后，图像宽高变为原先的12,得到一个新的尺度，加上输入层一共是5个尺度，卷积池化层的作用为特征提取；U型的右半部分是上采样部分，同样有四个上采样层，每上采样一次，图像宽高变成原先的2倍，再与左半部特征提取部分对应的尺度图像融合，得到主体部分位置信息的遮罩图，上采样的作用是恢复出细节部分，提高分割的精度，采用COCO数据集作为训练样本和标签，神经网络的损失函数采用交叉熵，随机梯度下降用于优化，激活函数采用Relu,两个连续的卷积层之间使用0.2的dropout进行训练，得到训练模型，用于的图片输入Unet神经网络，可得到分割后的遮罩图；三分图生成模块，对包含主体区域的遮罩图进行处理，生成三分图，其进一步包括：将主体区域的遮罩图进行扩展，将分割得到的主体区域用腐蚀算法进行缩小，作为三分图中的前景区域即为白色区域，将主体区域用膨胀算法进行放大，放大之后的主体以外区域作为三分图的背景区域即为黑色区域，将白色与黑色之间的区域作为未知区域即为灰色；三分图中的黑色区域在alpha图中还是黑色即为像素的值为0，三分图中的白色区域在alpha图中还是白色即为像素的值为255,三分图中的灰色区域，会根据抠图算法进行计算，使之转变成介于0和255之间的值,最终alpha图中的这些点的值用以表示原图中对应位置的点在生成的结果图中的透明度值；抠图模块，抠出原始图像中的主体，输出包含主体的第一图像；其还包括对原图和三分图进行运算，得到粗抠后的主体部分的alpha图；精修模块，精修模块对抠图模块输出的第一图像进行进一步的修图，得到包含主体的第二图像,根据接收到用户的手指输入，把原图片中想保留的区域，在alpha图中设置白色即为代表前景区域，把原图片中想擦除的区域设置成黑色即为代表背景区域，以对实现精修；所述主体分割模块、三分图生成模块、抠图模块和精修模块之间以流水线的形式协同工作。

全文数据：一种自动抠图系统、方法以及装置技术领域本发明涉及图像抠图技术，特别涉及一种自动抠图系统、方法和装置。背景技术抠图是图像和视频处理的一项重要的技术,在照片处理、电影特效和家庭娱乐中,获得了广泛的应用。在抠图过程中，主体中一些精细的部分难以准确地从背景中分离，如人物的头发丝、纱质的半透明衣物等。只有将主体中这部分比较精细的部分从背景中分离出来，分离的精度越高，后续的合成效果就越真实、自然。现有技术对于高精度的抠图，通常需要依赖前期特殊的拍摄手法和大量的人工手动抠图。例如，需要在绿幕等纯色背景下进行拍摄，以方便后期的图像处理。而对于自然场景下拍摄的背景复杂的照片，更是需要专业的修图人员使用专业的修图软件进行手工抠图。可见，现有的操作非常麻烦，抠图效率低下。且对于前景和背景颜色差异较小的照片，采用现有技术所获得的抠图效果不够理想。发明内容本发明实施例提供了一种自动抠图方法，根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图；对包含主体区域的遮罩图进行处理，生成三分图；对原始图像抠出其中的主体，输出包含主体的第一图像；对第一图像进行进一步的修图，得到包含主体的第二图像。本发明在对原始图像中的主体进行分割时，通过神经网络得到图像中主体的轮廓；对其进行扩展成为三分图Trimap；将原图与三分图Trimap利用传统的抠图算法进行抠图，得到主体部分的图像；用户可以对得到的主体部分进行精修，实现发丝级的抠像效果。附图说明通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：图1是根据本发明实施例之一的自动抠图方法流程图。具体实施方式实施例一。一种基于深度学习的自动抠图系统，包括：主体分割模块，采用卷积神经网络，对于输入的图像中的主体进行分割，得到包含主体区域的遮罩图。三分图生成模块：将主体区域的遮罩图进行扩展，生成三分图Trimap。抠图模块：根据原图和三分图Trimap，抠出图像中的主体。精修模块：用户根据抠图模块的结果，可以再对结果进行精修，以达到更准确、更精细的效果。主体分割模块包括：本发明中的主体检测模块是一个Unet结构的神经网络，U型的左半部分是特征提取部分，采用了四个卷积池化层，每一个卷积池化操作之后，图像宽高变为原先的12,得到一个新的尺度，加上输入层一共是5个尺度，卷积池化层的作用为特征提取；U型的右半部分是上采样部分，同样有四个上采样层，每上采样一次，图像宽高变成原先的2倍，再与左半部特征提取部分对应的尺度图像融合，得到主体部分位置信息的遮罩图，上采样的作用是恢复出细节部分，提高分割的精度。我们采用COCO数据集作为训练样本和标签。神经网络的损失函数采用交叉熵，随机梯度下降用于优化。激活函数采用Relu,两个连续的卷积层之间使用0.2的dropout进行训练，得到训练模型。用于的图片输入Unet神经网络，可得到分割后的遮罩图。三分图生成模块将主体区域的遮罩图进行扩展，将分割得到的主体区域用腐蚀算法进行缩小，作为三分图中的前景区域白色区域，将主体区域用膨胀算法进行放大，放大之后的主体以外区域作为三分图的背景区域黑色区域，将白色与黑色之间的区域作为未知区域灰色。得到三分图生成三分图Trimap。抠图模块包括：使用传统的抠图算法例如GlobalSamplingMatting算法或SharedMatting算法等，如导向滤波抠图，或者全局抠图算法对原图和三分图进行运算，得到粗抠后的主体部分的alpha图。精修模块包括：用户可以根据自己的要求，再次进行精修。把原图片中想保留的区域，在alpha图中设置白色代表前景区域，把原图片中想擦除的区域设置成黑色代表背景区域。实施例二。一种自动抠图系统，主要包括主体分割模块、三分图生成模块、抠图模块和精修模块这四个模块。本实施例以人体检测为例进行详细说明，因此上述主体检测模块具体为人体检测模块，主体分割模块可以具有为人体分割模块。人体分割模块对待抠图图像中的人体进行检测，分离出人像前景与背景。并对分割结果通过腐蚀和膨胀算法进行缩小和放大处理，生成trimap图。抠图模块根据trimap图对主体框中的主体进行精细抠图。精修模块根据抠图生成的alpha图做精修，得到更为精细的alpha图。下面分别对四个模块进行详细介绍：主体分割模块：本发明中的主体检测模块是一个Unet结构的神经网络，U型的左半部分是特征提取部分，采用了四个卷积池化层，每一个卷积池化操作之后，图像宽高变为原先的12,得到一个新的尺度，加上输入层一共是5个尺度，卷积池化层的作用为特征提取；U型的右半部分是上采样部分，同样有四个上采样层，每上采样一次，图像宽高变成原先的2倍，再与左半部特征提取部分对应的尺度图像融合，得到主体部分位置信息的遮罩图，上采样的作用是恢复出细节部分，提高分割的精度。我们采用COCO数据集的人像数据作为训练样本和标签。神经网络的损失函数采用交叉熵，随机梯度下降用于优化。激活函数采用Relu,两个连续的卷积层之间使用0.2的dropout进行训练，得到训练模型。用户的人像图片输入Unet神经网络，可得到分割后的遮罩图。。主体分割模块，采用实例分割技术，不仅能将主体的像素进行分类，还能将主体中的每一个实例例如每一个人进行分割。三分图生成模块：将主体区域的遮罩图进行扩展，将分割得到的主体区域进行缩小，作为三分图中的前景区域白色区域，将主体区域进行放大，放大之后的主体以外区域作为三分图的背景区域黑色区域，将白色与黑色之间的区域作为未知区域灰色。得到三分图生成三分图Trimap。三分图Trimap由黑白灰三种颜色组成，黑色区域代表的是背景区域，白色区域代表的是前景区域，灰色区域代表的是待求的未知区域。抠图模块：使用传统的抠图算法例如GlobalSamplingMatting算法或SharedMatting算法等，如导向滤波抠图，或者全局抠图算法对原图和三分图进行运算，得到粗抠后的主体部分的alpha图。抠图模块：根据原图和三分图Trimap，抠出图像中的主体。三分图中的黑色区域在alpha图中还是黑色像素的值为0，三分图中的白色区域在alpha图中还是白色像素的值为255,三分图中的灰色区域，会根据抠图算法进行计算，使之转变成介于0和255之间的值。最终alpha图中的这些点的值用以表示原图中对应位置的点在生成的结果图中的透明度值。精修模块：根据用户的手指输入，把原图片中想保留的区域，在alpha图中设置白色代表前景区域，把原图片中想擦除的区域设置成黑色代表背景区域。精修模块根据抠图模块的结果，可以再对结果进行精修，以达到更准确、更精细的效果。精修模块，用户可以根据自己的要求，再次进行精修。把原图片中想保留的区域，在alpha图中设置白色代表前景区域，把原图片中想擦除的区域设置成黑色代表背景区域。本发明实施例提供的自动抠图系统，将抠图操作分为主体分割模块、三分图生成模块、抠图模块和精修模块，四个模块之间以流水线的形式协同工作，能够自动将主体从输入图像中分离，避免了人工抠图的繁琐操作，从而大大提高了抠图效率。且本发明对抠图模块进行了优化，优化后的抠图模块能够更好地处理主体的细节与边缘部分，例如人体的头发、半透明的衣物等难以分离的部位，因此，本发明的抠图效果也得到了较大改善。实施例三。如图1所示，一种自动抠图方法，包括S101，接收原始图像，通过卷积神经网络检测出目标区域，划分为主体内和主体外，将主体内的部分置为白色，主体外的区域置为黑色得到包含主体区域的遮罩图；S102,对主体区域的遮罩图进行扩展处理，将分割得到的主体区域利用腐蚀算法进行缩小，作为三分图中的前景区域颜色为白色，再将主体区域利用膨胀算法进行放大，放大之后的主体以外区域作为三分图的背景区域颜色为黑色，腐蚀与膨胀的像素值选为主体区域宽度的120，将白色与黑色之间的区域作为灰色未知区域，得到三分图；S103，使用抠图算法，即或者GlobalSamplingMatting算法或者SharedMatting算法，或者全局抠图算法对原图和三分图进行运算，得到粗抠后的主体区域部分的alpha图；S104，用户根据需要，对自动抠图结果进行精修，把原始图像中想保留的区域，在alpha图中设置白色代表前景区域，把原始图像中想擦除的区域设置成黑色背景区域。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器ROM，Read-OnlyMemory、随机存取存储器RAM，RandomAccessMemory、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

权利要求：1.一种自动抠图系统，其特征在于，所述系统包括：主体分割模块，根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图；三分图生成模块，对包含主体区域的遮罩图进行处理，生成三分图；抠图模块，抠出原始图像中的主体，输出包含主体的第一图像。2.根据权利要求1所述的自动抠图系统，其特征在于，所述系统还包括精修模块，精修模块对抠图模块输出的第一图像进行进一步的修图，得到包含主体的第二图像。3.根据权利要求1所述的自动抠图系统，其特征在于，所述主体分割模块包括，候选区域生成模块，检测输入的原始图像，根据检测到的主体候选区域生成候选区域的边框；边界生成模块，对候选区域边框进行细分，将图像划分为主体内和主体外，将主体内的图像区域颜色设为第一色，主体外的图像区域颜色设为第二色，得到包含主体区域的遮罩图。4.根据权利要求3所述的自动抠图系统，其特征在于，所述三分图生成模块将包含主体区域的遮罩图进行进一步处理，将遮罩图的主体区域缩小，生成三分图中的前景区域，接着将主体区域进行放大，将主体以外区域作为三分图的背景区域，将前景区域与背景区域之间的区域作为未知区域，生成三分图。5.一种自动抠图方法，其特征在于，根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图；对包含主体区域的遮罩图进行处理，生成三分图；对原始图像抠出其中的主体，输出包含主体的第一图像。6.根据权利要求5所述的自动抠图方法，其特征在于，还包括对第一图像进行进一步的修图，得到包含主体的第二图像。7.一种自动抠图装置，其特征在于，所述装置包括存储器；以及耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图；对包含主体区域的遮罩图进行处理，生成三分图；对原始图像抠出其中的主体，输出包含主体的第一图像。8.一种自动抠图线上平台，其特征在于，所述线上平台包括服务器，服务器具有存储器；以及耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的指令，所述处理器执行以下操作：根据原始图像中的主体对原始图像进行分割，得到包含主体区域的遮罩图；对包含主体区域的遮罩图进行处理，生成三分图；对原始图像抠出其中的主体，输出包含主体的第一图像。9.一种自动抠图终端，其特征在于，该终端通过通信网络向线上平台发送软食图像和抠图任务请求，线上平台如权利要求8所述，线上平台完成抠图任务后将抠图结果反馈给所述终端。10.一种自动抠图系统，其特征在于，该系统包括人体分割模块，接收原始图像，通过卷积神经网络检测出目标候选区域，生成候选区域的边框；再对候选区域框中的像素进行分类，划分为人体内和人体外，将人体内的部分置为白色，人体外的区域置为黑色得到包含主体区域的遮罩图；三分图生成模块，对人体区域的遮罩图进行扩展，将分割得到的主体区域利用腐蚀算法进行缩小，作为三分图中的白色前景区域，再将主体区域利用膨胀算法进行放大，放大之后的主体以外区域作为三分图的黑色背景区域，腐蚀与膨胀的像素值设为主体区域宽度的120，磨蚀将白色与黑色之间的区域作为灰色未知区域，得到三分图；抠图模块，使用抠图算法，即或者GlobalSamplingMatting算法或者SharedMatting算法，或者全局抠图算法对原图和三分图进行运算，得到粗抠后的人体区域部分的alpha图；精修模块，把原始图像中想保留的区域，在alpha图中设置白色代表前景区域，把原始图像中想擦除的区域设置成黑色背景区域。

百度查询： 上海艾麒信息科技股份有限公司 一种自动抠图系统、方法以及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD