买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法_中国科学院自动化研究所_201811278762.2 

申请/专利权人:中国科学院自动化研究所

申请日:2018-10-30

公开(公告)日:2021-06-08

公开(公告)号:CN109598287B

主分类号:G06K9/62(20060101)

分类号:G06K9/62(20060101);G06K9/66(20060101);G06N3/04(20060101)

优先权:

专利状态码:有效-授权

法律状态:2021.06.08#授权;2019.05.03#实质审查的生效;2019.04.09#公开

摘要:本发明涉及一种基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,包括:将原始采集的小样本精密零件瑕疵图像提取瑕疵区域,构成原始小样本瑕疵块数据集,并利用该数据集训练DCGAN模型并生成全新的瑕疵块;将原始小样本精密零件瑕疵数据集中的每一张完整图像拆分成若干图像块数据,构成图像拆分训练数据集,并将数据集与生成瑕疵块数据集一起作为训练集训练FasterR‑CNN模型;对待检测的零件瑕疵图像进行图形块拆分,并通训练好的FasterR‑CNN模型行瑕疵检测及分类。本发明解决了小样本瑕疵检测问题、提高了小目标对象的检测及分类精度。

主权项:1.一种基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,包括以下步骤:步骤S1,对所采集的精密零件瑕疵图像,按照第一预设尺度进行图像块拆分,构建图像拆分检测数据集;步骤S2,利用预先训练好的FasterR-CNN模型,对图像拆分检测数据集中图像分别进行瑕疵检测及分类;步骤S3,然后对步骤S2得到的图像拆分检测数据集中每个图像块瑕疵分类结果进行合并处理,得到完整瑕疵图像上瑕疵分类结果;其中,所述FasterR-CNN模型的训练数据集包括生成瑕疵块数据集和图像拆分训练数据集;所述生成瑕疵块数据集,是利用原始小样本瑕疵块数据集通过DCGAN模型生成的全新瑕疵数据而构建的数据集;所述图像拆分训练数据集,是按照第一预设尺度对原始小样本精密零件瑕疵数据集中的每一张完整瑕疵图像进行图像块拆分后得到的数据集;所述DCGAN模型包括瑕疵生成器G、瑕疵判别器D;所述瑕疵生成器G用于将随机噪声z通过多层反卷积处理生成瑕疵块数据Gz;所述瑕疵判别器D用于判断输入数据属于原始小样本瑕疵块数据的概率;所述瑕疵生成器G训练目标是最小化对数似然函数: 其中,z代表输入噪声,Pzz表示噪声分布;所述瑕疵判别器训练目标是最大化对数似然函数: 其中,Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点,Dxi为原始瑕疵样本的数据分布,DGz为生成瑕疵块数据分布;所述DCGAN模型的性能判别函数为: 其中,pg表示生成瑕疵块数据的分布;所述的DCGAN模型的目标函数为: 其中,Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点,Dxi为原始瑕疵样本的数据分布,DGz为生成瑕疵块数据分布。

全文数据:基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法技术领域本发明属于深度学习领域的,具体涉及一种基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法。背景技术产品外观瑕疵既会影响产品整体的美观,还会影响产品的后续使用。因此,产品外观瑕疵检测已经成为众多科研机构研究的重点。瑕疵检测主要包含两个部分:1瑕疵特征提取,2对提取出的瑕疵特征进行分类。有效的特征提取方法可以充分获得瑕疵特征信息,有助于提高分类任务的精度。有效的分类方法能够更加准确区分不同类别的瑕疵信息,获得更好的分类效果。目前,瑕疵检测的方法主要包括:基于阈值分割目标对象的瑕疵检测方法,基于机器学习的瑕疵检测方法,以及基于深度学习的瑕疵检测方法。基于阈值分割目标对象的瑕疵检测方法通过设置灰度阈值,面积阈值等阈值信息,提取出瑕疵区域并对每一个瑕疵区域进行分类。基于机器学习的瑕疵检测方法主要通过支持向量机或其改进算法作为分类器,提高分类精度。基于深度学习的瑕疵检测方法通常采用卷积神经网络提取目标对象的特征信息,既提高了特征提取的效果也提高了特征提取的速度。基于阈值分割目标对象的瑕疵检测方法,主要是针对目标对象不同特征信息设置阈值,进而提取出目标区域并对目标对象进行分类。这类方法具有针对性,难以实现对不同产品外观瑕疵的检测,并且这类算法提取特征信息的能力差、分类精度低。基于机器学习的瑕疵检测方法,这类方法可以实现高精度分类,但特征提取过程与分类过程分离,使整个检测流程耗时较长,保存瑕疵特征需要占用额外内存空间,导致空间开销大。基于深度学习的瑕疵检测方法,采用卷积神经网络提取表面瑕疵特征信息,将已提取特征输入分类器,实现了表面瑕疵检测与分类且效果较好。但是,这类方法仍然存在特征提取过程与分类过程分离问题,并且基于深度学习的检测方法需要大量数据样本训练神经网络,否则会导致网络过拟合等问题。发明内容为了解决现有技术中的上述问题,即为了解决精密零件的多种瑕疵分类精度不高的问题,本发明的一方面,提供了一种基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,包括以下步骤:步骤S1,对所采集的精密零件瑕疵图像,按照第一预设尺度进行图像块拆分,构建图像拆分检测数据集;步骤S2,利用预先训练好的FasterR-CNN模型,对图像拆分检测数据集中图像分别进行瑕疵检测及分类;步骤S3,然后对步骤S2得到的图像拆分检测数据集中每个图像块瑕疵分类结果进行合并处理,得到完整瑕疵图像上瑕疵分类结果;其中,所述FasterR-CNN模型的训练数据集包括生成瑕疵块数据集和图像拆分训练数据集;所述生成瑕疵块数据集,是利用原始小样本瑕疵块数据集通过DCGAN模型生成的瑕疵数据而构建的数据集;所述图像拆分训练数据集,是按照第一预设尺度对原始小样本精密零件瑕疵数据集中完整瑕疵图像进行图像块拆分后得到的数据集。在一些优选实施例中,所述DCGAN模型包括瑕疵生成器G、瑕疵判别器D;所述瑕疵生成器G用于将随机噪声z通过多层反卷积处理生成瑕疵块数据Gz;所述瑕疵判别器D用于判断输入数据属于原始小样本瑕疵块数据的概率。在一些优选实施例中,所述瑕疵生成器G训练目标是最小化对数似然函数:其中,z代表输入噪声,Pzz表示噪声分布。在一些优选实施例中,所述瑕疵判别器训练目标是最大化对数似然函数:其中,Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点,Dxi为原始瑕疵样本的数据分布,DGz为生成瑕疵块数据分布。在一些优选实施例中,所述DCGAN模型的性能判别函数为:其中,pg表示生成瑕疵块数据的分布。在一些优选实施例中,所述的DCGAN模型的目标函数为:其中Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点,Dxi为原始瑕疵样本的数据分布,DGz为生成瑕疵块数据分布。在一些优选实施例中,所述原始小样本瑕疵块数据集的构建方法为:采集原始瑕疵图像并将其构成原始小样本精密零件瑕疵数据集;对该数据集中的全部图像提取瑕疵区域,进而构建原始小样本瑕疵块数据集。在一些优选实施例中,所述DCGAN模型,其训练数据集为所述原始小样本瑕疵块数据集。本发明的另一方面,提供了一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法。本发明的第三方面,提供了一种处理装置,包括处理器,适于执行各条程序;以及存储设备,适于存储多条程序;所述程序适于由处理器加载并执行以实现:上述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法。本发明的有益效果在于:基于阈值分割目标对象的瑕疵检测方法不具有普适性,并且特征提取效果及瑕疵分类效果较差;基于机器学习的瑕疵检测方法,其特征提取过程与分类过程分离,使整个检测流程耗时较长,保存瑕疵特征需要占用额外内存空间,导致空间开销大;而基于深度学习的瑕疵检测方法需要大量训练数据,难以解决小样本瑕疵检测问题。本发明基于FasterR-CNN模型实现了不同产品外观的瑕疵检测,解决了特征提取任务与分类任务分离的问题,提升了特征提取及分类任务的性能。本发明提出的基于DCGAN模型的多类型瑕疵生成方法实现了小样本数据扩容,通过生成大量的瑕疵数据,解决了小样本的瑕疵检测问题。为进一步提高瑕疵检测的精度,本发明采用拆分及合并的方法,将完整瑕疵图像按一定尺度拆分成若干图像块,利用图像块训练FasterR-CNN模型。将待检测数据也进行相同的拆分处理,利用已训练好的FasterR-CNN模型检测待检测数据中图像块的分类结果,最后,通过合并操作,将拆分后的图像块返回到原始整幅图像的正确位置,进而得到整幅瑕疵图像的分类结果。总体来说,本发明1提出了基于DCGAN模型的多类型瑕疵生成方法,解决了小样本瑕疵检测问题;2通过原始图像拆分及合并的方法,提高了小目标对象的检测及分类精度,使得整体瑕疵分类效果有所提高;3基于FasterR-CNN模型的瑕疵检测方法使得特征提取过程与分类过程整合在一起,提高了整体检测流程的速度。针对精密零件的多种瑕疵类型:垫伤、划痕、麻点、毛刺、白雾等取得了较高分类精度。附图说明图1本发明基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法的流程示意图;图2本发明实施例构建DCGAN生成瑕疵块数据集的流程示意图。具体实施方式下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。本发明基于DCGAN构建生成瑕疵块数据集,并基于生成瑕疵块数据集和图像拆分训练数据集对FasterR-CNN模型进行训练,并通过训练好的FasterR-CNN模型进行瑕疵分类,本实施例中采用测试数据集作为待检测数据来测试检测效果,但并不是说只试用于测试数据集,在实际应用中,采用实际采集的精密零件瑕疵图像代替测试数据进行应用。如图1示出本发明所提供方法的流程图,在基于DCGAN样本生成的小样本视觉外观瑕疵检测过程中,首先将原始采集的小样本精密零件瑕疵图像提取瑕疵区域,构成原始小样本瑕疵块数据集;其次,利用原始小样本瑕疵块数据训练DCGAN模型并生成全新的瑕疵块;然后,将原始小样本精密零件瑕疵数据集中的每一张完整图像拆分成若干图像块数据,构成图像拆分训练数据集。将该图像拆分训练数据集与生成瑕疵块数据集一起作为FasterR-CNN的训练集,训练FasterR-CNN模型;最后,将原始小样本精密零件瑕疵数据集中作为测试数据的图像进行拆分,构成图像拆分测试数据集。利用已训练好的FasterR-CNN模型,检测测试集中瑕疵图像的分类精度。图1中,生成器G包括deconv层反卷积层,判别器D包括多个conv层卷积层。本发明的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,包括以下步骤:步骤S1,对所采集的精密零件瑕疵图像,按照第一预设尺度进行图像块拆分,构建图像拆分检测数据集;步骤S2,利用预先训练好的FasterR-CNN模型,对图像拆分检测数据集中图像分别进行瑕疵检测及分类;步骤S3,然后对步骤S2得到的图像拆分检测数据集中每个图像块瑕疵分类结果进行合并处理,得到完整瑕疵图像上瑕疵分类结果;其中,所述FasterR-CNN模型的训练数据集包括生成瑕疵块数据集和图像拆分训练数据集;所述生成瑕疵块数据集,是利用原始小样本瑕疵块数据集通过DCGAN模型生成的瑕疵数据而构建的数据集;所述图像拆分训练数据集,是按照第一预设尺度对原始小样本精密零件瑕疵数据集中完整瑕疵图像进行图像块拆分后得到的数据集。为了更清晰地对本发明技术方案进行说明,下面按照DCGAN模型的训练及生成瑕疵块数据集的构建、FasterR-CNN模型的训练、瑕疵检测及分类三个部分顺次进行说明,但该顺序不能理解为对本发明技术方案的限制。1、DCGAN模型的训练及生成瑕疵块数据集的构建1采集原始瑕疵图像并将其构成原始小样本精密零件瑕疵数据集,对该数据集中的每一张图像提取其中不同类型的瑕疵块,利用得到的全部瑕疵块构建原始小样本瑕疵块数据集。2使用原始小样本瑕疵块数据集训练DCGAN模型,并利用DCGAN模型生成的瑕疵数据构建DCGAN生成瑕疵块数据集。DCGAN模型包括瑕疵生成器G、瑕疵判别器D;所述瑕疵生成器G用于将随机噪声z通过多层反卷积处理生成瑕疵块数据Gz;所述瑕疵判别器D用于判断输入数据属于原始小样本瑕疵块数据的概率。本实施例中的DCGAN模型的目标函数为:其中,Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点,Dxi为原始瑕疵样本的数据分布,DGz为生成瑕疵块数据分布。结合DCGAN模型的目标函数,瑕疵生成器训练目标、瑕疵判别器训练目标、DCGAN模型性能判别的函数计算分别为:1瑕疵生成器训练目标是最小化对数似然函数:其中,z代表输入噪声,Pzz表示噪声分布。2瑕疵判别器训练目标是最大化对数似然函数:其中,Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点。3计算DCGAN模型性能判别函数:其中,pg表示生成瑕疵块数据的分布;理论上,当Pdataxi=pgxi时,即D*xi=12,瑕疵判别器和瑕疵生成器性能最优。本实施例中,如图2所示,利用上一步获得的原始小样本瑕疵块数据集训练DCGAN模型。其中,瑕疵生成器以一个随机噪声z作为初始输入数据,经过多层反卷积处理,输出生成瑕疵块数据Gz。将原始小样本瑕疵块数据x或生成瑕疵块数据Gz作为瑕疵判别器的输入,判断其属于原始小样本瑕疵块数据的概率。不断迭代执行上述对抗学习过程,调整网络参数,使瑕疵生成器生成的数据更真实,瑕疵判别器判断更准确。迭代过程终止条件为当瑕疵判别器已无法正确判断输入是生成瑕疵块数据或原始数据小样本瑕疵块数据时,认为网络训练达到最优,并输出此时的生成瑕疵块数据集。2、FasterR-CNN模型的训练将原始小样本精密零件瑕疵数据集中每一幅完整瑕疵图像进行拆分处理,得到若干尺度固定的图像块,从而构成图像拆分训练数据集。将生成瑕疵块数据集与图像拆分训练数据集合并成FasterR-CNN模型的训练集,进而得到已训练好的FasterR-CNN模型。3、瑕疵检测及分类原始采集的精密零件瑕疵图像中有一部分数据是用来作为FasterR-CNN模型的测试集,将该测试集中的图像同样进行拆分处理,得到同步骤S3中尺度相同的图像块,进而构建图像拆分测试数据集。利用已训练好的FasterR-CNN模型对测试集中图像进行瑕疵检测及分类,然后将测试集中每个图像块瑕疵分类结果,通过合并处理,即可得到一幅完整瑕疵图像上瑕疵分类结果。本发明一种实施例的存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法。本发明一种实施例的处理装置,包括处理器,适于执行各条程序;以及存储设备,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法。所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置中的存储设备中存储程序对应的方法可以参考前述方法实施例中的对应过程,在此不再赘述。本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备装置所固有的要素。至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

权利要求:1.一种基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,包括以下步骤:步骤S1,对所采集的精密零件瑕疵图像,按照第一预设尺度进行图像块拆分,构建图像拆分检测数据集;步骤S2,利用预先训练好的FasterR-CNN模型,对图像拆分检测数据集中图像分别进行瑕疵检测及分类;步骤S3,然后对步骤S2得到的图像拆分检测数据集中每个图像块瑕疵分类结果进行合并处理,得到完整瑕疵图像上瑕疵分类结果;其中,所述FasterR-CNN模型的训练数据集包括生成瑕疵块数据集和图像拆分训练数据集;所述生成瑕疵块数据集,是利用原始小样本瑕疵块数据集通过DCGAN模型生成的瑕疵数据而构建的数据集;所述图像拆分训练数据集,是按照第一预设尺度对原始小样本精密零件瑕疵数据集中完整瑕疵图像进行图像块拆分后得到的数据集。2.根据权利要求1所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,所述DCGAN模型包括瑕疵生成器G、瑕疵判别器D;所述瑕疵生成器G用于将随机噪声z通过多层反卷积处理生成瑕疵块数据Gz;所述瑕疵判别器D用于判断输入数据属于原始小样本瑕疵块数据的概率。3.根据权利要求2所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,所述瑕疵生成器G训练目标是最小化对数似然函数:其中,z代表输入噪声,Pzz表示噪声分布。4.根据权利要求2所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,所述瑕疵判别器训练目标是最大化对数似然函数:其中,Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点,Dxi为原始瑕疵样本的数据分布,DGz为生成瑕疵块数据分布。5.根据权利要求2所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,所述DCGAN模型的性能判别函数为:其中,pg表示生成瑕疵块数据的分布。6.根据权利要求2所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,所述的DCGAN模型的目标函数为:其中,Pdataxi表示原始小样本瑕疵块数据的分布;Pzz表示噪声分布;xi代表原始小样本瑕疵块数据,i∈[1,3],i为整数,x1表示垫伤、x2表示划痕、x3表示麻点,Dxi为原始瑕疵样本的数据分布,DGz为生成瑕疵块数据分布。7.根据权利要求1-6任一项所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,所述原始小样本瑕疵块数据集的构建方法为:采集原始瑕疵图像并将其构成原始小样本精密零件瑕疵数据集;对该数据集中的全部图像提取瑕疵区域,进而构建原始小样本瑕疵块数据集。8.根据权利要求1-6任一项所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法,其特征在于,所述DCGAN模型,其训练数据集为所述原始小样本瑕疵块数据集。9.一种存储装置,其中存储有多条程序,其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法。10.一种处理装置,包括处理器,适于执行各条程序;以及存储设备,适于存储多条程序;其特征在于,所述程序适于由处理器加载并执行以实现:权利要求1-8任一项所述的基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法。

百度查询: 中国科学院自动化研究所 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。