申请/专利权人：昆明理工大学

申请日：2018-05-29

公开（公告）日：2021-07-16

公开（公告）号：CN108959379B

主分类号：G06F16/583(20190101)

分类号：G06F16/583(20190101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.07.16#授权;2019.01.01#实质审查的生效;2018.12.07#公开

摘要：本发明涉及一种基于视觉显著区域和手绘草图的服装图像检索方法，属于计算机视觉及图像应用领域。本发明首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库；其次，对输入的服装草图和服装边缘图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT特征；然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配；最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。本发明的检索方法具有较高的准确率和效率。

主权项：1.一种基于视觉显著区域和手绘草图的服装图像检索方法，其特征在于：首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库；其次，对输入的服装草图和服装边缘图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT特征；然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配；最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果；所述采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库具体如下：将服装图像过分割为超像素，所有超像素的每个边界作为一个连通区域，利用公式计算每个边界的归一化RGB直方图，其中b∈{top,bottom,left,right}表示四条边的位置，l表示服装区域总像素数，r＝0,…,255，Iq表示像素q的强度值，δ·是单位冲激函数，再计算四个边界直方图中任意两个的欧氏距离将得到的矩阵Z逐列求和后去除其边界，并采用正则化的随机漫步算法生成服装显著区域，再采用Canny算子对服装图像进行边缘信息提取，得到初始的边缘检测图，将服装显著区域与初始的边缘检测图进行逐像素相乘得出服装边缘图像，并形成服装边缘图像库I′。

全文数据：一种基于视觉显著区域和手绘草图的服装图像检索方法技术领域[0001]本发明涉及一种基于视觉显著区域和手绘草图的服装图像检索方法，属于计算机视觉及图像应用技术领域。背景技术[0002]随着时尚服装的发展和移动触摸设备的普及，基于文字的服装检索已不能满足广大消费者的需求，由于人们可以随时随地在手机、平板等触屏设备上轻松涂鸦，描绘出自己想要的商品模样，基于手绘草图的服装图像检索方法便成为了改善服装图像检索的有效途径之一。[0003]公知的基于手绘草图的图像检索方法主要有几何关系法、边界匹配法、特征提取法和深度学习法。其中，公知的基于几何关系的方法主要有曲率尺度空间、外接矩形、骨架特征和分层拓扑等，例如PedroSousa〈JournalofVisualLanguagesComputing〉，2011,212:69-80提出了一种用于提高图像的几何关系的匹配能力；边界匹配的方法是针对边界的位置或形状进行匹配，不需要计算图像上的特征信息，例如Cao〈IEEEConferenceonComputerVisionandPatternRecognition,2011:761-768提出了一种边缘像素点索引的方法，该文中提出了一种叫“HitMap”的二值距离变换图，此方法虽然应用于大规模数据上有效，但是检索精度有限；在基于特征提取法的检索算法法中，例如EitzM«IEEETransactionsonVisualizationComputerGraphics,2011,1711:1624-1636提出SHOG算子来描述二值图像的特征，它是HOG的一个改进后的变种，该方法能够获得较好的检索结果;基于深度学习法的检索算法中，例如2015年由YuQ，YangY〈IEEEInternationalConferenceonImageProcessing〉，2015:2460-2464人首次提出的Sketch-a-Net深度学习模型应用到手绘草图上。然而，这些方法都没有考虑到图像背景对检索的影响以及服装图像的款式变化、手绘风格各不相同等因素，具有一定的局限性。服装图像背景复杂，公知的方法并没有对此进行有效地处理;公知的基于手绘草图的图像检索方法没有考虑服装图像的款式变化、手绘风格不一等因素，此外，由于服装草图高度抽象化和图标化导致检索的准确率不高。发明内容[0004]本发明提供了一种基于视觉显著区域和手绘草图的服装图像检索方法，以有准确高效的检测服装图像的视觉显著区域并检索服装图像，从而满足目前大规模服装检索的需求。[0005]本发明的技术方案是:一种基于视觉显著区域和手绘草图的服装图像检索方法，首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库;其次，对输入的服装草图和服装边缘图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT特征;然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配;最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。[0006]所述方法的具体步骤如下：[0007]Stepl、采用正则化随机漫步算法对输入的服装图像库I=U1J2,...，In}进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库Γ={h’，1’2,...，Γη};[0008]Step2、对输入的服装草图S和服装边缘图像库Γ中的图像分别进行特征提取，采用GF-HOG算法提取其HOG特征，得到服装边缘特征和服装草图特征;采用DSIFT算法提取服装图像库I中图像的SIFT特征；[0009]Step3、根据Step2的方法处理后得到的服装草图S和服装边缘图像Γ=U1’，I’2,...，Γη}的HOG特征、以及服装图像库I=山山，...In}中服装图像的SIFT特征；[0010]采用直方图相交方法计算服装草图S和服装边缘图像Γ之间的HOG特征相似度，进行HOG特征匹配；[0011]采用直方图相交方法计算不同服装草图之间的HOG特征相似度，进行HOG特征匹配；[0012]采用相对熵方法计算不同服装图像之间的SIFT特征相似度，进行SIFT特征匹配；[0013]Step4、按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。[0014]所述Stepl具体如下：[0015]将服装图像过分割为超像素，所有超像素的每个边界作为一个连通区域，利用公式.计算每个边界的归一化RGB直方图，其中be{top，bottom,left,right}表示四条边的位置，1表示服装区域总像素数，r=0,…，255,Iq表示像素q的强度值，S是单位冲激函数，再计算四个边界直方图中任意两个的欧氏距离，将得到的矩阵Z逐列求和后去除其边界，并采用正则化的随机漫步算法生成服装显著区域，再采用Canny算子对服装图像进行边缘信息提取，得到初始的边缘检测图，将服装显著区域与初始的边缘检测图进行逐像素相乘得出服装边缘图像，并形成服装边缘图像库Γ。[0016]本发明的有益效果是：[0017]1、本发明采用视觉显著区域检测对服装区域进行显著处理，再结合边缘信息，得到服装边缘图像，既能够较好地去除背景对检索的干扰，也同时有效地保存了服装的轮廓特征信息。有效地丰富了服装图像检索的交互方式，同时也能较好地帮助服装设计师改进服装的产品设计；[0018]2、本发明结合视觉显著区域检测，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量学习算法对其相似度进行排序，并输出检索结果，具有较高的准确率；附图说明[0019]图1为本发明的流程图；[0020]图2为本发明中视觉显著区域检测示例图；[0021]图3为本发明中获得服装边缘过程的实例图；[0022]图4为本发明中特征提取实例图；[0023]图5为本发明中服装图像检索的结果实例图。具体实施方式[0024]实施例1:如图1-5所示，一种基于视觉显著区域和手绘草图的服装图像检索方法，首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库;其次，对输入的服装草图和服装边缘图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT特征;然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配；最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。[0025]进一步的，所述方法的具体步骤如下：[0026]Stepl、采用正则化随机漫步算法对输入的服装图像库I=U1J2,...，In}进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库Γ={h’，1’2,...，Γη};[0027]所述Stepl具体如下：[0028]将服装图像过分割为超像素，所有超像素的每个边界作为一个连通区域，利用公式f算每个边界的归一化RGB直方图，其中{top,bottom,left,right}表示四条边的位置，1表示服装区域总像素数，r=0,…，255，^表示像素q的强度值，S是单位冲激函数，再计算四个边界直方图中任意两个的欧氏距离，将得到的矩阵Z逐列求和后去除其边界，并采用正则化的随机漫步算法生成服装显著区域，实验结果如图3b所示；再采用Canny算子对服装图像进行边缘信息提取最小阈值和最大阈值分别是0.05和0.2，得到初始的边缘检测图，如图3c所示;最后将服装显著区域与初始的边缘检测图进行逐像素相乘得出服装边缘图像，并形成服装边缘图像库Γ，实验结果如图3d所示。[0029]经过stepl后，可以得到服装边缘图像，具体流程图如图2所示。数据集来源于电子商务平台如天猫、京东等服装图像数据，并以女装为主，共计5万张左右。本实例以输入的服装图像为输入，利用Matlab进行实验，实验结果如图3所示。实验结果表明，本发明方法优于直接采用Canny算法提取得到的服装边缘图效果。[0030]Step2、对输入的服装草图S和服装边缘图像库Γ中的图像分别进行特征提取，采用GF-HOG算法提取其HOG特征，得到服装边缘特征和服装草图特征;采用DSIFT算法提取服装图像库I中图像的SIFT特征；[0031]GF-HOG特征提取:对输入的服装草图和服装边缘图，使用稀疏边缘像素集合内插的密集梯度场来表示图像的结构，以实现对其相对位置和空间方向进行编码。首先假设边缘像素，其中XeΩ的像素坐标集合，由E⑴=1和E⑵=O像素组成，在每个已知像素处，边缘方向梯度的稀疏方向场估计采用公式实现，在图像坐标上ΘQeR2找到一个密集场；其次采用拉普拉斯算子对密集场进行平滑，其中泊松方程在DirichIet边界条件下的解，diV是散度，V是从原始图像的方向场导出的方向场，A为拉普拉斯算子；然后通过求解线性方程：分别得到和，作为单通道插值，最后利用上述公式得到Θ，其中矩阵前两行和最后一行表示已知像素EXl=1，中间一行表示一个未知像素，对于一个由η个像素组成的图像，该线性方程组为n*n大小的矩阵。图4分别展示了手绘草图和服装边缘图的GF-HOG特征提取结果。GF-HOG特征通过K-means生成单个BoW码本K=3500，为每个服装边缘图构建频率直方图H1’，它表示出现在该图像中的GF-HOG得到的视觉词的分布，再对直方图归一化。与此同时，通过量化使用相同码本从草图中提取的GF-HOG，从检索草图构建频率直方图Hs，同样地对频率直方图归一化。[0032]DSIFT特征提取:对于输入的服装图像，在图像上密集且随机放置的特征点提取约3000个SIFT特征，具体实施中采用BoVW方法将3000个SIFT特征集合集成到每个图像的特征向量中，同样采用码本的大小Κ=3500。[0033]Step3、根据Step2的方法处理后得到的服装草图S和服装边缘图像Γ=U1’，I’2,...，Γη}的HOG特征、以及服装图像库I=山山，...In}中服装图像的SIFT特征。[0034]采用直方图相交方法计算服装草图S和服装边缘图像Γ之间的HOG特征相似度，进行HOG特征匹配；[0035]采用直方图相交方法计算不同服装草图SjPSn之间的HOG特征相似度，进行HOG特征匹配；[0036]采用相对熵方法计算不同服装图像1»与1„之间的SIFT特征相似度，进行SIFT特征匹配；[0037]具体计算方式如下：，其中H⑴是第ith个bin的归一化计算，）计算方式同（，其中分别表示不同服装草图特征直方图；[0039]相对熵方法与直方图相交类似，，其中分别表示不同服装图像特征直方图。[0040]Step4、按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。[0041]首先构造图M，用m表示服装图像数量，用ns衷示服装草图数量，图M是一个由（ns+mXns+m大小矩阵，计算如下：皂中，子矩阵Mss是一个由〜乂〜大小构成的服装草图特征的流形图，图Mss中相邻的顶点m和η边权值定义为wm，η，通过以下公式：[0043]进行归一化成[0，1]范围，=ΑΥ,Κ,表示点m，n在特征空间的距离，参数σ为给定参数;子矩阵Mn是一个由mXm大小构成的服装图像特征的流行图，子矩阵Msr是一个由nsXm1大小构成的服装草图特征和服装边缘特征的流行图，Msr和Mn边的权值计算方式同样用wm，n计算，其中距离dm，n分别替换为dHs,!^和是一个由mXm构成的零矩阵；[0044]其次，采用公式K=D-V2MD_V2对矩阵M规范化，其中D是一个对角矩阵，满足Dii=然后通过公式Q=I-CtKr1Y来得到排序得分，其中Y是一个大小为ns+mXns+m对角矩阵，I是单位矩阵，参数α=[0，1;最后，通过计算Q的值，检索结果按照从高到低的顺序输出。图5展示了部分检索结果实例，其准确率与部分公知方法相比如表1所示。[0045]表1不同方法的检索平均准确率[0047]mAP为平均准确率，mAP是为了解决准确率、召回率单点值的局限性，同时考虑了检索结果的排名情况。其计算方法如下d，q表示总的有效的检索次数，t表示数据库中与检索图像相似的图像个数，PRank表示检索结果对应其排名的比值。由表1可看出本发明方法的准确率有了较大的提升。此外，表2给出了本发明方法与其它几种公知方法在检索效率方面的比较。综上，本发明方法较相关的公知方法来说，具有较高的准确率和效率。[0048]表2不同方法的检索效率[0050]上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

权利要求：1.一种基于视觉显著区域和手绘草图的服装图像检索方法，其特征在于：首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库;其次，对输入的服装草图和服装边缘图像进行特征提取，提取服装草图和服装边缘图像各自的HOG特征以及服装图像的SIFT特征;然后，通过计算服装草图特征和服装边缘特征的相似度，实现特征匹配;最后，按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。2.根据权利要求1所述的基于视觉显著区域和手绘草图的服装图像检索方法，其特征在于:所述方法的具体步骤如下：Stepl、采用正则化随机漫步算法对输入的服装图像库I=U1J2,...，In}进行视觉显著区域检测，并结合其边缘轮廓信息，得到服装边缘图像库Γ=...，Γη};Step2、对输入的服装草图S和服装边缘图像库Γ中的图像分别进行特征提取，采用GF-HOG算法提取其HOG特征，得到服装边缘特征和服装草图特征;采用DSIFT算法提取服装图像库I中图像的SIFT特征；Step3、根据Step2的方法处理后得到的服装草图S和服装边缘图像Γ=...，Ι’η}的HOG特征、以及服装图像库I=IhJ2,...Ιη}中服装图像的SIFT特征；采用直方图相交方法计算服装草图S和服装边缘图像I’之间的HOG特征相似度，进行HOG特征匹配；采用直方图相交方法计算不同服装草图之间的HOG特征相似度，进行HOG特征匹配；采用相对熵方法计算不同服装图像之间的SIFT特征相似度，进行SIFT特征匹配；Step4、按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像，采用基于流形学习的距离度量算法对其相似度进行排序并输出检索结果。3.根据权利要求1所述的基于视觉显著区域和手绘草图的服装图像检索方法，其特征在于:所述Stepl具体如下：将服装图像过分割为超像素，所有超像素的每个边界作为一个连通区域，利用公式计算每个边界的归一化RGB直方图，其中be{top，bottom,left，right}表示四条边的位置，1表示服装区域总像素数，r=0，…，255，Iq表示像素q的强度值，S是单位冲激函数，再计算四个边界直方图中任意两个的欧氏距离,将得到的矩阵Z逐列求和后去除其边界，并采用正则化的随机漫步算法生成服装M者凶域，再采用Canny算子对服装图像进行边缘信息提取，得到初始的边缘检测图，将服装显著区域与初始的边缘检测图进行逐像素相乘得出服装边缘图像，并形成服装边缘图像库Γ。

百度查询： 昆明理工大学 一种基于视觉显著区域和手绘草图的服装图像检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD