申请/专利权人：成都云盯科技有限公司

申请日：2019-04-29

公开（公告）日：2023-03-24

公开（公告）号：CN110070064B

主分类号：G06V20/10

分类号：G06V20/10;G06V10/75;G06V10/762

优先权：

专利状态码：有效-授权

法律状态：2023.03.24#授权;2019.08.23#实质审查的生效;2019.07.30#公开

摘要：本发明涉及一种商品货架整洁度识别方法及系统，该方法包括：确定评价商品货架整洁度的标准图片；提取商品货架的实时图片；比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报。本发明提供的技术方案，能够提高门店管理者的管理效率，使得门店管理者可以同时自动化监控多家门店的商品货架整洁度，由于本发明提供的技术方案，只有在确定商品被移动且不符合预设整洁标准时，向用户上报，减轻了门店管理者的监控压力，也帮助门店管理者实现了管理聚焦，管理效率更高、精力投入更少，用户体验度好、满意度高。

主权项：1.一种商品货架整洁度识别方法，其特征在于，包括：确定评价商品货架整洁度的标准图片；提取商品货架的实时图片；比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报；所述确定评价商品货架整洁度的标准图片，包括：在预设时间点，或者，每隔预设时长，从被监控门店的监控视频中提取没有前景移动目标的实时图片；对所述实时图片显示的商品货架整洁度进行评分，若所述评分符合预设评分标准，则将所述实时图片确定为标准图片；其中，对所述实时图片显示的商品货架整洁度进行评分，包括：基于视觉特征的方法，提取商品货架上的显著性目标区域；根据所述目标区域的sobel外轮廓，采用DBSCAN的聚类算法，得到限定长度的轮廓聚类；判断所述轮廓聚类的主方向，根据所述主方向的集中指向度进行评分；所述比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，包括：分别提取所述标准图片的显著性区域和实时图片的显著性区域；将所述标准图片的显著性区域作为mask，应用于所述实时图片上；根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动，包括：对所述标准图片的显著性区域和实时图片的显著性区域进行二值化，提取变化的前景区域，用小框显示；根据DBSCAN的目标二叉树级联算法，将相交或者在给定距离内的小框进行融合，直至融合后得到的融合框的面积大于或等于第一阈值；判断所述融合框及未被融合的小框的面积是否小于第二阈值，若是，剔除所述融合框或未被融合的小框，以输出目标框，所述目标框内的区域即为商品被移动的区域。

全文数据：一种商品货架整洁度识别方法及系统技术领域本发明涉及图像处理技术领域，具体涉及一种商品货架整洁度识别方法及系统。背景技术连锁门店是指众多小规模的、分散的、经营同类商品和服务的同一品牌的零售店，在总部的组织领导下，采取共同的经营方针、一致的营销行动，实行集中采购和分散销售的有机结合，通过规范化经营实现规模经济效益的联合。对于大型连锁门店来说，管理者需要管理几千家、上万家连锁店，如何高效率地管理这些门店，监控门店的员工是否认真工作，是所有门店管理者都面临的问题。现有技术中，为了便于管理者监管门店，提出了在每个门店安装监控视频的技术方案，管理者通过在后台查看监控视频的方式进行门店管理。这种方法的缺点在于：由于管理者管理任务繁重，不可能24小时一直监控视频，而且门店这么多，一个人也不可能完全监控。因此，如何帮助管理者监控门店的工作是否做到位，例如，门店是否及时理货，商品货架上的商品是否整洁，顾客走后商品是否及时归位.....等等，并提醒管理者监管重点哪里出现问题，是提升现有门店管理效率、聚焦管理要点亟待解决的问题。发明内容有鉴于此，本发明的目的在于克服现有技术的不足，提供一种商品货架整洁度识别方法及系统，以解决现有技术中门店监管效率低、监控要点不聚焦等问题。为实现以上目的，本发明采用如下技术方案：一种商品货架整洁度识别方法，包括：确定评价商品货架整洁度的标准图片；提取商品货架的实时图片；比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报。优选地，所述确定评价商品货架整洁度的标准图片，包括：在预设时间点，或者，每隔预设时长，从被监控门店的监控视频中提取没有前景移动目标的实时图片；对所述实时图片显示的商品货架整洁度进行评分，若所述评分符合预设评分标准，则将所述实时图片确定为标准图片。优选地，所述从被监控门店的监控视频中提取没有前景移动目标的实时图片，包括：从被监控门店的监控视频中提取多帧商品货架的实时图片；判断当前帧的实时图片是否有前景移动目标，若是，剔除掉当前帧的实时图片，提取下一帧的实时图片，直至提取的实时图片中没有前景移动目标。优选地，所述方法，还包括：分别对所述标准图片和实时图片中的商品货架做透视投影，得到垂直视角的投影图片；所述将所述实时图片与标准图片进行比对，具体为：将所述第一投影图片和第二投影图片进行比对。优选地，对所述实时图片显示的商品货架整洁度进行评分，包括：基于视觉特征的方法，提取商品货架上的显著性目标区域；根据所述目标区域的sobel外轮廓，采用DBSCAN的聚类算法，得到限定长度的轮廓聚类；判断所述轮廓聚类的主方向，根据所述主方向的集中指向度进行评分。优选地，所述比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，包括：分别提取所述标准图片的显著性区域和实时图片的显著性区域；将所述标准图片的显著性区域作为mask，应用于所述实时图片上；根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动。优选地，所述根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动，包括：对所述标准图片的显著性区域和实时图片的显著性区域进行二值化，提取变化的前景区域，用小框显示；根据DBSCAN的目标二叉树级联算法，将相交或者在给定距离内的小框进行融合，直至融合后得到的融合框的面积大于或等于第一阈值；判断所述融合框及未被融合的小框的面积是否小于第二阈值，若是，剔除所述融合框或未被融合的小框，以输出目标框，所述目标框内的区域即为商品被移动的区域。优选地，所述在确定所述商品被移动且不符合预设整洁标准时，向用户上报，包括：根据所述目标框内的亮度面积及亮度值，判断目标框内的商品被移动的剧烈程度；根据所述目标框内的纹理特征，判断目标框内的商品是移动还是丢失；通过目标框的不同显示方法，向用户上报被剧烈移动的商品及商品丢失区域。优选地，所述不同显示方法，包括以下项中的至少一项：不同颜色、不同形状、不同显示形式。另外，本发明还提出了一种商品货架整洁度识别系统，包括：确定单元，用于确定评价商品货架整洁度的标准图片；提取单元，用于提取商品货架的实时图片；比对单元，用于将所述实时图片与标准图片进行比对，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报。本发明采用以上技术方案，至少具备以下有益效果：通过比对商品货架的标准图片及实时图片，判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报，从而让门店管理者轻松了解到门店货架上的商品是否整洁，以及商品被移动后，门店工作人员是否对移动的商品及时归位，能够提高门店管理者的管理效率，使得门店管理者可以同时自动化监控多家门店的商品货架整洁度，由于本发明提供的技术方案，只有在确定商品被移动且不符合预设整洁标准时，向用户上报，减轻了门店管理者的监控压力，也帮助门店管理者实现了管理聚焦，管理效率更高、精力投入更少，用户体验度好、满意度高。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明一实施例提供的一种商品货架整洁度识别方法的流程图；图2A为本发明一实施例提供的透视投影前的实时图片；图2B为本发明一实施例提供的透视投影后的实时图片；图3为本发明一实施例提供的从透视投影后的实时图片中筛选出目标框的图像处理过程示意图；图4为本发明一实施例提供的一种商品货架整洁度识别系统的示意框图。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。参见图1，本发明一实施例提供的一种商品货架整洁度识别方法，包括：步骤S1、确定评价商品货架整洁度的标准图片；步骤S2、提取商品货架的实时图片；步骤S3、比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报。本发明的技术方案，通过比对商品货架的标准图片及实时图片，判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报，从而让门店管理者轻松了解到门店货架上的商品是否整洁，以及商品被移动后，门店工作人员是否对移动的商品及时归位，能够提高门店管理者的管理效率，使得门店管理者可以同时自动化监控多家门店的商品货架整洁度，由于本发明提供的技术方案，只有在确定商品被移动且不符合预设整洁标准时，向用户上报，减轻了门店管理者的监控压力，也帮助门店管理者实现了管理聚焦，管理效率更高、精力投入更少，用户体验度好、满意度高。优选地，所述确定评价商品货架整洁度的标准图片，包括：在预设时间点，或者，每隔预设时长，从被监控门店的监控视频中提取没有前景移动目标的实时图片；对所述实时图片显示的商品货架整洁度进行评分，若所述评分符合预设评分标准，则将所述实时图片确定为标准图片。例如，在固定时间点如早上9点，提取一张商品货架的实时图片，并根据整洁度评定算法得到评分，若所述评分符合预设评分标准，则将所述实时图片确定为标准图片；每隔半个小时，再提取一张商品货架的实时图片剔除掉有运动行人的帧，即去除有前景移动目标的实时图片，与标准图片作比较，判断商品货架上的哪些商品被移动，及移动的方向；对提取到的实时图片进行商品货架整洁度评分，将满足预设评分标准的实时图片作为标准图片，将不满足预设评分标准的实时图片，对其中显示的被剧烈移动的商品进行上报，如果商品货架整洁度评分低于一定阈值，则产生报警。再隔半小时，再如此循环。优选地，所述从被监控门店的监控视频中提取没有前景移动目标的实时图片，包括：从被监控门店的监控视频中提取多帧商品货架的实时图片；判断当前帧的实时图片是否有前景移动目标，若是，剔除掉当前帧的实时图片，提取下一帧的实时图片，直至提取的实时图片中没有前景移动目标。优选地，本发明采用改进的VIBE背景建模的方法，判断是否有前景移动目标如运动行人，剔除有前景移动目标的实时图片。可以理解的是，本发明提供的技术方案，在商品货架整洁度评分之前，先剔除有前景移动目标的实时图片，只提取没有前景移动目标的实时图片，使得实时图片和标准图片进行比对时，比对结果更精准，商品货架整洁度评分准确率更高。参见图2A和图2B，优选地，所述方法，还包括：分别对所述标准图片和实时图片中的商品货架做透视投影，得到垂直视角的投影图片；所述将所述实时图片与标准图片进行比对，具体为：将所述第一投影图片和第二投影图片进行比对。可以理解的是，把商品货架的区域透视投影到垂直视角，因为很多商品是根据商品货架例如，桌子、柜子等的延伸方向进行摆放，透视投影之后对商品货架的整洁度评分更准确。优选地，对所述实时图片显示的商品货架整洁度进行评分，包括：基于视觉特征的方法，提取商品货架上的显著性目标区域；根据所述目标区域的sobel外轮廓，采用DBSCAN的聚类算法，得到限定长度的轮廓聚类；判断所述轮廓聚类的主方向，根据所述主方向的集中指向度进行评分。优选地，当把商品货架的区域透视投影到垂直视角后，可以选取水平方向为主方向，判断各个轮廓聚类的主方向朝向水平方向的集中指向度，根据所述集中指向度进行评分。优选地，所述比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，包括：分别提取所述标准图片的显著性区域和实时图片的显著性区域；将所述标准图片的显著性区域作为mask，应用于所述实时图片上；根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动。优选地，所述根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动，包括：对所述标准图片的显著性区域和实时图片的显著性区域进行二值化，提取变化的前景区域，用小框显示；根据DBSCAN的目标二叉树级联算法，将相交或者在给定距离内的小框进行融合，直至融合后得到的融合框的面积大于或等于第一阈值；判断所述融合框及未被融合的小框的面积是否小于第二阈值，若是，剔除所述融合框或未被融合的小框，以输出目标框，所述目标框内的区域即为商品被移动的区域。可以理解的是，所述第一阈值相当于是目标框面积的最大阈值，第二阈值相当于是目标框面积的最小阈值，第一阈值和第二阈值根据历史经验值进行设定，或者，根据实验数据进行设定。参见图3，优选地，所述在确定所述商品被移动且不符合预设整洁标准时，向用户上报，包括：根据所述目标框内的亮度面积及亮度值，判断目标框内的商品被移动的剧烈程度；根据所述目标框内的纹理特征，判断目标框内的商品是移动还是丢失；通过目标框的不同显示方法，向用户上报被剧烈移动的商品及商品丢失区域。优选地，所述不同显示方法，包括以下项中的至少一项：不同颜色、不同形状、不同显示形式。例如，绿色框表示被剧烈移动的商品，红色框表示商品丢失区域；再例如，方框表示被剧烈移动的商品，圆框表示商品丢失区域；再例如，静态显示被剧烈移动的商品，动态抖动显示商品丢失区域。可以理解的是，通过目标框的不同显示方法，向用户上报被剧烈移动的商品及商品丢失区域，可以帮助用户快速锁定商品货架上不整洁的地方，让门店管理者对商品货架的整洁度有清晰准确的判断，有利于门店管理人员考核门店工作人员的工作，提高管理效率和监控水平。另外，参见图4，本发明还提出了一种商品货架整洁度识别系统100，包括：确定单元101，用于确定评价商品货架整洁度的标准图片；提取单元102，用于提取商品货架的实时图片；比对单元103，用于将所述实时图片与标准图片进行比对，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报。本发明的技术方案，通过比对商品货架的标准图片及实时图片，判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报，从而让门店管理者轻松了解到门店货架上的商品是否整洁，以及商品被移动后，门店工作人员是否对移动的商品及时归位，能够提高门店管理者的管理效率，使得门店管理者可以同时自动化监控多家门店的商品货架整洁度，由于本发明提供的技术方案，只有在确定商品被移动且不符合预设整洁标准时，向用户上报，减轻了门店管理者的监控压力，也帮助门店管理者实现了管理聚焦，管理效率更高、精力投入更少，用户体验度好、满意度高。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

权利要求：1.一种商品货架整洁度识别方法，其特征在于，包括：确定评价商品货架整洁度的标准图片；提取商品货架的实时图片；比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报。2.根据权利要求1所述的方法，其特征在于，所述确定评价商品货架整洁度的标准图片，包括：在预设时间点，或者，每隔预设时长，从被监控门店的监控视频中提取没有前景移动目标的实时图片；对所述实时图片显示的商品货架整洁度进行评分，若所述评分符合预设评分标准，则将所述实时图片确定为标准图片。3.根据权利要求2所述的方法，其特征在于，所述从被监控门店的监控视频中提取没有前景移动目标的实时图片，包括：从被监控门店的监控视频中提取多帧商品货架的实时图片；判断当前帧的实时图片是否有前景移动目标，若是，剔除掉当前帧的实时图片，提取下一帧的实时图片，直至提取的实时图片中没有前景移动目标。4.根据权利要求1所述的方法，其特征在于，还包括：分别对所述标准图片和实时图片中的商品货架做透视投影，得到垂直视角的第一投影图片和第二投影图片；所述将所述实时图片与标准图片进行比对，具体为：将所述第一投影图片和第二投影图片进行比对。5.根据权利要求2所述的方法，其特征在于，对所述实时图片显示的商品货架整洁度进行评分，包括：基于视觉特征的方法，提取商品货架上的显著性目标区域；根据所述目标区域的sobel外轮廓，采用DBSCAN的聚类算法，得到限定长度的轮廓聚类；判断所述轮廓聚类的主方向，根据所述主方向的集中指向度进行评分。6.根据权利要求1所述的方法，其特征在于，所述比对所述标准图片及实时图片，以判断商品货架上的商品是否被移动，包括：分别提取所述标准图片的显著性区域和实时图片的显著性区域；将所述标准图片的显著性区域作为mask，应用于所述实时图片上；根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动。7.根据权利要求6所述的方法，其特征在于，所述根据所述标准图片与实时图片的mask区域的灰度差异，判断商品货架上的商品是否被移动，包括：对所述标准图片的显著性区域和实时图片的显著性区域进行二值化，提取变化的前景区域，用小框显示；根据DBSCAN的目标二叉树级联算法，将相交或者在给定距离内的小框进行融合，直至融合后得到的融合框的面积大于或等于第一阈值；判断所述融合框及未被融合的小框的面积是否小于第二阈值，若是，剔除所述融合框或未被融合的小框，以输出目标框，所述目标框内的区域即为商品被移动的区域。8.根据权利要求7所述的方法，其特征在于，所述在确定所述商品被移动且不符合预设整洁标准时，向用户上报，包括：根据所述目标框内的亮度面积及亮度值，判断目标框内的商品被移动的剧烈程度；根据所述目标框内的纹理特征，判断目标框内的商品是移动还是丢失；通过目标框的不同显示方法，向用户上报被剧烈移动的商品及商品丢失区域。9.根据权利要求8所述的方法，其特征在于，所述不同显示方法，包括以下项中的至少一项：不同颜色、不同形状、不同显示形式。10.一种商品货架整洁度识别系统，其特征在于，包括：确定单元，用于确定评价商品货架整洁度的标准图片；提取单元，用于提取商品货架的实时图片；比对单元，用于将所述实时图片与标准图片进行比对，以判断商品货架上的商品是否被移动，并在确定所述商品被移动且不符合预设整洁标准时，向用户上报。

百度查询： 成都云盯科技有限公司 一种商品货架整洁度识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD