申请/专利权人：北京字节跳动网络技术有限公司

申请日：2018-09-13

公开（公告）日：2021-09-21

公开（公告）号：CN109064494B

主分类号：G06T7/246(20170101)

分类号：G06T7/246(20170101);G06K9/62(20060101);H04N21/431(20110101)

优先权：

专利状态码：有效-授权

法律状态：2021.09.21#授权;2019.01.15#实质审查的生效;2018.12.21#公开

摘要：本公开公开一种视频漂浮纸片检测方法、视频漂浮纸片检测装置、视频漂浮纸片检测硬件装置和计算机可读存储介质。其中，该视频漂浮纸片检测方法包括对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，所述漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口；根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片。本公开实施例首先对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，其中漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口，然后根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片，可以提高视频分类准确率。

主权项：1.一种视频漂浮纸片检测方法，其特征在于，包括：针对多帧待检测图片，提取各帧待检测图片的图像特征；比较所述各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定所述待检测图片中至少有两帧待检测图片包含漂浮纸片；或者，针对单帧待检测图片，提取所述待检测图片的特征点及所述特征点的邻近特征点；根据所述特征点与所述邻近特征点的相似度确定特征区域；若检测到所述待检测图片中包含至少两个特征区域，则确定所述待检测图片中包含漂浮纸片；其中，所述待检测图片是从待检测视频中抽取出的至少一帧待检测图片，所述漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口；若检测出至少一帧待检测图片中包含漂浮纸片，则确定所述待检测视频中包含漂浮纸片。

全文数据：视频漂浮纸片检测方法、装置和计算机可读存储介质技术领域本公开涉及一种信息处理技术领域，特别是涉及一种视频漂浮纸片检测方法、装置和计算机可读存储介质。背景技术近年来，随着多媒体技术和计算机网络的飞速发展，数字视频的容量正以惊人的速度增长。这样，从数字视频中抓取到的图像中往往包含有重要的文字信息，这在基于文字内容的视频数据库检索中起到重要的作用。即在一定程度上便于视频主要内容进行简练描述和说明，或便于视频分类，或便于非法视频的鉴定等。现有技术中，视频的作者往往会在视频上加入一些字，比如广告语、介绍语等等，在一般情况下，这些字是打印体，现有的识别方法比较容易识别出来。但是还有一些场景下，视频的作者会在视频中加入一些纸片效果，在纸片效果上会有一些手写的字。由于手写的字通常比较潦草，不太容易识别，因此给视频分类带来的困难，常常会因为没有识别出来，而被分类为无字视频。因此，对于这种类型的视频需要检测出其包含的漂浮纸片，然后通过人工识别出该漂浮纸片中包含的文字信息，因此，如何准确的检测出视频中是否包含漂浮纸片就变得十分重要。发明内容本公开解决的技术问题是提供一种视频漂浮纸片检测方法，以至少部分地解决现有视频分类不准确的技术问题。此外，还提供一种视频漂浮纸片检测装置、视频漂浮纸片检测硬件装置、计算机可读存储介质和视频漂浮纸片检测终端。为了实现上述目的，根据本公开的一个方面，提供以下技术方案：一种视频漂浮纸片检测方法，包括：对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，所述漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口；根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片。进一步的，所述根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片的步骤，包括：若检测出至少一帧待检测图片中包含漂浮纸片，则确定所述待检测视频中包含漂浮纸片。进一步的，所述对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测的步骤，包括：针对多帧待检测图片，提取各帧待检测图片的图像特征；比较所述各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定所述待检测图片中至少有两帧待检测图片包含漂浮纸片。进一步的，所述对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测的步骤，包括：针对单帧待检测图片，提取所述待检测图片的特征点及所述特征点的邻近特征点；根据所述特征点与所述邻近特征点的相似度确定特征区域；若检测到所述待检测图片中包含至少两个特征区域，则确定所述待检测图片中包含漂浮纸片。进一步的，所述方法还包括：将已知包含漂浮纸片的图片和或已知未包含漂浮纸片的图片作为训练样本；根据是否包含漂浮纸片对所述训练样本进行标注；采用深度学习分类算法对所述标注后的训练样本进行训练学习，得到图像分类器；所述对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测的步骤，包括：将所述至少一帧待检测图片输入所述图像分类器，根据所述图像分类器的分类结果确定所述至少一帧待检测图片中的检测结果。为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：一种视频漂浮纸片检测装置，包括：漂浮纸片检测模块，用于对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，所述漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口；漂浮纸片确定模块，用于根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片。进一步的，所述漂浮纸片确定模块具体用于：若检测出至少一帧待检测图片中包含漂浮纸片，则确定所述待检测视频中包含漂浮纸片。进一步的，所述漂浮纸片检测模块具体用于：针对多帧待检测图片，提取各帧待检测图片的图像特征；比较所述各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定所述待检测图片中至少有两帧待检测图片包含漂浮纸片。进一步的，所述漂浮纸片检测模块具体用于：针对单帧待检测图片，提取所述待检测图片的特征点及所述特征点的邻近特征点；根据所述特征点与所述邻近特征点的相似度确定特征区域；若检测到所述待检测图片中包含至少两个特征区域，则确定所述待检测图片中包含漂浮纸片。进一步的，所述装置还包括：图像分类器训练模块，用于将已知包含漂浮纸片的图片和或已知未包含漂浮纸片的图片作为训练样本；根据是否包含漂浮纸片对所述训练样本进行标注；采用深度学习分类算法对所述标注后的训练样本进行训练学习，得到图像分类器；所述漂浮纸片检测模块具体用于：将所述至少一帧待检测图片输入所述图像分类器，根据所述图像分类器的分类结果确定所述至少一帧待检测图片中的检测结果。为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：一种视频漂浮纸片检测硬件装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一视频漂浮纸片检测方法技术方案中所述的步骤。为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一视频漂浮纸片检测方法技术方案中所述的步骤。为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：一种视频漂浮纸片检测终端，包括上述任一视频漂浮纸片检测装置。本公开实施例提供一种视频漂浮纸片检测方法、视频漂浮纸片检测装置、视频漂浮纸片检测硬件装置、计算机可读存储介质和视频漂浮纸片检测终端。其中，该视频漂浮纸片检测方法包括对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，所述漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口；根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片。本公开实施例首先对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，其中漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口，然后根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片，可以提高视频分类准确率。上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。附图说明图1a为根据本公开一个实施例的视频漂浮纸片检测方法的流程示意图；图1b为根据本公开另一个实施例的视频漂浮纸片检测方法的流程示意图；图1c为根据本公开另一个实施例的视频漂浮纸片检测方法的流程示意图；图1d为根据本公开另一个实施例的视频漂浮纸片检测方法的流程示意图；图1e为根据本公开另一个实施例的视频漂浮纸片检测方法的流程示意图；图2a为根据本公开一个实施例的视频漂浮纸片检测的装置的结构示意图；图2b为根据本公开另一个实施例的视频漂浮纸片检测装置的结构示意图；图3为根据本公开一个实施例的视频漂浮纸片检测硬件装置的结构示意图；图4为根据本公开一个实施例的计算机可读存储介质的结构示意图；图5为根据本公开一个实施例的视频漂浮纸片检测终端的结构示意图。具体实施方式以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及或功能性实施此设备及或实践此方法。还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。为了解决视频分类不准确的技术问题，本公开实施例提供一种视频漂浮纸片检测方法。如图1a所示，该视频漂浮纸片检测方法主要包括如下步骤S1至步骤S2。其中：步骤S1：对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，漂浮纸片为插入待检测视频中的且与待检测视频内容无关的子显示窗口。其中，待检测图片可以为一帧或多帧，当待检测图片为多帧时，分别对单帧待检测图片进行检测，或者，通过对比多帧待检测图片进行检测。其中，子显示窗口包括但不限于插入的广告、色情信息、或手写的文字信息等。步骤S2：根据对至少一帧待检测图片的检测结果确定待检测视频中是否包含漂浮纸片。其中，检测结果包括但不限于只有一帧待检测图片包含漂浮纸片，或多帧待检测图片包含漂浮纸片，或无待检测图片包含漂浮纸片。本实施例通过对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，其中漂浮纸片为插入待检测视频中的且与待检测视频内容无关的子显示窗口，然后根据对至少一帧待检测图片的检测结果确定待检测视频中是否包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，如图1b所示，步骤S2具体包括：若检测出至少一帧待检测图片中包含漂浮纸片，则确定待检测视频中包含漂浮纸片。具体的，当检测出只有一帧待检测图片包含漂浮纸片，或多帧待检测图片包含漂浮纸片时，则确定待检测视频中包含漂浮纸片，否则确定待检测视频中不包含漂浮纸片。本实施例通过对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，漂浮纸片为插入待检测视频中的且与待检测视频内容无关的子显示窗口，若检测出至少一帧待检测图片中包含漂浮纸片，则确定待检测视频中包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，如图1c所示，步骤S1具体包括：S11：针对多帧待检测图片，提取各帧待检测图片的图像特征。其中，图像特征可以为待检测图片的特征点，或为待检测图片的特征区域。S12：比较各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定待检测图片中至少有两帧待检测图片包含漂浮纸片。具体的，当图像特征为待检测图片的特征点时，提取该特征点的形状上下文特征和尺度不变特征变换Scale-invariantfeaturetransform，SIFT特征，并根据特征点的形状上下文特征和SIFT特征比较多帧待检测图片间的特征点的相似度，获得待检测图片间的特征点的相似度的匹配结果，得到匹配的特征区域，该特征区域即为相同的图像特征。此示例可用于检测漂浮纸片在视频各帧图片中位置发生变化的情况。当图像特征为待检测图片的特征点区域时，比较各帧待检测图片是否包含相同的特征区域，具体可采用像素点匹配或计算特征区域相似度的方法进行确定。此示例可用于检测漂浮纸片在视频各帧图片中位置固定不变的情况。本实施例通过提取各帧待检测图片的图像特征，比较各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定待检测图片中至少有两帧待检测图片包含漂浮纸片，从而确定待检测视频中包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，如图1d所示，步骤S1具体包括：S13：针对单帧待检测图片，提取待检测图片的特征点及特征点的邻近特征点。其中，特征点可以为SIFT特征点。S14：根据特征点与邻近特征点的相似度确定特征区域。S15：若检测到待检测图片中包含至少两个特征区域，则确定待检测图片中包含漂浮纸片。具体的，根据检测视频的特征，其包含的单帧图片的像素点有很大的相关性，而对于插入的漂浮纸片往往与视频内容无关，其包含的像素点也与提取的单帧图片的像素点有很大的差别，根据上述特征，可以针对单帧待检测图片，提取待检测图片的特征点及特征点的邻近特征点，并根据特征点与邻近特征点的相似度确定特征区域，如果检测到待检测图片中包含至少两个特征区域，则确定待检测图片中包含漂浮纸片。本实施例通过提取待检测图片的特征点及特征点的邻近特征点，根据特征点与邻近特征点的相似度确定特征区域，若检测到待检测图片中包含至少两个特征区域，则确定待检测图片中包含漂浮纸片，从而确定所述待检测视频中包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，如图1e所示，本实施例的方法还包括：S3：将已知包含漂浮纸片的图片和或已知未包含漂浮纸片的图片作为训练样本。S4：根据是否包含漂浮纸片对训练样本进行标注。具体的，在训练之前，为区分包含漂浮纸片的图片和未包含漂浮纸片的图片，需要对每个图片进行标注。例如，将包含漂浮纸片的图片标注1，将未包含漂浮纸片的图片标注0。S5：采用深度学习分类算法对标注后的训练样本进行训练学习，得到图像分类器。其中，可采用的深度学习分类算法包括但不限于以下任意一种：朴素贝叶斯算法、人工神经网络算法、遗传算法、K最近邻K-NearestNeighbor，KNN分类算法、聚类算法等。步骤S1具体包括：将至少一帧待检测图片输入图像分类器，根据图像分类器的分类结果确定至少一帧待检测图片中的检测结果。本实施例通过训练图像分类器，将至少一帧待检测图片输入图像分类器，根据图像分类器的分类结果确定至少一帧待检测图片中的检测结果，从而根据对至少一帧待检测图片的检测结果确定待检测视频中是否包含漂浮纸片，可以提高视频分类准确率。本领域技术人员应能理解，在上述各个实施例的基础上，还可以进行明显变型例如，对所列举的模式进行组合或等同替换。在上文中，虽然按照上述的顺序描述了视频漂浮纸片检测方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。为了解决如何提高用户体验效果的技术问题，本公开实施例提供一种视频漂浮纸片检测装置。该装置可以执行上述视频漂浮纸片检测方法实施例中的步骤。如图2a所示，该装置主要包括：漂浮纸片检测模块21和漂浮纸片确定模块22；其中，漂浮纸片检测模块21用于对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，漂浮纸片为插入待检测视频中的且与待检测视频内容无关的子显示窗口；漂浮纸片确定模块22用于根据对至少一帧待检测图片的检测结果确定待检测视频中是否包含漂浮纸片。其中，待检测图片可以为一帧或多帧，当待检测图片为多帧时，分别对单帧待检测图片进行检测，或者，通过对比多帧待检测图片进行检测。其中，子显示窗口包括但不限于插入的广告、色情信息、或手写的文字信息等。其中，检测结果包括但不限于只有一帧待检测图片包含漂浮纸片，或多帧待检测图片包含漂浮纸片，或无待检测图片包含漂浮纸片。本实施例通过漂浮纸片检测模块21对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，其中漂浮纸片为插入待检测视频中的且与待检测视频内容无关的子显示窗口，然后通过漂浮纸片确定模块22根据对至少一帧待检测图片的检测结果确定待检测视频中是否包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，基于图2a所示，漂浮纸片确定模块22具体用于：若检测出至少一帧待检测图片中包含漂浮纸片，则确定待检测视频中包含漂浮纸片。具体的，当漂浮纸片检测模块21检测出只有一帧待检测图片包含漂浮纸片，或多帧待检测图片包含漂浮纸片时，则漂浮纸片确定模块22确定待检测视频中包含漂浮纸片，否则确定待检测视频中不包含漂浮纸片。本实施例通过漂浮纸片检测模块21对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，漂浮纸片为插入待检测视频中的且与待检测视频内容无关的子显示窗口，若漂浮纸片确定模块22检测出至少一帧待检测图片中包含漂浮纸片，则确定待检测视频中包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，基于图2a所示，漂浮纸片检测模块21具体用于：针对多帧待检测图片，提取各帧待检测图片的图像特征；比较各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定待检测图片中至少有两帧待检测图片包含漂浮纸片。其中，图像特征可以为待检测图片的特征点，或为待检测图片的特征区域。具体的，当图像特征为待检测图片的特征点时，提取该特征点的形状上下文特征和SIFT特征，并根据特征点的形状上下文特征和SIFT特征比较多帧待检测图片间的特征点的相似度，获得待检测图片间的特征点的相似度的匹配结果，得到匹配的特征区域，该特征区域即为相同的图像特征。此示例可用于检测漂浮纸片在视频各帧图片中位置发生变化的情况。当图像特征为待检测图片的特征点区域时，比较各帧待检测图片是否包含相同的特征区域，具体可采用像素点匹配或计算特征区域相似度的方法进行确定。此示例可用于检测漂浮纸片在视频各帧图片中位置固定不变的情况。本实施例通过漂浮纸片检测模块21提取各帧待检测图片的图像特征，比较各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定待检测图片中至少有两帧待检测图片包含漂浮纸片，从而通过漂浮纸片确定模块22确定待检测视频中包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，基于图2a所示，漂浮纸片检测模块21具体用于：针对单帧待检测图片，提取待检测图片的特征点及特征点的邻近特征点；根据特征点与邻近特征点的相似度确定特征区域；若检测到待检测图片中包含至少两个特征区域，则确定待检测图片中包含漂浮纸片。其中，特征点可以为SIFT特征点。具体的，根据检测视频的特征，其包含的单帧图片的像素点有很大的相关性，而对于插入的漂浮纸片往往与视频内容无关，其包含的像素点也与提取的单帧图片的像素点有很大的差别，根据上述特征，可以针对单帧待检测图片，提取待检测图片的特征点及特征点的邻近特征点，并根据特征点与邻近特征点的相似度确定特征区域，如果检测到待检测图片中包含至少两个特征区域，则确定待检测图片中包含漂浮纸片。本实施例通过漂浮纸片检测模块21提取待检测图片的特征点及所述特征点的邻近特征点，根据所述特征点与所述邻近特征点的相似度确定特征区域，若检测到所述待检测图片中包含至少两个特征区域，则通过漂浮纸片确定模块22确定所述待检测图片中包含漂浮纸片，从而确定所述待检测视频中包含漂浮纸片，可以提高视频分类准确率。在一个可选的实施例中，如图2b所示，本实施例的装置还包括：图像分类器训练模块23；其中，图像分类器训练模块23用于将已知包含漂浮纸片的图片和或已知未包含漂浮纸片的图片作为训练样本；根据是否包含漂浮纸片对训练样本进行标注；采用深度学习分类算法对标注后的训练样本进行训练学习，得到图像分类器；漂浮纸片检测模块21具体用于：将至少一帧待检测图片输入图像分类器，根据图像分类器的分类结果确定至少一帧待检测图片中的检测结果。具体的，图像分类器训练模块23在训练之前，为区分包含漂浮纸片的图片和未包含漂浮纸片的图片，需要对每个图片进行标注。例如，将包含漂浮纸片的图片标注1，将未包含漂浮纸片的图片标注0。其中，可采用的深度学习分类算法包括但不限于以下任意一种：朴素贝叶斯算法、人工神经网络算法、遗传算法、K最近邻K-NearestNeighbor，KNN分类算法、聚类算法等。本实施例通过图像分类器训练模块23训练图像分类器，将至少一帧待检测图片输入图像分类器，根据图像分类器的分类结果确定至少一帧待检测图片中的检测结果，从而漂浮纸片确定模块22根据对至少一帧待检测图片的检测结果确定待检测视频中是否包含漂浮纸片，可以提高视频分类准确率。有关视频漂浮纸片检测装置实施例的工作原理、实现的技术效果等详细说明可以参考前述视频漂浮纸片检测方法实施例中的相关说明，在此不再赘述。图3是图示根据本公开的实施例的视频漂浮纸片检测硬件装置的硬件框图。如图3所示，根据本公开实施例的视频漂浮纸片检测硬件装置30包括存储器31和处理器32。该存储器31用于存储非暂时性计算机可读指令。具体地，存储器31可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和或非易失性存储器。该易失性存储器例如可以包括随机存取存储器RAM和或高速缓冲存储器cache等。该非易失性存储器例如可以包括只读存储器ROM、硬盘、闪存等。该处理器32可以是中央处理单元CPU或者具有数据处理能力和或指令执行能力的其它形式的处理单元，并且可以控制视频漂浮纸片检测硬件装置30中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器32用于运行该存储器31中存储的该计算机可读指令，使得该视频漂浮纸片检测硬件装置30执行前述的本公开各实施例的视频漂浮纸片检测方法的全部或部分步骤。本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。图4是图示根据本公开的实施例的计算机可读存储介质的示意图。如图4所示，根据本公开实施例的计算机可读存储介质40，其上存储有非暂时性计算机可读指令41。当该非暂时性计算机可读指令41由处理器运行时，执行前述的本公开各实施例的视频特征的比对方法的全部或部分步骤。上述计算机可读存储介质40包括但不限于：光存储介质例如：CD-ROM和DVD、磁光存储介质例如：MO、磁存储介质例如：磁带或移动硬盘、具有内置的可重写非易失性存储器的媒体例如：存储卡和具有内置ROM的媒体例如：ROM盒。有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。图5是图示根据本公开实施例的终端的硬件结构示意图。如图5所示，该视频漂浮纸片检测终端50包括上述视频漂浮纸片检测装置实施例。该终端可以以各种形式来实施，本公开中的终端可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA个人数字助理、PAD平板电脑、PMP便携式多媒体播放器、导航装置、车载终端、车载显示终端、车载电子后视镜等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。作为等同替换的实施方式，该终端还可以包括其他组件。如图5所示，该视频漂浮纸片检测终端50可以包括电源单元51、无线通信单元52、AV音频视频输入单元53、用户输入单元54、感测单元55、接口单元56、控制器57、输出单元58和存储器59等等。图5示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的组件。其中，无线通信单元52允许终端50与无线通信系统或网络之间的无线电通信。AV输入单元53用于接收音频或视频信号。用户输入单元54可以根据用户输入的命令生成键输入数据以控制终端的各种操作。感测单元55检测终端50的当前状态、终端50的位置、用户对于终端50的触摸输入的有无、终端50的取向、终端50的加速或减速移动和方向等等，并且生成用于控制终端50的操作的命令或信号。接口单元56用作至少一个外部装置与终端50连接可以通过的接口。输出单元58被构造为以视觉、音频和或触觉方式提供输出信号。存储器59可以存储由控制器55执行的处理和控制操作的软件程序等等，或者可以暂时地存储已经输出或将要输出的数据。存储器59可以包括至少一种类型的存储介质。而且，终端50可以与通过网络连接执行存储器59的存储功能的网络存储装置协作。控制器57通常控制终端的总体操作。另外，控制器57可以包括用于再现或回放多媒体数据的多媒体模块。控制器57可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元51在控制器57的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。本公开提出的视频特征的比对方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的视频特征的比对方法的各种实施方式可以通过使用特定用途集成电路ASIC、数字信号处理器DSP、数字信号处理装置DSPD、可编程逻辑装置PLD、现场可编程门阵列FPGA、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的视频特征的比对方法的各种实施方式可以在控制器57中实施。对于软件实施，本公开提出的视频特征的比对方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序或程序来实施，软件代码可以存储在存储器59中并且由控制器57执行。有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC即A和B和C。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和或重新组合的。这些分解和或重新组合应视为本公开的等效方案。可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

权利要求：1.一种视频漂浮纸片检测方法，其特征在于，包括：对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，所述漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口；根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片。2.根据权利要求1所述的方法，其特征在于，所述根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片的步骤，包括：若检测出至少一帧待检测图片中包含漂浮纸片，则确定所述待检测视频中包含漂浮纸片。3.根据权利要求1所述的方法，其特征在于，所述对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测的步骤，包括：针对多帧待检测图片，提取各帧待检测图片的图像特征；比较所述各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定所述待检测图片中至少有两帧待检测图片包含漂浮纸片。4.根据权利要求1所述的方法，其特征在于，所述对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测的步骤，包括：针对单帧待检测图片，提取所述待检测图片的特征点及所述特征点的邻近特征点；根据所述特征点与所述邻近特征点的相似度确定特征区域；若检测到所述待检测图片中包含至少两个特征区域，则确定所述待检测图片中包含漂浮纸片。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将已知包含漂浮纸片的图片和或已知未包含漂浮纸片的图片作为训练样本；根据是否包含漂浮纸片对所述训练样本进行标注；采用深度学习分类算法对所述标注后的训练样本进行训练学习，得到图像分类器；所述对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测的步骤，包括：将所述至少一帧待检测图片输入所述图像分类器，根据所述图像分类器的分类结果确定所述至少一帧待检测图片中的检测结果。6.一种视频漂浮纸片检测装置，其特征在于，包括：漂浮纸片检测模块，用于对从待检测视频中抽取的至少一帧待检测图片进行漂浮纸片检测，所述漂浮纸片为插入所述待检测视频中的且与所述待检测视频内容无关的子显示窗口；漂浮纸片确定模块，用于根据对所述至少一帧待检测图片的检测结果确定所述待检测视频中是否包含漂浮纸片。7.根据权利要求6所述的装置，其特征在于，所述漂浮纸片确定模块具体用于：若检测出至少一帧待检测图片中包含漂浮纸片，则确定所述待检测视频中包含漂浮纸片。8.根据权利要求6所述的装置，其特征在于，所述漂浮纸片检测模块具体用于：针对多帧待检测图片，提取各帧待检测图片的图像特征；比较所述各帧待检测图片的图像特征，若存在包含相同图像特征的待检测图片，则确定所述待检测图片中至少有两帧待检测图片包含漂浮纸片。9.根据权利要求6所述的装置，其特征在于，所述漂浮纸片检测模块具体用于：针对单帧待检测图片，提取所述待检测图片的特征点及所述特征点的邻近特征点；根据所述特征点与所述邻近特征点的相似度确定特征区域；若检测到所述待检测图片中包含至少两个特征区域，则确定所述待检测图片中包含漂浮纸片。10.根据权利要求6所述的装置，其特征在于，所述装置还包括：图像分类器训练模块，用于将已知包含漂浮纸片的图片和或已知未包含漂浮纸片的图片作为训练样本；根据是否包含漂浮纸片对所述训练样本进行标注；采用深度学习分类算法对所述标注后的训练样本进行训练学习，得到图像分类器；所述漂浮纸片检测模块具体用于：将所述至少一帧待检测图片输入所述图像分类器，根据所述图像分类器的分类结果确定所述至少一帧待检测图片中的检测结果。11.一种视频漂浮纸片检测硬件装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现根据权利要求1-5中任意一项所述的视频漂浮纸片检测方法。12.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-5中任意一项所述的视频漂浮纸片检测方法。

百度查询： 北京字节跳动网络技术有限公司 视频漂浮纸片检测方法、装置和计算机可读存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD