申请/专利权人：乐知未来科技(深圳)有限公司

申请日：2022-06-13

公开（公告）日：2024-03-19

公开（公告）号：CN115086713B

主分类号：H04N21/234

分类号：H04N21/234;H04N21/233;G06V20/40;G06V10/74;G10L25/57;G10L25/27;G10L25/03

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2022.10.11#实质审查的生效;2022.09.20#公开

摘要：本发明涉及一种基于视觉特征与音频特征的重复短视频清洗方法，包括：步骤1：对待比较的两个短视频分别进行关键帧提取，得到对应的视频关键帧集合，并对视频关键帧集合进行图像特征提取，得到对应的图像特征；步骤2：根据图像特征，对两个视频关键帧集合的相似性进行检测，根据检测结果判断两个短视频是否属于相似视频；步骤3：若属于相似视频，则对两个短视频分别进行音频提取，得到对应的音频信号，并对音频信号进行相似性检测，根据检测结果判断两个短视频是否属于重复短视频，并对重复短视频进行清洗操作。本发明的重复短视频清洗方法，能够最快的求解最优的大规模视频去重方案，提升短视频视频清洗的完成效率。

主权项：1.一种基于视觉特征与音频特征的重复短视频清洗方法，其特征在于，包括：步骤1：对待比较的两个短视频分别进行关键帧提取，得到对应的视频关键帧集合，并对所述视频关键帧集合进行图像特征提取，得到对应的图像特征；所述步骤1包括：步骤1.1：对待比较的两个短视频分别进行关键帧提取，得到对应的视频关键帧集合；步骤1.2：对所述的视频关键帧集合中的关键帧进行超像素分割，得到关键帧对应的超像素分割图像；所述步骤1.2包括：步骤1.2.1：设置超像素数目K，初始化所述关键帧的种子点；步骤1.2.2：在初始化种子点的预设尺寸邻域内重新选择种子点，遍历计算每个像素点与种子点之间的颜色距离和空间距离，计算方法如下： 其中，dC表示颜色距离，dS表示空间距离，a,b...z分别表示图像在颜色空间的分向量，xi，yi和xj，yj分别表示两个像素点在图像空间坐标系下的坐标值，NC表示最大颜色距离，NS表示相邻种子点的最大距离，D表示最终的距离度量，α表示颜色权重，β表示距离权重；步骤1.2.3：计算像素点与种子点之间的相似程度df，将最相似种子点的标签赋给该像素点，完成超像素分割，得到超像素分割图像，其中，相似程度df计算公式如下： 其中，S表示相邻种子点的距离；步骤1.3：对所述超像素分割图像进行图像特征提取，得到所述视频关键帧集合中每个关键帧的图像特征；所述步骤1.3包括：步骤1.3.1：对所述超像素分割图像的像素均值特征进行提取，得到均值特征序列M，其中，均值特征序列M中每个超像素区域的均值特征向量Mk计算公式如下： 其中，k表示当前超像素区域，MAPix表示关键帧图像的像素均值，MPix表示超像素区域的像素均值；步骤1.3.2：对所述均值特征序列M进行DCT离散余弦变换得到系数矩阵Ceof；步骤1.3.3：根据所述系数矩阵Ceof，得到DCT特征感知哈希序列H，所述均值特征序列M和所述DCT特征感知哈希序列H作为所述关键帧的图像特征，其中，DCT特征感知哈希序列H中每个超像素区域的DCT特征感知哈希度量值Hk计算公式如下： 其中，gAvg表示系数矩阵Ceof的均值；步骤2：根据所述图像特征，对两个所述视频关键帧集合的相似性进行检测，根据检测结果判断两个短视频是否属于相似视频；所述步骤2包括：步骤2.1：按照下式计算两个所述视频关键帧集合中对应的关键帧之间的汉明距离： 其中，H1k和H2k分别表示两个视频关键帧集合中对应关键帧的DCT特征感知哈希度量值，M01表示DCT特征感知哈希序列H1为1、DCT特征感知哈希序列H2为0的个数，M10表示DCT特征感知哈希序列H2为1、DCT特征感知哈希序列H1为0的个数；步骤2.2：根据所述汉明距离，计算得到两个所述视频关键帧集合的相似度Hkfs， 其中，θ1+θ2+...+θm＝1，HD1、HD2、...、HDm分别表示计算得到的两个视频关键帧集合中对应的关键帧之间的汉明距离，m表示视频关键帧集合中关键帧的个数；步骤2.3：如果Hkfs小于预设的相似度阈值，则判断两个短视频属于相似视频，否则，两个短视频不属于相似视频；步骤3：若属于相似视频，则对两个短视频分别进行音频提取，得到对应的音频信号，并对所述音频信号进行相似性检测，根据检测结果判断两个短视频是否属于重复短视频，并对重复短视频进行清洗操作。

全文数据：

权利要求：

百度查询： 乐知未来科技(深圳)有限公司 一种基于视觉特征与音频特征的重复短视频清洗方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD