申请/专利权人：北京语言大学

申请日：2023-07-03

公开（公告）日：2024-01-16

公开（公告）号：CN116843643B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/10;G06V20/40;G06V20/70;G06V10/74

优先权：

专利状态码：有效-授权

法律状态：2024.01.16#授权;2023.10.24#实质审查的生效;2023.10.03#公开

摘要：本发明提出一种视频美学质量评价数据集构造方法，包括以下步骤：数据准备，内容识别与视频分割，视频质量检测，视频美学质量标注以及数据整理。本方法可按美学质量评价研究需求自动整理、筛选、构建大规模的视频美学质量分类数据集，仅在数据质量评测模块使用人工。数据规模与开源数据规模和视频长度参数设定有关。本发明克服了现有视频美学质量标注方法需要标注者高度参与、成本高、难度大的问题。

主权项：1.一种视频美学质量评价数据集构造方法，其特征在于，所述方法具体包括以下步骤，步骤1、数据准备，整合数据资源；收集、整合已公开的视频数据集和电影视频数据集，并将视频转换为统一格式；步骤2、对数据集中的视频进行内容识别和标注并对视频进行片段分割；依次读入视频，遍历帧，利用深度学习模型中的视频分类模型和视频理解模型对视频进行内容识别和标注获得语义标签，同时采用视频分割模型对视频进行片段分割，分割视频为短视频片段和长视频片段，短视频片段为t1秒个，t1=3~10，长视频片段为t2秒个，t2=20~30；步骤3、对视频片段进行质量检测，对短视频片段集合X1和长视频片段集合X2中的视频的语义标签和数据质量进行控制和筛选，在每类语义标签对应的视频片段中随机抽取视频片段，作为锚点视频，人工校验锚点视频的语义标签和视频片段相似程度，统计语义标签自动标注的准确率和视频片段相似程度；步骤4、标注视频美学质量分类并完善标签，为所有视频片段自动标注美学质量分类；步骤5、将视频数据集和标签数据整理，存储为数据集；步骤2具体包括以下步骤，步骤2.1、通过OpenCV函数库读入视频，遍历视频中的帧；步骤2.2、利用使用深度学习模型的视频分类模型和视频理解模型对视频进行内容检测获得语义标签和对应的时刻位置，语义标签代表视频的内容，语义标签包括主体、动作、内容描述；对能获得语义标签的视频，进行语义标签和时刻位置的记录，对应的视频片段集合为X；对不能检测到任何语义标签的视频随机抽取保留时刻，其中短视频保留n1个时刻位置，长视频保留n2个时刻位置，每个时刻位置对应的语义标签标记为空，对应的视频片段集合为Y；步骤2.3、遍历每个视频中记录的时刻位置；步骤2.4、从视频的每个记录的时刻位置起，取t1秒长度视频片段，使用基于内容的视频场景检测函数对视频片段的视频场景变化进行检测，场景检测函数将视频由RGB形式表示转为HSV形式表示空间，并计算相邻两帧的明度平均值的差值，如果差值高于阈值θ则认为在这两帧发生了一次场景变化；若在t1秒长度内检测到场景变化次数多于a次，其中，a≥1，则视频片段中场景变化过快，舍弃该视频片段及其对应的语义标签和时刻位置，进入下一帧，重复步骤2.4；否则，则判断从时刻位置起始的窗口时间段内是否存在其他由语义标签标记的时刻位置，窗口时间段长度设为δ秒，若存在且该时刻位置起始的视频片段未被舍弃，则不截取，否则，截取t1秒长度的视频，并保留该帧对应的语义标签和时刻位置，最终保留的视频片段为短视频片段集合X1，其中，δt1；步骤2.5、从每个取短视频的时刻位置开始对t2秒内的视频进行截取，得到的长视频片段集合X2；步骤4具体包括以下步骤，步骤4.1、使用连续词袋模型CBOW或Skip-Gram模型获得短视频片段集合X1和长视频片段集合X2中的视频片段的语义标签和已有信息标签的词向量，进行K-means聚类，获得语义标签的类别，如果视频片段的语义标签相似，则这些视频片段构成一个类别子集，在每个类别中，分为长视频片段和短视频片段；步骤4.2、使用FFmpeg对数据集Y中未检测到语义标签的视频片段和人工校验过的锚点视频抽取关键帧，再提取关键帧的内容特征，对各个视频片段中关键帧对应的内容特征进行整合，获得视频的整体内容特征，计算数据集Y中视频片段与锚点视频的内容特征相似度，相似度大于阈值ρ的按照锚点视频的标签为未标记视频片段标记上语义弱标签，相似度小于阈值ρ的视频片段舍弃；步骤4.3、以电影视频为美学质量高，以非电影视频为美学质量低，对视频片段的美学质量进行分类标注。

全文数据：

权利要求：

百度查询： 北京语言大学 一种视频美学质量评价数据集构造方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD