申请/专利权人：浙江大学

申请日：2022-12-21

公开（公告）日：2023-05-12

公开（公告）号：CN116109967A

主分类号：G06V20/40

分类号：G06V20/40;G06V30/182;G06V30/41;G06V30/19

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.05.30#实质审查的生效;2023.05.12#公开

摘要：一种基于计算机视觉的电影旁白区间检测方法，包括：首先，打开电影获取连续帧的图像；其次，对获得的图像进行采样，并通过文字识别来获取字幕所在的位置坐标；然后，对所有图像帧检测在坐标内是否有字幕出现，计算字幕出现的时间区间，其余时间区间填充为旁白的时间，最后，再对检测结果进行微调，并根据旁白区间和常规语速给出推荐插入的旁白字数。根据以上步骤，即可判断得出电影的所有旁白区间以及每个旁白的推荐插入字数。本发明可应用于对电影进行旁白推荐，帮助更好的表达电影内容，为电影编辑提供更多选择和可能。

主权项：1.一种基于计算机视觉的电影旁白区间检测方法，其特征在于，包括以下步骤:S1：输入一个电影其他视频格式的文件路径；S2：读取视频图像，按照一定帧率读取图像并对这组图像进行分析，确定字幕在整个画面中的上下边界位置；S21：对读取到的图像进行OCR识别，判断图像中是否有文字；S22：若S21得到的图像中包含文字，则进行梯度检测，对检测到的矩形框进行倾斜角计算；S23：若S22中计算得到的倾斜角小于一定阈值，则标记为有效字幕，记录该矩形的左上角和右下角坐标；S24：当找到一定数量的有效字幕后，则字幕位置检测结束，取记录中的最大矩形作为检测出的字幕所在位置；S3：对整部电影的视频图像按照一定帧率进行检测，得到所有字幕出现的起始时间和结束时间；S31：对每一帧图像按照S2中得到的字幕位置的上下边界进行截取，并且对截取后的图像进行OCR文字识别，其中判断图像中是否有文字；S32：如果S31中识别到了文字，则进行梯度检测，对检测到的矩形框进行倾斜角计算；S33：若S32中计算得到的倾斜角小于一定阈值且字幕中心在画面的中间附近，则标记为有效字幕；S34：若在S33中检测到了有效字幕，则规范化处理文本中的一些标点符号，其中包括把一些半角符号规范化成全角符号，方便后面根据字幕的字数与字幕的时间，计算该条字幕附近的旁白的语速并且进行字数推荐；S35：根据S34的结果以及上一帧图像的处理，判断当前帧图像的字幕情况；S351：若上一帧图像没有检测到字幕，但是当前帧图像检测到字幕了，则代表这是一条新的字幕，记录该条字幕的起始时间；S352：若上一帧图像有检测到字幕，并且当前帧图像没有检测到字幕，则代表该字幕消失掉了，记录为该条字幕的结束时间，此时形成一条完整的字幕记录；S353：若上一帧图像有检测到字幕，并且当前帧图像也检测到字幕，则需要判断两条字幕是否是同一条字幕；S3531：将检测到的字幕去掉标点符号，并且进行相似度检测，检测结果在[0,1]之间；S3532：如果检测结果相似度小于一定阈值，则说明是一条新的字幕，记录为该条字幕的结束时间，此时形成一条完整的字幕记录；S3533：如果检测结果相似度大于一定阈值，就认为是同一条字幕；S4：遍历检测到的所有字幕，对于一定时间间隔的两条相邻字幕，中间插入一条旁白，以此形成电影的旁白区间列表；S5：遍历每一条旁白，根据该旁白上一条字幕的字数和起止时间，得出字幕的语速，并且根据该语速和该旁白的起止时间，得出该旁白的推荐字数。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于计算机视觉的电影旁白区间检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD