申请/专利权人：北京工业大学

申请日：2022-05-22

公开（公告）日：2024-03-29

公开（公告）号：CN115131622B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/22;G06T7/62;G06V10/82;G06V20/40;G06T7/00

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2022.10.25#实质审查的生效;2022.09.30#公开

摘要：本发明公开了一种基于视频时序相关性的夜间明火检测方法，属于目标检测技术领域。本发明构建用于训练的明火图像数据集；构建明火检测网络；构建时序判断模块。本发明充分利用了深度学习在目标检测领域内展现的优势设计了明火检测的方法，不受场景、距离、明火类型制约，并根据视频序列设计了时序判断模块，结合明火与灯光的差异，对检测出的明火进行状态分析，在不降低真实明火检测精度的基础上，有效降低了对夜晚灯光的误检。

主权项：1.一种基于视频时序相关性的夜间明火检测方法，其特征在于：该方法包括如下步骤，步骤1：构建用于训练的明火图像数据集；通过公开的开源图像数据、爬虫、拍摄多种途径，构建原始明火图像数据集；所述的原始明火图像数据集包含白天与黑夜，多种场景、不同距离的明火图像；之后采用数据标注软件对原始图像数据集中的明火进行框取，得到包含明火中心坐标和长宽的方框，方框用于明火检测网络的训练；明火检测网络的训练是将网络训练的结果和标注的方框进行损失的计算，并对网络进行优化，使得结果不断逼近标注值；步骤2：构建明火检测网络；明火检测网络由特征提取网络、卷积模块和上采样模块构成；所述的特征提取网络由卷积层组成，对输送到明火检测网络中视频序列在长度与宽度方向上进行压缩，对通道数进行扩充，使得具有相同特征的物体分配到相应的通道上，处理后得到包含明火信息的特征图；将包含明火信息的特征图输送到卷积模块和上采样模块中，其中第二个与第三个卷积模块的输入与特征提取网络中的分支输出进行特征图通道上的相加，之后再通过卷积模块将特征图的通道浓缩成5个，前4个通道表示明火的中心x，y坐标和宽高，第5个通道表示明火的置信度；上采样模块将特征图的宽高放大到原来的2倍，两个上采样模块结合后两个卷积模块的输出，加上第一个卷积模块的输出，得到三种尺寸的三个输出，三个输出的尺寸大小关系为4:2:1，尺寸比最大的特征图负责小目标明火，尺寸比最小的特征图负责大目标明火；选择这三个输出中置信度最高的那一个作为最终的检测结果，并将检测结果映射到原视频序列上，得到包含明火检测框的序列；步骤3：构建时序判断模块；步骤2得到的包含明火检测框的序列可能包含真实的明火检测框，也可能包含灯光误检的检测框；将包含明火检测框的视频序列送入时序判断模块中，先记录视频序列中第一帧的检测框信息并保存，接着在第二帧上寻找相对应同一个检测框的信息，并与第一帧的检测框计算IOU即交并比，计算流程为用两个检测框的交集的面积除以两个框并集的面积，该IOU的值越大意味着两个检测框之间的重合度越高；接着再对视频序列第三帧与第二帧之间作同样的处理，循环至处理完所有视频序列，这样得到帧与帧之间所有明火检测框之间的IOU的值，将该IOU的值和序列数之间联合构建折线图；根据折线的状态，将折线图平缓偏向直线的检测框中物体判断为非明火，将折线图震荡变化的检测框中物体判断为明火。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于视频时序相关性的夜间明火检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD