申请/专利权人：西北工业大学

申请日：2021-11-09

公开（公告）日：2024-03-05

公开（公告）号：CN114399723B

主分类号：G06V20/52

分类号：G06V20/52;G06V10/82;G06N3/0464;G06N3/08;G06T3/4007;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.03.05#授权;2022.05.13#实质审查的生效;2022.04.26#公开

摘要：本发明涉及一种基于增强可变形卷积和标签相关的森林烟火识别方法，包括如下步骤：1将森林监控视频输入特征提取模块得到不同层次的无交互特征；2将不同层次的无交互特征输入低层次特征交互模块得到低层次交互特征；3将不同层次的无交互特征输入高层次特征交互模块得到高层次交互特征；4将无交互特征、低层次交互特征和高层次交互特征输入特征融合模块并分类得到森林烟火识别结果。本发明能够进一步降低森林烟火识别的漏报率和误报率。

主权项：1.一种基于增强可变形卷积和标签相关的森林烟火识别方法，其特征在于步骤如下：步骤1：将森林监控视频图像输入特征提取模块FEM得到不同层次的无交互特征：Fi＝EBiFi-1,i＝1,2,3V2＝CNNF3Fj＝DBjFj-1,j＝4,5,6其中，DBjj＝4,5,6表示索引为j的特征解码块,EBii＝1,2,3表示索引为i的特征编码块，Fii＝1,2,…,6表示索引为i的特征编码块和特征解码块的输出特征图，即不同层次的无交互特征，CNN表示一个共享的输出特征维数为8192的卷积神经网络，V2表示特征提取模块输出的特征向量，特征提取模块是由一些特征编码块和特征解码块组成，F6和V2表示从特征提取模块中学习到的无交互特征；所述特征提取模块FEM包括多个串联的特征编码块EB和多个串联的特征解码块DB；步骤2：将步骤1得到的不同层次的无交互特征图Fii＝1,2,…,6输入低层次特征交互模块，得到低层次交互特征：L1＝Downconv2dF6Li+1＝LIEiLi,F6-i,i＝1,2V1＝CNNL3Lj+1＝LIDjLj,F7-i,j＝3,4,5其中，LIEii＝1,2表示索引为i的低层次交互编码块，LIDjj＝4,5,6表示索引为j的低层次交互解码块，Lii＝1,2,…,6表示索引为i的低层次交互编码块或低层次交互解码块的输出特征图，L6和V1表示从低层次特征交互模块中学习到的低层次交互特征；所述低层次特征交互模块LFDM包括多个串联的低层次交互编码块LIE和多个串联的低层次交互解码块LID，在每个LIE和LID的输入层后增加了一个使用三维卷积神经网络CNN的通道增强设计，卷积核大小设计为1×1×3，在低层次特征交互模块的最后一步设有增强可变形卷积EDC；所述每个低层次交互编码块LIE与步骤1的特征提取模块FEM的解码块DB输出连接；所述每个低层次交互解码块LID与步骤1的特征提取模块FEM的编码块EB输出连接；步骤3：将步骤1得到的不同层次的无交互特征Fii＝1,2,…,6输入高层次特征交互模块，得到高层次交互特征：H1＝Conv2dF1Hi+1＝HIEiHi,Fi+1,i＝1,2V3＝CNNH3Hj+1＝HIDjLj,FJ+1,j＝3,4,5其中，HIEii＝1,2表示索引为i的高层次交互编码块，HIDjj＝3,4,5表示索引为j的高层次交互编码块，Hii＝1,2,…,6表示索引为i的高层次交互编码块或高层次交互解码块的输出特征图，H6和V3表示从高层次特征交互模块中学习到的高层次交互特征；所述高层次特征交互模块HFDM包括多个串联的高层次交互编码块HIE和多个串联的高层次交互解码块HID，在高层次特征交互模块的最后一步设有增强可变形卷积EDC，所述每个高层次交互编码块HIE与步骤1的特征提取模块FEM的编码块EB输出连接；所述每个高层次交互解码块HID与步骤1的特征提取模块FEM的解码块DB输出连接；步骤4：将无交互特征、低层次交互特征和高层次交互特征输入特征融合模块并分类得到森林烟火识别结果；41利用提取的特征L6,F6,H6预测输入图像序列对应的背景图像序列和烟密度图像序列： 其中，和分别表示预测的背景图像序列和烟密度图像序列，conv*表示卷积操作，ReLU*表示ReLU函数；42将输入到C3D模型中提取时空特征向量V4，即 其中，FC*表示全连接层，C3D*表示C3D模型；43由于低层特征可能带来噪声，上层特征可能抑制底层有益信息，则融合特征向量V1,V2,V3,V4进行分类，即 其中，concat*表示特征图串联操作，表示烟分类的预测结果。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于增强可变形卷积和标签相关的森林烟火识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD