申请/专利权人：北京林业大学;中国林业科学研究院资源信息研究所

申请日：2015-12-17

公开（公告）日：2020-03-20

公开（公告）号：CN106897653B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.03.20#授权;2017.07.21#实质审查的生效;2017.06.27#公开

摘要：本发明提供一种基于红外和可见光视频融合的林区烟火检测方法，包括S1：分别采集并存储林区的红外视频图像和可见光视频图像；S2：利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；S3:对所述融合图像进行计算，确定具体的森林火灾区域。同时本发明还提出一种林区烟火检测系统，包括：数据采集模块，包括红外采集子模块和可见光采集子模块，分别用于采集并存储林区的红外视频图像和可见光视频图像；图像融合模块，利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；火灾检测模块，通过对所述融合图像进行计算以确定具体的森林火灾区域。

主权项：1.一种基于红外和可见光视频融合的林区烟火检测方法，其特征在于，包括以下步骤：S1：分别采集并存储林区的红外视频图像和可见光视频图像；S2：利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；S3:对所述融合图像进行计算，确定具体的森林火灾区域，其中，所述步骤S2包括：S21：通过改进的Tiansi模板T扫描所述红外视频图像和可见光视频图像，计算所述红外视频图像和可见光视频图像的分数阶微分值；计算分数阶微分的公式为： 其中，D为分数阶微分值，v为微分阶数，其经验值为0.1，P为包括所述红外视频图像和可见光视频图像的原始图像的像素矩阵；所述改进的Tiansi模板T为： S22：将同一位置处红外视频图像和可见光视频图像的分数阶微分值作为衡量图像信息的重要程度，并利用分数阶微分值得到权重系数WA和WB： WB＝1-WA其中A和B分别为红外视频图像和可见光视频图像的像素矩阵；S23：计算融合图像F的灰度值：CFx,y＝WACAx,y+WBCBx,y其中x，y分别为像素的横坐标值和纵坐标值，Cx，y表示图像的灰度值。

全文数据：基于红外和可见光视频融合的林区烟火检测方法及其检测系统技术领域[0001]本发明涉及森林防护及监控技术领域，特别涉及一种能够快速准确地定位森林火灾的林区烟火检测方法及其检测系统。背景技术[0002]森林火灾目前已成为一个全球性的问题，为减少森林火灾的损失，世界各国非常重视林火检测技术的研究，提高林火检测技术是做好防火工作的前提。[0003]传统森林火灾监测技术主要通过电子设备与人工相结合的方式得以实现，其通过地面人力和飞机巡航监测的方法不仅费用很高，而且工作相当繁杂，尤其对森林盲区的检测精确度很低，随着计算机技术和图像分析技术的快速发展，可以通过利用视频图像信息准确的监测火灾，使火灾探测方式向图像化及智能化发展。将图像分析技术应用到林业的火灾监测中是利用摄像头对森林现场进行实时监控，定时想服务器传入监控图像后对其进行处理和分析，由图像得出的结果判断是否发生火灾，将大火扼杀在萌芽状态。[0004]可见光视频能够提供场景中清晰的细节，丰富的颜色和纹理信息等，能够很好的反映出森林火灾发生阶段的烟和火焰特征;在红外视频中，物体温度越高发射的红外辐射能越多，因此物体在从正常工作温度上升到燃点的过程中，向外辐射的红外线的功率将发生很大的变化，根据探测到的物体的辐射能的大小，经系统处理转变为目标物体的热图像，以灰度级或伪彩色显示出来后能较好的展现森林火灾特征。在森林火灾监测中红外和可见光数据有各自的优缺点，因此如何将两种图像数据融合在一起，在发挥其各自优点的同时又能规避缺点，是计算机视频分析技术在林区火灾监测应用中亟待解决的问题。发明内容[0005]本发明的目的在于将现有的可见光视频检测与红外视频检测技术相融合，提供一种能够快速准确地定位森林火灾的林区烟火检测方法及其检测系统。[0006]本发明首先提供一种基于红外和可见光视频融合的林区烟火检测方法，包括以下步骤：[0007]Sl:分别采集并存储林区的红外视频图像和可见光视频图像；[0008]S2:利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；[0009]S3:对所述融合图像进行计算，确定具体的森林火灾区域。[0010]根据本发明提出的基于红外和可见光视频融合的林区烟火检测方法，其中，所述步骤S2包括：[0011]S21:通过改进的Tiansi模板T扫描所述红外视频图像和可见光视频图像，计算所述红外视频图像和可见光视频图像的分数阶微分值；[0012]计算分数阶微分的公式为：[0013][0014]其中，D为分数阶微分值，V为微分阶数，其经验值为0.1，P为包括所述红外视频图像和可见光视频图像的原始图像的像素矩阵;所述改进的Tiansi模板T为：[0015][0016]S22:将同一位置处红外视频图像和可见光视频图像的分数阶微分值作为衡量图像信息的重要程度，并利用所述分数阶微分值得到权重系数Wa和Wb:[0017][0018]其中A和B分别为红外视频图像和可见光视频图像的像素矩阵；[0019]S23:计算融合图像F的灰度值：[0020][0021]其中x，y分别为像素的横坐标值和纵坐标值。[0022]根据本发明提出的基于红外和可见光视频融合的林区烟火检测方法，其中，所述步骤S3包括：[0023]S31:将所述融合图像的序列图像与参考图像作减法运算，通过差值判断当前图像是否为异常帧，具体计算式包括：[0024][0025]上式中fix，y为融合图像的当前序列图像，其中i=0,1，2···Ν，Ν为连续序列图像的帧数目，f〇x，y为参考图像，Afix，y为两个图像的差值;M为经验阈值；[0026]当Afix，y小于M时表明当前序列图像正常，当Afix，y大于或等于M时表明当前序列图像为异常帧；[0027]S32:将所述参考图像与所述异常帧进行差分得到帧差图像，然后采用矩不变法对所述帧差图像进行阈值分割；[0028]S33:对异常帧进行R-C法阈值分割；[0029]S34:异常帧的阈值分割图像与帧差图像的阈值分割图像取交集区域；[0030]S35:采用自适应局部平滑方法去除所述交集区域内的噪声，得到可疑点区域图像；[0031]S36:在融合图像中标记出森林火灾区域。[0032]另外，本发明还提出一种基于红外和可见光视频融合的林区烟火检测系统，包括：[0033]数据采集模块，包括红外采集子模块和可见光采集子模块，分别用于采集并存储林区的红外视频图像和可见光视频图像；[0034]图像融合模块，与所述数据采集模块相连，利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；[0035]火灾检测模块，与所述图像融合模块相连，通过对所述融合图像进行计算以确定具体的森林火灾区域。[0036]根据本发明提出的基于红外和可见光视频融合的林区烟火检测系统，其中，所述图像融合模块包括：[0037]分数阶微分值计算模块，通过改进的Tiansi模板T扫描所述红外视频图像和可见光视频图像，计算所述红外视频图像和可见光视频图像的分数阶微分值；[0038]计算分数阶微分的公式为：[0039][0040]其中，D为分数阶微分值，V为微分阶数，其经验值为0.1，P为包括所述红外视频图像和可见光视频图像的原始图像的像素矩阵;所述改进的Tiansi模板T为：[0041][0042]权重系数计算模块，与所述分数阶微分值计算模块相连，用于将同一位置处红外视频图像和可见光视频图像的分数阶微分值作为衡量图像信息的重要程度，并利用所述分数阶微分值得到权重系数Wa和Wb:[0043][0044]其中A和B分别为红外视频图像和可见光视频图像的像素矩阵；[0045]灰度值计算模块，与所述权重系数计算模块相连，用于计算融合图像F的灰度值：[0046]Cfx,y=WaCaCx1Y+Ιβ0βχ,υ[0047]其中x，y分别为像素的横坐标值和纵坐标值，Cx，y表示图像的灰度值。[0048]根据本发明提出的基于红外和可见光视频融合的林区烟火检测系统，其中，所述火灾检测模块包括：[0049]异常帧判断模块，用于将所述融合图像的序列图像与参考图像作减法运算，通过差值判断当前图像是否为异常帧，具体计算式包括：[0050][0051]上式中fix，y为融合图像的当前序列图像，其中i=0,1，2···Ν，Ν为连续序列图像的帧数目，f〇x，y为参考图像，Afix，y为两个图像的差值;M为经验阈值；[0052]当Af1Xj小于M时表明当前序列图像正常，当Af1Xj大于或等于M时表明当前序列图像为异常帧；[0053]帧差图像阈值分割模块，与所述异常帧判断模块相连，用于将所述参考图像与所述异常帧进行差分得到帧差图像，然后采用矩不变法对所述帧差图像进行阈值分割；[0054]异常帧阈值分割模块，与所述异常帧判断模块相连，用于对异常帧进行R-C法阈值分割；[0055]区域确定模块，分别与所述帧差图像阈值分割模块和所述异常帧阈值分割模块相连，用于将异常帧的图像与帧差图像的阈值分割图像取交集区域，并采用自适应局部平滑方法去除所述交集区域内的噪声，得到可疑点区域图像，进而在融合图像中标记出森林火灾区域。[0056]本发明创造性地将可见光视频图像和红外视频图像融合在一起，融合后的图像具有更加丰富的数据信息;在融合图像的基础上，进一步对目标进行实时准确地自动分割，利用融合图像自身的信息选取最佳阈值，分割后目标边界清晰，背景噪声小，能够快速准确地确定出森林火灾的具体位置。附图说明[0057]图1为本发明的林区烟火检测系统的拓扑图；[0058]图2为本发明的林区烟火检测系统的组成结构框图；[0059]图3-图6分别为融合图像的生成示意图的具体实施例，其中图3A，图4A，图5A和图6A为可见光原图像，图3B，图4B，图5B和图6B为红外原图像，图3C，图4C，图5C和图6C为融合图像；[0060]图7A为森林火灾的融合图像背景图；[0061]图7B为融合图像的森林火灾图像；[0062]图7C为帧差图像的分割结果图；[0063]图7D为异常帧图像的分割结果图；[0064]图7E为帧差图像与异常帧图像的分割交集结果图；[0065]图7F为可疑火点区域图像；[0066]图7G为森林火灾检测结果图。[0067]图8为本发明的林区烟火检测方法的流程图。附图标记说明：10-数据采集模块，11-红外采集子模块；12-可见光采集子模块;20-图像融合模块;21-分数阶微分值计算模块;22-权重系数计算模块;23-灰度值计算模块;30-火灾检测模块;31-异常帧判断模块;32-帧差图像阈值分割模块;33-异常帧阈值分割模块；34-区域确定模块。具体实施方式[0068]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0069]请参阅图1，为本发明的林区烟火检测系统的拓扑图。首先监控中心会在林区的不同位置设置多个摄像头以监测林区状况，其中底端摄像机的分布方位数据均保存在监控中心。摄像头实时采集林区的红外视频图像和可见光视频图像，并对这两种图像进行融合处理。一旦森林中发生火情，本发明将会在最短时间内准确定位火灾发生的具体地点并将检测结果回传至监控中心，方便巡视人员实时查看。[0070]图2为本发明的林区烟火检测系统的组成结构框图。如图2所示，本发明的林区烟火检测系统包括数据采集模块10,图像融合模块20和火灾检测模块30。其中数据采集模块10包括红外采集子模块11和可见光采集子模块12,分别用于采集并存储林区的红外视频图像和可见光视频图像；图像融合模块20与数据采集模块10相连，利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像;火灾检测模块30与图像融合模块20相连，通过对所述融合图像进行计算以确定具体的森林火灾区域。[0071]具体的，在图像融合模块20中，红外视频图像和可见光视频图像的融合采用基于分数阶微分的融合规则，算法主要利用分数阶微积分思想代替输入图像的梯度信息，在降低算法复杂度的同时，增强像素的邻域信息，从而得到更好的边缘信息。由于分数阶微积分的计算过程复杂，为了降低算法的复杂度，本文采用了改进的5*5Tiansi模板T来估计图像的分数阶微分值，其表现形式为：[0072]1[0073]本发明的图像融合模块20包括分数阶微分值计算模块21，权重系数计算模块22以及灰度值计算模块23。[0074]分数阶微分值计算模块21通过改进的Tiansi模板T扫描所述红外视频图像和可见光视频图像，计算所述红外视频图像和可见光视频图像的分数阶微分值。具体而言，首先利用改进的Tiansi模板T计算分数阶微分代替像素点梯度值的公式如下：[0075]2[0076]其中，D为分数阶微分值，V为微分阶数，其经验值为0.1，P为包括所述红外视频图像和可见光视频图像的原始图像的像素矩阵。[0077]权重系数计算模块22与所述分数阶微分值计算模块21相连，用于将同一位置处红外视频图像和可见光视频图像的分数阶微分值作为衡量图像信息的重要程度，并利用所述分数阶微分值得到权重系数Wa和Wb:[0078]3[0079]其中A和B分别为红外视频图像和可见光视频图像的像素矩阵。[0080]灰度值计算模块23与所述权重系数计算模块22相连，用于计算融合图像F的灰度值：[0081]4[0082]其中X，y分别为像素的横坐标值和纵坐标值。[0083]图3-图6为本发明中将可见光原图像和红外原图像进行融合的具体实施例。由图4-图7可以看出，融合后的图像具有更好的边缘信息。[0084]得到融合图像后，接下来就要通过火灾检测模块30来确定具体的火灾位置。本发明的火灾检测模块30包括异常帧判断模块31，帧差图像阈值分割模块32,异常帧阈值分割模块33以及区域确定模块34。[0085]其中，异常帧判断模块31用于将融合图像的序列图像与参考图像作减法运算，通过差值判断当前图像是否为异常帧，具体计算式包括：[0086]5[0087]上式中fix，y为融合图像的当前序列图像，其中i=0,1，2···Ν，Ν为连续序列图像的帧数目，f〇x，y为参考图像，Afix，y为两个图像的差值;M为经验阈值。[0088]当AAXj小于M时表明当前序列图像正常，当Af1Xj大于或等于M时表明当前序列图像为异常帧。如果出现异常情况，后续模块将会对异常帧进一步处理;如果未出现异常情况，摄像头将会继续进行监测。[0089]帧差图像阈值分割模块32与所述异常帧判断模块31相连，用于将所述参考图像与所述异常帧进行差分得到帧差图像，然后采用矩不变法对所述帧差图像进行阈值分割。[0090]异常帧阈值分割模块33与所述异常帧判断模块31相连，用于对异常帧进行R-C法阈值分割；[0091]然后便可通过k#Pk2对异常帧图像进行分割。[0092]区域确定模块34分别与所述帧差图像阈值分割模块32和所述异常帧阈值分割模块33相连，用于将异常帧的图像与帧差图像的阈值分割图像取交集区域，并采用自适应局部平滑方法去除所述交集区域内的噪声，得到可疑点区域图像，进而在融合图像中标记出森林火灾区域。[0093]图7A至图7G为利用火灾检测模块30所得到的最终火灾检测结果的具体实施例。从以上附图中可以看出，本发明能够非常清晰准确地框选出火灾范围。[0094]在上述基于红外和可见光视频融合的林区烟火检测系统的基础上，本发明还提出了一种基于红外和可见光视频融合的林区烟火检测方法，该方法的流程可参考附图3,具体包括：[0095]Sl:分别采集并存储林区的红外视频图像和可见光视频图像；[0096]S2:利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；[0097]S3:对所述融合图像进行计算，确定具体的森林火灾区域。[0098]上文中关于步骤S2提到的图像融合以及步骤S3提到的确定具体的森林火灾区域，分别对应于林区烟火检测系统中的图像融合模块20和火灾检测模块30,两个步骤中采取的具体计算方法与上述模块中提到的计算方法相同，这里不再赘述。[0099]本领域普通技术人员可以理解:附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。[0100]本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。[0101]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换;而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

权利要求：1.一种基于红外和可见光视频融合的林区烟火检测方法，其特征在于，包括以下步骤：S1:分别采集并存储林区的红外视频图像和可见光视频图像；S2:利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；S3:对所述融合图像进行计算，确定具体的森林火灾区域。2.根据权利要求1所述的基于红外和可见光视频融合的林区烟火检测方法，其特征在于，所述步骤S2包括：S21:通过改进的Tiansi模板T扫描所述红外视频图像和可见光视频图像，计算所述红外视频图像和可见光视频图像的分数阶微分值；计算分数阶微分的公式为：其中，D为分数阶微分值，v为微分阶数，其经验值为0.1，P为包括所述红外视频图像和可见光视频图像的原始图像的像素矩阵;所述改进的Tiansi模板T为：S22:将同一位置处红外视频图像和可见光视频图像的分数阶微分值作为衡量图像信息的重要程度，并利用所述分数阶微分值得到权重系数WA和WB:其中A和B分别为红外视频图像和可见光视频图像的像素矩阵；S23:计算融合图像F的灰度值：Cfx,y=ffACAx,y+ffBCBx,y其中x，y分别为像素的横坐标值和纵坐标值，Cx，y表示图像的灰度值。3.根据权利要求2所述的基于红外和可见光视频融合的林区烟火检测方法，其特征在于，所述步骤S3包括：S31:将所述融合图像的序列图像与参考图像作减法运算，通过差值判断当前图像是否为异常帧，具体计算式包括：上式中fix，y为融合图像的当前序列图像，其中i=0,1，2-_N，N为连续序列图像的帧数目，fox，y为参考图像，Afix，y为两个图像的差值;M为经验阈值；当Afix，y小于M时表明当前序列图像正常，当Afix，y大于或等于M时表明当前序列图像为异常帧；S32:将所述参考图像与所述异常帧进行差分得到帧差图像，然后采用矩不变法对所述帧差图像进行阈值分割；S33:对异常帧进行R-C法阈值分割；S34:异常帧的阈值分割图像与帧差图像的阈值分割图像取交集区域；S35:采用自适应局部平滑方法去除所述交集区域内的噪声，得到可疑点区域图像；S36:在融合图像中标记出森林火灾区域。4.一种基于红外和可见光视频融合的林区烟火检测系统，其特征在于，包括：数据采集模块，包括红外采集子模块和可见光采集子模块，分别用于采集并存储林区的红外视频图像和可见光视频图像；图像融合模块，与所述数据采集模块相连，利用改进的分数阶微分法对所述红外视频图像和所述可见光视频图像进行融合，得到融合图像；火灾检测模块，与所述图像融合模块相连，通过对所述融合图像进行计算以确定具体的森林火灾区域。5.根据权利要求4所述的基于红外和可见光视频融合的林区烟火检测系统，其特征在于，其特征在于，所述图像融合模块包括：分数阶微分值计算模块，通过改进的Tiansi模板T扫描所述红外视频图像和可见光视频图像，计算所述红外视频图像和可见光视频图像的分数阶微分值；计算分数阶微分的公式为：其中，D为分数阶微分值，v为微分阶数，其经验值为0.1，P为包括所述红外视频图像和可见光视频图像的原始图像的像素矩阵;所述改进的Tiansi模板T为：权重系数计算模块，与所述分数阶微分值计算模块相连，用于将同一位置处红外视频图像和可见光视频图像的分数阶微分值作为衡量图像信息的重要程度，并利用所述分数阶微分值得到权重系数Wa和Wb:其中A和B分别为红外视频图像和可见光视频图像的像素矩阵；灰度值计算模块，与所述权重系数计算模块相连，用于计算融合图像F的灰度值：Cfx,y=ffACAx,y+ffBCBx,y其中x，y分别为像素的横坐标值和纵坐标值，Cx，y表示图像的灰度值。6.根据权利要求5所述的基于红外和可见光视频融合的林区烟火检测系统，其特征在于，所述火灾检测模块包括：异常帧判断模块，用于将所述融合图像的序列图像与参考图像作减法运算，通过差值判断当前图像是否为异常帧，具体计算式包括：上式中fix，y为融合图像的当前序列图像，其中i=0,1，2-_N，N为连续序列图像的帧数目，fox，y为参考图像，Afix，y为两个图像的差值;M为经验阈值；当Afix，y小于M时表明当前序列图像正常，当Afix，y大于或等于M时表明当前序列图像为异常帧；帧差图像阈值分割模块，与所述异常帧判断模块相连，用于将所述参考图像与所述异常帧进行差分得到帧差图像，然后采用矩不变法对所述帧差图像进行阈值分割；异常帧阈值分割模块，与所述异常帧判断模块相连，用于对异常帧进行R-C法阈值分割；区域确定模块，分别与所述帧差图像阈值分割模块和所述异常帧阈值分割模块相连，用于将异常帧的图像与帧差图像的阈值分割图像取交集区域，并采用自适应局部平滑方法去除所述交集区域内的噪声，得到可疑点区域图像，进而在融合图像中标记出森林火灾区域。

百度查询： 北京林业大学;中国林业科学研究院资源信息研究所 基于红外和可见光视频融合的林区烟火检测方法及其检测系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD