买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法_江南大学_201910068041.7 

申请/专利权人:江南大学

申请日:2019-01-24

公开(公告)日:2023-03-14

公开(公告)号:CN109829873B

主分类号:G06T5/50

分类号:G06T5/50;G06T7/11

优先权:

专利状态码:有效-授权

法律状态:2023.03.14#授权;2019.06.25#实质审查的生效;2019.05.31#公开

摘要:本发明提供了一种基于非下采样剪切波和全局‑区域‑局部融合规则的图像融合方法,属于图像融合技术领域。主要解决从统计模型中提取单层次特征容易导致图像表示不准确的问题。其实现步骤是:1待融合图像进行非下采样剪切波变换,得到高频、低频系数;2低频子带系数采用基于平均梯度取大的融合规则,高频子带系数采用全局‑区域‑局部的融合规则;3融合后的高、低频系数执行非下采样剪切波逆变换获得融合后的图像。本发明能充分考虑了系数之间的相关性,精确地表示源图像的纹理、细节等特征,从而能有效避免将错误信息引入融合图像中,提高视觉效果,相比传统的融合方法极大地提高了融合图像的质量。

主权项:1.一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法,其特征在于,包括以下步骤:1对待融合的两个图像进行非下采样剪切波变换,得到相应的高频子带系数和低频子带系数;2对高、低频子带系数分别采用不同的融合规则进行融合,得到融合后的高、低频系数;2.1采用基于平均梯度取大的融合规则对低频子带系数进行融合,得到低频系数;2.2采用基于全局-区域-局部的融合规则对高频子带系数进行融合,得到高频系数;a在非下采样剪切波域构建全局-区域-局部的上下文隐马尔可夫模型,来捕获系数之间的相关性,并分别提取全局CHMM、区域CHMM以及局部CHMM的统计特征边缘概率密度函数EdgePDF;b对a中提取的三个层次的统计特征分别设计全局融合规则、区域融合规则、局部融合规则,通过取平均的融合方案得到融合的高频子带系数;3对步骤2所得的融合后的高、低频系数进行非下采样剪切波逆变换获得最终的融合图像;步骤2.2中的步骤a具体如下:1每个系数都与一个上下文变量context和一个隐藏状态m有关,m=0或1;其中系数的上下文包括8个最近邻系数,用NA和NB表示,父系数用PX表示,两个表兄弟系数用CX1和CX2表示;所以非下采样剪切波系数的上下文构造如下: 其中,ω0,ω1,ω2,ω3分别表示直接邻域系数NA,间接邻域系数NB,父系数PX,表兄弟系数CX的权重系数;t表示邻域系数的个数;然后根据上下文的构造计算得到上下文变量取值: 其中,EN,EP,EC1,EC2分别表示当前子带、父子带、兄弟子带的平均能量;2建立全局CHMM模型;首先,建立一个高频子带的全局CHMM,即G-CHMM;G-CHMM将两状态的高斯混合分布GMM和CHMM结合,得到高频子带的统计模型;G-CHMM的边缘概率密度函数为: 其中,G表示在子带全局建模,θG表示全局参数的集合;Ck,l表示在第k层的l方向上的一个全局NSST子带;Sk,l表示全局子带的隐藏状态变量,表示隐藏状态m的概率,表示在已知Ck,l的情况下状态为m的概率,表示均值为0和方差为的高斯条件概率密度函数;v表示已知上下文变量;在G-CHMM中,采用期望最大化EM算法来训练全局参数,具体步骤如下:1设置初始参数 其中,表示已知的噪声方差和表示在k层l方向上全局子带的平均能量;2计算期望E根据贝叶斯理论,计算Ck,l在状态为m时的概率 3M最大化全局子带的参数和计算如下 其中,Mk,l和Nk,l分别表示第k层l方向的全局子带的行数和列数;当步骤3中的参数收敛于先前的参数值,或者迭代次数达到预先设定的限制值时,迭代结束;否则,返回步骤2并继续进行迭代;3建立区域CHMM模型,即R-CHMMR-CHMM的构建步骤如下:a区域分割区域分割包括两个部分:一个是特征提取,另一个是利用FCM进行区域分割;具体过程如下:首先对源图像A和B进行区域分割,在第一层分解得到四个方向的高频子带HAj1,HBj1,1≤j1≤4;第二层分解得到八个方向的高频子带HAj2,HBj2,1≤j2≤8;将A,B,HAj1,HBj1,HAj2和HBj2划分成小窗口Ai,Bi,1≤i≤num,num表示窗口的个数;从空间域和变换域提取窗口的特征;然后,利用从源图像提取的特征之间的差异来确定特征向量;空间域的特征有方差ViA和ViB,平均梯度和和均值和变换域的特征有平均能量和和平均上下文和特征向量是在特征的差异空间中构造的: 每个特性向量包含15个特点: 其中,是最终的特征向量;设c代表簇的个数,代表特征向量;用FCM来分割特征向量第r类特征向量的隶属度函数用uri,uri∈[0,1],1≤r≤c,1≤i≤num表示;当uriur′i,r,r′=1,2,…c,r≠r′时,属于r类,且被划分成c个群组;所以,得到区域R={R1,R2,…,Rr,…Rc};最后,将区域R映射到源图像A和B中,构建R-CHMM;其中,以两组图像为例显示区域分割的结果;b区域CHMM区域CHMM是对同一区域的NSST系数构建R-CHMM模型;将G-CHMM的训练参数作为R-CHMM的初始参数;R-CHMM的边缘概率密度函数计算如下: 其中,Ck,l,r表示区域r中第k层l方向的NSST系数,表示在已知上下文变量v的情况下状态为m的概率;θR表示区域参数的集合;表示在已知状态m的情况下上下文v的概率;R-CHMM的训练过程如下:1设置初始参数G-CHMM训练得到的参数和作为R-CHMM的初始参数;表示在已知状态m的情况下上下文v的概率,其计算过程如下: 其中,R表示区域r的大小;Ck,l,r表示区域r中k层l方向的NSST系数;表示状态为m的概率,表示方差;2计算期望E:计算每个区域r中NSST系数的概率如下: 3最大化M 检查步骤3中参数的收敛性;当它们收敛于先前的参数值,或者迭代数达到预设的限制值时,则停止模型训练;否则,继续迭代;4建立局部CHMM模型,即L-CHMM;R-CHMM的训练参数作为L-CHMM的初始参数,局部模型的边缘概率密度函数如下: Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数;Θl表示局部参数的集合;L-CHMM的训练过程如下:1设置初始参数R-CHMM训练得到的参数和作为L-CHMM的初始参数;表示在已知状态m的情况下上下文v的概率,其计算过程如下: 该步的计算在以NSST系数为中心大小为2W+1-2W+1的局部窗口中进行,此处W=1,W表示窗体尺寸参数;其中,p,q分别表示局部窗口内系数的横纵坐标;Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数;表示状态为m的概率,参数和由R-CHMM训练的参数和得到;表示方差;2计算期望E:计算局部NSST系数的概率如下: 3最大化M: 该步的计算过程在一个2W+1-2W+1的窗口中进行,此处W=1;当步骤3中的参数收敛于先前的迭代,或者迭代数达到预设的限制Nc2时,那么停止模型训练的过程;否则,返回步骤2并进行迭代。

全文数据:基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法技术领域本发明属于图像融合技术领域,涉及一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法,是图像处理技术领域的一项融合方法,在遥感探测、安全导航、医学诊断等领域具有广泛应用。背景技术图像融合技术的日趋发展,其应用领域也更为广阔,在遥感探测、安全导航、反恐检查、环境保护、灾情检测和预报等领域都有重要的应用。红外图像与可见光图像融合,红外图像可看到低可视目标,可见光图像则可看到更多的细节目标,它们的融合能够将整体与细节完美地结合,提高夜战能力,某些国家也用其进行一些实验;医学图像的融合,如:CTComputedTomography图像主要提供骨骼信息、MRIMagneticResonanceImaging提供血管信息,它们的融合可为手术提供很好的依据,帮助医生做出精准的判断。图像融合为医学临床诊断提供重要的信息来源,在医学临床上得到广泛应用,也推动了医学的发展;雷达图像与红外图像的融合,雷达图像可用于探测,红外图像用可于识别,它们的结合可获得详细的图像信息。图像融合技术的出现为提高这些数据的精确性做出了巨大的贡献,因此,不断加深对图像融合技术的探索,对于国防事业建设和国民经济发展都有着非常重要的意义。目前,基于多尺度分解MSDMulti-ScaleDecomposition的一系列图像融合方法越来越流行。MSD工具的选择和活动测度的设计是多尺度几何分析融合方法的关键因素。各种MSD工具已经被广泛应用,如拉普拉斯金字塔变换LP、离散小波变换DWT、曲波变换CVT和非下采样轮廓波变换NSCT等等。与上述MSD工具相比,非下采样剪切波NSST具有平移不变特性,避免了伪吉布斯现象的发生,不限制剪切图像方向的数量。此外,与CVT和NSCT相比,NSST实现的复杂性较低。因此,本发明选用NSST作为MSD工具。除了MSD工具外,活动测度在决定融合结果的质量中占有重要的地位。一些研究者已经证明了MSD系数之间存在着重要的关系,并提出了一些统计模型来表示图像。但这些融合方法仅在单个层次上构建统计模型。事实上,在系数的统计模型中应该表达三个层次的特性,包括局部层、区域层和全局层。从单个层次获得统计特性,容易导致图像表现不准确。因此,本发明选用全局-区域-局部CHMM来提取图像特征作为活动测度。在图像融合中,融合规则与分解工具同样重要,相比传统的低频部分取平均等融合规则,本发明采用基于平均梯度的融合规则,能够有效提高图像的对比度。常用的高频融合方法有绝对值取大、某个特征取大等单一的融合规则,本发明采用全局-区域-局部的融合规则,将三层融合结果的平均值定义为最终融合的高频子带系数,该融合规则能更准确地表征图像的本质,避免错误信息的引入,从而提高融合图像的质量。发明内容本发明的目的是针对上述现有技术的不足,提出的一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法,以解决从统计模型中提取单层次特征容易导致图像表示不准确的问题,并采用统计模型充分考虑系数之间的相关性,有效捕获图像的细节,提高融合图像的质量。本发明的技术方案如下:一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法,包括以下步骤:1对待融合的两个图像进行非下采样剪切波变换,得到相应的高频子带系数和低频子带系数;2对高、低频子带系数分别采用不同的融合规则进行融合,得到融合后的高、低频系数;2.1采用基于平均梯度取大的融合规则对低频子带系数进行融合,得到低频系数;2.2采用基于全局-区域-局部的融合规则对高频子带系数进行融合,得到高频系数;a在非下采样剪切波域构建全局-区域-局部的上下文隐马尔可夫模型Global-Region-LocalCHMM,来捕获系数之间的相关性,并分别提取全局CHMM、区域CHMM以及局部CHMM的统计特征边缘概率密度函数EdgePDF;b对a中提取的三个层次的统计特征分别设计全局融合规则、区域融合规则、局部融合规则,通过取平均的融合方案得到融合的高频子带系数;3对步骤2所得的融合后的高、低频系数进行非下采样剪切波逆变换获得最终的融合图像。作为一种优选方案,步骤1所述对待融合的两个图像进行非下采样剪切波变换,得到相应的高频子带系数和低频子带系数其中k表示分解尺度,l表示高频的方向子带,k0表示最粗糙尺度,A、B分别代表源图像;作为一种优选方案,步骤2.1所述基于平均梯度取大的融合规则,具体如下:a计算低频系数在W1×W2邻域内的平均梯度:其中,表示k0尺度位置x,y处的低频系数,I表示源图像A或B,W1×W2表示窗口大小;b确定融合图像的低频子带系数;作为一种优选方案,步骤2.2中的步骤a具体如下:1每个系数都与一个上下文变量context和一个隐藏状态mm=0或1有关。其中系数的上下文包括8个最近邻系数,用NA和NB表示,父系数用PX表示,两个表兄弟系数用CX1和CX2表示,如图2。所以非下采样剪切波系数的上下文构造如下:其中,ω0,ω1,ω2,ω3分别表示直接邻域系数NA,间接邻域系数NB,父系数PX,表兄弟系数CX的权重系数;t表示邻域系数的个数;然后根据上下文的构造计算得到上下文变量取值:其中,EN,EP,EC1,EC2分别表示当前子带、父子带、兄弟子带的平均能量。2建立全局CHMM模型;首先,建立一个高频子带的全局CHMM,即G-CHMM。G-CHMM将两状态的高斯混合分布GMM和CHMM结合,得到高频子带的统计模型。G-CHMM的边缘概率密度函数EdgePDF为:其中,G表示在子带全局建模,θG表示全局参数的集合。Ck,l表示在第k层的l方向上的一个全局NSST子带。Sk,l表示全局子带的隐藏状态变量,表示隐藏状态m的概率,表示在已知Ck,l的情况下状态为m的概率,表示均值为0和方差为的高斯条件概率密度函数;v表示已知上下文变量。在G-CHMM中,采用期望最大化EM算法来训练全局参数,具体步骤如下:1设置初始参数其中,表示已知的噪声方差和表示在k层l方向上全局子带的平均能量。2计算期望E根据贝叶斯理论,计算Ck,l在状态为m时的概率3M最大化全局子带的参数和计算如下其中Mk,l和Nk,l分别表示第k层l方向的全局子带的行数和列数。当步骤3中的参数收敛于先前的参数值,或者迭代次数达到预先设定的限制值时,迭代结束。否则,返回步骤2并继续进行迭代。3建立区域CHMM模型;区域CHMM,即R-CHMM是一种用于分析区域内NSST系数统计特征的统计模型。R-CHMM通过提取一个区域的统计特征来获得更准确的图像表示。因此,提出一个基于区域的CHMM。在R-CHMM中,使用G-CHMM训练得到的参数作为R-CHMM的初始参数,以便训练得到更精确的区域参数。因此,本发明提出了一种新的G-CHMM指导R-CHMM参数训练的方法。R-CHMM的构建步骤如下:a区域分割区域分割包括两个部分:一个是特征提取,另一个是利用FCM进行区域分割。区域分割的过程如图3所示。具体过程如下:首先对源图像A和B进行区域分割,在第一层分解得到四个方向的高频子带HAj1,HBj11≤j1≤4,第二层分解得到八个方向的高频子带HAj2,HBj21≤j2≤8。将A,B,HAj1,HBj1,HAj2andHBj2划分成小窗口Ai,Bi,num表示窗口的个数。从空间域和变换域提取窗口的特征。然后,利用从源图像提取的特征之间的差异来确定特征向量。空间域的特征有方差and,平均梯度and和均值and。变换域的特征有平均能量and和平均上下文。特征向量是在特征的差异空间中构造的:每个特性向量包含15个特点:其中,是最终的特征向量。设c代表簇的个数,代表特征向量。考虑到FCM是一种软聚类算法,在图像分割中得到了广泛的应用,我们用FCM来分割特征向量第r类特征向量的隶属度函数用uriuri∈[0,1],1≤r≤c,1≤i≤num表示。当uri>ur′ir,r′=1,2,…c,r≠r′时,属于r类,且被划分成c个群组。所以,得到区域R={R1,R2,…,Rr,…Rc}。最后,将区域R映射到源图像A和B中,构建R-CHMM。其中,以两组图像为例显示区域分割的结果。b区域CHMM区域CHMM是对同一区域的NSST系数构建R-CHMM模型。将G-CHMM的训练参数作为R-CHMM的初始参数。R-CHMM的边缘概率密度函数EdgePDF计算如下:其中,Ck,l,r表示区域r中第k层l方向的NSST系数,表示在已知上下文变量v的情况下状态为m的概率。θR表示区域参数的集合。表示在已知状态m的情况下上下文v的概率。R-CHMM的训练过程如下:1设置初始参数G-CHMM训练得到的参数和σ2k,l,m作为R-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率,其计算过程如下:其中,R表示区域r的大小。Ck,l,r表示区域r中k层l方向的NSST系数。表示状态为m的概率,表示方差。2计算期望E:计算每个区域r中NSST系数的概率如下:3最大化M检查步骤3中参数的收敛性。当它们收敛于先前的参数值,或者迭代数达到预设的限制值时,则停止模型训练。否则,继续迭代。4建立局部CHMM模型,即L-CHMM;本发明构造了一个局部的CHMML-CHMM来提取局部统计特征,从而能够准确地反映出当前系数的特性。R-CHMM的训练参数作为L-CHMM的初始参数,因为它可以使L-CHMM参数的计算更准确。因此,本发明中提出了R-CHMM引导L-CHMM的参数训练的方法。局部模型的边缘概率密度函数EdgePDF如下:Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数。ΘL表示局部参数的集合。L-CHMM的训练过程如下:1设置初始参数R-CHMM训练得到的参数和σ2k,l,r,m作为L-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率,其计算过程如下:该步的计算在以NSST系数为中心大小为2W+1-2W+1的局部窗口中进行,此处W=1,W表示窗体尺寸参数。其中,p,q分别表示局部窗口内系数的横纵坐标;Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数。表示状态为m的概率,参数和由R-CHMM训练的参数和σ2k,l,r,m得到。表示方差。2计算期望E:计算局部NSST系数的概率如下:3最大化M:该步的计算过程在一个2W+1-2W+1的窗口中进行,此处W=1。当步骤3中的参数收敛于先前的迭代,或者迭代数达到预设的限制Nc2时,那么停止模型训练的过程。否则,返回步骤2并进行迭代。作为一种优选方案,步骤2.2中的步骤b具体如下:1信息熵通常反映信息量的多少,所以本章使用全局信息熵来提取全局信息,全局信息熵的计算公式如下:其中,I=A或B,表示高频系数的全局边缘概率密度函数。2全局融合系数计算公式如下:3KLDKullback–Leiblerdivergence反映了高频系数和高频系数之间的差异性,KLD具有不对称性。KLD的计算公式如下:其中,和表示高频系数的区域边缘概率密度函数。4区域融合系数计算公式如下:5局部融合系数计算公式如下:其中,和表示局部边缘概率密度函数的区域能量,其计算公式如下:其中,W1=W2,PIk,lx,y,I=A或B表示局部边缘概率密度函数。6根据全局融合系数、区域融合系数、局部融合系数,采用取平均的融合规则进行融合,最终融合的高频系数如下:本发明的有益效果:1.本发明采用基于非下采样剪切波域的图像融合方法,相比LP、DWT、CVT、NSCT等工具,非下采样剪切波具有平移不变特性,避免了伪吉布斯现象的发生,且不限制剪切图像方向的数量。2.本发明的图像融合方法对低频子带系数,采用基于平均梯度取大的融合规则,能有效提高图像的对比度,提高视觉效果;对于高频方向子带系数,采用全局-区域-局部融合规则的融合规则,可以更全面地提取图像中的纹理信息,避免丢失有用信息、引入错误信息,从而增加图像的可观性。附图说明图1是本发明基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法的流程图。图2是本发明非采样剪切波高频系数的相关性示意图。其中:X代表当前系数,其与上下文变量和隐状态有关;当前系数的上下文变量包含NA、NB、CX、PX,隐状态分为0或1。图3是本发明区域分割的过程图。图4是本发明两组图像的区域分割结果图,其中a是待分割的红外图像;b是待分割的可见光图像;c是待分割的MRI图像;d是待分割的CT图像;e是可见光图像的分割结果;f红外图像的分割结果;g是MRI图像的分割结果;h是CT图像的分割结果。图5是仿真实验的红外及可见光图像,其中,a是本发明一个实施例的待融合红外图像。b是本发明一个实施例的待融合可见光图像。c-i是本发明一个实施例的融合结果示意图。图中:c基于LP的融合图像;d基于DWT的融合图像;e基于GFF的融合图像;f基于EGGDD的融合图像;g基于Neuro-fuzzy的融合图像;h基于DC的融合图像;i本发明方法的融合图像。具体实施方式下面对本发明的一个实施例红外与可见光图像结合附图作详细说明,本实施例在以本发明技术方案为前提下进行,如图1所示,详细的实施方式和具体的操作步骤如下:步骤1,对待融合的两个图像进行非下采样剪切波变换,得到相应的高频子带系数和低频子带系数其中方向分解参数设为4,8,即其分解尺度为2。其中k表示高频方向分解尺度,l表示高频的方向子带,k0表示最粗糙尺度,A、B分别代表源图像;步骤2,对高、低频子带系数分别采用不同的融合规则进行融合,得到融合后的高、低频子带系数;1采用基于平均梯度取大的融合规则对低频子带系数进行融合:1.1计算低频系数在9×9邻域内的平均梯度:其中,W1×W2代表窗口大小,在本实施方式中,W1=W2=9。1.2确定融合图像的低频子带系数:2采用全局-区域-局部的融合规则对高频子带系数进行融合;2.1在非下采样剪切波域构建全局-区域-局部的上下文隐马尔可夫模型Global-Region-LocalCHMM来捕获系数之间的相关性,并分别提取全局CHMM、区域CHMM以及局部CHMM的统计特征边缘概率密度函数EdgePDF;1每个系数都与一个上下文变量context和一个隐藏状态mm=0或1有关。其中系数的上下文包括8个最近邻系数,用NA和NB表示,父系数,用PX表示,两个表兄弟系数,用CX1和CX2表示,如图2。所以非下采样剪切波系数的上下文构造如下:其中,ω0,ω1,ω2,ω3分别表示直接邻域系数NA,间接邻域系数NB,父系数PX,表兄弟系数CX的权重系数,t表示邻域系数的个数。通过对多组经验值比较,本实施例中权值因子最终选取ω0=0.8、ω1=0.6、ω2=0.2、ω3=0.4然后根据上下文的构造计算得到上下文变量取值:其中,EN,EP,EC1,EC2分别表示当前子带、父子带、兄弟子带的平均能量。2建立全局CHMM模型;首先,建立一个高频子带的全局CHMM,即G-CHMM。G-CHMM将两状态的高斯混合分布GMM和CHMM结合,得到高频子带的统计模型。G-CHMM的边缘概率密度函数EdgePDF为:其中,G表示在子带全局建模,θG表示全局参数的集合。Ck,l表示在第k层的l方向上的一个全局NSST子带。Sk,l表示全局子带的隐藏状态变量,表示隐藏状态m的概率,表示在已知Ck,l的情况下状态为m的概率,表示均值为0和方差为的高斯条件概率密度函数;v表示已知上下文变量。在G-CHMM中,采用期望最大化EM算法来训练全局参数,具体步骤如下:1设置初始参数其中,表示已知的噪声方差和表示在k层l方向上全局子带的平均能量。2计算期望E根据贝叶斯理论,计算Ck,l在状态为m时的概率3M最大化全局子带的参数和计算如下其中Mk,l和Nk,l分别表示第k层l方向的全局子带的行数和列数。当步骤3中的参数收敛于先前的参数值,或者迭代次数达到预先设定的限制值时,迭代结束。否则,返回步骤2并继续进行迭代。3建立区域CHMM模型;区域CHMM,即R-CHMM是一种用于分析区域内NSST系数统计特征的统计模型。R-CHMM通过提取一个区域的统计特征来获得更准确的图像表示。因此,提出一个基于区域的CHMM。在R-CHMM中,使用G-CHMM训练得到的参数作为R-CHMM的初始参数,以便训练得到更精确的区域参数。因此,本发明提出了一种新的G-CHMM指导R-CHMM参数训练的方法。R-CHMM的构建步骤如下:a区域分割区域分割包括两个部分:一个是特征提取,另一个是利用FCM进行区域分割。区域分割的过程如图3所示。具体过程如下:首先对源图像A和B进行区域分割,在第一层分解得到四个方向的高频子带HAj1,HBj11≤j1≤4,第二层分解得到八个方向的高频子带HAj2,HBj21≤j2≤8。将A,B,HAj1,HBj1,HAj2andHBj2划分成小窗口Ai,Bi,num表示窗口的个数。从空间域和变换域提取窗口的特征。然后,利用从源图像提取的特征之间的差异来确定特征向量。空间域的特征有方差and,平均梯度and和均值and。变换域的特征有平均能量and和平均上下文and。特征向量是在特征的差异空间中构造的:每个特性向量包含15个特点:其中,是最终的特征向量。设c代表簇的个数,代表特征向量。考虑到FCM是一种软聚类算法,在图像分割中得到了广泛的应用,我们用FCM来分割特征向量第r类特征向量的隶属度函数用uriuri∈[0,1],1≤r≤c,1≤i≤num表示。当uri>ur′ir,r′=1,2,…c,r≠r′时,属于r类,且被划分成c个群组。所以,得到区域R={R1,R2,…,Rr,…Rc}。最后,将区域R映射到源图像A和B中,构建R-CHMM。其中,以两组图像为例显示区域分割的结果,如图4所示。b区域CHMM区域CHMM是对同一区域的NSST系数构建R-CHMM模型。将G-CHMM的训练参数作为R-CHMM的初始参数。R-CHMM的边缘概率密度函数EdgePDF计算如下:其中,Ck,l,r表示区域r中第k层l方向的NSST系数,表示在已知上下文变量v的情况下状态为m的概率。θR表示区域参数的集合。表示在已知状态m的情况下上下文v的概率。R-CHMM的训练过程如下:1设置初始参数G-CHMM训练得到的参数和σ2k,l,m作为R-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率,其计算过程如下:其中,R表示区域r的大小。Ck,l,r表示区域r中k层l方向的NSST系数。表示状态为m的概率,表示方差。2计算期望E:计算每个区域r中NSST系数的概率如下:3最大化M检查步骤3中参数的收敛性。当它们收敛于先前的参数值,或者迭代数达到预设的限制值时,则停止模型训练。否则,继续迭代。4建立局部CHMM模型;本发明构造了一个局部的CHMM,即L-CHMM来提取局部统计特征,从而能够准确地反映出当前系数的特性。R-CHMM的训练参数作为L-CHMM的初始参数,因为它可以使L-CHMM参数的计算更准确。因此,本发明中提出了R-CHMM引导L-CHMM的参数训练的方法。局部模型的边缘概率密度函数EdgePDF如下:Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数。ΘL表示局部参数的集合。L-CHMM的训练过程如下:1设置初始参数R-CHMM训练得到的参数和σ2k,l,r,m作为L-CHMM的初始参数。表示在已知状态m的情况下上下文v的概率,其计算过程如下:该步的计算在以NSST系数为中心大小为2W+1-2W+1的局部窗口中进行,此处W=1,W表示窗体尺寸参数,其中,p,q分别表示局部窗口内系数的横纵坐标;Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数。表示状态为m的概率,参数和由R-CHMM训练的参数和σ2k,l,r,m得到。表示方差。2计算期望E:计算局部NSST系数的概率如下:3最大化M:该步的计算过程在一个2W+1-2W+1的窗口中进行此处W=1。如果步骤3中的参数收敛于先前的迭代,或者迭代数达到预设的限制Nc2,那么停止模型训练的过程。否则,返回步骤2并进行迭代。其中,优化的期望最大化EM算法分初始化和迭代训练两步来估计模型参数,其中EM训练算法中由粗糙到精细各尺度对应的局部窗口大小依次设为5×5、7×7,迭代次数分别设为30次和10次。2.2对2.1中提取的三个层次的统计特征分别设计全局融合规则、区域融合规则、局部融合规则,通过取平均的融合方案得到融合的高频子带系数,具体如下:1信息熵通常反映信息量的多少,所以本章使用全局信息熵来提取全局信息,全局信息熵的计算公式如下:其中,I=A或B,PIk,lx,y表示高频系数的全局边缘概率密度函数。2全局融合系数计算公式如下:3KLDKullback–Leiblerdivergence反映了高频系数和高频系数之间的差异性,KLD具有不对称性。KLD的计算公式如下:其中,和表示高频系数的区域边缘概率密度函数。4区域融合系数计算公式如下:5局部融合系数计算公式如下:其中,和表示局部边缘概率密度函数的区域能量,其计算公式如下:其中,W1=W2=3,PIk,lx,y,I=A或B表示局部边缘概率密度函数。6根据全局融合系数、区域融合系数、局部融合系数,我们采用取平均的融合规则进行融合,最终融合的高频系数如下:步骤3,对融合后的高、低频系数进行非采样剪切波逆变换获得最终的融合图像。仿真实验为了验证本发明的可行性和有效性,采用红外与可见光图像,大小为256×256,如图5中的a和b所示,根据本发明方法进行融合实验。综上所述,通过图5的融合结果比较可以看出:本发明方法所得的融合图像都更好地保持了待融合图像中的有价值的信息,避免了错误信息的引入,清晰度、对比度更高,主观效果最好,所以本发明方法所得的融合结果更理想。表1给出了采用各种融合方法所得融合结果的客观评价指标。其中,数据加粗表明对应的多模态医学图像融合方法所得评价指标取值最优。表1基于各种融合方法的融合性能比较融合方法ENAGMISSIMEILP6.48896.85202.32270.509161.3410DWT6.32137.52862.01110.548662.9137GFF6.54015.98571.93640.509955.0511EGGDD6.42904.69561.93990.511643.4519Neuro-fuzzy6.69716.10513.07920.510856.8024DC6.02806.18871.31530.445759.8473Proposed6.87916.58743.17020.568564.1302表1中通过熵、清晰度、互信息、结构相似性、边缘强度来衡量融合图像的质量,进而验证本发明融合方法的可行性和有效性。上表中融合方法一为基于LP的融合方法,融合方法二为基于DWT的融合方法,融合方法三为基于GFF融合方法,融合方法四为基于EGGDD的融合方法,融合方法五为基于Neuro-fuzzy的融合方法,融合方法六为基于DC的融合方法。由表1数据可知,本发明方法所获得的融合图像在熵、互信息、结构相似性、边缘强度等客观评价指标上要优于其它融合方法。熵值反映了图像携带信息量的多少,熵值越大,说明包含的信息量越多,融合效果越好;清晰度反映图像对微小细节反差表达的能力,清晰度越高则图像融合效果越好;边缘强度用于衡量图像边缘细节的丰富程度,其值越大,则融合图像的边缘越清晰,效果越好;而互信息是衡量两幅灰度图像中灰度分布的相关性,取值越大图像融合效果越好。结构相似性反映了源图像与融合图像之间的结构相似性,衡量有多少边缘信息从源图像转移到了融合图像,其值越大,融合效果越好。

权利要求:1.一种基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法,其特征在于,包括以下步骤:1对待融合的两个图像进行非下采样剪切波变换,得到相应的高频子带系数和低频子带系数;2对高、低频子带系数分别采用不同的融合规则进行融合,得到融合后的高、低频系数;2.1采用基于平均梯度取大的融合规则对低频子带系数进行融合,得到低频系数;2.2采用基于全局-区域-局部的融合规则对高频子带系数进行融合,得到高频系数;a在非下采样剪切波域构建全局-区域-局部的上下文隐马尔可夫模型,来捕获系数之间的相关性,并分别提取全局CHMM、区域CHMM以及局部CHMM的统计特征边缘概率密度函数EdgePDF;b对a中提取的三个层次的统计特征分别设计全局融合规则、区域融合规则、局部融合规则,通过取平均的融合方案得到融合的高频子带系数;3对步骤2所得的融合后的高、低频系数进行非下采样剪切波逆变换获得最终的融合图像。2.根据权利要求1所述的图像融合方法,其特征在于,步骤1所述对待融合的两个图像进行非下采样剪切波变换,得到相应的高频子带系数和低频子带系数其中k表示分解尺度,l表示高频的方向子带,k0表示最粗糙尺度,A、B分别代表源图像。3.根据权利要求1或2所述的图像融合方法,其特征在于,步骤2.1所述基于平均梯度取大的融合规则,具体如下:a计算低频系数在W1×W2邻域内的平均梯度:其中,表示k0尺度位置x,y处的低频系数,I表示源图像A或B,W1×W2表示窗口大小;b确定融合图像的低频子带系数;步骤2.2中的步骤a具体如下:1每个系数都与一个上下文变量context和一个隐藏状态m有关,m=0或1;其中系数的上下文包括8个最近邻系数,用NA和NB表示,父系数用PX表示,两个表兄弟系数用CX1和CX2表示;所以非下采样剪切波系数的上下文构造如下:其中,ω0,ω1,ω2,ω3分别表示直接邻域系数NA,间接邻域系数NB,父系数PX,表兄弟系数CX的权重系数;t表示邻域系数的个数;然后根据上下文的构造计算得到上下文变量取值:其中,EN,EP,EC1,EC2分别表示当前子带、父子带、兄弟子带的平均能量;2建立全局CHMM模型;首先,建立一个高频子带的全局CHMM,即G-CHMM;G-CHMM将两状态的高斯混合分布GMM和CHMM结合,得到高频子带的统计模型;G-CHMM的边缘概率密度函数为:其中,G表示在子带全局建模,θG表示全局参数的集合;Ck,l表示在第k层的l方向上的一个全局NSST子带;Sk,l表示全局子带的隐藏状态变量,表示隐藏状态m的概率,表示在已知Ck,l的情况下状态为m的概率,表示均值为0和方差为的高斯条件概率密度函数;v表示已知上下文变量;在G-CHMM中,采用期望最大化EM算法来训练全局参数,具体步骤如下:1设置初始参数其中,表示已知的噪声方差和表示在k层l方向上全局子带的平均能量;2计算期望E根据贝叶斯理论,计算Ck,l在状态为m时的概率3M最大化全局子带的参数和计算如下其中,Mk,l和Nk,l分别表示第k层l方向的全局子带的行数和列数;当步骤3中的参数收敛于先前的参数值,或者迭代次数达到预先设定的限制值时,迭代结束;否则,返回步骤2并继续进行迭代;3建立区域CHMM模型,即R-CHMMR-CHMM的构建步骤如下:a区域分割区域分割包括两个部分:一个是特征提取,另一个是利用FCM进行区域分割;具体过程如下:首先对源图像A和B进行区域分割,在第一层分解得到四个方向的高频子带HAj1,HBj1,1≤j1≤4;第二层分解得到八个方向的高频子带HAj2,HBj2,1≤j2≤8;将A,B,HAj1,HBj1,HAj2andHBj2划分成小窗口Ai,Bi,1≤i≤num,num表示窗口的个数;从空间域和变换域提取窗口的特征;然后,利用从源图像提取的特征之间的差异来确定特征向量;空间域的特征有方差and平均梯度and和均值变换域的特征有平均能量和平均上下文特征向量是在特征的差异空间中构造的:每个特性向量包含15个特点:其中,是最终的特征向量;设c代表簇的个数,代表特征向量;用FCM来分割特征向量第r类特征向量的隶属度函数用uri,uri∈[0,1],1≤r≤c,1≤i≤num表示;当uri>ur′i,r,r′=1,2,…c,r≠r′时,属于r类,且被划分成c个群组;所以,得到区域R={R1,R2,…,Rr,…Rc};最后,将区域R映射到源图像A和B中,构建R-CHMM;其中,以两组图像为例显示区域分割的结果;b区域CHMM区域CHMM是对同一区域的NSST系数构建R-CHMM模型;将G-CHMM的训练参数作为R-CHMM的初始参数;R-CHMM的边缘概率密度函数计算如下:其中,Ck,l,r表示区域r中第k层l方向的NSST系数,表示在已知上下文变量v的情况下状态为m的概率;θR表示区域参数的集合;表示在已知状态m的情况下上下文v的概率;R-CHMM的训练过程如下:1设置初始参数G-CHMM训练得到的参数和σ2k,l,m作为R-CHMM的初始参数;表示在已知状态m的情况下上下文v的概率,其计算过程如下:其中,R表示区域r的大小;Ck,l,r表示区域r中k层l方向的NSST系数;表示状态为m的概率,表示方差;2计算期望E:计算每个区域r中NSST系数的概率如下:3最大化M检查步骤3中参数的收敛性;当它们收敛于先前的参数值,或者迭代数达到预设的限制值时,则停止模型训练;否则,继续迭代;4建立局部CHMM模型,即L-CHMM;R-CHMM的训练参数作为L-CHMM的初始参数,局部模型的边缘概率密度函数如下:Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数;Θl表示局部参数的集合;L-CHMM的训练过程如下:1设置初始参数R-CHMM训练得到的参数和σ2k,l,r,m作为L-CHMM的初始参数;表示在已知状态m的情况下上下文v的概率,其计算过程如下:该步的计算在以NSST系数为中心大小为2W+1-2W+1的局部窗口中进行,此处W=1,W表示窗体尺寸参数;其中,p,q分别表示局部窗口内系数的横纵坐标;Ck,l,x,y表示k层l方向空间位置为x,y的NSST系数;表示状态为m的概率,参数和由R-CHMM训练的参数和σ2k,l,r,m得到;表示方差;2计算期望E:计算局部NSST系数的概率如下:3最大化M:该步的计算过程在一个2W+1-2W+1的窗口中进行,此处W=1;当步骤3中的参数收敛于先前的迭代,或者迭代数达到预设的限制Nc2时,那么停止模型训练的过程;否则,返回步骤2并进行迭代;步骤2.2中的步骤b具体如下:1使用全局信息熵来提取全局信息,全局信息熵的计算公式如下:其中,I=A或B,表示高频系数的全局边缘概率密度函数;2全局融合系数计算公式如下:3KLD反映了高频系数和高频系数之间的差异性,KLD具有不对称性;KLD的计算公式如下:其中,和表示高频系数的区域边缘概率密度函数;4区域融合系数计算公式如下:5局部融合系数计算公式如下:其中,和表示局部边缘概率密度函数的区域能量,其计算公式如下:其中,W1=W2,I=A或B,表示局部边缘概率密度函数;6根据全局融合系数、区域融合系数、局部融合系数,采用取平均的融合规则进行融合,最终融合的高频系数如下:

百度查询: 江南大学 基于非下采样剪切波和全局-区域-局部融合规则的图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

-相关技术