申请/专利权人：厦门大学

申请日：2019-04-01

公开（公告）日：2021-01-19

公开（公告）号：CN110276736B

主分类号：G06T5/50(20060101)

分类号：G06T5/50(20060101);G06T5/00(20060101)

优先权：

专利状态码：失效-未缴年费专利权终止

法律状态：2023.03.17#未缴年费专利权终止;2019.10.22#实质审查的生效;2019.09.24#公开

摘要：本发明提供一种基于权值预测网络的磁共振图像融合方法，首先设计去伪影网络，对输入的多模态图像进行伪影辨识和抑制；其次构造权值预测网络，生成不同对比度图像的融合权值预测图，细节丰富的区域赋予较高的权重；最后建立融合网络，输入经过伪影抑制的图像与其对应的权值预测图，获得兼具各模态对比度优势的合成图像。本发明通过对磁共振图像进行伪影预处理，有效提高图像融合的适用性；通过整合不同对比度图像的优势，能够更全面准确的描述生物组织结构。与传统方法相比，不需要设计繁琐的特征提取，具有显著的抗伪影能力，融合效果优良，有助于以图像为引导的医学诊断和治疗。

主权项：1.一种基于权值预测网络的磁共振图像融合方法，其特征在于，包括以下步骤：1使用去伪影网络对幅值图和场图两种模态的磁共振图像进行伪影抑制；2将经过伪影抑制的图像输入到权值预测网络中得到粗略权值预测图；3对粗略权值预测图进行后处理得到权值预测图；4将经过伪影抑制的图像与权值预测图输入到融合网络进行融合；在步骤2中，首先在相同位置分别将幅值图和场图切成相同尺寸的块，计算两个块平均梯度的差值Δ，将切出的两个块作为一组数据，统计所有组数据的平均梯度差值后，再计算差值分布的标准差σ，并使用以下方式将每组数据进行分类： 最后将切出的块作为训练集，每组数据的类别作为标签以训练权值预测网络。

全文数据：一种基于权值预测网络的磁共振图像融合方法技术领域本发明涉及磁共振图像处理技术领域，尤其是涉及一种基于权值预测网络的磁共振图像融合方法。背景技术随着传感器和计算机技术的快速发展，医学成像已成为包括诊断，治疗计划和手术导航在内的各种临床应用中不可替代的组成部分。由于成像机制的不同，具有不同模态的医学图像关注不同类别的器官组织信息。为了向临床医生提供足够的信息，通常需要使用多种模态的医学图像，诸如X射线，计算机断层扫描CT，磁共振MR，正电子发射断层扫描PET，单光子发射计算机断层扫描SPECT等。在医学图像领域，磁共振成像MRI是头颈部软组织病变的最佳影像学检查方法，特别地，磁共振成像有很多不同的成像模态。因此，它不仅是常规的、重要的临床诊断工具，而且已被广泛地应用于神经、精神疾病以及认知神经科学等科研领域。多模态MRI在临床诊治和研究方面也起着重要的不可替代的作用。多模态MRI不仅能显示结构和病变的形态学特点，而且可全面反映血流灌注、血液动力学、代谢情况和水分子改变等功能代谢信息，在全身疾病的诊断疗效评价预测和发生机制研究中发挥着越来越重要的作用。随着深度神经网络的提出，深度学习在特征学习上的优势逐渐为人们所熟知。深度学习解决了以往进行特征提取时需要手工设计提取规则的问题，相较于传统的特征提取方法，利用深度学习得到的低维抽象特征性能良好，具有深度结构的神经网络还可以有效的揭示数据之间的隐藏内在结构，从而抽取出对于任务有用的高层抽象特征。卷积神经网络是各种深度神经网络应用最广泛的一种，近年来各种经过改进的网络被不断提出。2015年何恺明等人提出残差学习[1]的框架比较好的解决了神经网络的退化问题，将网络层数推广到前所未有的规模。2017年GaoHuang等人提出密集连接网络[2]将每一层都接受前面所有层的输出，缓解梯度消失问题，加强特征传播，使用特征复用来减少计算量。经过良好设计的网络结构在多种图像处理任务中已经取得了优良的效果，因此图像融合与卷积神经网络的结合展现出广阔的研究前景。多模态医学图像融合是将单个或多个成像模式中的多个图像进行融合，其目的是对同一组织结构产生更全面、准确的描述，促进以图像为引导的医学诊断和治疗。多模态医学图像融合方法涉及到图像处理、计算机视觉、模式认知、机器学习和人工智能等多个领域，具有广泛的应用前景。目前已经有不少传统图像处理方法[3-6]实现多模态医学图像融合，也有方法[7-9]将多模态医学图像融合与脉冲耦合神经网络结合，取得了不错的效果。但是这些方法都存在流程复杂，需要人工设计特征提取规则等缺点。2017年刘羽等人提出了基于卷积神经网络的医学图像融合[10]，但其也使用了传统的图像处理方法，并且其训练数据来源于自然图像。在其他图像融合领域，2017年刘羽等人提出了基于卷积神经网络的多聚焦图像融合[11]。2018年MaJiayi等人提出了基于生成对抗神经网络的红外与可见光图像融合[12]。上述融合方法在融合时均没有考虑图像中可能存在伪影这一问题，目前还没有出现基于深度学习的多模态MRI的融合方法。参考文献：[1]HeK,ZhangX,RenS,etal.DeepResidualLearningforImageRecognition[J].2015.[2]HuangG,LiuZ,MaatenLVD,etal.DenselyConnectedConvolutionalNetworks[J].2017.[3]DuJ,LiW,XiaoB,etal.UnionLaplacianpyramidwithmultiplefeaturesformedicalimagefusion[J].Neurocomputing,2016,194:326-339.[4]XuZ.Medicalimagefusionusingmulti-levellocalextrema[J].InformationFusion,2014,19:38-48.[5]LiS,KangX,HuJ.ImageFusionWithGuidedFiltering[J].IEEETransactionsonImageProcessing,2013,227:2864-2875.[6]LiuY,LiuS,WangZ.Ageneralframeworkforimagefusionbasedonmulti-scaletransformandsparserepresentation[J].InformationFusion,2015,24:147-164.[7]YinM,LiuX,LiuY,etal.MedicalImageFusionWithParameter-AdaptivePulseCoupledNeuralNetworkinNonsubsampledShearletTransformDomain[J].IEEETransactionsonInstrumentationandMeasurement,201899:1-16.[8]XiaoboQ,JingwenY,HongzhiX,etal.Imagefusionalgorithmbasedonspatialfrequency-motivatedpulsecoupledneuralnetworksinnonsubsampledcontourlettransformdomain[J].ActaAutomaticaSinica,2008,3412:1508-1514.[9]DasS,KunduMK.Aneuro-fuzzyapproachformedicalimagefusion[J].IEEEtransactionsonbiomedicalengineering,2013,6012:3347-3353.[10]LiuY,ChenX,ChengJ,etal.Amedicalimagefusionmethodbasedonconvolutionalneuralnetworks[C]20thIEEEInternationalConferenceonInformationFusionFusion.2017.[11]LiuY,ChenX,PengH,etal.Multi-focusimagefusionwithadeepconvolutionalneuralnetwork[J].InformationFusion,2017,36:191-207.[12]JiayiM,WeiY,PengweiL,etal.FusionGAN:Agenerativeadversarialnetworkforinfraredandvisibleimagefusion[J].InformationFusion,2018:S1566253518301143-.[13]SimonyanK,ZissermanA.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition[J].ComputerScience,2014.发明内容本发明在于克服现有技术的不足，提供一种能得到良好融合效果，基于权值预测网络的磁共振图像融合方法。本发明采用如下技术方案：一种基于权值预测网络的磁共振图像融合方法，包括如下步骤：1使用去伪影网络对T2加权图幅值图和场图两种模态的磁共振图像进行伪影抑制；2将经过伪影抑制的图像输入到权值预测网络中得到粗略权值预测图；3对粗略权值预测图进行后处理得到权值预测图；4将经过伪影抑制的图像与权值预测图输入到融合网络进行融合。在步骤1中，考虑到实际获得的磁共振图像通常都含有一定伪影，在融合之前本发明使用去伪影网络对图像进行伪影抑制。本发明将含有模拟伪影的数据和无伪影的数据均作为训练集，无伪影的数据作为标签来训练去伪影网络，这样可以使去伪影网络对有伪影、无伪影的数据均有较好的鲁棒性，所述模拟伪影可根据实际情况进行模拟。所述去伪影网络模型为U-Net；U-Net为编码器-解码器结构，编码器共使用3次最大池化实现下采样，在此过程中编码器可以提取不同尺度的图像特征。解码器使用反卷积进行上采样，每上采样一次就与编码器中尺度相同的特征图在通道维度上进行拼接，这种方式可以使解码器充分利用编码器提取的多尺度特征从而实现更好的去伪影效果。网络中卷积层的卷积核大小均为3×3，每层卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数，网络输入直接加到输出层以进行残差学习。训练去伪影网络时损失函数为均方误差，采用反向传播算法调整网络参数，直至损失函数下降至收敛。在步骤2中，获取所述权值预测网络的训练数据需要对无伪影的幅值图和场图进行切块处理并分类；首先在相同位置分别将幅值图和场图切成相同尺寸的块，计算两个块平均梯度的差值Δ，将切出的两个块视为一组数据，统计所有组数据的平均梯度差值后，观察到梯度差值的分布近似于均值为0的高斯分布，因此为保证每类数据都有足够的训练数量，并且类间差足够大，根据差值分布的方差σ将所有组数据分为5类：最后将切出的块作为训练集，每组数据的类别作为标签，用于训练权值预测网络，权值预测网络会对两个块的梯度差值进行判别。所述权值预测网络模型为残差网络；权值预测网络本质上是一个分类网络，鉴于深层残差网络在图像分类问题上优异表现，本发明使用堆叠残差块的方式构造权值预测网络。权值预测网络共堆叠6个残差模块，每个残差模块中含有3个卷积层，分别实现降维、特征提取、升维，这样的设计使残差网络参数更少，更易训练。在第3个与第4个残差模块中间使用一个最大池化层，同时卷积核的数量翻倍。每个卷积层后均连接批归一化层及激活函数RELU，在网络最后连接3个全连接层来整合全局信息并分类，softmax层作为网络的输出。训练权值预测网络时损失函数为交叉熵，采用反向传播算法调整网络参数，直至损失函数下降至收敛。在步骤2中，所述得到粗略权值预测图的方法为：在测试时先将幅值图和场图输入到去伪影网络进行伪影抑制后，再输入到训练好的权值预测网络可得到粗略权值预测图，其尺寸为：其中，Sori为原始图像的尺寸，Spat为切块尺寸。在步骤3中，所述后处理为：首先根据粗略权值预测图中每个像素点的分类结果赋予融合权值，5种分类结果分别赋值0、0.25、0.5、0.75、1，然后将粗略权值预测图中每个像素的值填充到尺寸为Spat的块中，像素间步长为2，重叠部分取平均可得到与原始图像尺寸相同的权值预测图。权值预测图像素的幅值范围在[0,1]之间且分布平滑，反映了该像素附近幅值图和场图的梯度比重，两者梯度较大的区域在融合时将被赋予较大的融合权值。在步骤4中，所述融合网络模型为多尺度、多监督、模块化的网络；由于密集连接模块具有参数少，特征传播能力强等优点，因此融合网络由5个分辨率逐步减半的密集连接模块组成。首先将幅值图、场图和权值预测图进行4次下采样，下采样的分辨率分别对应于前4个模块的工作分辨率。除了第一个模块只输入经过下采样的幅值图、场图和权值预测图外，其他模块均输入对应分辨率的幅值图、场图、权值预测图以及上一个模块经过上采样的输出。融合网络首先使用工作在低分辨率的模块进行图像融合，然后使用其他分辨率的模块逐步提高融合图像的分辨率，不断的细化融合图像中的纹理。网络中间模块使用跳跃连接将上一个模块的输出加到该模块的输出上来实现残差学习，每个模块都可单独训练从而确保该分辨率下的融合效果。每个密集连接模块含有8个卷积层，每个卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数。使用去伪影网络的输出结果及对应权值预测图作为融合网络的训练集，每次只训练融合网络的一个模块，对于最后一个模块之前的模块，均使用如下损失函数：其中，X、M、F、W分别表示模块输出、幅值图、场图、权值图；N为像素个数；·表示哈达玛乘。训练最后一个模块时，为了取得更好的视觉效果，首先将模块输出、幅值图和场图分别输入到训练好的vgg16网络[13]中提取不同层次的特征，然后使用如下损失函数，将幅值图和场图不同层次的特征均进行融合：其中，Xl、Ml、Fl分别代表模块输出、幅值图和场图在vgg16第l层的特征图，Wl为权值图W经过尺寸变换后的图像，其长度和宽度与vgg16第l层特征图的长度和宽度相同，Nl为第l层特征图的像素数，wl为第l层的权重。与现有技术相比，本发明的有益效果如下：本发明在融合之前先使用去伪影网络进行伪影抑制更符合磁共振图像通常含有伪影的实际情况。针对磁共振图像细节丰富的特点，设计权值预测网络对幅值图和场图一定区域内的梯度进行判别，对于细节丰富的区域赋予较大的融合权值，无需设计繁琐的特征提取规则。对粗略权值预测图进行填块取平均的后处理使权值预测图更加平滑，从而使最后的融合结果中的过渡部分更加平滑。设计多尺度、多监督、模块化的融合网络，使用权值预测图指导融合网络进行融合。融合网络的工作分辨率逐渐上升，不断的细化融合图像中的纹理，在融合网络的最后一个模块还将幅值图和场图不同层次的特征进行融合，取得了良好的视觉效果。附图说明图1为本发明方法流程图；图2为去伪影网络的网络结构图；去伪影网络共有21个卷积层，先进行3次下采样再进行3次上采样，使用3个跳跃连接，卷积层下方的数字为输出通道数，上方数字为图像尺寸，网络输入与网络输出相加以进行残差学习；图3为去伪影网络的效果图；output图中的数字标明了该图与标签的SSIM与PSNR值；针对两幅图像均不含有伪影，幅值图含有伪影，场图含有伪影，两者均不含伪影这4种情况，去伪影网络均得到了良好的结果；图4为权值预测网络与融合网络的网络结构图；在图4中，卷积层内数字分别代表卷积核大小和输出通道数，图a是权值预测网络中残差模块与融合网络中密集连接模块的结构，图b是权值预测网络的具体结构，图c是融合网络的具体结构；图5为输入含伪影幅值图和场图时本发明与其他方法融合效果对比；LP[3]、LE[4]、GF[5]、MST-SR[6]、PA-PCNN[7]、SF-PCNN[8]、RPCNN[9]方法在融合时均将伪影带入到融合结果中，本发明抑制了输入图像中的伪影，并且保留了更多信息到融合结果中；图6为输入经过伪影抑制的幅值图和场图时本发明与其他方法融合效果对比；图a是融合结果的主观对比，本发明的融合结果仍然含有更多的纹理；图b是使用40幅图像进行融合的客观评价指标对比，本发明在边缘强度EI、标准差SD、空间频率SF、结构相似度SSIM、视觉保真度VIFF上取得了有竞争力的结果。具体实施方式本发明具体实施例使用T2加权图幅值图和场图两种模态的磁共振图像，先对图像进行伪影抑制再进行融合。参见图1所示，本发明提供一种基于权值预测网络的磁共振图像融合方法，具体步骤如下：S101，使用去伪影网络对T2加权图幅值图和场图两种模态的磁共振图像进行伪影抑制。使用多回波GRE序列采集尺寸为224×224的人脑幅值图及对应相位图，对相位图进行相位解缠绕及去除背景场后得到含有丰富细节信息的场图，幅值图与其对应场图构成一组图像，经过数据扩容后共得到18000组图像，其中17500组用于训练，500组用于测试，图像幅值被归一化到[-1,1]，并且可以认定为无伪影的图像。考虑到磁共振图像通常含有一定伪影，在融合之前本发明使用去伪影网络对图像进行伪影抑制。本发明将含有模拟伪影的数据和无伪影的数据均作为训练集，无伪影的数据作为标签来训练去伪影网络，这样可以使去伪影网络对有伪影、无伪影的数据均有较好的鲁棒性，所述模拟伪影可根据实际情况进行模拟。在这里通过傅里叶变换将所有18000组图像转换到k空间中，在频率编码方向，保留k空间中心100条，循环移位其他124条-2到2个像素来模拟伪影。所述去伪影网络模型如图2所示；去伪影网络为编码器-解码器结构，编码器共使用3次最大池化实现下采样，在此过程中编码器可以提取不同尺度的图像特征。解码器使用反卷积进行上采样，每上采样一次就与编码器中尺度相同的特征图在通道维度上进行拼接，这种方式可以使解码器充分利用编码器提取的多尺度特征从而实现更好的去伪影效果。网络中卷积层的卷积核大小均为3×3，每层卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数，网络输入直接加到输出层以进行残差学习。所述去伪影网络的训练方法为：在训练去伪影网络时每次输入8组图像，分别对应于两幅图像均不含有伪影，只有幅值图含有伪影，只有场图含有伪影，两者均含伪影这4种情况各2组。所用图像来自于训练数据集中17500组无伪影图像与17500组有模拟伪影图像，对应的无伪影图像作为标签来训练去伪影网络，损失函数使用均方误差，采用反向传播算法调整网络参数，直至损失函数下降至收敛，去伪影网络对这4种情况的去伪影效果如图3所示。S102，将经过伪影抑制的图像输入到权值预测网络中得到粗略权值预测图。为获取所述权值预测网络的训练数据，首先需要在相同位置分别将无伪影的幅值图和场图切成尺寸为14×14的块，将切出的两个块视为一组数据，切块的总数为50万组。统计所有组数据的平均梯度差值后，观察到梯度差值的分布近似于均值为0的高斯分布，因此为保证每类数据都有足够的训练数量，并且类间差足够大，根据差值分布的方差σ将所有组数据分为5类：最后将切出的块作为训练集，每组数据的类别作为标签，用于训练权值预测网络，权值预测网络会对两个块的梯度差值进行判别。。所述权值预测网络模型如图4b所示；权值预测网络本质上是一个分类网络，鉴于深层残差网络在图像分类问题上优异表现，本发明使用堆叠残差块的方式构造权值预测网络。权值预测网络共堆叠6个残差模块，每个残差模块中含有3个卷积层，分别实现降维、特征提取、升维，这样的设计使残差网络参数更少，更易训练。在第3个与第4个残差模块中间使用一个最大池化层，同时卷积核的数量翻倍。每个卷积层后均连接批归一化层及激活函数RELU，在网络最后连接3个全连接层来整合全局信息并分类，softmax层作为网络的输出。所述权值预测网络的训练方法为：将50万组图像块作为训练集，每组数据对应的类别作为标签，使用交叉熵作为损失函数来训练权值预测网络，采用反向传播算法调整网络参数，直至损失函数下降至收敛。在测试时将大小为224×224的幅值图和场图输入到训练好的权值预测网络可得到大小为106×106粗略权值预测图。S103，对粗略权值预测图进行后处理得到权值预测图。所述后处理为：首先根据粗略权值预测图中每个像素点的分类结果赋予融合权值，5种分类结果分别赋值0、0.25、0.5、0.75、1，然后将粗略权值预测图中每个像素的值填充到尺寸为14×14的块中，像素间步长为2，重叠部分取平均可得到尺寸为224×224的权值预测图。权值预测图像素的幅值范围在[0,1]之间且分布平滑，反映了该像素附近幅值图和场图的梯度比重，两者梯度较大的区域在融合时将被赋予较大的融合权值。S104，将经过伪影抑制的图像与权值预测图输入到融合网络进行融合。所述融合网络模型如图4c所示；融合网络为多尺度、多监督、模块化的网络，由于密集连接模块具有参数少，特征传播能力强等优点，因此融合网络由5个分辨率逐步减半的密集连接模块组成。首先将幅值图、场图和权值预测图进行4次下采样，下采样的分辨率分别对应于前4个模块的工作分辨率。除了第一个模块只输入经过下采样的幅值图、场图和权值预测图外，其他模块均输入对应分辨率的幅值图、场图、权值预测图以及上一个模块经过上采样的输出。融合网络首先使用工作在低分辨率的模块进行图像融合，然后再使用其他分辨率的模块逐步提高融合图像的分辨率，不断的细化融合图像中的纹理。网络中间模块使用跳跃连接来实现残差学习，每个模块都可单独训练从而确保该分辨率下的融合效果。每个密集连接模块含有8个卷积层，每个卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数。使用去伪影网络的输出结果及对应权值预测图作为融合网络的训练集，每次只训练融合网络的一个模块，对于最后一个模块之前的模块，均使用如下损失函数：其中，X、M、F、W分别表示模块输出、幅值图、场图、权值图；N为像素个数；·表示哈达玛乘。训练最后一个模块时，为了取得更好的视觉效果，首先将模块输出、幅值图和场图分别输入到训练好的vgg16网络[13]中提取不同层次的特征，然后使用如下损失函数，将幅值图和场图不同层次的特征均进行融合：其中，Xl、Ml、Fl分别代表模块输出、幅值图和场图在vgg16第l层的特征图，Wl为权值图W经过尺寸变换后的图像，其长度和宽度与vgg16第l层特征图的长度和宽度相同，Nl为第l层特征图的像素数，wl为第l层的权重。这里使用vgg16网络的conv1_1、conv2_1、conv3_1层，它们的权重分别为0.6、0.2、0.2，对应Wl的尺寸分别为224×224、112×112、56×56。在测试时先将尺寸为224×224的幅值图和场图输入到去伪影网络中得到经过伪影抑制的图像，再输入到权值预测网络中得到尺寸为106×106的粗略权值预测图，对粗略权值预测图使用填块取平均的方式得到尺寸为224×224权值预测图，最后将经过伪影抑制的图像与权值预测图输入到融合网络实现图像融合。当输入含有模拟伪影的图像时本发明与LP[3]、LE[4]、GF[5]、MST-SR[6]、PA-PCNN[7]、SF-PCNN[8]、RPCNN[9]方法的融合结果如图5所示，本发明成果成功抑制了输入图像中的伪影，并且保留了更多信息到融合结果中。图6是当输入经过伪影抑制的图像时本发明与其他方法的结果对比，本发明的融合结果仍然含有更多的纹理，并且在客观评价指标边缘强度EI、标准差SD、空间频率SF、结构相似度SSIM、视觉保真度VIFF上取得了有竞争力的结果。上述实施例仅用来进一步说明本发明的一种基于权值预测网络的磁共振图像融合方法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。

权利要求：1.一种基于权值预测网络的磁共振图像融合方法，其特征在于，包括以下步骤：1使用去伪影网络对幅值图和场图两种模态的磁共振图像进行伪影抑制；2将经过伪影抑制的图像输入到权值预测网络中得到粗略权值预测图；3对粗略权值预测图进行后处理得到权值预测图；4将经过伪影抑制的图像与权值预测图输入到融合网络进行融合。2.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤1中，将含有模拟伪影的数据和无伪影的数据均作为训练集，无伪影的数据作为标签来训练去伪影网络；所述去伪影网络模型为U-Net，编码器共使用3次最大池化实现下采样以编码提取不同尺度的图像特征；解码器使用反卷积进行上采样，每上采样一次就与编码器中尺度相同的特征图在通道维度上进行拼接；去伪影网络中卷积层的卷积核大小均为3×3，每层卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数，网络输入直接加到输出层以进行残差学习；训练去伪影网络时损失函数为均方误差，采用反向传播算法调整网络参数。3.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤2中，首先在相同位置分别将幅值图和场图切成相同尺寸的块，计算两个块平均梯度的差值Δ，将切出的两个块作为一组数据，统计所有组数据的平均梯度差值后，再计算差值分布的方差σ，并使用以下方式将每组数据进行分类：最后将切出的块作为训练集，每组数据的类别作为标签以训练权值预测网络。4.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤2中，所述权值预测网络模型为残差网络；权值预测网络共堆叠6个残差模块，每个残差模块中含有3个卷积层以分别实现降维、特征提取和升维；在第3个与第4个残差模块中间使用一个最大池化层，同时卷积核的数量翻倍；每个卷积层后均连接批归一化层及激活函数RELU，在网络最后连接3个全连接层来整合全局信息并分类，softmax层作为网络的输出；训练权值预测网络时损失函数为交叉熵，采用反向传播算法调整网络参数；在测试时先将幅值图和场图输入到去伪影网络进行伪影抑制后，再输入到训练好的权值预测网络得到粗略权值预测图，其尺寸为：其中，Sori为原始图像的尺寸，Spat为切块尺寸。5.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤3中，所述后处理包括：首先根据粗略权值预测图中每个像素点的分类结果赋予融合权值，5种分类结果分别赋值0、0.25、0.5、0.75和1；然后将粗略权值预测图中每个像素的值填充到尺寸为Spat的块中，像素间步长为2，重叠部分取平均得到与原始图像尺寸相同的权值预测图；权值预测图像素的幅值范围在[0,1]之间且分布平滑。6.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤4中，所述融合网络模型由5个工作在不同分辨率的密集连接模块组成；融合网络首先使用工作在低分辨率的模块进行图像融合，然后再使用其他分辨率的模块；网络中间模块使用跳跃连接以实现残差学习；每个密集连接模块含有8个卷积层，每个卷积层后连接批归一化层及激活函数RELU，输出层后不连接批归一化层和激活函数。7.如权利要求1所述的基于权值预测网络的磁共振图像融合方法，其特征在于，在步骤4中，使用去伪影网络的输出结果及对应权值预测图作为融合网络的训练集，每次只训练融合网络的一个模块，对于最后一个模块之前的模块，均使用如下损失函数：其中，X表示模块输出；M表示幅值图；F表示场图；W表示权值图；N表示像素个数；·表示哈达玛乘；训练最后一个模块时，为了取得更好的视觉效果，首先将模块输出、幅值图和场图分别输入到训练好的vgg16网络中提取不同层次的特征，然后使用如下损失函数，将幅值图和场图不同层次的特征均进行融合：其中，Xl、Ml、Fl分别代表模块输出、幅值图和场图在vgg16第l层的特征图，Wl为权值图W经过尺寸变换后的图像，其长度和宽度与vgg16第l层特征图的长度和宽度相同，Nl为第l层特征图的像素数，wl为第l层的权重。

百度查询： 厦门大学 一种基于权值预测网络的磁共振图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD