申请/专利权人：中国科学技术大学

申请日：2022-03-03

公开（公告）日：2024-04-02

公开（公告）号：CN114565816B

主分类号：G06V10/80

分类号：G06V10/80;G06V10/82;G06V10/774;G06N3/0455;G06N3/0464;G06N3/088

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.06.17#实质审查的生效;2022.05.31#公开

摘要：本发明公开了一种基于全局信息融合的多模态医学图像融合方法，其步骤包括：1、对原始多个模态的医学图像进行色彩空间转换和图像剪切的预处理；2、建立在多个尺度通过融合模块进行交互的模态分支网络，并建立由Transformer构成的融合模块来合并多模态特征信息；3、建立重构模块，从多尺度的多模态特征合成融合图像；4、在公开数据集上训练并评估上述模型；4、利用训练好的模型实现医学图像融合任务。本发明通过Transformer融合模块和交互式模态分支网络能充分地融合多模态的语义信息，实现细粒度的融合效果，不仅很好地保留了原图像的结构和纹理信息，也改善了由于低分辨率医学图像引起的马赛克现象。

主权项：1.一种基于全局信息融合的多模态医学图像融合方法，其特征包括如下步骤：步骤一、获取M个不同模态的原始医学图像并进行YCbCr色彩空间的转换，得到所有模态的Y通道图像{I1,…,Im…,IM}；其中，Im表示第m个模态的Y通道图像，m∈{1,2,…,M}；对所有模态的Y通道图像{I1,…,Im…,IM}进行图像剪切，从而得到所有模态的图像块集合{S1,…,Sm…,SM}，其中，Sm表示第m个模态的图像块集合；步骤二、构建融合网络TransFusion，包括：M个模态分支网络、N个融合模块、一个重构模块；并将所有模态的图像块集合{S1,…,Sm…,SM}输入所述融合网络TransFusion中：步骤2.1、构建所述M个模态分支网络和N个融合模块：步骤2.1.1、构建M个模态分支网络：M个模态分支网络中的第m个模态分支网络由N个卷积模块组成，并将N个卷积模块分别记为ConvBlockm1,…,COnvBlockmn,…,ConvBlockmN，其中，ConvBlockmn表示第m个模态分支网络的第n个卷积模块，n∈{1,2,…,N}；当n＝1时，所述第m个模态分支网络的第n个卷积模块ConvBlockmn由Xmn个二维卷积层组成；当n＝2,3,…,N时，所述第m个模态分支网络的第n个卷积模块ConvBlockmn由一个最大池化层和Xmn个二维卷积层组成；第m个模态分支网络的第n个卷积模块的第x个二维卷积层的卷积核尺寸为ksmnx×ksmnx，卷积核数目为knmnx，x∈{1,2,…,Xmn}；步骤2.1.2、构建N个融合模块：N个融合模块的任意第n个融合模块为一个Transformer网络，并由L个自注意力机制模块构成；L个自注意力机制模块中的第l个自注意力机制模块包括：1个多头注意力层、2个层归一化、1个全连接层；步骤2.2、将所有模态的图像块集合{S1,…,Sm…,SM}输入M个模态分支网络中，并通过N个融合模块进行信息融合：当n＝1时，所述第m个模态的图像块集合Sm输入所述第m个模态分支网络的第n个卷积模块ConvBlockmn的Xmn个二维卷积层后输出特征图其中，Hn、Wn、Dn分别表示第m个模态分支网络在第n个卷积模块的输出特征图的高、宽、通道数；从而得到M个模态分支网络在第n个卷积模块的输出特征图将所述M个模态分支网络在第n个卷积模块的输出特征图经过第n个融合模块处理后，输出特征图其中，表示第n个融合模块输出的第m个特征图；将所述第n个融合模块输出的第m个特征图与所述第m个模态分支网络的第n个卷积模块输出的特征图进行相加，得到第m个模态分支网络在第n个卷积模块交互后的特征图从而得到M个模态分支网络在第n个卷积模块交互后的特征图当n＝2,3,…,N时，将第m个模态分支网络在第n-1个卷积模块交互后的特征图输入到第m个模态分支网络的第n个卷积模块的最大池化层中进行下采样处理，得到第m个模态分支网络在第n个卷积模块下采样后的特征图将所述下采样后的特征图输入第m个模态分支网络的第n个卷积模块的第1个二维卷积层中，并依次经过Xmn个二维卷积层的处理后，输出特征图从而得到M个模态分支网络的第n个卷积模块输出的特征图将所述特征图经过第n个融合模块的处理后，输出特征图将第n个融合模块输出的第m个特征图与第m个模态分支网络的第n个卷积模块输出的特征图进行相加，得到相加后的特征图从而得到M个相加后的特征图进而得到第N个融合模块输出的特征图步骤2.3、所述重构模块由N级卷积网络构成；并将N个融合模块输出的特征图输入到所述重构模块，得到初步融合图像F′：步骤2.3.1、将所述第n个融合模块输出的所有特征图进行相加，得到融合特征图Φn；从而得到N个融合模块的融合特征图{Φ1,…,Φn,…,ΦN}；步骤2.3.2、构建由N级卷积网络构成的重构模块，并将第n个融合模块的融合特征图Φn输入到重构模块的第n级卷积网络：当n＝1时，第n级卷积网络包括：Bn个卷积模块当n＝2,3,…,N时，第n级卷积网络包括：Bn个卷积模块和Bn+1个上采样层第n级卷积网络的第b个卷积模块RConvBlocknb由Y个二维卷积层组成，b∈{1,2,…,Bn}；当n＝1且b＝1时，将所述第n个融合模块的融合特征图Φn输入到所述第n级卷积网络的第b个卷积模块RConvBlocknb，并输出特征图ΦRnb；当n＝2,3,…,N且b＝1时，将所述第n个融合模块的融合特征图Φn输入到第n级卷积网络的第b个上采样层UpSamplenb中进行上采样处理后，输出上采样的特征图ΦUnb；从而得到第2级到第N-1级卷积网络的上采样后的特征图{ΦU2b,…,ΦUnb,…,ΦUNb}；当n＝2,3,…,N且b＝2,3,…,Bn时，将第n个融合模块的融合特征图Φn、第n级卷积网络的前b-1个卷积模块的输出特征图{ΦRn1,…,ΦRnb-1}、第n+1级卷积网络的前b个上采样后的特征图{ΦUn+11,…,ΦUn+1b}进行拼接后，得到拼接后的特征图；将所述拼接后的特征图输入到第n级卷积网络的第b个卷积模块RConvBlocknb，并输出第n级卷积网络的第b个卷积模块的输出特征图ΦRnb；从而得到第1级卷积网络的第B1个卷积模块的输出特征图将所述第1级卷积网络的第B1个卷积模块的输出特征图经过一个卷积层的处理后，获得初步融合图像F′；步骤三、构建损失函数并训练网络得到最优融合模型：步骤3.1、分别计算所有模态的图像块集合{S1,…,Sm…,SM}中各个图像块集合的熵，并得到相应的熵值{e1,…,em…,eM}，其中，em表示第m个模态的图像块集合的熵值；步骤3.2、对所述熵值{e1,…,em…,eM}分别进行归一化处理后，得到所有模态的图像块集合{S1,…,Sm…,SM}的权重{ω1,…,ωm,…,ωM}，其中，ωm表示第m个模态的图像块集合的权重；步骤3.3、利用式1构建总损失函数Loss： 式1中，LssimSm,F′表示所述第m个模态的图像块集合Sm与所述初步融合图像F′之间的结构相似性损失函数；步骤3.4、利用优化器对所述总损失函数Loss进行最小化求解，从而对融合网络TransFusion中的所有参数进行优化，并得到最优融合模型；步骤四、利用最优融合模型对所有模态的Y通道图像{I1,I2,…,IM}进行处理并输出初步融合图像F′；将初步融合图像F′转换到RGB色彩空间，从而得到最终融合图像F。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于全局信息融合的多模态医学图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD