申请/专利权人：太原理工大学

申请日：2023-11-23

公开（公告）日：2024-02-09

公开（公告）号：CN117275681B

主分类号：G16H30/20

分类号：G16H30/20;G16H30/40;G06V10/42;G06V10/44;G06V10/774;G06V10/776;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.02.09#授权;2024.01.09#实质审查的生效;2023.12.22#公开

摘要：本发明提供一种基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置，属于蜂窝肺病程周期检测评估技术领域；所要解决的技术问题为：提供一种基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置；解决该技术问题采用的技术方案为：获取蜂窝肺CT图像数据，进行数据预处理，搭建视觉转换器网络模型，包括输入嵌入层、多头注意力机制、多层感知机制层、池化层、全连接层，设置视觉转换器超参数，使用交叉熵损失函数定义损失函数；基于自适应矩估计优化器的自适应学习率算法，根据梯度的一阶矩估计和二阶矩估计自适应地调整学习率；本发明应用于蜂窝肺病程周期检测。

主权项：1.基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：包括如下的检测评估步骤：步骤S1：获取蜂窝肺CT图像数据，进行数据预处理，将蜂窝肺CT图像缩放为512*512像素尺寸作为数据集，将数据集整理为有标注数据与无标注数据，并将其划分为训练集、验证集、测试集，并对蜂窝肺CT图像数据进行标注，将每个CT图像的类别信息转换为类别标签；步骤S2：搭建视觉转换器网络模型，包括输入嵌入层、多头注意力机制层、多层感知机制层、池化层、全连接层；步骤S3：设置视觉转换器网络模型的超参数：设置图像块大小和输入图像的通道数，将每个图像块编码为向量的维度，设置多头注意力机制头数，设置多层感知机制中的隐藏层；步骤S4：使用交叉熵函数定义损失函数；步骤S5：基于自适应矩估计优化器的自适应学习率算法，根据梯度的一阶矩估计和二阶矩估计自适应地调整学习率；步骤S6：通过视觉转换器分支获取到的蜂窝肺CT图像的全局特征，用于与残差神经网络获取的局部特征双向融合；步骤S7：将蜂窝肺CT图像输入卷积神经网络分支模块，来提取蜂窝肺的局部特征，搭建残差神经网络-50网络模型；步骤S8：将经过卷积操作输出的蜂窝肺特征与视觉转换器支路提取到的全局特征进行双向融合；步骤S9：在视觉转换器分支和残差神经网络分支之间建立双向特征融合结构，融合两个分支的特征，具体方法为：步骤S91：针对双向特征融合分别为残差神经网络→视觉转换器和视觉转换器→残差神经网络；步骤S92：设X为视觉转换器分支提取到的特征，设Y为残差神经网络分支提取到的特征；步骤S93：残差神经网络→视觉转换器融合时，将Y中的Wk与X做相似度计算，即点乘运算，运算后使用softmax将权重值控制在（0，1）之间，用算出的权重值与Wv点乘运算，得出的值和X连接运算，即融合完成；步骤S94：视觉转换器→残差神经网络融合时，将X与Y提取的Wq点乘做相似度计算，使softmax得到权重值，将权重值与X做乘积得到的值经过Wo得到规格相同的值与Y相加连接，即融合完成；其中Wo是一个参数矩阵，用于将融合后的值与Y进行线性变换；所述步骤S93和步骤S94中融合过程的具体计算方法为：残差神经网络以图像为输入，提取局部特征；其中，H是图像的高度，表示图像在垂直方向上的像素数，W是图像的宽度，表示图像在水平方向上的像素数，3是图像的通道数，表示图像的颜色通道数；基于注意力机制的神经网络模型以可学习参数为输入，表示为，其中d为输入向量的维数，M为输入向量的个数；为了与残差神经网络融合，选择d和M与目标融合层具有相同的维度，对输入的原始图像进行卷积得到初始的Y0，Y0表示经过卷积操作得到的初始特征表示矩阵；步骤S10：将两个分支提取的分类向量进行融合后计算损失，并进行逆梯度计算，调整模型参数；步骤S11：输出检测评估的类别标签，定义标签显示0表示正常肺，1表示轻度蜂窝肺，2表示中度蜂窝肺，3表示重度蜂窝肺。

全文数据：

权利要求：

百度查询： 太原理工大学 基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD