申请/专利权人：桂林电子科技大学

申请日：2023-12-29

公开（公告）日：2024-03-22

公开（公告）号：CN117746201A

主分类号：G06V10/80

分类号：G06V10/80;G06V10/766;G06V10/25;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明公开了一种基于交叉Transformer和MLIF的多模态融合生存预后方法，所述方法包括以下步骤：获取影像和病理切片数据集；对数据集进行预处理并标注感兴趣区域；对其进行手工特征提取；划分训练集和测试集；将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练；其中，第一阶段的训练是采用交叉Transformer增强不同特征间的交互，利用多模态低秩交互融合模块MLIF将不同特征进行全面高效整合，生成多模态融合特征；第二阶段的训练是根据多模态融合特征，训练一个用于生存预后的回归网络，该网络的预测结果为最终结果。本发明通过端到端整合多模态数据揭示了不同模态数据之间的关联和互补性，提高了患者的治疗效果和生存率。

主权项：1.基于交叉Transformer和MLIF的多模态融合生存预后方法，其特征在于，包括下述步骤：获取患者原始CT影像和病理组织医学图像数据，对数据进行预处理，包括重采样、归一化操作与图像裁剪，随后并标注感兴趣区域，形成CT影像和病理切片数据集；对CT影像和病理切片分别进行特征提取，得到病灶及其瘤周影像组学特征和病理手工特征；根据所得CT影像和病理切片数据集划分形成训练集和测试集；将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练；在第一阶段的训练过程中，引入自注意机制，为每个模态构造一个编码器以进行特征选择和降维并获得模态内表示，随后采用交叉Transformer增强不同特征之间的交互，捕获不同模态数据之间的复杂交互，并生成具有丰富信息的特征表示，最后利用多模态低秩交互融合模块MLIF将病灶及其瘤周影像组学特征和病理手工特征进行全面高效的整合，生成多模态融合特征表示；在第二阶段的训练过程中，根据多模态融合特征，同时引入临床数据，融合多模态特征和临床数据的特征向量训练一个用于生存预后的回归网络，多模态融合生存预后网络的预测结果作为最终预后结果。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 基于交叉Transformer和MLIF的多模态融合生存预后方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD