申请/专利权人：四川大学华西医院

申请日：2023-11-09

公开（公告）日：2024-02-20

公开（公告）号：CN117577252A

主分类号：G16H10/60

分类号：G16H10/60;G16H50/30;G06F40/30;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本发明涉及多模态融合的医学罕见事件预测的方法、装置及存储介质，应用于医学罕见事件预测技术领域，包括：在现有的transformer的模型的基础上，通过对数据进行预处理，填补数据的缺失，同时利用transformer的模型在自然语言处理和计算机视觉等多个领域都展现出的强大的建模能力对结构化数据进行语义特征提取，再通过提取非结构化数据，也就是文本数据的语义特征，将结构化数据以及非结构化数据的语义特征进行融合，基于融合后的特征进行医学罕见事件的预测，同时利用到了结构化数据以及非结构化数据，实现了多模态数据的医学罕见事件预测，提高预测的精准度。

主权项：1.多模态融合的医学罕见事件预测的方法，其特征在于，所述方法包括：从电子医疗记录中获取与患者相关的文本数据和结构化数据，所述结构化数据包括结构化类别特征数据以及结构化数值特征数据；对所述结构化类别特征数据、结构化数值特征数据以及文本数据进行预处理，用于填补所述结构化类别特征数据以及结构化数值特征数据中的缺失值；将预处理后的结构化类别特征数据在Embedding模块中进行映射，得到向量化后的结构化类别特征数据；将预处理后的结构化数值特征数据进行组合，得到组合矩阵，将所述组合矩阵输入到预设的线性层中进行升维，得到向量化后的结构化数值特征数据；基于所述结构化类别特征数据以结构化数值特征数据初始化掩码矩阵，根据所述结构化类别特征数据以结构化数值特征数据中填补的缺失值对所述初始化掩码矩阵进行取值，得到目标掩码矩阵；将所述向量化后的结构化类别特征数据以及向量化后的结构化数值特征数据进行拼接得到结构化特征，将所述结构化特征输入到预搭建的transformer模型中，通过所述预搭建的transformer模型的多头自注意力机制对所述结构化特征进行特征构造，通过所述目标掩码矩阵过滤掉缺失特征的影响计算权重分数，根据所述权重分数将映射后的结构化特征进行加权融合，得到所述预搭建的transformer模型的输出特征；将所述预搭建的transformer模型的输出特征作为门控mlp模块的输入，将门控mlp模块的输出特征作为结构化数据的全局语义特征；将所述文本数据输入到预训练的语言模型中，通过所述预训练的语言模型对所述文本数据进行编码，将所述预训练的语言模型输出的特征作为所述文本数据的语义特征；将所述结构化数据的全局语义特征以及文本数据的语义特征进行拼接，得到融合特征，将所述融合特征输入到线性层中，通过所述线性层输出用户医学罕见事件的概率。

全文数据：

权利要求：

百度查询： 四川大学华西医院 多模态融合的医学罕见事件预测的方法、装置及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD