申请/专利权人：河北工业大学

申请日：2024-01-18

公开（公告）日：2024-04-02

公开（公告）号：CN117809797A

主分类号：G16H15/00

分类号：G16H15/00;G06V10/80;G06V10/44;G06N3/0464;G06N3/0442;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.19#实质审查的生效;2024.04.02#公开

摘要：本发明提出了一种新的基于差异感知与重要性表征增强的医学影像报告生成方法，该方法包括以下内容：构建差异感知与重要性表征增强网络，包括构建影像表征提取网络、多视图影像差异感知网络、重要性表征调整网络、特征重要性融合网络；获得影像的特征以及其类激活映射图，并计算多视图影像的特征差异，以增强类激活映射图，随后将影像的特征与增强类激活映射图融合获得影像融合特征，再将各视图影像融合特征进一步融合，获得多视图影像综合特征并输入到医学影像报告生成网络，完成报告生成任务；利用二元交叉熵损失训练并优化基于差异感知与重要性表征增强的医学影像报告生成网络。该方法有助于更准确的医学报告生成，提高报告生成能力。

主权项：1.一种基于差异感知与重要性表征增强的医学影像报告生成方法，该方法包括以下内容：加载病例数据：获取某种病症的多模态病例数据库，病例数据库以每个病人的ID命名文件夹，每个文件夹存储着该病例的视觉和文本模态数据，视觉模态数据是不同视图的影像数据，文本模态数据是该病例的临床诊断产生的标注报告数据；将某个病例的对应所有视图的影像数据先进行灰度值归一化和标准化，并记为原始影像；然后根据病例获取与之一一对应的所有报告数据，对其进行特殊符号过滤和标准化，并记为原始标注报告；构建并训练基于差异感知与重要性表征增强的医学影像报告生成网络：构建差异感知与重要性表征增强网络，包括构建影像表征提取网络、多视图影像差异感知网络、重要性表征调整网络、特征重要性融合网络；加载的不同视图的原始医学影像将首先被送入影像表征提取网络，初步提取各个视图医学影像的特征以及其类激活映射图；各个视图医学影像特征将被送入多视图影像差异感知网络，用于计算多视图影像差异信息；识别并加强了不同视图之间的差异信息之后，重要性表征调整网络将利用这些感知差异对初步生成的影像类激活映射图进行调整，使其突出差异和重点区域的特征，从而获得各视图影像增强类激活映射图；增强后的类激活映射图相较于初步提取的类激活映射图，根据差异信息的提示，增加了对单一视图可能遗漏的信息的覆盖，还提高了对复杂病理特征的理解；因而我们利用特征重要性融合网络将增强类激活映射图与影像的特征深度融合，创造出一个综合的、信息丰富的特征空间，获得来自A、B两视图的影像融合特征；构建多视图影像特征融合网络和医学影像报告生成网络；将来自A、B两视图的影像融合特征进一步合并，获得多视图影像综合特征并输入医学影像报告生成网络，作为医学影像报告生成的视觉信息依据；基于多视图影像综合特征提供的更全面的诊断视角，医学影像报告生成网络根据提取到的影像病理特征解码和推理出输出预测报告；计算二元交叉熵损失，不断训练并优化基于差异感知与自适应语义增强的医学影像报告生成网络；通过不断减小输出预测报告和标注报告数据的二元交叉熵损失，促进生成准确流畅的医学影像报告。

全文数据：

权利要求：

百度查询： 河北工业大学 基于差异感知与重要性表征增强的医学影像报告生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD