申请/专利权人：之江实验室

申请日：2024-01-26

公开（公告）日：2024-05-10

公开（公告）号：CN118016230A

主分类号：G16H15/00

分类号：G16H15/00;G16H30/40;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.28#实质审查的生效;2024.05.10#公开

摘要：本发明公开了一种基于标签干预的CT影像报告生成方法、装置和介质，该方法包括：首先针对医学图片，构建检测损失和分类损失，对图像编码器进行训练，使其实现肿块的检测功能、肺部病情特点多个标签信息的分类功能；然后根据已训编码器判断的肺部肿物标签，匹配到相应的肺部肿物术语名称，将多个术语名称拼接，生成拼接术语；再将拼接术语通过词嵌入的方式映射到向量空间，生成标签干预向量；最后将输入标识、标签干预向量和图像编码器特征一同送入解码器中，构建字幕损失，对解码器进行训练，使其能生成医学报告。本发明方法内容新颖，针对数据量少、篇幅长的真实医学数据，也能有效挖掘报告关键性信息与图像的关联，生成更优的医学报告。

主权项：1.一种基于标签干预的CT影像报告生成方法，其特征在于，包括以下步骤：步骤S1、对病例数据的肿物位置进行矩形框标注，并根据病例数据的病情特点，提取多个医学标签，并构建与医学标签一一匹配的医学术语名称，以构建肺部CT医学影像数据集；步骤S2、构建视觉神经网络，其中视觉神经网络包括图像编码器、检测分支和多标签分类分支；肺部CT医学影像数据集中的CT医学影像统一尺寸后输入视觉神经网络中，预测的肿物检测框和多个医学标签对应的预测类别，并基于肿物检测框构建检测损失，基于医学标签构建多标签分类损失，整合检测损失和多标签分类损失，对视觉神经网络进行协同训练，以获取训练好的视觉神经网络；步骤S3、将CT医学影像输入训练好的视觉神经网络中，获取对应的视觉编码特征、肿物检测框和多个医学标签对应的预测类别；针对各个预测类别获取其对应的医学术语名称，将多个医学术语名称进行拼接，生成拼接术语；步骤S4、将拼接术语通过词嵌入的方式映射到向量空间，生成标签干预矩阵；步骤S5、将输入标识通过词嵌入的方式映射成输入矩阵，将标签干预矩阵和输入矩阵拼接后与视觉编码特征一同输入解码器中，获取输出的文本特征，并构建字幕损失，对解码器进行训练，使其生成医学报告。

全文数据：

权利要求：

百度查询： 之江实验室 基于标签干预的CT影像报告生成方法、装置和介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD