申请/专利权人：山东大学

申请日：2021-12-14

公开（公告）日：2024-04-23

公开（公告）号：CN114283127B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/11;G06N3/0455;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2022.04.22#实质审查的生效;2022.04.05#公开

摘要：本公开提出了一种多模态信息指导的医学图像分割系统及图像处理方法，基于文本信息的指导进而更新视觉图像特征表示，然后通过门控融合模块将多模态特征进行融合，建立了文本和图像这两种模态信息之间的联系，使用文本指导图像分割，两种模态信息相互作用，而不是简单的将文本信息和图像信息融合，较高层的特征为底层特征提供全局和语义指导，底层特征为较高层的特征提供局部和更精细的信息，使用文本指导图像分割，两种模态信息相互作用，提高了图像分割的准确性。

主权项：1.一种多模态信息指导的医学图像分割系统，其特征是，包括：图像特征提取模块，被配置为用于对输入图像进行编码，提取图像特征；文本特征编码模块，被配置为用于采用双向语言模型来对文本信息进行向量化表示；跨模态信息融合模块，被配置为用于建立图像特征、文本向量编码和空间坐标特征之间的连接，根据连接关系更新图像特征后重新捕捉图像信息，将捕捉的图像信息采用门控融合函数融合，获得图像分割结果；根据文本信息对每个图像区域的重要性，建立文本信息与图像特征之间的关系，其中，文本信息对每个图像区域重要性的计算公式为： 其中，是图像特征，是采用双向语言模型bert连接的LSTM最后一个隐藏层的输出，是空间坐标，是可学习参数；代表了第n个单词对视觉图像中第i个区域的重要性；文本信息T={t1,t2,…tn}。

全文数据：

权利要求：

百度查询： 山东大学 一种多模态信息指导的医学图像分割系统及图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD