申请/专利权人：中国海洋大学

申请日：2024-01-24

公开（公告）日：2024-04-23

公开（公告）号：CN117611601B

主分类号：G06T7/10

分类号：G06T7/10;G06T7/00;G06N3/0895;G06N3/088;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.03.15#实质审查的生效;2024.02.27#公开

摘要：本发明公开了一种基于文字辅助的半监督3D医学图像分割方法，属于医学图像处理技术领域。本发明在基于文字辅助正交注释的“几乎无监督”3D医学图像分割的时候，考虑到了整个过程中应最大化的减少人工标注的工作，降低相邻切片注释的冗余性，充分利用体积图片不同视角所带来的视差可以互相弥补的优势。克服两分支交叉监督是“非此即彼”的范式，引入了更多的惩罚因素，使得交叉伪监督的效果更好。本发明对减轻训练3D医学图像分割中所需要复杂的注释工作具有重要意义，为如何使用文本来指导3D医学分割的工作提供了一个新方向。

主权项：1.一种基于文字辅助的半监督3D医学图像分割方法，其特征在于，包括如下步骤：S1：收集3D医学图像数据建立数据集，并对图像数据进行预处理；将数据集分为训练集和测试集，所述训练集包括有监督的图像数据和无监督的图像数据；S2：利用大型视觉语言模型CLIP的文本编码器，对所选数据集的文本描述进行编码从而获得文本特征；使用大型视觉语言模型CLIP的文本编码器来对文本描述进行特征提取，如公式1所示：Te＝Ftt1：其中Te代表提取到的特征向量，Ft代表文本编码器，t代表器官的文本描述；S3：构建网络模型，包括三个分支，分别是分割网络分割网络分割网络该分割网络结构均为VNet；S4：构造权重矩阵，对于有监督的图像，将其对应的真实标签分割乘上权重矩阵得到稀疏正交注释的标签；对于所构建训练集体积图像Dtr，其中Xi的标签Yi，i表示第i幅图像，根据视角不同将其拆分成一系列切片；如下式2、3、4所示： 其中a、b、c分别代表不同的视角，m、n、p则分别代表沿着a视角将Yi分成m个切片，沿b视角将Yi分成n个切片，沿c视角将Yi分成p个切片；i表示当前是第i个体积图像；以第一个分支为例，只需构造一个与Yi大小相同的全零矩阵Wa，此时Wa是一个3D矩阵，在第一与第二个维度上设置某一个切片的值为1，如公式5、公式6所示：Wa[：，k，：]＝15；Wa[j，：，：]＝16；公式5表示沿b视角，将第k张切片，也即是切片的值设置为1，公式6表示沿a视角，将第j张切片，也即是切片的值设置为1；然后第一个分支的有监督图像的稀疏标签通过下式7计算得到： 对于第二个分支和第三个分支的稀疏标签同理可得，通过构造全零矩阵Wb和Wc；首先设置Wb[j，：，：]＝1，表示沿着a视角，将第j张切片，也即是切片的值设置为1，Wb[：，：，q]＝1，表示沿着c视角，将第q张切片，也即是切片的值设置为1，通过得到第二个分支的稀疏标签设置Wc[：，k，：]＝1，表示沿着b视角，将第k张切片，也即是切片的值设置为1，Wc[：，：，q]＝1，表示沿着c视角，将第q张切片，也即是切片的值设置为1，通过得到第三个分支的稀疏标签基于上述步骤，三个分支分别对应的稀疏正交注释构造完毕，用于后续的监督训练；S5：将训练集输入所述网络模型后，对于每个分支提取到的图像特征与已经获取的文本特征进行拼接，然后将其作为参数添加在后续操作当中作为指导得到分割结果；输入图像首先经过分割网络编码器得到图像特征，如公式8所示： 其中Xi表示此时第i个图像输入网络，为分割网络的编码器部分，则是提取到的图像特征；由于此时特征图的大小与之前得到的文本特征Te的大小不一致，所以将其经过全局平均池化之后才能与Te拼接，得到中间参数，如公式9所示： 其中GAP表示全局平均池化操作，Concat·，·表示向量拼贴操作，θi是待处理的中间参数变量；而对于编码器得到的图像特征继续经过解码器的上采样部分，将特征图还原成原始图片的大小，并且与经过处理的θi相加，将相加的结果再经过卷积操作，得到最终的预测掩码，如下式10所示： 其中表示分割网络的解码器部分，Conv·表示卷积操作，目的是使θi的通道数和经解码器过后得到的特征图的通道数相一致，Expand·是扩充操作，使得θi的大小经解码器过后得到的特征图的大小相一致，Conv是得到最终分割结果的卷积层；上述步骤是一个分支的处理过程，其余两分支的过程相同；S6：构造整个过程中的损失函数，包括利用稀疏正交注释的有监督部分的损失函数，以及无监督图像两两之间的交叉伪监督损失，以及将两者结合起来的总损失函数；S7：利用训练集对所述网络模型进行训练，再使用测试数据对已经训练好的模型进行测试，输出图像分割结果。

全文数据：

权利要求：

百度查询： 中国海洋大学 基于文字辅助的半监督3D医学图像分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD