申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

申请日：2023-06-14

公开（公告）日：2024-03-22

公开（公告）号：CN116824139B

主分类号：G06V10/26

分类号：G06V10/26;G06V20/40;G06V10/774;G06V10/82;G06T7/73;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2023.10.24#实质审查的生效;2023.09.29#公开

摘要：本发明公开了一种基于边界监督和时序关联的内窥镜息肉分割方法，包括获取内窥镜息肉视频数据生成mask标签，同时形成数据集；构建内窥镜息肉分割模型；将数据集输入内窥镜息肉分割模型进行训练并得到预测分割结果，再根据mask标签计算损失函数，同时利用AdamW优化器优化模型参数，进行优化后得到内窥镜息肉分割模型，并进行模型部署；实时获取内窥镜息肉图像数据，并输入模型中，得到内窥镜息肉分割结果，确定息肉位置辅助诊断。本发明通过边界监督模块来约束息肉边界部分的分割，可以有效改善模型在息肉边界处分割的性能，通过时序关联模块关联视频息肉分割任务中的时序信息，利用之前的分割信息来辅助当前帧的息肉分割，提升了视频息肉分割的性能。

主权项：1.一种基于边界监督和时序关联的内窥镜息肉分割方法，其特征在于，包括以下步骤：步骤S1、获取历史的内窥镜息肉视频数据，并对包含息肉部分的视频数据进行数据标注，得到息肉分割的真实mask标签，并生成相应的边界mask标签，同时形成数据集；步骤S2、基于边界监督和时序关联构建内窥镜息肉分割模型，所述内窥镜息肉分割模型包括边界监督模块，以及时序关联模块，其具体步骤包括：S21、构建边界监督模块，将输入的浅层特征图首先利用快速傅里叶变换和高通滤波器来提取特征图当中的边界高频信息得到高频边界特征图，具体公式为： ；其中，X为输入边界监督模块的特征图，和分别表示快速傅里叶变换和其逆变换，表示高通滤波器，为输出的只保留边界信息的高频边界特征图；然后将该高频边界特征图分别通过，膨胀系数为1的卷积，，膨胀系数为1的卷积，，膨胀系数为3的卷积，，膨胀系数为5的卷积，利用这四路卷积来提取不同尺度的有用的边界信息从而消除高频边界特征图中的背景噪声；之后通过的卷积调整通道数得到精细边界mask标签，并将该精细边界mask标签和输入模块的特征图融合得到增强边界后的边界强化特征图；S22、构建时序关联模块，每帧息肉图像经过模型后都会产生其对应的息肉预测二值化mask标签，记为，将输入所述时序关联模块的特征图记为，也就是每帧息肉经过backbone所得到的最后一层特征图，其中C为输入特征图的通道数，为特征图的大小，利用和可以分别生成息肉原型和背景原型，分别记为和，具体公式为： ； ；其中，为两个矩阵的逐像素相乘，为对每个通道的矩阵中所有的矩阵元素取平均值；将得到的和一起存入内存中，除第一帧息肉以外，之后的每帧息肉都会利用交叉注意力机制将对应的结合内存中所存储的所有原型来辅助当前帧的息肉分割，首先将分别做两个的卷积，并将拉直为HW得到两个特征向量和，将内存中的每个原型也分别做卷积得到对应的特征向量和，其中N为内存中原型的数量，之后就是将和所有原型中的进行相似度计算，并使用softmax归一化： ；其中，代表矩阵乘法，代表相似度矩阵，之后将转置后的和相似度矩阵相乘得到特征图，并和相加得到所述时序关联模块最终输出的特征图： ；其中，T代表转置，表示将维度还原回,表示最终的输出特征图；步骤S3、将标注后得到的数据集输入内窥镜息肉分割模型进行训练并得到预测分割结果，再根据获得息肉分割的真实mask标签和生成的边界mask标签计算损失函数，同时利用AdamW优化器优化模型参数，进行多轮迭代优化后得到最优的内窥镜息肉分割模型；步骤S4、将得到的最优的内窥镜息肉分割模型进行模型部署；步骤S5、实时获取内窥镜息肉图像数据，并输入部署完成的内窥镜息肉分割模型中，得到内窥镜息肉分割结果，确定息肉位置辅助诊断。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于边界监督和时序关联的内窥镜息肉分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD