申请/专利权人：齐鲁工业大学(山东省科学院);山东省人工智能研究院

申请日：2023-12-14

公开（公告）日：2024-03-22

公开（公告）号：CN117409030B

主分类号：G06T7/136

分类号：G06T7/136;G06T7/00;G06N3/084;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.02.02#实质审查的生效;2024.01.16#公开

摘要：本发明涉及计算机视觉与医学图像处理领域，尤其涉及一种基于动态管状卷积的图像血管分割方法及其系统，包括以下步骤：在数据集中选取n张眼底视网膜投影图像，将数据集按比例划分，对划分后得到的训练集进行数据集增强操作得到训练数据集；设置网络结构，编码器采用残差动态管状卷积编码器模块，多尺度特征融合模块采用管状卷积空洞卷积融合模块；计算最终概率图，将像素点与阈值比较，保存判断后的分割结果图；进行网络训练，保存评价最优指标的参数；读取保存的最优指标的参数，将其加载到网络中对图像进行分割，并保存最终分割结果。本发明的网络能够更好地捕捉复杂多变的血管结构，分割复杂背景下细微的血管末梢。

主权项：1.一种基于动态管状卷积的OCTA图像血管分割方法，其特征在于，包括以下步骤：S1.在公开的OCTA-500数据集中选取n张眼底视网膜OCTA投影图像，得到数据集D′；S2.将从步骤S1中得到的数据集D′按比例进行划分，划分为训练集D′tra、验证集D′val和测试集D′tes，然后对训练集D′tra进行数据集增强操作，得到增强后的训练数据集D；s3.通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器采用残差动态管状卷积编码器模块RTC，多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF；步骤s3中通过设置编码器、多尺度特征融合模块和解码器进行网络结构的设置，编码器，具体步骤为：S3.1编码器采用残差动态卷积编码器模块来进行特征提取，编码器的由五个RTC模块组成，相邻两个RTC模块中间穿插一个最大池化层，RTC模块包括两个分支，第一个分支由两组动态管状卷积层、1×1卷积层、归一化操作层、ReLu激活函数组成，第二个分1×1卷积层、归一化操作层、ReLu激活函数组成，特征提取的具体过程为：S3.1.1将增强后的训练数据集D中的第i张OCTA投影图像Di根据每个像素点的灰度值生成灰度矩阵，将该矩阵通过τDi得到特征图Dos1，其中τ·是卷积核大小为3×3，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图Dos1通过公式映射到[-1，1]区间，其中，X表示输入特征图的值，Xmax为特征图Dos1的最大值，Xmin为Dos1的最小值，再通过函数得到特征图Dos2，Y表示输出特征图的值，将特征图Dos2第一通道矩阵的下标值记作Δxx，y，第二通道矩阵的下标值记作Δyx，y；将训练数据集D中的第i张OCTA投影图像Di输入到第一RTC模块得到特征图第一RTC模块的计算公式为：其中，Xi表示第i张图片的输入特征图，yi表示第i张图片的输出特征图，σ·表示ReLu激活函数，B·表示批量归一化操作，表示卷积核转置矩阵，表示卷积偏置，in∈{1，2，3}，in表示第in个卷积操作，ψ·表示卷积核大小为3×3，stride为1，padding为4的动态管状卷积，然后从特征图Dos2中取出卷积核K对应的偏移量，K表示膨胀率为1的3×3卷积核，其中心坐标记为kx，y，K＝{kx-1，y-1，kx-1，y，kx-1，y+1，...，kx+1，y+1}，将其记为K＝{k1，k2，k3，...，k9}，提取后K对应的偏移量点k1为Δxx-1，y-1，Δyx-1，y-1，记作Δx1，Δy1，点k2为Δxx-1，y，Δyx-1，y，记作Δx2，Δy2，……，点k9为Δxx+1，y+1，Δyx+1，y+1，记作Δx9Δy9；以在可变形卷积引入偏移量的方式上对偏移量施加限制，通过迭代策略，以卷积核K中点k5为基准，k4，k3，k2，k1依次迭代，k6，k7，k8，k9依次迭代，对迭代过程中的每一个点以上一轮迭代点的坐标作为基准分别对x，y施加偏移量Δ＝{δ|δ∈[-1，1]}得到下一轮迭代的点的坐标，δ表示偏移量的范围参数，点x，y的下一轮迭代点的坐标为x+Δ，y+Δ，施加偏移后的点k5±c的坐标为C表示偏移量点数，ik表示迭代次数；S3.1.2将步骤S3.1.1中得到的输入到编码器的第一最大池化层中，输出得到特征图下述步骤S3.1.3至S3.1.9的运算如步骤S3.1.1和步骤S3.1.2；S3.1.3将步骤S3.1.2中得到的特征图通过τDi得到特征图Dos3，将特征图Dos3通过公式X映射到[-1，1]区间，再通过函数Y得到特征图Dos4；将特征图输入到第二RTC模块得到特征图偏移量从特征图Dos4中读取获得；S3.1.4将步骤S3.1.3中的特征图输入到编码器的第二最大池化层中，输出得到特征图S3.1.5将步骤S3.1.4中得到的特征图通过τDi得到特征图Dos5，将特征图Dos5通过公式X映射到[-1，1]区间，再通过函数Y得到特征图Dos6；将特征图输入到第三RTC模块得到特征图偏移量从特征图Dos6中读取获得；S3.1.6将步骤S3.1.5中的特征图输入到编码器的第三最大池化层中，输出得到特征图S3.1.7将步骤S3.1.6中得到的特征图通过τDi得到特征图Dos7，将特征图Dos7通过公式X映射到[-1，1]区间，再通过函数Y得到特征图Dos8；将特征图输入到第四RTC模块得到特征图偏移量从特征图Dos8中读取获得；S3.1.8将步骤S3.1.7中的特征图输入到编码器的第四最大池化层中，输出得到特征图S3.1.9将步骤S3.1.8中得到的特征图通过τDi得到特征图Dos9，通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图Dos10；将特征图输入到第五RTC模块得到特征图偏移量从特征图Dos10中读取获得；所述第二RTC模块、……、第五RTC模块的计算公式与第一RTC模块相同；S3.2多尺度特征融合模块采用管状卷积空洞卷积融合模块TAF，多尺度特征融合模由三组上采样层、拼接聚合函数拼接、第一TAF模块构成，TAF模块由三个卷积分支、注意力门、1×1卷积模块以及一个残差连接构成，三个卷积分支中第一分支由动态管状卷积和1×1卷积层组成，第二分支和第三分支均由膨胀卷积和1×1卷积层组成，具体操作过程为：S3.2.1将从步骤S3.1中得到的特征图输入到第一上采样层通过上采样采取双线性插值的方法得到特征图然后将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图S3.2.2将从步骤S3.2.1中得到的特征图通过τDi得到特征图Dos11，其中τ·为卷积核大小为3×3，卷积核个数为2，stride为1，padding为1的卷积操作，将特征图Dos11通过公式映射到[-1，1]区间，其中X表示输入特征图的值，其中X表示输入特征图的值，Xmax为特征图Dos11的最大值，Xmin为Dos11的最小值，再通过函数得到特征图Dos12，Y表示输出特征图的值；将特征图输入到第一TAF模块得到特征图第一TAF模块的计算公式为其中，gati为注意力门模块中的参数，i表述第i张眼底视网膜OCTA投影图像，为AttentionGate模块的中间变量，σ1·表示ReLu激活函数，σ2·表示Sigmoid激活函数，c·表示拼接操作，表示1×1的卷积核的转置矩阵，表示卷积偏置，im∈{1，2，3，4，5，6}，im表示第im个卷积操作，Θatt表示参数集合表示卷积核大小为3×3，stride为1，padding为1，膨胀系数为id的卷积操作，ζ·表示卷积核大小为3×3，stride为1，padding为4的动态管状卷积，其偏移量从特征图Dos12中读取获得，获取方法如步骤S3.1中的步骤S3.1.1；下述步骤S3.2.3至S3.2.6的运算如步骤S3.2.1和步骤S3.2.2；S3.2.3将步骤S3.1中得到的特征图输入到第二上采样得到特征图将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图S3.2.4将从步骤S3.2.3中得到的特征图通过τDi得到特征图Dos13，将特征图Dos13通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图Dos14；将特征图输入到第二TAF模块得到特征图偏移量从特征图Dos14中读取获得；S3.2.5将步骤S3.1中得到的特征图输入到第三上采样层得到特征图将特征图与步骤S3.1中得到的特征图进行拼接操作得到特征图S3.2.6将从步骤S3.2.5中得到的特征图通过TDi得到特征图Dos15，将特征图Dos15通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图Dos16；将特征图输入到第三TAF模块得到特征图偏移量从特征图Dos16中读取获得；所述第二TAF模块和第三TAF模块的计算公式与第一TAF模块相同；S3.3解码器由四组上采样层和RTC模块构成，具体操作过程为：S3.3.1将从步骤S3.1中得到的特征图输入到第四上采样层得到特征图将步骤S3.1中得到的特征图与特征图进行拼接操作得到特征图S3.3.2将特征图通过τDi得到特征图Dos17，将特征图Dos17通过公式X映射到[-1，1]区间，再通过函数Y得到特征图Dos18；将特征图输入到第六RTC模块得到特征图偏移量从特征图Dos18中读取获得；S3.3.3将从步骤S3.3.2中得到的特征图输入到第五上采样层得到特征图将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图S3.3.4将特征图通过τDi得到特征图Dos19，将特征图Dos19通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图Dos20；将特征图输入到第七RTC模块得到特征图偏移量从特征图Dos20中读取获得；S3.3.5将从步骤S3.3.4中得到的特征图输入到第六上采样层得到特征图将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图S3.3.6将特征图通过τDi得到特征图Dos21，将特征图Dos21通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图Dos22；将特征图输入到第八RTC模块得到特征图偏移量从特征图Dos22中读取获得；S3.3.7将从步骤S3.3.6中得到的特征图输入到第七上采样层得到特征图将从步骤S3.2中得到的特征图与特征图进行拼接操作得到特征图S3.3.8将特征图通过τDi得到特征图Dos23，将特征图Dos23通过公式X映射到[-1，1]区间，其中X表示输入特征图的值，再通过函数Y得到特征图Dos24；将特征图输入到第九RTC模块得到特征图偏移量从特征图Dos24中读取获得；所述第五RTC模块、……、第九RTC模块的计算公式与第一RTC模块相同；S4.将从步骤S3获得的特征图输入到Sigmoid函数计算得到最终概率图，设定阈值，将像素坐标的像素点与阈值进行比较，判断像素点的所属来源，并保存判断后的分割结果图，再将分割结果图与其对应的标签输入到损失函数中计算凸扩张损失；S5.进行网络结构训练，通过反向传播计算损失函数对每个参数的梯度，使用优化器对步骤S3中网络结构的参数进行更新，完成对参数的调整和优化，保存训练过程中评价最优指标的参数；S6.读取步骤S5中保存的最优指标的参数，将其加载到网络结构对OCTA图像进行分割，并保存最终分割结果。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院);山东省人工智能研究院 基于动态管状卷积的OCTA图像血管分割方法及其系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD