申请/专利权人：山东师范大学

申请日：2024-01-29

公开（公告）日：2024-04-26

公开（公告）号：CN117649362B

主分类号：G06T5/73

分类号：G06T5/73;G06T5/60;G06T5/70;G06N3/0464;G06N3/0499;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.03.22#实质审查的生效;2024.03.05#公开

摘要：本发明涉及医学图像处理技术领域，具体涉及一种基于条件扩散模型的腹腔镜影像除烟方法、系统及设备，具体如下：将腹腔镜手术的视频按帧数分割，组成图片形式的数据集，对得到的腹腔镜无烟图像进行烟雾渲染，合成配对的有烟图像，得到包含无烟图像和有烟图像的合成数据集；将无烟图像输入到条件扩散模型进行正向加噪，不断添加噪声直到无烟图像完全噪声化，得到一系列的带噪图像；将有烟图像输入到烟雾感知模块得到烟雾的浓度和位置信息，进行训练神经网络，不断用训练后的神经网络对完全噪声图像进行反向去噪，直到输出清晰的无烟图像；通过多损失函数融合策略对除烟模型进行优化。本发明可以解决腹腔镜在手术过程中烟雾干扰导致视野模糊的问题。

主权项：1.一种基于条件扩散模型的腹腔镜影像除烟方法，其特征是，包括以下步骤：1）将腹腔镜手术的视频按帧数分割，组成图片形式的数据集，对得到的腹腔镜无烟图像进行烟雾渲染，合成配对的有烟图像，得到包含无烟图像和有烟图像的合成数据集；2）将无烟图像输入到条件扩散模型进行正向加噪，通过不断添加噪声直到无烟图像完全噪声化，得到一系列的带噪图像；步骤2）的具体操作为：将腹腔镜拍摄到的无烟图像输入条件扩散模型进行正向加噪操作，添加的噪声方差为，加噪过程遵循马尔科夫链，加噪后的图像记作，对输入的无烟图像进行T次加噪直到无烟图像完全噪声化，得到一些系列的带噪图像，表示进行第次加噪得到的噪声图像，表示进行第次加噪得到的噪声图像；正向加噪过程公式如下： ，其中，表示噪声，表示标准正态高斯分布，表示单位矩阵，表示进行第次加噪得到的噪声图像；3）将有烟图像输入到烟雾感知模块得到烟雾的浓度和位置信息，然后通过一系列的带噪图像来训练神经网络，再用训练后的神经网络进行反向去噪，不断对步骤2）中得到的完全噪声图像进行反向去噪操作，直到输出清晰的无烟图像；步骤3）中的具体操作为：将合成数据集中的有烟图像输入到烟雾感知模块，得到烟雾掩膜信息和暗通道信息；然后将步骤2）中的一系列的带噪图像作为标签来进行反向训练，每个标签的反向训练过程都通过一个添加特征频率补偿模块的U-Net网络，共同完成对U-Net网络的训练，指导图像与一系列的带噪图像一同作为反向训练的输入对U-Net网络进行训练，指导图像包括合成数据集中的无烟图像和合成的有烟图像；最后用训练后的神经网络进行反向去噪，烟雾掩膜信息和暗通道信息作为指导反向去噪过程的条件信息，不断对输入的步骤2）中最终得到的完全噪声图像进行去噪操作，直到得到清晰的腹腔镜无烟图像；烟雾感知模块包括烟雾掩膜分割模块和暗通道先验模块，分别对输入的有烟图像进行烟雾的分割和烟雾浓度信息的提取；暗通道先验模块中的暗通道通过在R、G、B三个通道中取最小值组成灰度图，再进行一个最小值滤波得到，然后网络通过暗通道先验获取烟雾图像中的烟雾分布情况和浓度信息，得到的烟雾信息作为条件信息用来引导扩散模型中的反向去噪操作生成相关的无烟图像；相关计算公式为： ， ， ， 其中，表示通道注意力，表示空间注意力，表示深度特征，表示激活函数，表示平均池化，表示最大池化，表示激活函数，表示滤波器的卷积运算，表示特征图的连接，表示元素相乘，表示特征图；特征频率补偿模块由多个卷积滤波器组成，通过滤波器的带宽覆盖网络捕捉不通范围的频率，特征频率补偿模块的计算为： ，其中，表示均值为大小为的二维高斯核，表示输入的特征值，表示经过二维高斯核的卷积输出，选择四个大小分别为3，5，7，9的高斯核进行滤波，对两个高斯核做差之后得到滤波器，用公式计算表示为：其中，表示经过滤波器后的输出，表示经过大小为9高斯核过滤后的频率信息，表示经过大小为7高斯核过滤后的频率信息，表示经过大小为5高斯核过滤后的频率信息，表示经过大小为3高斯核过滤后的频率信息；然后通过选择不同的高斯核实现不同频带的滤波，经过加权汇总如下： ，其中，表示可训练学习的权重，表示经过加权汇总后的输出；4）通过多损失函数融合策略对除烟模型进行优化，采用跳过采样策略来加速模型生成去烟后的图像。

全文数据：

权利要求：

百度查询： 山东师范大学 基于条件扩散模型的腹腔镜影像除烟方法、系统及设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD