申请/专利权人：南昌航空大学

申请日：2023-12-22

公开（公告）日：2024-04-05

公开（公告）号：CN117437514B

主分类号：G06V10/80

分类号：G06V10/80;G06V10/32;G06V10/764;G06V10/82;G06V10/30;G06N3/0475;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2024.02.09#实质审查的生效;2024.01.23#公开

摘要：本发明公开了一种基于CycleGan的阴道镜图像模态转换方法，该方法包括以下步骤：将阴道镜白光荧光图像从含其他各种图像的混合数据集使用预训练的VGG网络筛选出来从而得到输入图像；将输入图像经过标准化、归一化，以消除数据中的噪声和离群值；分别定义CycleGan的生成器、鉴别器以及损失函数；将经过预处理的源图像数据输入循环生成对抗网络进行训练；通过训练好的网络得到与源图像位于同一坐标系下的目标域合成图像数据；本发明可以将跨模态相关问题转化为单模态相关问题，给医学图像跨模态配准，医学图像跨模态融合等相关问题提供了一种新的更为简便的实现方法。

主权项：1.一种基于CycleGan的阴道镜图像模态转换方法，其特征在于：该方法包括以下步骤：1使用预训练的VGG16网络从混合数据集筛选出阴道镜白光荧光图像；2将输入的阴道镜白光荧光图像经过标准化、归一化的数据处理操作，以消除数据中的噪声和离群值；3分别定义CycleGan的生成器、鉴别器以及损失函数；4将经过预处理的源图像数据输入构建的CycleGan进行训练；其中，CycleGan训练细节为：CycleGan的损失函数有对抗损失、循环一致性损失；对抗损失如公式1、公式2所示： 其中，G为第一生成器，F为第二生成器，Dy表示鉴别Y空间样本的第二鉴别器，Dx表示鉴别X空间样本的第一鉴别器，X表示阴道镜白光空间，Y表示阴道镜荧光空间，x表示第一生成器G从阴道镜白光空间X中取的样本，y表示阴道镜荧光空间Y中取的样本，是指在阴道镜荧光空间中取的样本，是指从阴道镜白光空间中取的样本，Gx表示第一生成器G生成的Y空间图片，Fy表示第二生成器F生成的X空间图片，Dyy表示第二鉴别器Dy判断y是否是阴道镜荧光空间Y中取的样本的概率，Dxx表示第一鉴别器Dx判断x是否是阴道镜白光空间X中取的样本的概率，而DyGx是第二鉴别器Dy判断第一生成器G生成的图片是否是阴道镜荧光空间Y中取的样本的概率，DxFy是第一鉴别器Dx判断第二生成器F生成的图片是否是阴道镜白光空间X中取的样本的概率；循环一致性损失如公式3所示： 其中，F为第二生成器，是指从阴道镜白光空间中取的样本，FGx表示第二生成器F将第一生成器G通过阴道镜白光图像x合成的阴道镜荧光图像Gx重建的阴道镜白光图像，GFy表示第一生成器G将第二生成器F通过阴道镜荧光图像y合成的阴道镜白光图像Fy重建的阴道镜荧光图像；5通过训练好的网络得到与源图像位于同一坐标系下的目标域图像数据，此外步骤4中的训练细节中引入了感知损失和辅助分类损失，感知损失函数通过获取第三卷积层到第五卷积层高维度和低维度特征之间的联系从而保留原始图像的结构信息；辅助分类损失确保生成的图像与目标域的语义一致，并提高模型的类别区分能力；其中引入感知损失和辅助分类损失通过额外的约束能够有效的提高模型的训练效率与合成图像的质量；感知损失具体如公式4所示： 其中，表示使用预训练的VGG16网络获取阴道镜白光图像x的某一卷积层的特征图，表示使用预训练的VGG16网络获取阴道镜荧光图像y的某一卷积层的特征图，表示使用预训练的VGG16网络获取重建的阴道镜白光图像的某一卷积层的特征图，表示使用预训练的VGG16网络获取重建的阴道镜荧光图像的某一卷积层的特征图；辅助分类损失具体如公式5所示：ζclsDy，Y＝-labely*logDyy′+1-labely*log1-Dyy′5；其中，Dyy′表示鉴别器Dy判断y是否是Y空间中取的样本，labely代表y的标签，ζclsDy，Y通过预测概率Dyy′与真实标签labely进行比较，计算出预测与真实标签之间的差异，当labely＝1时，表示样本属于正类，此时的计算公式为-labely*logDyy′，当labely＝0时，表示样本属于负类，此时的计算公式为1-labely*log1-Dyy′；CycleGan的总损失具体如公式6所示：ζGANG，F，Dx，Dy＝ζGANG，Dy，X，Y+ζGANF，Dx，F，X+λ*ζcycleG，F+α*ζperG，F+ζclsDy，Y6；其中公式6中，λ，α分别表示循环一致性损失权重和感知损失权重分别为15、0.2。

全文数据：

权利要求：

百度查询： 南昌航空大学 一种基于CycleGan的阴道镜图像模态转换方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD