申请/专利权人：电子科技大学;成都成电金盘健康数据技术有限公司

申请日：2023-12-11

公开（公告）日：2024-04-16

公开（公告）号：CN117392259B

主分类号：G06T11/00

分类号：G06T11/00;G06N3/045;G06N3/0475;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.01.30#实质审查的生效;2024.01.12#公开

摘要：本发明提出了一种双视角跨模态重建CT影像的方法，涉及医学CT影像领域。该方法将扩散模型和GAN网络结合在一起，可以在保持生成高质量CT影像和多样性的前提下，提高生成速度，减少模型训练难度。本发明能够充分利用双视角影像的优势，并在重建过程中有效融合它们的信息，从而提高重建CT影像的质量和准确性。同时，针对原有三维投影损失函数存在的问题，本发明设计了一种改进的三维投影损失函数，通过使用Charbonnier损失替代原本的L1损失，重建的CT影像在感官上更加真实，并且避免了过度平滑的问题，有效提高了三维物体的重建精度。本发明可以大大减少获取高质量CT影像过程中的受辐射剂量，在医学影像重建领域具有广泛的应用前景。

主权项：1.一种双视角跨模态重建CT影像的方法，其特征在于，包含以下步骤：步骤1：下载CT影像数据集，使用数字重建影像技术，模拟X射线对3D重建肺部进行透射，生成虚拟冠状面和矢状面的双视角CR、DR影像，然后使用CycleGAN模型学习真实X光片的数据分布，使虚拟双视角CR、DR影像的数据分布贴合真实CR、DR影像的数据分布；步骤2：线下采集若干例胸部CR、DR影像，并将采集的胸部CR、DR影像与CT影像配对数据进行相应的预处理，使用CycleGAN模型学习真实X光片的数据分布，使得学习到的与CT影像概率分布更贴近真实分布，符合影像科医生的诊断标准；步骤3：建立X2CT-DDPMGAN网络，通过输入两张正交的胸部CR、DR影像跨模态生成CT影像，网络建立的具体步骤如下：1）建立扩散模型：两张正交的胸部CR、DR影像作为初始图像，对初始图像增加T轮高斯噪声，生成T张图像，表示为x1,x2……xi…xt；计算图像xt-1和xt的数据分布，通过双视角信息融合模块将增加了T轮高斯噪声的二双视角胸部CR、DR影像融合为三维的CTt-1和CTt，前向扩散过程xt的数据分布计算如下： 1其中为超参数，设定为0.0001到0.002的T步线性插值；，为高斯分布，任意时刻xt都可由x0和表示；2）在X2CT-GAN网络结构中改进三维投影损失函数，投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，得到改进后的条件生成对抗网络，具体如下：在最小二乘生成对抗网络中，网络通过最小化损失函数来得到最接近真实的CT影像；其中，损失函数由生成损失和DDPM损失两部分组成，生成损失包括对抗损失、重建损失和投影损失，生成损失的计算如下： 2其中，D*为判别器的生成损失，判别器输出0到1之间的概率值；1代表判别器认为这个影像是真实的，0代表判别器认为是虚假的，0.5代表判别器无法判断是真是假；G*为生成器的生成损失；、和是超参数，控制对抗损失、重建损失和投影损失的权重；对抗损失定义如式（3）所示，x为输入的两张正交的双视角胸部CR、DR影像，y是其对应的CT影像数据，为对CT影像的概率分布求期望，为对CR、DR影像的概率分布求期望；代表判别器直接对真实CT影像y打分，代表输入CR、DR影像通过生成器G，生成了一个CT影像，判别器对其打分；LSGAN训练更加稳定并且可以捕捉更多真实细节，使生成数据接近真实数据分布： （3）重建损失基于均方误差定义如式（4）所示，x、y定义均如式（3），重建损失可以对三维空间中每一个像素点都进行相应的约束，使重建结果在形状上和输入信息保持一致性： （4）其中，为对y与Gx的概率分布求期望，为真实CT影像与生成CT影像作像素值之差的L2损失的平方；投影损失中将X2CT-GAN网络中的三维投影损失的L1损失替换为Charbonnier损失，L1损失如式（5）所示，yi代表真实数据分布，fxi代表估计数据分布，n表示CT投影平面的像素总数； （5）如式（6），CharbonnierLoss损失在L1损失的基础之上增加一个无穷小量，使得损失函数在0点附近仍然可导，避免了梯度消失和梯度爆炸； （6）改进投影损失使得生成的CT影像具有真实感，提高重建精度，对横断面、冠状面和矢状面的投影施加约束，其中Pax,Pco,Psa分别代表CT数据在横断面、冠状面以及矢状面的二维投影，投影损失如式（7）所示，其中表示作Charbonnierloss； （7）3）在条件生成对抗网络中增加前向扩散过程，使扩散模型和改进后的条件生成对抗网络结合生成需要的CT影像，在保持生成高质量CT影像和多样性的前提下，提高生成速度，减少模型训练难度，具体如下：DDPM损失的计算： （8）其中，L为DDPM损失，为对与差值的绝对值平方求期望，表示的估计值，为高斯分布；DDPM损失通过预测前向扩散过程中每一步的高斯分布，通过式（9）、（10）计算得到均值和方差，进而通过式（11）计算估计值，获得前向扩散过程中每一步添加的高斯噪声的近似值； （9） （10） （11）4）生成器G生成CT影像CT0’后，与前向扩散过程一样，对CT’0添加T-1轮高斯噪声得到CT’t-1，CT’t-1与CTt-1、CTt一起送入判别器D中进行判断真伪，其中CTt-1为前向过程中的影像，CT’t-1为生成影像，CTt作为监督条件，代表T-1时刻的下一时刻，辅助判别器D判断真伪；随着训练过程中不断最小化损失函数，网络逐渐完整地学习到CR、DR影像到CT影像的映射关系，直到判别器D打分等于0.5时，说明判别器D难以判断真伪，得到训练好的模型。

全文数据：

权利要求：

百度查询： 电子科技大学;成都成电金盘健康数据技术有限公司 一种双视角跨模态重建CT影像的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD