申请/专利权人：江苏海洋大学

申请日：2023-12-27

公开（公告）日：2024-04-05

公开（公告）号：CN117830778A

主分类号：G06V10/80

分类号：G06V10/80;G06V10/44;G06V10/56;G06V10/77;G06V10/82;G06N3/0464;G06N3/0475;G06N3/048

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.23#实质审查的生效;2024.04.05#公开

摘要：本发明公开了基于双支路GAN和SwinTransformer的PET和MRI图像融合方法，将PET图像进行RGB到YCbCr色彩空间的转换，分别得到PET图像的Y，Cb和Cr三个分量；将PET图像的Y分量和MRI图像在通道维进行联结，然后输入到双支路生成对抗网络中并对网络模型进行训练；利用训练好的网络模型生成融合后的PET图像的Y分量；将融合后的Y分量，原PET图像的Cb和Cr分量进行YCbCr到RGB彩色空间的转换，从而得到最终的融合结果。本方法采用的是一种端到端的网络模型，无需设置复杂的图像融合规则。本方法得到的融合结果对比度更高，整体视觉效果更好。本方法在有效地保留PET图像功能信息以伪彩色呈现的同时，能够有效地融合MRI图像的解剖结构信息，从而提升了PET和MRI图像融合的性能。

主权项：1.基于双支路GAN和SwinTransformer的PET和MRI图像融合方法，其特征在于，该方法包括以下步骤：S1：YCbCr色彩空间转换，得到PET图像的Y分量；将PET图像IP进行RGB彩色空间到YCbCr彩色空间的变换，分别得到IP的Y，Cb，Cr三个通道的分量图像IP-Y，IP-Cb和IP-Cr，其中Y分量图像包含能够反映PET图像整体结构与亮度变化的亮度信息；PET图像由RGB彩色空间至YCbCr彩色空间的具体变换过程如下式1： S2：将PET图像的Y分量和MRI图像在通道维进行“联结”，然后输入到双支路生成对抗网络中并对网络模型进行训练；将PET图像的Y分量IP-Y与MRI图像IM在通道维进行“联结”，然后输入到生成器G的两个支路中，两个支路为：CNN支路和Transformer支路；生成器的两个支路分别提取所输入图像的局部特征信息和全局特征信息，然后融合生成PET图像的Y分量IF-Y；S3：利用训练好的网络模型生成融合后的PET图像的Y分量；在测试或应用阶段，将MRI图像IM和PET图像的Y分量IP-Y经联结后输入到训练好的生成器G中，从而生成融合图像，即融合的PET图像的Y分量IF-Y；S4：将融合所得的IF-Y，连同式1中变换得到的PET图像的Cb，Cr分量IP-Cb、IP-Cr进行从YCbCr彩色空间到RGB彩色空间的逆变换，从而得到最终的融合结果，即融合的PET图像IF。

全文数据：

权利要求：

百度查询： 江苏海洋大学 基于双支路GAN和Swin Transformer的PET和MRI图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD