申请/专利权人：安徽大学

申请日：2024-01-30

公开（公告）日：2024-04-12

公开（公告）号：CN117649422B

主分类号：G06T7/11

分类号：G06T7/11;G06N3/045;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/048;G06N3/094;G06V10/26;G06V10/44;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2024.03.22#实质审查的生效;2024.03.05#公开

摘要：本申请涉及一种多模态图像分割模型的训练方法和多模态图像分割方法，其中，该训练方法包括：获取训练样本集，训练样本包括源域真实图及其分割标签和、目标域真实图；通过源域真实图和目标域真实图，对图像转换模块进行训练，并通过图像转换模块得到源域生成图及其特征图、目标域生成图及其特征图、源域真实图和目标域真实图的特征图；通过训练样本集、源域生成图及其特征图、目标域生成图及其特征图、源域真实图和目标域真实图的特征图，对图像分割模块进行训练。解决了目前基于半监督学习的多模态图像分割方法中，当目标域的生成图和真实图之间存在较大的数据分布差异时，半监督学习的有效性会受到影响，最终影响图像分割效果的问题。

主权项：1.一种多模态图像分割模型的训练方法，其特征在于，所述多模态图像分割模型包括图像转换模块和基于半监督学习的图像分割模块，所述训练方法包括：获取训练样本集，所述训练样本包括源域真实图及其分割标签、目标域真实图；通过所述源域真实图和所述目标域真实图，对所述图像转换模块进行训练，并通过所述图像转换模块得到源域生成图及其特征图、目标域生成图及其特征图、所述源域真实图和所述目标域真实图的特征图；通过所述训练样本集、源域生成图及其特征图、目标域生成图及其特征图、所述源域真实图和所述目标域真实图的特征图，对所述图像分割模块进行训练；其中，所述图像转换模块包括内容编码器、源域解码器和目标域解码器，所述源域生成图包括第一源域生成图和第二源域生成图，所述目标域生成图包括第一目标域生成图和第二目标域生成图；通过所述图像转换模块得到源域生成图及其特征图、目标域生成图及其特征图、所述源域真实图和所述目标域真实图的特征图，包括：分别将所述源域真实图和所述目标域真实图输入所述内容编码器，得到所述源域真实图的特征图和所述目标域真实图的特征图；将所述源域真实图的特征图输入所述目标域解码器，得到所述第一目标域生成图，将所述目标域真实图的特征图输入所述源域解码器，得到所述第一源域生成图；分别将所述第一目标域生成图和所述第一源域生成图输入所述内容编码器，得到所述第一目标域生成图的特征图和所述第一源域生成图的特征图；将所述第一目标域生成图的特征图输入所述源域解码器，得到所述第二源域生成图，将所述第一源域生成图的特征图输入所述目标域解码器，得到所述第二目标域生成图；分别将所述第二源域生成图和所述第二目标域生成图输入所述内容编码器，得到所述第二源域生成图的特征图和所述第二目标域生成图的特征图；所述图像分割模块包括4个子分割模型，4个所述子分割模型分别为源域学生模型及其对应的源域教师模型、目标域学生模型及其对应的目标域教师模型；通过所述训练样本集、源域生成图及其特征图、目标域生成图及其特征图、所述源域真实图和所述目标域真实图的特征图，对所述图像分割模块进行训练，包括：将所述源域真实图及其特征图和分割标签输入所述源域学生模型，对所述源域学生模型进行训练；将所述第一源域生成图及其特征图、所述第二源域生成图及其特征图输入所述源域教师模型，通过所述源域教师模型辅助所述源域学生模型进行学习；将所述第一目标域生成图及其特征图、所述源域真实图的分割标签输入所述目标域学生模型，对所述目标域学生模型进行训练；将所述目标域真实图及其特征图、所述第二目标域生成图及其特征图输入所述目标域教师模型，通过所述目标域教师模型辅助所述目标域学生模型进行学习；所述图像分割模块的训练损失包括：所述源域学生模型的源域分割损失： 所述目标域学生模型的目标域分割损失： 其中，表示SoftDice函数，表示加权交叉熵CE函数，表示源域真实图的分割标签，表示源域教师模型，表示源域学生模型，表示目标域教师模型，表示目标域学生模型，表示源域真实图增强后的特征，表示目标域生成图增强后的特征；所述多模态图像分割模型还包括相似性挖掘模块，所述相似性挖掘模块包括依次连接于所述内容编码器末端的第一多层感知机和第二多层感知机；其中，所述第一多层感知机用于得到所述内容编码器的输入的投影特征图，所述第二多层感知机用于得到所述内容编码器的输入的预测特征图；所述图像转换模块的训练损失还包括：所述投影特征图与所述预测特征图之间的余弦相似性损失。

全文数据：

权利要求：

百度查询： 安徽大学 多模态图像分割模型的训练方法和多模态图像分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD