申请/专利权人：河海大学

申请日：2023-06-27

公开（公告）日：2024-04-09

公开（公告）号：CN116863032B

主分类号：G06T11/60

分类号：G06T11/60;G06N3/0475;G06F18/25;G06F18/214;G06F18/21;G06V40/30;G06V10/82;G06V10/80;G06V10/774;G06V10/776;G06V20/70;G06N3/0464;G06N3/0455;G06N3/048;G06N3/094

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2023.12.08#实质审查的生效;2023.10.10#公开

摘要：本发明公开了一种基于生成对抗网络的洪涝灾害场景生成方法，包括：采集洪涝灾害相关信息，建立文本图像对数据集；对文本图像对数据集进行预处理，将文本图像对数据集分为训练集和验证集；根据构建好的生成器和鉴别器形成生成对抗网络模型；使用文本图像对数据集对生成对抗网络模型进行训练；通过生成对抗网络模型，根据文本生成洪涝灾害图像。本发明将文本编码器作为生成器的部分之一，进行预训练，利于生成细粒度更高的高质量图像，在融合块中，文本信息能够在图像分辨率不同的条件下与图像特征进行充分融合，鉴别器损失使用单项输出能够加速生成器收敛，能够生成高质量的洪涝灾害图像，同时能够保证文本与生成图像之间的语义一致性。

主权项：1.一种基于生成对抗网络的洪涝灾害场景生成方法，其特征在于，包括如下步骤：S1：采集洪涝灾害相关信息，建立文本图像对数据集；S2：对文本图像对数据集进行预处理，将文本图像对数据集分为训练集和验证集；S3：根据构建好的生成器和鉴别器形成生成对抗网络模型；S4：使用文本图像对数据集对生成对抗网络模型进行训练，得到训练好的生成对抗网络模型；S5：通过训练好的生成对抗网络模型，根据文本生成洪涝灾害图像；所述步骤S1中洪涝灾害相关信息包括洪涝灾害成因因素数据和洪涝灾害图像，其中，洪涝灾害成因因素数据包括致灾因子、孕灾环境、承灾体；洪涝灾害图像由航拍方式进行获取，并且对图像的拍摄具有随机性；所述步骤S3中构建好的生成器包含全连接层、文本编码器、6个融合块、注意力机制细节优化块、卷积层和生成器损失；文本编码器采用双向LSTM网络结构；融合块由上采样块、2个仿射块和残差块组成；注意力机制细节优化块由注意力机制和图像特征转换器两部分组成；生成器损失由对抗性损失和DAMSM损失构成，表达式为： 其中s是文本描述，是生成的图像，D是鉴别器给出的输入图像与输入句子是否匹配的判定，λDA是DAMSM损失的权重；DAMSM损失是用来衡量文本与图像之间的语义一致性；所述融合块的组成和设置如下：上采样块采用双线性插值法；仿射块中，包含了以Affine层、ReLU层顺序的结构，一个仿射块有两层这样的结构；Affine层由两个MLP组成，并且句子向量输入每个仿射块中的MLP中；残差块被设计为两个仿射块中间以及第二块仿射块后加入3x3卷积层；所述注意力机制细节优化块的运行方法如下：E1：将单词级特征和初始图像特征一起经过注意力机制筛选具有注意力机制的重要单词；表达式为：αi＝softmaxWiUR0 W＝{Wi|i＝0,1,2,...,l-1}其中R0表示初始图像特征，U是感知层，将单词嵌入W转换到视觉特征的底层公共语义空间中，Wg表示全局特征；E2：将初始图像特征g0和经过注意力机制输出的全局特征Wg经过图像特征转换器生成第二阶段图像特征；表达式为：Rg＝FR0,Wg其中F是图像特征转换器，Rg为第二阶段图像特征；图像特征转换器由一个Concat块、两个残差块、一个上采样块组成；其中Concat块可以将两个张量按指定维度拼接在一起；残差块由两个3x3卷积层和BN层的组合构成；所述步骤S3中构建好的鉴别器由一个3x3卷积层、6个隐藏块、单向输出构成；其中，隐藏块包括下采样块和残差块；下采样块采用步长为2的卷积层；残差块的组成为4x4卷积层、ReLU层、3x3卷积层、ReLU层；单向输出是将句子特征和图像特征Concat结合起来然后通过两个卷积层输出一个对抗性损失；鉴别器损失使用了匹配感知梯度惩罚损失相关的对抗性损失： 其中s是文本描述，是不匹配的文本描述，x是对应于s的真实图像，是生成的图像，D是鉴别器给出的输入图像是否与输入句子匹配的判定，λMA和p是MA-GP的超参数。

全文数据：

权利要求：

百度查询： 河海大学 一种基于生成对抗网络的洪涝灾害场景生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD