申请/专利权人：西安电子科技大学

申请日：2022-12-15

公开（公告）日：2023-05-16

公开（公告）号：CN116127959A

主分类号：G06F40/279

分类号：G06F40/279;G06F40/58;G06F40/216;G06F16/35

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.06.02#实质审查的生效;2023.05.16#公开

摘要：本发明提供了一种基于深度学习的图像意境挖掘与意境转换中国古诗的方法，接收用户生成古诗的用户任务，并从用户任务中提取用户提交的目标图片；将所述目标图片输入至预训练的跨模态诗歌生成器中，为用户所提交的图像生成对应的古诗；本发明的基于CNN的图像特征提取器提取静态图像在物体、场景和情感三个方面的特征向量，并与位置编码相加，作为跨模态诗歌生成器编码器的输入，将预训练单模态语言模型的模型参数导入到跨模态诗歌生成器的解码器中学习语法信息，以提升跨模态诗歌生成器的生成质量；最后在跨模态图像‑诗歌配对数据集上对跨模态诗歌生成器进行训练，并通过生成古诗向量与真实古诗向量之间的余弦相似度对生成结果进行评价。

主权项：1.一种基于深度学习的图像意境挖掘与意境转换中国古诗的方法，其特征在于，包括：步骤1，接收用户生成古诗的用户任务，并从用户任务中提取用户提交的目标图片；步骤2，将所述目标图片输入至经过训练的跨模态诗歌生成器中，为用户所提交的图像生成对应的古诗；其中，预训练的跨模态诗歌生成器的训练过程如下：1从开源数据库获取开源古诗数据集，并进行关键词预处理得到筛选后的高频关键词；其中，所述开源古诗数据集包括古诗的相关信息以及每首古诗对应的多个关键词；2将每首古诗对应的多个关键词与所述高频关键词进行匹配，如仅有一个关键词匹配不上，则保留古诗的相关信息以及匹配上的关键词，以获得待配对数据集；3将待配对数据集中同一首古诗的关键词进行串联，作为检索关键词，并根据所述检索关键词从网络获取与古诗配对的多张初始图片；4对所述初始匹配图片按照古诗的相关信息进行筛选，得到每一首古诗按照关联度配对的图片，并将每首古诗以及配对的图片作为一个样本数据，将所有样本数据组成图像-古诗配对数据集；5提取所述图像-古诗配对数据集多维度的特征向量，并重塑为特征序列，将特征序列作为跨模态诗歌生成器的输入，将预训练单模态语言模型的模型参数导入预设的跨模态诗歌生成器中，进而对所述跨模态诗歌生成器进行微调训练，完成跨模态诗歌生成器的预训练过程。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于深度学习的图像意境挖掘与意境转换中国古诗的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD