申请/专利权人：沈阳雅译网络技术有限公司

申请日：2022-03-10

公开（公告）日：2024-03-26

公开（公告）号：CN114782848B

主分类号：G06V20/20

分类号：G06V20/20;G06V10/40;G06V10/80;G06V10/82;G06N3/0464;G06N3/0455;G06N3/0499

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2022.08.09#实质审查的生效;2022.07.22#公开

摘要：本发明公开一种应用特征金字塔的图片字幕生成方法，步骤为：将预处理后的图片输入特征金字塔模块中，抽取特征图作为图片特征信息，和预处理后的图片并称为低维度、高维度、原始维度三种不同尺度的图片特征；将原始维度图片特征送入嵌入层转换成向量表示；将三种不同尺度的图片特征送入编码器的第一层，进行维度缩放；将维度大小一致的隐层信息送入编码器中堆叠的高层得到三种编码器特征，通过拼接得到融合后的图片特征送入模型的解码器进行解码；通过交叉熵损失函数进行梯度更新，优化模型权重，得到图片字幕生成方法。本发明从图片的不同角度和不同的视野距离来增强图片的语义表达能力有效降低了编码器中自注意力机制和前馈神经网络的计算成本。

主权项：1.一种应用特征金字塔的图片字幕生成方法，其特征包括以下步骤：1将预处理后的图片输入的特征金字塔模块中，通过特征金字塔模块中的多层卷积神经网络将图片进行特征提取，分别抽取出低层卷积神经网络和顶层卷积神经网络的特征图，作为低维度和高维度两种尺度的图片特征信息，和预处理后的图片并称为低维度、高维度、原始维度三种不同尺度的图片特征；2将原始维度图片特征送入嵌入层转换成向量表示；3将三种不同尺度的图片特征送入编码器的第一层中，进行维度缩放，即经过自注意力机制和前馈神经网络将维度不同的图片特征缩放成同一维度大小的隐层信息；4将维度大小一致的隐层信息送入编码器中堆叠的高层得到三种编码器特征，并通过拼接操作得到融合后的图片特征；5将融合后的图片特征送入模型的解码器进行解码，解码器通过堆叠的解码器层将图片特征解码成图片字幕，并通过交叉熵损失函数进行梯度更新，优化模型的权重，得到图片字幕生成方法。

全文数据：

权利要求：

百度查询： 沈阳雅译网络技术有限公司 一种应用特征金字塔的图片字幕生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD