买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜淮阴工学院申请的专利一种基于全局信息和位置嵌入的场景图生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113836339B 。

龙图腾网通过国家知识产权局官网在2023-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111021629.0，技术领域涉及：G06F16/55；该发明授权一种基于全局信息和位置嵌入的场景图生成方法是由胡荣林;赵志勇;董甜甜;张新新;王媛媛;马鸿泰;邵鹤帅;冯万利;朱全银;何旭琴;秦齐设计研发完成，并于2021-09-01向国家知识产权局提交的专利申请。

本一种基于全局信息和位置嵌入的场景图生成方法在说明书摘要公布了：本发明涉及计算机视觉技术领域，公开了一种基于全局信息和位置嵌入的场景图生成方法，基于大型数据集中的图像，由Faster‑RCNN得到高级特征图和每个实体信息并且对目标位置编码；将特征图和实体信息拼接的特征通过基于自注意力机制的网络得到节点间与其他目标的信息连接；利用LSTM的注意力网络得到目标上下文信息；构建边上下文生成的解码信息和目标图关系的生成融合方式；通过关系计算得到最终场景图。与现有技术相比，本发明将目标特征融入原始图像的视觉信息的方法，加入位置编码信息，连接全局信息和加权信息，提升整体视觉特征对于单一目标的影响，提高了模型推理时对于场景中主要目标的关注度和主宾分类的合理性，召回率有明显提升。

本发明授权一种基于全局信息和位置嵌入的场景图生成方法在权利要求书中公布了：1.一种基于全局信息和位置嵌入的场景图生成方法，其特征在于，包括如下步骤：步骤1：基于数据集中的图像，由Faster-RCNN目标检测模型得到高维视觉特征图和每个实体信息并且对目标位置编码，所述实体信息包括目标视觉特征、目标边界框坐标、类别语义编码信息；步骤2：将步骤1中高维视觉特征图和实体信息拼接的特征通过基于自注意力机制的网络输出残差连接目标特征；步骤2.1：将步骤1中映射的高维视觉特征图进行自适应平均池化得到可对齐融合的视觉特征图；步骤2.2：对步骤2.1中可对齐融合的视觉特征图和实体信息采用拼接的融合方式，得到融合特征，并将其作为自注意力机制网络的输入，并对目标类别进行语义词向量的转换；步骤2.3：构建自注意力机制网络结构，用三个全连接层分别计算融合特征，得到经过自注意力机制网络计算后的残差连接目标特征，其中输出维度为输入维度的二倍，便于残差连接时的维度对齐；步骤3：对步骤2得到的目标特征利用基于注意力的LSTM网络得到目标上下文信息，利用LSTM解码获取目标分类矩阵；步骤3.1：对于步骤2中得到的残差连接目标特征利用双向LSTM提取上下文信息，对于每个节点特征其中融入了其他各目标节点的信息特征；步骤3.2：对于隐层状态在解码前引入注意力机制计算方式，构建注意力机制的可学习参数，得到目标的相关概率度量；步骤3.3：用LSTM解码得到目标分类矩阵，并将其作为边上下文解码的输入；步骤4：构建边上下文生成的解码信息，以步骤3中目标分类矩阵为边上下文解码的输入，构建目标特征到边连接特征的主谓宾关系生成融合方式，所述生成融合方式为非线性的主宾融合方式；步骤5：根据步骤4中融合方式，得到关系概率分布向量，根据最大分数概率对应的索引，从索引与谓词的一一对应的列表中得到关系谓词，并可视化得到最终场景图表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人淮阴工学院，其通讯地址为：223005 江苏省淮安市经济技术开发区枚乘东路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。