申请/专利权人：南京大学

申请日：2022-09-08

公开（公告）日：2024-03-19

公开（公告）号：CN117726697A

主分类号：G06T9/00

分类号：G06T9/00;G06V10/764;G06V10/774;G06V10/82;G06N3/084;G06N3/04

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.05#实质审查的生效;2024.03.19#公开

摘要：一种在场景图生成中引入异质化约束的方法，通过一个异质化模型在生成场景图的过程中引入异质化约束，由场景物体的视觉特征作为物体表征，利用链路预测发现物体潜在的关系，通过图神经网络生成物体之间的混合关系特征，使用梯度反转混淆弱化混合关系特征和物体表征的关联性，从而保证二者的异质性；随后使用自动编码器模块重构混合关系特征，最后对重构的混合关系特征进行建模，使得具有异质性的关系标签传递到场景图生成中，用于生成异质化的场景图。本发明通过在传统场景图生成方法的训练过程中显式解耦物体特征空间和关系特征空间的相关性，成功保证了生成的场景图的异质性。

主权项：1.一种在场景图生成中引入异质化约束的方法，场景图生成模型通过目标检测得到物体标签，通过关系预测得到物体间的关系标签，生成场景图，其特征是通过一个异质化模型在生成场景图的过程中引入异质化约束，异质化模型在场景图生成过程中将物体和关系的特征空间解耦，将异质化结果传递到场景图生成模型，用于生成异质化的场景图，异质化模型的训练实现如下：1将场景图生成模型提取的物体视觉特征作为物体表征，利用链路预测初步判断每一对物体之间是否存在关系，初始化场景的图拓扑结构，得到特征图；2使用图神经网络基于特征图生成物体之间的混合关系特征，图神经网络的消息传递过程为x′i＝σω1·meanj∈N′ixj+ω2·xi，其中xi表示图节点i的特征，N′i表示图节点i的不包含自环的邻域节点集合，ω1与ω2表示图神经网络的学习参数，σ为非线性激活函数，mean表示特征的数学均值；3对混合关系特征进行梯度反转，先利用一个多层感知机学习混合关系特征中和物体表征强相关的部分，由混合关系特征预测物体标签，然后采用梯度反转，使得感知机丧失预测物体标签的能力，并通过梯度的反向传播机制辐射混合关系特征的生成，弱化混合关系特征和物体表征的关联性，从而保证二者的异质性；4使用自动编码器重构混合关系特征：自动编码器包含一个编码器和一个解码器，使用编码器作为分类器，对混合关系特征分类生成混合关系标签，并使用解码器重构混合关系特征；5利用混合高斯建模对混合关系标签分布进行建模，将具有异质性的混合关系标签传递到场景图生成模型中，生成异质化场景图。

全文数据：

权利要求：

百度查询： 南京大学 一种在场景图生成中引入异质化约束的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD