申请/专利权人：华南理工大学

申请日：2022-04-14

公开（公告）日：2024-03-22

公开（公告）号：CN114782791B

主分类号：G06V20/00

分类号：G06V20/00;G06T7/73;G06V10/25;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.08.09#实质审查的生效;2022.07.22#公开

摘要：本发明公开了一种基于transformer模型和类别关联的场景图生成方法，该方法包括下述步骤：使用Faster‑RCNN目标检测算法检测出图片中所有物体的位置以及物体类别信息，然后通过训练好的场景图生成网络，得到输入图片的场景图结构；本发明在基于transformer的信息交融机制的基础上，针对信息交融的特性改进了transformer注意力机制，降低了计算复杂度和收敛难度，关注关系类别之间的关联性，修正了训练样本不均衡问题带来的偏倚影响，使用无标签正样本学习方法降低了未标记样本带来的标签噪声。

主权项：1.一种基于transformer模型和类别关联的场景图生成方法，其特征在于，包括下述步骤：将原始图片输入Faster-RCNN目标检测算法网络，检测出所有物体的位置以及物体类别信息；构建基于transformer模型的场景图生成网络；对构建的场景图生成网络采用随机的方式进行初始化；将训练集中的图片随机分配到固定尺寸的batch中，输入场景图生成网络中得到预测的场景图结果；采用交叉熵损失函数对预测的场景图结果中的物体预测结果进行损失计算；构建基于关系类别关联的去偏倚损失函数，采用该损失函数对预测的场景图结构中的关系预测结果进行损失计算；将物体预测结果的损失和关系预测结果的损失相加，进行梯度计算，并通过反向传播更新场景图生成网络；所述将物体预测结果的损失和关系预测结果的损失相加，进行梯度计算，并通过反向传播更新场景图生成网络，具体步骤包括：利用验证集的关系分类结果获取不同关系类别之间的关联性系数，将关联性系数作为softmax函数计算分母的加权系数，将softmax的结果输入无超参的类别均衡损失函数计算关系的损失，具体表示为： 其中，Np为当前batch中关系类别为p的样本数目，表示其中第i个样本在关系类别p上的分类器输出，wp,m为关系类别p与关系类别m之间的关联性系数；计算物体预测结果的损失和关系预测结果的损失之和，具体表示为： 采用梯度下降法更新网络参数；构建无标签正样本学习方法，在经过设定步长的训练优化之后，利用当前训练出的网络为未标记正样本生成的伪标签，并且加入到训练样本中继续对网络进行训练优化；使用训练好的场景图生成网络对输入的图片生成场景图结果。

全文数据：

权利要求：

百度查询： 华南理工大学 基于transformer模型和类别关联的场景图生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD