申请/专利权人：华南理工大学

申请日：2022-04-12

公开（公告）日：2024-03-22

公开（公告）号：CN114764899B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2022.08.05#实质审查的生效;2022.07.19#公开

摘要：本发明公开了一种基于transformer第一视角下的下一个交互物体预测方法，该方法的步骤包括：使用slowfast网络在第一视角视频上对当前视频片段的交互物体进行识别训练，提取已观察视频特征并进行标准化；将待预测视频特征初始化为可训练的参数；将已观察视频特征与待预测视频特征进行拼接；将拼接后特征作为transformer网络输入，分类已观察视频和待预测视频的所有交互物体，达到对下一个交互物体预测的粗分类；将通过transformer网络后的待预测视频特征进行时间最大值池化；池化后的待预测视频特征经过全连接层得到下一个交互物体的预测。本发明解决在预测下一个交互物体的时候忽视预测间隔特征的问题，使得下一个交互物体预测的性能得到提高。

主权项：1.一种基于transformer第一视角下的下一个交互物体预测方法，其特征在于，包括下述步骤：采用slowfast网络作为特征提取网络，在第一视角视频上对当前视频片段的交互物体进行识别训练，以识别交互物体；所述采用slowfast网络作为特征提取网络，在第一视角视频上对当前视频片段的交互物体进行识别训练，以识别交互物体，具体步骤包括：slowfast网络在Kinetics-400进行预训练，并使用预训练参数初始化slowfast网络；在视频片段上随机选取视频帧作为slowfast网络的输入，在随机选取的视频帧上等间隔采样不同帧数的视频帧，分别作为fast通道和slow通道的输入；对输入数据进行数据增强；构建交叉熵损失函数，采用交叉熵损失函数对slowfast的预测结果交互物体的标签进行损失计算和梯度计算，并通过反向传播更新基准网络；采用端到端的训练方式训练slowfast网络，设置初始学习率，在迭代训练过程中使用学习率下降策略，达到预设的迭代次数后，保存模型训练参数文件；将训练后的slowfast网络用于已观察视频帧的特征提取；将提取的已观察视频的特征进行标准化；用可训练的参数初始化待预测视频的特征；所述用可训练的参数初始化待预测视频的特征，具体步骤包括：Fas＝ConcatFa,Fs其中，Fa表示预测间隔部分的特征，Fs表示为下一个交互物体的特征，Fas为拼接后的特征，Concat表示为特征拼接；待预测视频的特征分为预测间隔部分和下一个交互物体交互部分，设为一组可训练参数；将已观察视频的特征和待预测视频的特征进行拼接；预处理交互物体的标签；所述预处理交互物体的标签，具体步骤包括：伪标签的生成：在第一人称的视频片段中，如果有片段没有标注交互物体标签，如果此片段与某一有标注物体标签的片段重叠，则把此片段的标签设为与其有重叠且有标签的片段的标签；如果没有任何一个有标签的片段与其重叠，则将此片段的交互物体标签设置为与其距离最近的有标签的视频片段的交互物体标签；进行标签平滑处理，具体表示为： 其中，y为one-hot标签，α为平滑参数，K代表标签的数量；将拼接后的特征作为transformer网络和全连接分类网络的输入，对已观察和待预测的视频上的所有交互物体进行识别，使用交叉熵损失函数进行训练；提取出通过transformer网络之后、全连接分类网络之前待预测的视频的特征；将提取出的全连接网络之前待预测视频的特征进行池化，通过另一个全连接分类网络对下一个交互物体进行预测；所述将提取出的全连接网络之前待预测视频的特征进行池化，通过另一个全连接分类网络对下一个交互物体进行预测，具体计算公式为：yp＝MLPMaxpoolFas其中，yp表示预测的结果，MLP表示全连接层，Maxpool表示时间最大值池化，Fas表示通过transformer网络的需要预测视频的特征。

全文数据：

权利要求：

百度查询： 华南理工大学 基于transformer第一视角下的下一个交互物体预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD