申请/专利权人：中国兵器装备集团兵器装备研究所

申请日：2023-11-13

公开（公告）日：2024-03-15

公开（公告）号：CN117251599B

主分类号：G06F16/783

分类号：G06F16/783;G06V10/44;G06V10/764;G06V10/776;G06V10/80;G06F16/55;G06F16/583;G06F16/65;G06F16/683;G06F16/75;G06F18/25

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2024.01.05#实质审查的生效;2023.12.19#公开

摘要：本发明提出一种视频语料智能测试优化方法、装置和存储介质，所述方法包括：收集视频数据，所述视频数据包括音频、图像；对视频数据进行标注，获取视频数据对应的真值标注；建立视频特征匹配算法模型，基于所述视频数据提取第一特征，基于所述真值标注提取第二特征，计算第一特征和第二特征之间的注意力权重矩阵，评估两者的匹配程度；定义优化目标为最小化加权的交叉熵损失函数Loss，其中所述交叉熵损失函数Loss中包括所述注意力权重矩阵；训练算法模型，拟合第一特征和第二特征之间的映射，最小化所述交叉熵损失函数Loss；直至达到满足预设优化条件的结果，本方案显著降低了测试准备的人工成本，提高了测试的有效性。

主权项：1.一种视频语料智能测试优化方法，其特征在于，包括：步骤1，收集视频数据，所述视频数据包括音频、图像；对视频数据进行标注，获取视频数据对应的真值标注，所述真值标注至少包括：所述音频的字幕和或字幕翻译的内容及翻译的评估内容，对所述图像中人物、场景和动作的标注，视频数据的语言类别，字幕的准确时间轴对齐信息，视频本身属性的标注；步骤2，建立视频特征匹配算法模型，该模型包括：特征提取和多模态融合网络、注意力网络和映射网络；步骤3，在所述特征提取和多模态融合网络中，基于所述视频数据提取第一特征Ps；所述第一特征Ps包括所述视频数据中的视觉和语音特征；基于所述真值标注提取第二特征Pt；将视觉和语音特征通过线性映射和非线性变换进行融合，得到视频的多模态特征表示；在所述注意力网络中，计算第一特征Ps和第二特征Pt之间的注意力权重矩阵WT，评估两者的匹配程度；步骤4，在所述映射网络中，定义优化目标为最小化加权的交叉熵损失函数Loss，其中所述交叉熵损失函数Loss中包括所述注意力权重矩阵WT；通过注意力权重矩阵WT调节样本权重，调整所述交叉熵损失函数Loss；步骤5，训练所述视频特征匹配算法模型，拟合第一特征Ps和第二特征Pt之间的映射，最小化所述交叉熵损失函数Loss；在测试集上评估所述算法模型，更新所述注意力权重矩阵WT，其中通过分析所述注意力权重矩阵WT，找出算法模型关注不足的样本，以增强算法模型针对性训练或者根据预设算法从所述测试集中优化调整不合格的样本；步骤6，重复步骤3-5，迭代优化所述视频特征匹配算法模型，直至达到满足预设优化条件；其中，步骤5中，根据预设算法从所述测试集中优化调整不合格的样本，包括通过如下公式确定样本预测误差，优化调整不合格的样本： 其中，M2表示样本预测误差，取值范围0～1，0为完全准确，1为完全错误；为样本特征表达质量，取值范围0～1，0代表特征无法进行完备准确表达，1代表特征表达完备准确；为样本标注质量，取值范围0～1，0表示标注错误，1表示标注正确无误差；LJ为样本特征与真实场景的偏差，特征真实偏差，取值范围0～+∞，0为样本特征与真实场景完全匹配；LC为样本标注与真值的偏差，取值范围0～+∞，0为完全一致；为样本特征可学习性，取值范围0～1，0代表特征不能学习，1代表特征完全可学习；为样本标注可学习性；ρ为算法模型与真实场景的真实偏差，取值范围0～+∞，0为算法模型完全匹配真实场景；基于样本预测误差M2和阈值从所述测试集中优化调整不合格的样本。

全文数据：

权利要求：

百度查询： 中国兵器装备集团兵器装备研究所 一种视频语料智能测试优化方法、装置和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD