申请/专利权人：中国传媒大学

申请日：2020-07-28

公开（公告）日：2024-03-12

公开（公告）号：CN112069884B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/80;G06V10/82;G06N3/0442;G06N3/045;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2020.12.29#实质审查的生效;2020.12.11#公开

摘要：本发明提供了一种融入内外部知识的暴力视频分类方法、系统、存储介质和计算机设备。该方法包括：提取多标签暴力视频的RGB模态，运动模态和音频模态的特征，搭建多模态特征融合网络特征融合；提出一种自适应学习多尺度暴力视频特征的内部知识模块，可以学习更加丰富和关键信息；引入一种从高层语义上提升模型的外部知识模块。构建暴力有关的暴力知识图谱，提出了一种消除不同标签之间冗余的优化策略，得到暴力纠正矩阵修正模型；引入融合分数平滑策略消除预测误差，搭建融入内外部知识模暴力视频分类模型。本发明设计的暴力视频分类方案，提升暴力视频分类的有效性和稳定性。

主权项：1.一种暴力视频分类方法，其特征在于，包括以下步骤：S100、获取样本视频数据流，并从所述样本视频数据流中提取出RGB模态数据流、运动模态数据流以及音频模态数据流；S200、将所述RGB模态数据流、运动模态数据流以及音频模态数据流分别输入各自对应的特征提取网络模型，以提取用于描述暴力场景的RGB数据特征、运动光流特征以及音频模态特征；S300、将所述RGB数据特征和运动光流特征输入基于多尺度注意力卷积神经网络的内部知识模型进行处理，以获得具有暴力关键特征的RGB数据新特征和运动光流新特征，包括将RGB数据特征运动光流特征经过第一卷积核和第二卷积核分别进行暴力特征学习；其中，所述第一卷积核的尺度不同于第二卷积核的尺度；将经过第一卷积核学习到的第一尺度特征与经过第二卷积核学习到的第二尺度特征相加，得到尺度混合特征；将所述尺度混合特征输入搭建好的卷积注意力模块，以在通道和空间上提取多尺度暴力视频的暴力关键特征；将所述关键特征输入到搭建好的基于多尺度学习的门机制，结合softmax函数得到第一尺度特征权重系数和第二尺度特征权重系数；将第一尺度特征权重系数和第二尺度特征权重系数分别与对应的第一尺度特征和第二尺度特征相乘，得到与第一尺度对应的第一比例特征和与第二尺度对应的第二比例特征；将第一比例特征和第二比例特征相加，得到具有暴力关键特征的RGB数据新特征运动光流新特征；S400、将所述RGB数据新特征和运动光流新特征以及音频模态特征输入特征融合网络进行特征融合，以构建特征融合向量；S500、将所述特征融合向量输入基于暴力知识图谱的外部知识模型，以得到暴力知识特征融合向量，包括利用python语言构建暴力知识图谱，其中，以暴力标签作为暴力知识图谱的节点，以WordNet语义关系作为暴力知识图谱的连接关系，进行暴力知识图谱模型训练；将暴力视频分类的所有标签输入训练好的暴力知识图谱模型，并根据标签之间的关系构建相关性矩阵；其中，所述相关性矩阵中的元素为各标签所对应的概率值；采用所有标签的互相关平均值作为阈值τ，将低于所述阈值的相关性数值归零，对相关性矩阵进行优化以消除无关标签之间的冗余，得到暴力纠正矩阵；将特征融合向量降维得到N维矩阵，将暴力纠正矩阵与N维矩阵相乘得到暴力知识特征融合向量；S600、将所述暴力知识特征融合向量输入到分类器中，构建融入内部知识和外部知识的暴力视频分类模型；S700、将待识别的视频数据流输入所述暴力视频分类模型，以判断所述待识别的视频数据流是属于暴力视频还是属于非暴力视频。

全文数据：

权利要求：

百度查询： 中国传媒大学 一种暴力视频分类方法、系统和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD