申请/专利权人：国家计算机网络与信息安全管理中心

申请日：2021-05-11

公开（公告）日：2024-03-29

公开（公告）号：CN113297934B

主分类号：G06V40/16

分类号：G06V40/16;G06V40/20;G06V20/40;G06V10/82;G06N3/0442;G06N3/0464;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2021.09.10#实质审查的生效;2021.08.24#公开

摘要：本发明公开了检测互联网暴力有害场景的多模态视频行为分析方法，主要包括视频场景人物快速定位检测、视频场景行为判别、视频场景有害程度定性三个阶段，该方法在行为识别的基础上，将目标人物情绪、网络评论弹幕情绪作为判定维度，实现对特定有害场景的精准发现。

主权项：1.检测互联网暴力有害场景的多模态视频行为分析方法，其特征在于，包括以下步骤：步骤一、将表观特征及该表观特征的旋转不变特征同时作为特征描述符进行人体目标检测；步骤二、将整个人体进行区域划分为n个区域，对相邻区域依次重组，生成不同尺度的人体区域检测模版，对不同尺度的人体区域检测模版分别利用CNN进行神经网络训练，训练过程的输入为不同遮挡程度的人物视频；步骤三、进行人体目标检测，通过特征映射函数k将原始视频x映射到特征矩阵M，再通过部件检测器g，计算评分参数s，s记录了根据表观特征获得的每个部件在检测区域存在的概率，通过步骤二训练得到的分层CNN模型f计算场景中的人体各部件可见性参数v并修正评分参数s，最后通过CNN网络中的判别函数判别是否有人体目标存在于检测区域计算检测结果y；步骤四、以动作特征、场景特征和情绪特征作为LSTM循环神经网络的输入，目标行为词语作为输出，训练LSTM模型，实现对视频中目标行为的初判断，剔除无有害场景的视频，针对存在有害场景的视频执行步骤五的操作；其中，动作特征选取光流特征，场景特征选择DeCAF特征，情绪特征中，人物面部表情识别整体特征采用PCA特征，局部特征采用脸部运动编码分析特征；步骤五、对基础情感词库中的词进行基础分值标注，形成基础情感词词典，提取视频输入弹幕中的基础情感词，并从基础情感词词典中查询其基础分值进行赋值；步骤六、将基础情感词词典中的情感类别划分为“乐好怒哀惧恶悲”7个维度，每条维度单独计算情感分值；利用以下公式计算每条弹幕的情感数值；S＝∑ajQbj×cj,b+∑αi+∑βm+∑εl其中，j取值1～J，J为情感词总数；bj为第j个情感词的基础情感分值，由基础情感词词典直接匹配查询，取值范围[0,1]；cj＝{1，-1}为判断情感词j是否为被动化动词，用于判定情感词的反向情绪；b为弹幕全部情感词、颜文字、谐音词、连续符号的情感分值矩阵；Q函数为互相关函数，用于计算当前情感词与该弹幕中的其他情感词b情感倾向的相关程度，aj为第j个情感词前后的程度副词加权分数，取值范围[0,N]，N可根据实际需求指定，一般不超过10；αi、βm、εl分别为颜文字、谐音词、连续标点或数字符号三类特殊弹幕的情绪参数，i取值1～I，m取值1～M，l取值1～L，I、M、L分别为所述三种特殊弹幕的出现个数；步骤七、在计算每条弹幕的情感数值后，采用IsolationForest方法进行异常点检测，对同一时间段内的所有弹幕情感数值进行聚类，剔除情感数值异常弹幕，对其他正常弹幕的情感数值进行求和，得到整个视频的情绪参数，所述情绪参数为7维情感类别参数向量，其中，分数最高维度即为视频的整体情感倾向，其数值即为最终情感分值；当整个视频出现“怒惧恶”情绪超过视频时长的14时，则将该视频进行推荐。

全文数据：

权利要求：

百度查询： 国家计算机网络与信息安全管理中心 检测互联网暴力有害场景的多模态视频行为分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD