申请/专利权人：国家计算机网络与信息安全管理中心

申请日：2023-10-20

公开（公告）日：2024-02-09

公开（公告）号：CN117541955A

主分类号：G06V20/40

分类号：G06V20/40;G06V20/62;G06V10/764;G06V10/80;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本发明公开了一种基于多维度视频特征的短视频平台账号智能判定方法，属于短视频平台账号智能判定领域，具体包括：1提取视频帧文本信息，利用差分法抽取视频中不同的关键帧，获取关键帧中的文本信息。2视频整体特征提取，通过使用3D卷积网络端到端的获取视频的整体特征。3融合多维度特征对视频进行判定，将视频整体特征与文本特征进行融合，通过引入Sigmoid函数输出每一类别对应的置信度，完成对视频的类别判断。4账户类别判定，通过设计赋值加权平均的方法完成对账户多视频类别的综合判定，从而得到准确的账户类别。本发明解决了短视频平台账户人力成本的消耗，在短视频平台发展的过程中具有极大的应用价值。

主权项：1.一种基于多维度视频特征的短视频平台账号智能判定方法，其特征在于，具体步骤如下：步骤一、针对当前账号待输入的正常视频，提取该视频中每帧图像的文本信息；具体过程包括：步骤101、判断该视频中每帧的大小是否大于36x36，如果是，将首个非纯色的视频帧作为第一个关键帧，然后迭代下一帧作为当前帧；否则，丢弃该视频；步骤102、判断当前帧是否为纯色，如果是，则丢弃该帧；否则通过差分法计算当前帧与上一关键帧之间的差值SV；步骤103、判断差值SV是否小于设定的阈值ST，如果是，则表明两帧图像非常相似，丢弃该当前帧，继续迭代下一帧作为当前帧；否者，将当前帧作为新的关键帧；直至该视频所有帧都判断完毕；步骤104、将所有保留的视频帧进行预处理；具体包括：首先，调整每帧图像的尺寸，缩放到416x416大小；然后，对每帧图像的像素值除以255，将像素值缩放到0到1之间，在对像素值进行归一化处理，使其像素值满足均值为0，方差为1的正态分布；步骤105、将预处理后的视频帧图像输入到DBNet文本检测网络中，输出文本在图像中的位置信息TBL和对应的置信度DC；步骤106、判断置信度DC是否小于设定的检测阈值DT，如果是，则丢弃该位置信息TBL；否则，根据位置信息TBL提取原始图像中的区域图像，并经过文本识别，得到该视频的文本信息；具体为：根据位置信息TBL提取原始图像中的区域图像后，通过Mobilenet-v3获取该区域的文本特征，将获取到的文本送入到CTC网络层进行文本识别，得到该区域的文本信息；通过不断的迭代，将整个视频的文本信息连接在一起，作为视频的文本信息；步骤二、针对待输入的正常视频，对各帧图像的像素值进行归一化处理，并通过基于残差网络的C3D主干网络提取到该视频的整体特征；具体步骤如下：首先，将原始视频数据解码为连续的视频帧序列，然后，使用双线性插值的方式对解码得到的帧序列进行帧尺寸调整，将视频帧都调整为相同的112x112像素；接着，对调整后的视频帧进行归一化处理，使视频帧的像素值满足均值为0、标准差为1的正态分布；最后，将符合正态分布的视频帧输入到C3D的主干网络里面，得到最后一个卷积层的特征，将其作为视频的整体特征；步骤三、对该视频中每帧图像的文本信息进行文本预处理，输入到TextCNN主干网络，获取到文本对应的特征；具体步骤为：首先进行文本清洗，去除文本中的杂质和噪声；然后，使用Jieba库对待处理的文本进行分词；将分词后的文本中所有出现的词汇构建成一个词汇表，对每个词汇映射为一个唯一的整数编号；最后，将分词后的文本转换为对应的整数序列，根据词汇表将每个词汇替换为其整数编号，得到了文本的整数序列表示；并根据词汇表和预训练的词嵌入模型，创建词嵌入矩阵，将每个词汇映射为对应的词嵌入向量；将经过处理之后的文本输入到特征提取模型TextCNN网络中，将TextCNN网络的最后一层的特征值作为视频文本的特征向量；步骤四、将视频整体特征和视频的文本特征进行融合，并输出到分类层进行类别判定，输出该视频的类别与对应的置信度CC信息；步骤五、同理，针对该账号的若干其他待输入视频，分别得到每个视频的类别结果，依次判断每个类别对应的置信度CC是否大于设置的类别置信度阈值CT，如果是，则保留该类别与对应的置信度，否则删除该类别；步骤六、将保留的N个视频根据置信度CC进行降序排序，采用赋值加权平均法，计算每个类别的平均置信度，并乘上该类视频所占的总视频比例，输出前n个类别，作为该账号的最终判定类别标签；赋值具体为：根据类别的置信度对每个视频进行赋值，其中前5个类别按着顺序分别赋值为100％、90％、80％、70％、60％，后面的类别按50％赋值；之后将相同类别的M个视频的置信度加在一起，计算该类别的平均置信度，在平均置信度的基础上乘上该类视频所占的总视频的比例，得到账户该类别对应的置信度ACC； 其中i属于总类别中的一个类别，j表示第几个视频；VN为每个类别的视频个数；VTN为总的视频个数；判断该类别的置信度ACC是否大于设置定账户类别置信度阈值ACCT，如果是，根据ACC对类别进行由大到小的排序，最后输出前n个类别，作为该账号的类别标签；否则，丢弃该类别。

全文数据：

权利要求：

百度查询： 国家计算机网络与信息安全管理中心 一种基于多维度视频特征的短视频平台账号智能判定方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD