申请/专利权人：西安电子科技大学

申请日：2022-05-30

公开（公告）日：2024-04-19

公开（公告）号：CN115022617B

主分类号：H04N17/00

分类号：H04N17/00;G06F18/214;G06F18/2131;G06F18/25;G06N3/0442;G06N3/049;G06N3/0464;G06N3/045;G06N3/0499;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2022.09.23#实质审查的生效;2022.09.06#公开

摘要：本发明提出了一种基于脑电信号和时空多尺度联合网络的视频质量评价方法，其实现步骤为：获取不同失真等级的失真视频；采集脑电信号；截取脑电信号片段；用脑电信号片段生成训练样本集；构建时空多尺度联合网络；训练时空多尺度联合网络；采用训练好时空多尺度联合网络对视频质量进行评价。本发明构建的时空多尺度联合网络能够有效学习到脑电信号特征，解决现有技术中未考虑视频质量感知脑电信号的脑部作用机理和人类视觉的阶段性时域感知特性的问题，使得本发明具有准确度高的优点，且能够自动批量化处理脑电数据，具有效率高的优点。

主权项：1.一种基于脑电信号和时空多尺度联合网络的视频质量评价方法，其特征在于，根据失真刺激视频对应的脑电信号片段生成训练集、测试集，构建并训练多尺度时空特征提取网络；该评价的方法包括步骤如下：步骤1，生成不同失真等级的失真视频；选取一段时长至少为4s、帧率为30帧秒的自然视频作为刺激视频，利用5个表示不同失真程度的失真等级，对该刺激视频进行失真处理，得到不同失真等级的失真视频；步骤2，采集受试者在观看不同失真等级的失真视频时的单次脑电信号：通过脑电信号采集器，采集至少8位受试者重复至少30次观看每个视失真视频的单次脑电信号，采样频率为1000Hz，采样通道数为64；步骤3，截取受试者在观看不同失真等级的失真视频时的脑电信号片段：通过截止频率的下限在0.2-0.5Hz之间和在上限5-30Hz之间的带通滤波器，对采集到的单次脑电信号进行带通滤波，得到带通滤波后的单次脑电信号，并截取时长在800-1200ms之间的单次脑电信号片段；步骤4，利用单次脑电信号片段生成训练集和测试集：从脑电信号片段集中选取至少75％的脑电信号片段作为训练集，将剩余的脑电信号片段作为测试集，并将训练集和测试集中的脑电信号片段进行标注，其中训练集用于训练时空多尺度联合网络，测试集作为训练好网络的输入进行失真预测；步骤5，构建时空多尺度联合网络：搭建一个由时空多尺度特征提取子网络和时空多尺度特征融合子网络串联而成的时空多尺度联合网络，其中时空多尺度特征提取子网络由时域特征提取模块和空域特征提取模块并联而成；步骤5.1，搭建一个时域特征提取模块，该时域特征提取模块由两个子模块串联而成，第一个子模块包含三个并联的双向LSTM层，第二个子模块的结构依次由特征拼接层，BN层，全连接层，ReLU激活层串联而成；步骤5.2，搭建一个空域特征提取模块，该空域特征提取模块由两个子模块串联而成，第一个子模块由三个卷积层并联组成，第二个子模块的结构依次为：特征拼接层，BN层，全连接层，ReLU激活层串联而成；步骤5.3搭建一个时空多尺度特征融合子网络，其结构依次为：特征拼接层，全连接层，ReLU激活函数层，Dropout层，全连接层；步骤6，训练时空多尺度联合网络：对时空多尺度联合网络的参数初始化后，将训练样本集输入到时空多尺度联合网络中，利用反向传播方法，对时空多尺度联合网络的参数进行迭代更新，直到交叉熵损失函数收敛为止，得到训练好的时空多尺度联合网络；步骤7，采用训练好时空多尺度联合网络对视频质量进行评价：将测试集中具有失真标签的脑电信号片段输入到训练好的时空多尺度联合网络中，判断时空多尺度联合网络输出的每个分类数据，根据时空多尺度联合网络的判断结果与实际情况是否相符，统计时空多尺度联合网络对所有脑电信号片段分类结果；根据每个脑电信号片段的标签，获得脑电信号对应的失真刺激视频和未失真刺激视频的分类结果，将该分类结果作为视频质量评价结果。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于脑电信号和时空多尺度联合网络的视频质量评价方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD