申请/专利权人：四川大学

申请日：2018-03-22

公开（公告）日：2021-07-16

公开（公告）号：CN108521572B

主分类号：H04N19/107(20140101)

分类号：H04N19/107(20140101);H04N19/117(20140101);H04N19/149(20140101);H04N19/59(20140101);H04N19/61(20140101);H04N19/82(20140101)

优先权：

专利状态码：有效-授权

法律状态：2021.07.16#授权;2018.10.09#实质审查的生效;2018.09.11#公开

摘要：本发明提出了一种基于像素域JND模型的残差滤波方法。首先在像素域建模得到每个像素的JND阈值，然后在变换单元中挖掘每个像素JND阈值与其周围邻近像素JND阈值之间的相关性，并利用Sobel边缘检测算子对变换单元进行块分类，以得到其权重因子。最后结合上述所得像素JND阈值的空间相关性和变换单元的权重因子对残差进行滤波。提出的方法模型可以嵌入到HEVC视频编码框架。实验结果表明，在人眼主观感知质量没有明显下降的情况下，能够容忍更多的实际失真，降低一定的码率。

主权项：1.一种基于像素域JND模型的残差滤波方法，其所包含的框架流程如下：1在对残差滤波之前，在视频每一帧中的像素域建模，以获得对应位置像素的JND阈值；2对步骤1获得的像素JND阈值，计算当前像素JND阈值所占其周围邻近像素JND阈值总和的百分比，该百分比表示当前像素JND阈值与周围临近像素JND阈值之间的相关性，当百分比越大，则该像素相对于周围临近像素的视觉冗余程度越小，反之，则该像素相对于周围邻近像素的视觉冗余程度越大；3使用Sobel边缘检测算子对变换单元进行块分类，并根据变换单元所属块类型，获得其权重因子；4将步骤2中获得的所占临近像素JND阈值总和的百分比与步骤3中得到的当前变换单元所属块类型的权重因子之和乘以变换单元中像素的残差信息值对变换单元中像素的残差信息进行调整。

全文数据：一种基于像素域JND模型的残差滤波方法技术领域[0001]本发明涉及图像通信领域中的视频编码技术问题，尤其是涉及一种基于像素域JND模型的残差滤波优化降码率方法。背景技术[0002]近年来，随着高清、超清视频应用逐步走进人们的视野，在不断给人带来更好的视觉感观的同时，视频数据量也在飞速的增长，因此，视频压缩技术受到了巨大的挑战。此外，各式各样的视频应用也随着网络和存储技术的发展不断涌现。如今，数字视频广播、移动无线视频、远程监测、医学成像等，都已经走进了人们的生活。但是在有限传输带宽和一定存储容量的限制下，视频应用的多样化和高清化趋势对视频的压缩性能提出了更高的要求。H.265HEVC作为新一代视频编码标准，虽然具有不错的视频压缩性能，但是经过H.265HEVC编码标准压缩后的视频，其数据量仍然很大，冗余信息较多。因此，如何在H.265HEVC编码标准的基础上进一步提高视频的压缩效率，去除冗余信息是有待解决的一个重要问题。[0003]H.265HEVC视频编码技术框架主要是针对空间冗余、时间冗余进行压缩编码，压缩性能提升具有一定的局限性。由于人眼是视频的最终接收端，能够直接感受视频的质量好坏，因此，将人类视觉系统HumanVisualSystem，HVS引入H.265HEVC视频编码框架，在计算复杂度可控的前提下，着重挖掘人眼的主观感知状态和人类视觉选择性注意机制来消除人眼不敏感区域的视觉冗余，以进一步提升H.265HEVC视频编码框架的压缩效率。[0004]目前人眼视觉系统的模型有恰可察失真模型（JustNoticeableDistortion，JND以及视觉注意机制模型等。已有的JND模型可以分成两类:像素域JND模型和变换域JND模型。像素域JND模型直接利用像素域中的像素值计算每一位置像素的JND阈值。ChouCH分别计算亮度自适应因子和纹理掩蔽因子，然后将两个因子的最大值作为像素域的JND阈值。YangXK提出了一种新JND模型--非线性叠加掩蔽模型（NonlinearAdditivelyMaskingModel，NAMM，该模型利用亮度自适应因子和纹理掩蔽因子的非线性叠加来减少两者的重叠效应。UzairM在现有的基于像素域JND模型的基础上加入了对比度敏感函数ContrastSensitivityFunction，CSF、中央凹视觉效应、眼球运动等因素，以更符合人眼主观感知特性。[0005]WangH提出了一种结合视觉注意模型与视觉敏感度模型的显著性JND模型，在显著性区域增加JND阈值，在非显著性区域减少JND阈值，以保证在几乎相同的人眼主观感知质量下，降低传输所需的码率。李承欣分别计算像素域和变换域的JND阈值，取两者之间的最大值作为最优JND模型，再结合基于上下文感知的显著性算法为最优JND模型分配权值，同样在主观感知质量没有明显降低的情况下消除了一定的视觉冗余，节省了比特率。发明内容[0006]针对H.265HEVC编码标准码率较高、数据冗余过多的问题。本发明提出了一种基于像素域JND模型的残差滤波方法，利用当前像素JND阈值与其周围相邻像素JND阈值之间的相关性、变换单元所属的块类型信息，调整残差数据量。实验表明，在人眼主观感知质量没有明显下降的情况下，降低了视频传输所需的码率。[0007]本发明提出的基于像素域JND模型的残差滤波方法，首先在视频每一帧中的像素域建模以获得每个像素对应的JND阈值，再利用当前像素JND阈值与其周围相邻像素JND阈值之间的相关性，得到当前像素相对于其周围相邻像素的视觉冗余程度，再使用Sobel边缘检测算子对变换单元的边缘像素进行检测，以对变换单元进行块分类，判断其是属于纹理块、边缘块或者平坦块，从而获得其权重因子，最后结合像素JND阈值的相关性和变换单元对应块类型的权重因子，为人眼敏感和非敏感区域合理分配残差比特，从而达到降低码率的目的。[0008]本发明提出的基于像素域JND模型的残差滤波方法，包括以下过程步骤：[0009]1在对残差滤波之前，在视频每一帧中的像素域建模，以获得对应位置像素的JND阈值；[0010]2对步骤⑴获得的像素JND阈值，计算当前像素JND阈值与其周围邻近像素JND阈值之间的相关性；[0011]3使用Sobel边缘检测算子对变换单元进行块分类，并根据变换单元所属块类型，获得其权重因子；[0012]4结合步骤2、步骤⑶所获得的相邻像素JND阈值之间的相关性以及当前变换单元所属块类型的权重因子，对变换单元中像素的残差信息进行调整。[0013]在本发明的上述技术方案中，所述基于像素域JND模型的残差滤波方法，在像素域建模计算像素JND阈值，该JND阈值能充分反映单个像素视觉冗余程度。[0014]在本发明的上述技术方案中，所述基于像素域JND模型的残差滤波方法，其中计算当前像素JND阈值占周围邻近像素JND阈值总和的百分比，以得到当前像素JND阈值与其周围相邻像素JND阈值之间的相关性，该相关性充分考虑了人眼视觉系统特性，用来衡量当前像素相对于周围邻近像素的视觉冗余程度。[0015]在本发明的上述技术方案，所述基于像素域JND模型的残差滤波方法，使用Sobel边缘检测算子对变换单元进行块分类，若变换单元所属的块类型为纹理块，说明人眼对当前变换单元所能容忍的视觉失真较大，若变换单元所属的块类型为边缘块或者平坦块，说明人眼对当前变换单元所能容忍的视觉失真较小。[0016]在本发明的上述技术方案中，所述基于像素域JND模型的残差滤波方法，结合像素JND阈值与其周围邻近像素JND阈值的相关性，以及变换单元所属块类型的权重因子，调整变换单元中像素的残差信息，解码后的视频序列在人眼感知质量没有明显下降的情况下，降低了码率。[0017]根据本发明的上述方法可以编制执行上述一种基于像素域JND模型的残差滤波方法。[0018]本发明是基于以下思路分析而完成的：[0019]在对残差变换量化之前，先在像素域建立JND模型，计算每个像素JND阈值。在不考虑周围相邻像素对当前像素的影响，当该位置像素的变化低于其对应JND阈值时，直接将该位置像素的残差数据量置为零，则相对于其周围相邻像素，可能会产生较为明显的视觉失真。因此，计算当前像素JND阈值占其周围邻近像素JND阈值总和的百分比，若百分比较大，则该像素相对于周围邻近像素的视觉冗余程度较小，反之，则该像素相对于周围邻近像素的视觉冗余程度较大。[0020]人眼对于纹理复杂的区域所能容忍的视觉失真较大，对边缘区域和平坦区域所能容忍的视觉失真较小。使用Sobel边缘检测算子对变换单元进行块分类，每个变换单元属于纹理块、边缘块、平坦块中的一种，并获得其对应的权重因子。在此基础上，结合当前像素JND阈值占其周围邻近像素JND阈值总和的百分比（当前像素相对于其周围邻近像素的视觉冗余程度），调整当前变换单元中像素的残差数据量，经过滤波后的残差再进行变换、量化。附图说明[0021]图1基于像素域JND模型的残差滤波方法流程框图；具体实施方式[0022]下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。[0023]本发明的基于像素域JND模型的残差滤波方法，与H.265HEVC标准测试模型HM16.0的编码方法比较过程如下：[0024]1.同时打开嵌入了本发明方法的H.265HEVC测试模型与H.265HEVC标准测试模型，将配置文件设置为encoder_intra_main.cfg，编码桢数为100桢，其中两个测试模型的量化参数QP同时设置为21、26、31、36;[0025]2·压缩编码的对象为标准测试视频序列：BasketbalIDrivej920x1080、Cactus_1920xl080、BQTerrace—I920x1080、ParkScene—I920x1080、PeopIeOnStreet—2560x1600;[0026]3.在嵌入了本发明方法的H.265HEVC测试模型中，先在像素域中建立JND模型，然后根据所建立的JND模型，计算视频序列每一帧中像素的JND阈值；[0027]4.利用第3步所获得的像素JND阈值，根据公式⑴计算当前像素JND阈值占其周围邻近像素JND阈值总和的百分比，该百分比表示当前像素JND阈值与其周围相邻像素JND阈值之间的相关性。当百分比较大，则该像素相对于周围邻近像素的视觉冗余程度较小，反之，则该像素相对于周围邻近像素的视觉冗余程度较大。因此，该百分比能够反映当前像素相对于周围相邻像素的视觉失真。[0029]其中，公式⑴中的p表示当前像素JND占其周围邻近像素JND阈值总和的百分比，JNDx，y、JNDsx，y分别表示当前像素JND阈值大小和当前像素其周围邻近像素JND阈值大小；[0030]5.由于人眼视觉系统对纹理特别复杂的区域所能容忍的失真较大，对边缘区域以及平坦区域所能容忍的失真较小。因此，利用Sobel边缘检测算子对变换单元进行块分类，首先计算H.265HEVC中4\4、8\8、16\16、32\32四种大小变换单元中的边缘像素，再根据边缘像素密度将变换单元分成纹理块、边缘块或者平坦块，计算公式如2、（3所示：[0033]上述式子中Pedge表示变换单元的边缘像素密度，Eedge表示变换单元中边缘像素的个数，N表示变换单元的尺寸大小，其中5=0.1，_β=0.25;[0034]6.结合第4步与第5步所获得的像素JND阈值的相关性和变换单元所属的块类型，对变换、量化之前的变换单元中像素的残差进行滤波，滤波公式如下：[0036]其中w、v分别是变换单元为纹理块、平坦块或者边缘块时的权重因子，Dx，y、D’x，y分别表示原始残差数据、滤波后的残差数据，在实验中，w=〇.4，v=0.32。在对残差滤波之后，再对残差进行变换、量化、熵编码，形成H.265HEVC格式码流；[0037]7.对嵌入了本发明算法的H.265HEVC格式码流解码，得到解码视频、编码结束后的码率、PSNR;[0038]8.打开H.265HEVC标准测试模型，对标准测试序列进行编码，得到解码视频、编码结束后的码率、PSNR;[0039]9.采用双刺激连续质量标度主观评价方法对测试序列的主观质量进行评估，分别把解码获得的视频序列与原视频序列进行主观质量上的比较。视频的显示顺序:视频序列1，显不3秒后灰屏，视频序列2，显不3秒后灰屏，每个视频组重复播放2次，原始视频序列和改进后的视频序列之间的播放顺序是随机的。主观测试中10位观察者使用平均主观意见打分方法:优4〜5分）、良（3〜4分）、尚可2〜3分）、差1〜2分）、很差0〜1分）；[0040]10.根据第7步、第8步、第9步获得的码率、PSNR、观察者主观意见打分分数，进行统计显示，上述3个质量指标结果如表1、表2所示。实验结果表明，在人眼主观感知质量没有明显下降的情况下，本发明方法能容忍更多的实际数据失真，达到降低传输码率的目的。

权利要求：1.一种基于像素域JND模型的残差滤波方法，其特征在于：1在对残差滤波之前，在视频每一帧中的像素域建模，以获得对应位置像素的JND阈值；2对步骤⑴获得的像素JND阈值，计算当前像素JND阈值与其周围邻近像素JND阈值之间的相关性；3使用Sobel边缘检测算子对变换单元进行块分类，并根据变换单元所属块类型，获得其权重因子；⑷结合步骤2、步骤3所获得的相邻像素JND阈值之间的相关性以及当前变换单元所属块类型的权重因子，对变换单元中像素的残差信息进行调整。2.如权利要求1所述基于像素域JND模型的残差滤波方法，其特征在于在像素域建模计算像素JND阈值，该JND阈值能充分反映单个像素视觉冗余程度。3.如权利要求1所述基于像素域JND模型的残差滤波方法，其特征在于计算当前像素JND阈值占周围邻近像素JND阈值总和的百分比，以得到当前像素JND阈值与其周围相邻像素JND阈值之间的相关性，该相关性充分考虑了人眼视觉系统特性，用来衡量当前像素相对于周围邻近像素的视觉冗余程度。4.如权利要求1所述基于像素域JND模型的残差滤波方法，其特征在于使用Sobel边缘检测算子对变换单元进行块分类，若变换单元所属的块类型为纹理块，说明人眼对当前变换单元所能容忍的视觉失真较大，若变换单元所属的块类型为边缘块或者平坦块，说明人眼对当前变换单元所能容忍的视觉失真较小。5.如权利要求1所述基于像素域JND模型的残差滤波方法，其特征在于结合像素JND阈值与其周围邻近像素JND阈值的相关性，以及变换单元所属块类型的权重因子，调整变换单元中像素的残差信息，解码后的视频序列在人眼感知质量没有明显下降的情况下，降低了码率。6.—种用于执行权利要求1至5所述基于像素域JND模型的残差滤波方法。

百度查询： 四川大学 一种基于像素域JND模型的残差滤波方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD