买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】视频编解码的方法和设备_索尼公司_201811158537.5 

申请/专利权人:索尼公司

申请日:2013-04-26

公开(公告)日:2023-03-14

公开(公告)号:CN109068135B

主分类号:H04N19/103

分类号:H04N19/103;H04N19/11;H04N19/117;H04N19/119;H04N19/12;H04N19/124;H04N19/129;H04N19/136;H04N19/157;H04N19/176;H04N19/186;H04N19/523;H04N19/593;H04N19/60;H04N19/82;H04N19/13

优先权:["20120426 GB 1207459.7"]

专利状态码:有效-授权

法律状态:2023.03.14#授权;2019.01.15#实质审查的生效;2018.12.21#公开

摘要:本申请涉及视频编解码的方法和设备。一种视频编码的方法,包括:将图像数据分成变换单元;在非正方形变换单元的情况下,在应用空间频率变换之前将非正方形变换单元分成正方形块;将空间频率变换应用到正方形块以生成空间频率系数的相应集合;以及组合与从变换单元导出的所述正方形块有关的所述空间频率系数的集合。

主权项:1.一种视频编码的方法,所述方法包括:将图像数据分成变换单元;在非正方形变换单元的情况下,在应用空间频率变换之前将所述非正方形变换单元分割成正方形块;对所述正方形块应用空间频率变换以生成空间频率系数的相应集合;以及组合与从变换单元导出的所述正方形块有关的所述空间频率系数的集合,将用于正方形预测单元的帧内预测模式与用于非正方形预测单元的帧内预测模式以多对一的关系相关联。

全文数据:视频编解码的方法和设备本申请是申请号为2013800218151,申请日为2013年4月26日,发明创造名称为“视频编解码的方法和设备”的分案申请。相关申请的交叉引用本申请要求于在先申请日期2012年4月26日提交给英国知识产权局的GB1207459.7的权益,通过引用将其全部内容结合在此。技术领域本公开内容涉及用于在视频编码和解码中进行色度处理的方法和设备。背景技术本文中所提供的“背景技术”说明为用于对本公开的背景作一般性说明为目的。发明人的某些工作即已在此背景技术部分中作出描述的工作以及说明书中关于某些尚未成为申请日之前的现有技术的内容,无论是以明确或隐含的方式均不被视为相对于本发明的现有技术。当前视频编解码器编码器-解码器,诸如H.264MPEG-4高级视频编码AVC主要通过仅编码连续视频帧之间的差difference,差分实现数据压缩。这些编解码器使用所谓宏块的规则阵列,每个宏块用作与以前视频帧中的对应宏块比较的区域,然后根据视频序列中对应的当前和以前的宏块之间或视频序列的单个帧内的相邻宏块之间建立的运动度degreeofmotion对宏块内的图像区域进行编码。高效率视频编码HEVC,也被称为H.265或MPEG-H部分2,是H.264MPEG-4AVC的推荐接替者。与H.264相比,HEVC旨在改善视频质量并使数据压缩率加倍,并且像素分辨率可从128×96伸缩至7680×4320,大致相当于从128kbits到800Mbits的比特率。HEVC将在现有H.264和MPEG标准中建立的宏块替换为基于编码单元CU的更灵活的方案,该编码单元是可变大小的结构。因此,当编码视频帧中的图像数据时,可响应于表观图像复杂度或检测的运动级来选择CU尺寸,而不是使用均匀分布的宏块。因此,在帧之间运动很少以及帧内具有很少变化的区域中能够实现更大的压缩,同时在高帧间运动或图像复杂度的区域中能够保持更好的图像质量。每个CU包含图像内或图像间预测类型的一个或多个块尺寸可变的预测单元PU以及包含用于空间块变换和量化的系数的一个或多个变换单元TU。PU的目的是包围所有的采样相对于先前编码图像帧间编码具有共同的运动或与直接邻近PU的采样帧内编码具有一致关系处的图像的区域。这样,在空间频率变换之前从所包围的区域中移去最大信息量。PU级是指定的定义预测操作的参数。类似地,TU的目的是包围包含最少不同空间频率的最大可能区域。TU尺寸的选择是在能够编码的图像数据量因此最大可能尺寸与需要编码的比特数因此最少不同空间频率之间的权衡。在图像的详细区域中,TU必须小因为只有小区域的采样会共有类似的特性。相反,在平面区域中,TU可以是大的因为所有的采样共有类似的特性。此外,TU尺寸通过变换尺寸上的实际限制来支配,因为TU尺寸增加,变换的计算复杂度指数地增加。从实施的立场看也希望仅具有几个不同的预设尺寸,这样使得需要存储较少的变换矩阵而且使得使用其自身的专门的硬件软件能计算每个尺寸。在AVC中,仅4×4和8×8变换是可行的;在HEVC中,这已经被扩展至也包括16×16和32×32变换。此外,为三个通道中的每个设置PU和TU块;亮度Y,亮度luminance或亮度brightness通道,其可被认为是灰度通道,以及两个色差或色度色品通道;Cb和Cr。这些通道为亮度通道的灰度图像提供颜色。术语Y和亮度在本文中可互换使用,并且类似地术语Cb和Cr、以及色度视情况可互换地使用。在HEVC中,所谓的4:2:0块结构被提出用于消费者设备,其中在每个色度通道中使用的数据量是亮度通道中数据量的四分之一。这是因为人们主观地对亮度变化比颜色变化更敏感,因此可以在颜色通道中使用较大的压缩和或较少信息,而没有主观的质量损失。然而,对于专业广播和数字影院设备,希望在色度通道中具有较少压缩或更多的信息,这可能会影响当前处理诸如HEVC处理操作。发明内容本公开解决或减轻该处理引发的问题。根据一实施例,提供一种视频编码的方法,所述方法包括:将图像数据分成变换单元;在非正方形变换单元的情况下,在应用空间频率变换之前将所述非正方形变换单元分割成正方形块;对所述正方形块应用空间频率变换以生成空间频率系数的相应集合;以及组合与从变换单元导出的所述正方形块有关的所述空间频率系数的集合。根据一实施例,提供一种视频解码的方法,所述方法包括:将空间频率变换应用于空间频率系数的集合以生成两个或更多的采样的相应正方形块;将所述两个或更多的采样的正方形块组合为非正方形变换单元;将空间频率系数的集合分割成两个或更多子集;并且将逆空间频率变换分别应用于各个所述子集。根据一实施例,提供一种计算机软件,在由计算机执行时使所述计算机实施前述方法。根据一实施例,提供一种视频编码设备,所述设备包括:分配器,被配置为将图像数据分成变换单元;分割器,能在非正方形变换单元的情况下操作并且被配置为在应用空间频率变换之前将所述非正方形变换单元分割成正方形块;空间频率变换器,被配置为将空间频率变换应用于所述正方形块以生成空间频率系数的相应集合;以及组合器,被配置为组合与从变换单元导出的所述正方形块有关的所述空间频率系数的集合。根据一实施例,提供一种视频解码设备,所述设备包括:逆空间频率变换器,被配置为对空间频率系数的集合应用逆空间频率变换以生成两个或更多的采样的相应正方形块;组合器,被配置为将所述两个或更多的采样的正方形块组合为非正方形变换单元;以及分割器,被配置为将空间频率系数的集合分割成两个或更多子集,其中,所述逆空间频率变换器被配置为将所述逆空间频率变换分别应用于各个所述子集。根据一实施例,提供一种视频捕捉、存储、显示、传输和或接收设备,包括:上述的解码设备和或上述的编码设备。在所附权利要求中限定本公开的其他各个方面和特征。应当理解,本发明的前述总体描述和以下具体实施方式对于本技术是示例性的而不是限制性的。附图说明在结合附图参照以下详细描述更好地理解本发明时,可以更容易获得对本发明以及其许多附带优点的更加全面的理解。图1A是针对HEVC中不同的4:2:0方案的CU大小的编码单元、预测单元和变换单元块大小的示意图。图1B是针对HEVC中不同的4:2:0方案的CU大小的编码单元、预测单元和变换单元块大小的示意图。图2是针对HEVC中的4:2:0方案的帧内预测模式方向的示意图。图3是示出用于通过运动矢量进行选择的4:2:0方案亮度和色度PU内插的示意图。图4是示出了根据本公开实施方式用于通过运动矢量进行选择的4:2:2方案亮度和色度PU内插的示意图。图5是针对HEVC中4:2:0方案的量化参数关联表的示意图。图6是根据本公开实施方式的HEVC编码器的示意图。图7A至图7T是根据本公开的实施方式的高效率视频编码的各个方法的流程图。具体实施方式公开了一种在高效率视频编解码器中进行色度处理的设备和方法。在以下描述中,为了提供本公开的实施方式的彻底了解而呈现了大量细节。然而,对于本领域的普通技术人员显然的是不必采用这些特定细节来实施本发明。相反,在适当的情况下,出于清楚的目的省略对本领域技术人员已知的细节。将仅通过实例描述根据HEVC标准和或建议的所谓高效率编解码器。术语HEVC或“高效率”并不视为对本公开或实施方式的技术本质的限制。以下论述的该类型的视频编码和解码,利用对表示图像块与该图像块的预测版本之间的差的残差图像块编码的正向编码路径。用于产生预测图像块的图像块实际上是图像块的解码版本而不是原始图像块。原因是考虑到在解码器处不能获得原始输入图像块,为了确保编码器和解码器都用相同的源数据工作。所以,编码器也包括反向解码路径,如下面参考图6所述。编码器的反向解码路径和解码器的相应正向解码路径的操作应该是相同的。因此,在如下编码器的上下文中描述的至少一些技术特征例如,那些与图像块的预测有关的技术特征也适用于解码器的操作。在适当的情况下,编码器和解码器两者都被认为是本公开的实施方式。块结构如上所述,提出的HEVC标准使用已知为4:2:0方案的特定色度采样方案。4:2:0方案可被用于家用消费者设备。然而,其他几个方案也是可以的。具体地,所谓的4:4:4方案将会适合于专业广播、母带处理mastering和数字影院,原则上会具有最高的质量和数据速率。类似地,所谓的4:2:2方案能够用于专业广播、母带处理和数字影院,但具有一些保真度损失。下面将描述这些方案和它们相应的PU和TU块结构。此外,其他方案包括4:0:0单色方案。在4:4:4方案中,Y、Cb和Cr三个通道中的每个具有相同的采样率。因此,原则上,在这种方案中,色度数据将是亮度数据的两倍。因此,在HEVC中,在这种方案中,三个Y、Cb和Cr通道中的每个将具有尺寸相同的PU和TU块;例如,8×8亮度块将会具有针对两个色度通道中的每个的相应8×8色度块。因此,在这种方案中,每个通道中块尺寸之间通常会是直接1:1的关系。在4:2:2中,以亮度的一半采样率对两个色度分量进行采样例如,使用垂直或水平子采样。因此,原则上,在这种方案中,色度数据将与亮度数据一样多。因此,在HEVC中,在这种方案中,Cb和Cr通道将与亮度通道具有不同尺寸的PU和TU块;例如,8×8亮度块将具有针对每个色度通道的相应4宽x8高的色度块。因此,应注意,在这种方案中,色度块会是非正方形的。在当前提出的HEVC4:2:0方案中,以四分之一的亮度采样率例如,使用垂直与水平子采样对两个色度分量进行采样。因此,原则上,在这种方案中,色度数据将是亮度数据的一半。因此,在HEVC中,在这种方案中,Cb和Cr通道再次具有与亮度通道不同尺寸的PU和TU块。例如,8×8亮度块将具有针对每个色度通道的相应的4×4色度块。因此,一般而言,在这种方案中,尤其对于帧内预测,CU、PU和TU块都是正方形的。在本领域中,以上方案统称为‘通道比’,如在‘4:2:0通道比’中;然而,从以上说明书中应当理解,实际上这并不总意味着Y、Cb和Cr通道以所述比压缩,也可能另外设置。因此,当被称为通道比时,这不应该假设为字面意思。事实上,对于4:2:0方案的比率是4:1:14:2:2方案和4:4:4方案的比率实际上是正确的。4:2:0块结构参考图1A和图1B,对于4:2:0方案可能的不同块尺寸被概括为CU、PU和TU块,‘Y’指亮度块,‘C’指两色度块,数字是指像素。‘间inter’指帧间预测PU与帧内预测PU相反。简单地说,最大编码单元LCU是根图片对象。其通常覆盖相当于64×64亮度像素的区域并递归地分割split以形成编码单元CU为64×64、32×32、16×16或8×8像素的树形层次结构。三个通道具有相同的CU树形层次结构。最小允许递归降至8×8像素的CU。然后叶CU被分成预测单元PU。三个通道具有相同的PU结构一个可能的例外是PU是帧内预测的4×4亮度像素。这些叶CU也被分成变换单元TU,接着可以再分割,直到每CU最大16个TU。最小的TU尺寸是4×4像素;最大是32×32像素。三个通道具有相同的TU结构再一次,可能的例外是TU是4×4亮度像素。4:4:4块结构变形应理解4:2:0和4:4:4方案都具有针对帧内预测编码的正方形的PU块。此外,目前,4:2:0方案允许4×4像素PU&TU块。在本公开的实施方式中,因此对于4:4:4方案提出,允许CU块的递归降至4×4像素而不是8×8像素,如上所述,因为在4:4:4模式中,亮度和色度块将是相同的尺寸不对色度数据进行子采样,并因此,对于4×4CU,PU或TU不必低于已经允许的最小4×4像素。类似地,在4:4:4方案中,在本公开实施方式中,Y、Cr、Cb通道中的每个,或Y和两个Cr、Cb通道一起能够具有各自CU树形层次结构。然后可以使用标记作信号通知将使用哪个层次结构或层次结构的配置。这种方法也可用于4:4:4RGB颜色空间方案。4:2:2块结构变形在4:2:0方案中的8×8CU的实例中,这产生4个4×4亮度PU和1个4×4色度PU。因此,在4:2:2方案中,具有色度数据的两倍,在这种情况下一个选择就是具有2个4×4色度PU。然而,应理解在这种情况下使用一个非正方形4×8色度PU将会更与其他非正方形4:2:2PU一致。如从图1A和图1B可以看出,在4:2:0方案中,原则上存在一些允许用于某些类型的帧间预测编码而不是帧内预测编码的非正方形TU块。然而,在帧间预测编码中,当非正方形四叉树变换NSQT被禁用时这是对4:2:0方案的当前默认,所有的TU是正方形的。因此,实际上,4:2:0方案目前执行正方形TU。例如,16×164:2:0亮度TU将符合各个Cb&Cr8×84:2:0色度TU。然而,如以前所述,4:2:2方案可具有非正方形PU。因此,在本公开的实施方式中,建议对于4:2:2方案允许非正方形TU。例如,当16×164:2:2亮度TU能够符合每个色度通道Cb&Cr的两个8×84:2:2色度TU时,在这个实施方式中,反而符合用于每个色度通道Cb&Cr的一个8×164:2:2色度TU。类似地,四个4×44:2:2亮度TU能够符合每个色度通道Cb&Cr的两个4×44:2:2色度TU时,或者在这个实施方式中,反而符合用于每个色度通道Cb&Cr的一个4×84:2:2色度TU。这里,4×8TU是矩形TU的实例。这是在水平方向上的采样是垂直方向上的两倍的4:2:2TU的实例。可以使用其他尺寸的TU,例如,水平方向的采样是垂直方向的两倍的其他矩形TU和或其他TU。例如,可以考虑以下尺寸:2×4、8×16、16×32等。具有非正方形色度TU,因此TU较少,由于他们可能包含较少的信息可能更有效。然而,如后面将要描述的,这可能会影响这种TU的变换和扫描过程。最后,对于4:4:4方案,可优选具有与通道独立的TU结构,并且在序列、图片、切片slice或更细级finerlevel是可选的。如上所述,在HEVC的4:2:0方案中目前NSQT被禁用。然而,如果对于图片间预测,支持NSQT并允许非对称运动划分AMP,这允许PU被非对称地划分;因此例如,16×16CU可具有4×16PU和12×16PU。在这些情况下,对于4:2:0和4:2:2方案中的每个,块结构的进一步考虑是重要的。对于4:2:0方案,在NSQT中,TU的最小宽度高度限于4个亮度色度采样:因此,在非限制性实例中,16×416×12亮度PU结构具有四个16×4亮度TU和四个4×4色度TU,其中,亮度TU在1×4垂直块布置中并且色度TU在2×2块布置中。在类似的布置中,其中,划分是垂直的而不是水平的,4×1612×16亮度PU结构具有四个4×16亮度TU和四个4×4色度TU,其中,亮度TU在4×1水平块布置中并且色度TU在2×2块布置中。对于4:2:2方案,在NSQT中,作为非限制性实例,4×1612×16亮度PU结构具有四个4×16亮度TU和四个4×8色度TU,其中,亮度TU在4×1水平块布置中;色度TU是在2×2块布置中。然而,应理解对于一些情况可以考虑不同的结构。因此,在本公开的实施方式中,在NSQT中,作为非限制性实例,16×416×12亮度PU结构具有四个16×4亮度TU和四个8×4色度TU,但是现在亮度和色度TU在1×4垂直块布置中,与PU布局对齐与2×2块布置中的四个4×8色度TU的4:2:0式布置相反。类似地,32×8PU可具有四个16×4亮度TU和四个8×4色度TU,但现在亮度和色度TU在2×2块布置中。因此,更一般地,对于4:2:2方案,在NSQT中,选择TU块大小与非对称的PU块的布局对齐。因此,NSQT有效地允许TU边界与PU边界对齐,这减少了可能另外出现的高频伪像。帧内预测4:2:0帧内预测现在参考图2,对于帧内预测,HEVC允许角色度预测。图2示出35个预测模式,它们中的33个指定当前预测采样位置100的参考采样的方向。HEVC允许色度具有DC、垂直、水平、平面、DM_CHROMA和LM_CHROMA模式。DM_CHROMA表示要使用的预测模式与共定位的亮度PU的模式相同图2中示出的35个之一。LM_CHROMA表示共定位的亮度采样被用于得出预测色度采样。在这种情况下,如果根据其将采用DM_CHROMA预测模式的亮度PU选择DC、垂直、水平或平面,则使用模式34替换色度预测列表中的条目。值得注意的是,预测模式2至34在45度至225度的范围内对角度采样,就是说,正方形的一条对角线。这在4:2:0方案的情况下是有用的,如上所述对于图片内预测,仅使用正方形色度PU。4:2:2帧内预测变形然而,同样如上所述,4:2:2方案可具有矩形非正方形色度PU。因此,在本公开的实施方式中,对于矩形色度PU,对于方向,可能会需要映射表。假定矩形PU是1比2的长宽比,然后,例如模式18当前是135度的角可能重映射至123度。可替换地,当前模式18的选择可能被重映射至当前模式22的选择,效果几乎相同。因此,更一般地,对于非正方形PU,与正方形PU相比,可提供参考采样的方向与所选择的帧内预测模式之间的不同映射。然而,更一般地,包括非方向性模式的任何模式同样可以基于经验证据被重映射。这种映射会产生多对一的关系是可能的,这使对于4:2:2色度PU所有组的模式的详述变得冗余。在这种情况下,例如,仅需要17个模式对应一半的角分辨率。可替换地或者此外,这些模式可以非均匀的方式成角度地分布。类似地,当预测采样位置处的像素时可不同地使用在参考采样上使用的平滑滤波器;在4:2:0方案中,仅用于使亮度像素而非色度像素平滑。然而,在4:2:2和4:4:4方案中,该滤波器同样可以用于色度PU。在4:2:2方案中,再次,可响应于PU的不同长宽比改变滤波器,例如,仅用于近水平模式的子集。模式的示例性子集优选地为2至18和34,或者更优选地7至14。4:4:4帧内预测变形在4:4:4方案中,色度和亮度PU大小相同,因此,色度PU的帧内预测模式可与共定位亮度PU相同所以节约比特流中的一些开销或者更优选地,其可独立地选择。在后一种情况下,因此,在本公开的实施方式中,在CU中,对于PU可具有1、2或3个不同的预测模式;在第一实例中,Y、Cb和CrPU可以都使用相同的帧内预测模式。在第二实例中,YPU可以使用一个帧内模式,而Cb和CrPU两者使用另一种单独选择的帧内预测模式。在第三实例中,Y、Cb和CrPU各自使用各自独立选择的帧内预测模式。应理解具有色度通道或者各个色度通道的独立预测模式将会提高色度预测准确度。在高级语法例如,序列、图片、或切片级中指示模式数目的选择。可替换地,能够从视频格式得出独立模式的数目;例如,GBR能够具有高达3个,而YCbCr限于高达2个。除了独立选择模式以外,4:4:4方案中,可允许可用模式区别于的4:2:0方案。例如,由于亮度和色度PU是相同的大小,色度PU可受益于对所有可用的35+LM_CHROMA+DM_CHROMA方向的访问access。因此,对于各自具有独立预测模式的Y、Cb和Cr的情况,那么Cb通道能够访问DM_CHROMA&LM_CHROMA,而Cr通道能够访问DM_CHROMA_Y、DM_CHROMA_Cb、LM_CHROMA_Y和LM_CHROMA_Cb,其中,这些利用对Y或Cb色度通道的参考替换对亮度通道的参考。在此通过得出最可能的模式的列表并发送列表的索引来发出信号通知亮度预测模式,则如果色度预测模式是独立的,获得针对每个通道的独立的最可能的模式的列表可能是必要的。最后,按照与以上所述4:2:2的情况类似的方式,在4:4:4方案中,当预测采样位置处的像素时在参考样本上使用的平滑滤波器可以与亮度PU类似的方式用于色度PU。帧间预测视频图像的每帧是真实场景的离散采样,因此,每个像素在颜色和亮度上都是现实世界梯度的逐步逼近。认识到这一点,当根据先前视频帧中的值预测新的视频帧中的像素的Y、Cb或Cr值时,将在先前视频帧中的像素内插以创建对原始现实世界梯度的更好估计,从而使得允许为新的像素更准确地选择亮度或颜色。因此,用于视频帧之间的点的运动矢量不限于整数像素分辨率。相反,它们可指向内插的图像内的子像素位置。4:2:0帧间预测现参考图3,在如上所述的4:2:0方案中,通常8×8亮度PU将与Cb和Cr4×4色度PU相关联。因此,为了内插亮度和色度像素数据直到相同的有效分辨率,使用不同的内插滤波器。例如,对于8×84:2:0亮度PU,内插是14像素,因此,首先水平地应用8-抽头×4滤波器,并且然后垂直地应用同样的8-抽头×4滤波器,使得如图3所示,在每个方向上亮度PU有效地扩展了4倍。同时,相应的4×44:2:0色度PU是内插18像素以生成相同的最终的分辨率,因此水平地先应用4-抽头×8滤波器,然后垂直地应用同样的4-抽头×8滤波器,因此,同样如图3所示,在每个方向上色度PU有效地扩展了8倍。4:2:2帧间预测变形现在也参考图4,如先前所述,在4:2:2方案中,色度PU可以是非正方形,并且如图4所示,在8×84:2:2亮度PU的情况下,对于Cb和Cr通道中的每个,通常是4宽×8高4:2:2色度PU。因而,虽然可以在色度PU上垂直地使用现有的8-抽头×4亮度滤波器,在本公开的实施方式中,应理解现有的4-抽头×8色度滤波器就足够用于如在实践中一个仅对内插的色度PU的连分数位置感兴趣的垂直插值。因此,图4示出了8×84:2:2亮度PU像以前那样用一个8抽头×4的滤波器进行内插,并且4×84:2:2色度PU在水平方向和垂直方向上利用现有的4-抽头×8色度滤波器内插,但只有用于在垂直方向上用于形成内插图像的连分数的结果evenfractionalresult。4:4:4帧间变形通过扩展,仅对现有4-抽头×8色度滤波器使用连分数结果的相同的原理能够垂直并水平地应用于8×84:4:4色度PU。另一帧间预测变形在运动矢量MV推导的一个实施中,对于P切片中的PU产生一个矢量以及对于B切片中的PU产生两个矢量其中,按类似MPEGP和B帧的方式,P切片根据先前帧进行预测,B切片根据先前和后续帧进行预测。应注意,在该实施中,在4:2:0方案中,矢量对所有通道都是共同的,此外,色度数据不用于计算运动矢量。换言之,所有的通道使用基于亮度数据的运动矢量。在本公开的实施方式中,在4:2:2方案中,色度矢量可与亮度独立能够分别得出Cb和Cr通道的矢量,并且在4:4:4方案中,色度矢量可进一步与Cb和Cr通道中的每个独立。变换在HEVC中,使用相对于先前编码解码帧的运动矢量对大多数图像编码,运动矢量告诉解码器在这些其他解码的帧中从哪复制当前图像的良好近似。结果是当前图像的近似版本。然后HEVC编码所谓的残差,这是近似版本与正确的图像之间的误差。与直接指定实际图像相比,该残差需要更少的信息。然而,一般而言,仍优选压缩该残差信息以进一步减小总体比特率。在包括HEVC的很多编码方法中,使用整数余弦变换ICT将这种数据变换成空间频率域,并且通常根据期望压缩等级通过保持低空间频率数据并丢弃高空间频率数据来实现一些压缩。4:2:0变换用于HEVC中的空间频率变换通常是生成4的幂的系数的例如,64个频率系数变换,因为这尤其适合于常用量化压缩法。4:2:0方案中的正方形TU都是4的幂,因此这可简单实现。甚至在目前不启用NSQT的情况下,一些非正方形变化可用于非正方形TU,如,4×16,但应注意这些再次产生64系数,也是4的幂。4:2:2和4:4:4变换变形4:2:2方案能到产生不是4的幂的非正方形TU;例如,4×8TU具有32个像素,但32不是4的幂。因此在本公开实施方式中,可以使用不是4的幂个系数的非正方形变换,确认可能需要对后续量化处理进行修改。可替换地,在本公开的实施方式中,非正方形TU被分成具有用于变换的4的幂的正方形块,并且然后所得到的系数能够进行交织。例如,对于4×8块8行4个采样,例如,采样的奇数偶数行可被分成两个正方形块,以便正方形块中的一个采用偶数行并且另一个采用奇数行。可替换地,对于4×8块,顶部4×4像素和底部4×4像素能够形成两个正方形块,换言之,通过分割TU的中心轴周围的TU在该实例中的横轴。还可替换地,对于4×8块,可使用哈尔小波分解来形成下部和上部频率4×4块。使用相应的重组技术来在解码器或者在编码器的反向解码路径中处将解码的正方形块重组到TU中。这可使用这些选项中的任何一个,并且特定替代的选择可用信号通知解码器或可由解码器得出。因此,在编码器侧,这表示涉及4:2:2色度子采样格式或其他格式的视频编码的方法的实例,该方法包括:将图像数据分成变换单元;在非正方形变换单元的情况下,在应用空间频率变换之前将非正方形变换单元分割split成正方形块;以及将空间频率变换应用到正方形块以生成空间频率系数的相应集合。在实施方式中,相对于帧内预测单元的变换单元,在相对于预测单元生成预测图像数据之前可能进行分割步骤。这是有用的,因为对于帧内编码,预测潜在地基于最近解码的TU,它们可能是相同PU中的其他TU。可选地,与从变换单元导出的涉及正方形块的空间频率系数的集合可在进行变换之后重组。但是在其他实施例中,可对与变换的方形块有关的系数分别进行编码、存储和或传输。如上所述,分割可以包括应用哈尔变换。可替换地,在非正方形变换单元是矩形的情况下,分割可以包括选择矩形变换单元的中心轴线两边的各个正方形块。可替换地,在非正方形变换单元是矩形的情况下,分隔可以包括选择变换单元的采样的交替的行或列。在实施方式中,相对于帧内预测单元的变换单元,在相对于预测单元生成预测图像数据之前可能进行分割步骤。这是有用的,因为对于帧内编码,预测潜在地基于最近解码的TU,它们可能是相同PU中的其他TU。4×8TU是矩形TU的实例。这是在水平方向上的采样是垂直方向上的两倍的TU的实例。在解码器侧,相对于4:2:2色度子采样格式或其他格式的视频解码方法可以包括将空间频率变换应用于空间频率系数的块以生成两个或更多相应的采样的正方形块;并将两个或更多采样的方形块组合到非正方形变换单元。换言之,可分别至少通过变换处理处理方形块的空间频率系数,所得到的采样的正方形块被合并成非正方形TU。在应用变换处理之前,可传输系数作为各个集合每个对应于正方形块或组合的系数的集合。在后一种情况下,方法可以包括将空间频率系数的块分成两个或更多子块;并将空间频率变换分别应用于子块中的每个。如上,提出组合操作的各种选项。组合可以包括应用逆哈尔变换。可替换地,在非正方形变换是矩形的情况下,组合可以包括将矩形变换单元的中心轴线两边的相应方形块连接起来。可替换地,在非正方形变换单元是矩形的情况下,组合可以包括从正方形块中交替的方形块选择变换单元的采样的交替行或列。其他变换模式在4:2:0方案中,存在建议的标记所谓的‘qpprime_y_zero_transquant_bypass_flag’允许残差数据无损包含在比特流中未经变换、量化或进一步滤波的。在4:2:0方案中,将标记应用至所有的通道。在本公开的实施方式中,建议亮度通道的标记与色度通道的独立。因此,对于4:2:2方案,应当单独地为亮度通道和色度通道设置这种标记,并且对于4:4:4方案,分别为亮度和色度通道设置这种标记,或者为三个通道中的每个设置一个标记。这识别与4:2:2和4:4:4方案相关联的增大的色度数据速率,并启用例如无损亮度数据以及压缩的色度数据。对于帧内预测编码,依赖于模式的方向性变换MDDT允许TU的水平或垂直ICT或两者的ICT被替换为根据帧内预测方向的整数正弦变换。在4:2:0方案中,这未应用于色度TU。然而,在本公开的实施方式中,建议将其应用至4:2:2和4:4:4色度TU。量化在4:2:0方案中,量化的计算对于亮度及对于色度是相同的,。只有量化参数QP不同。下面由亮度QP计算色度的QP:QpCb=伸缩表[Qp亮度+chroma_qp_index_offset]QpCr=伸缩表[Qp亮度+second_chroma_qp_index_offset]其中,从图5可以看出定义了伸缩表,并且在图片参数集合中定义了“chroma_qp_index_offset”和“second_chroma_qp_index_offset”。色度通道通常包含比亮度更少的信息,因此具有较小量值的系数;对色度QP上的限制可以防止在大量化电平时丢失所有的色度细节。在4:2:0中的QP除数关系使得QP中6的增大相当于除数加倍。因此,伸缩表中最大的差值51-39=12表示在除数上4的倍数改变。然而,在本公开的实施方式中,对于可能包含4:2:0方案是其二倍的色度信息的4:2:2方案,伸缩表中的最大色度QP值可上升至45除数的一半。类似地,对于4:4:4方案,伸缩表中的最大色度QP值可上升至51相同的除数。在这种情况下,实际上伸缩表是冗余的,但可仅为操作效率而保留以便系统参考表对每个方案以相同的方式工作。因此,一般地说,在本公开的实施方式中,响应于相对于4:2:0方案的编码方案中的信息量对色度QP除数进行修改。也应注意在4:2:0方案中,最大色度TU是16×16,然而,对于4:2:2方案,16×32TU是可以的,以及对于4:4:4方案,32×32色度TU是可以的。因此,在本公开的实施方式中,提出32×32色度TU的量化矩阵Q矩阵。类似地,应当为诸如16×32TU的非正方形TU定义Q矩阵。可通过以下中任一项定义Q矩阵:网格中的值关于4×4和8×8Q矩阵;从更小或更大矩阵空间内插;-在HEVC中,可从较小Q矩阵得出更大的Q矩阵。相对于其他Q矩阵差值,或δ;-因此仅需要发送δ,作为另一种Q矩阵的函数;-例如,相对于另一种矩阵的伸缩比,-因此,仅需要发送函数的系数诸如,伸缩比,作为等式函数例如,分段线性曲线、指数、多项;-因此,仅需要发送等式的系数以得出矩阵,或者以上的任意组合。其他有用信息包括涉及其他矩阵的值的可选指示符,先前通道或第一主通道;例如,如所示,Cr的矩阵可以是Y或Cb的矩阵的伸缩因数。HEVC4:2:0中Q矩阵的数量目前对于每个变换尺寸是2亮度+色度。然而,在本公开的实施方式中,如可应用,为Y+Cb+Cr或G+B+R设置3个。因此,在4:4:4GBR方案的情况下,应理解的是任一量化矩阵集合可用于所有的通道,或者可使用三个各自的量化矩阵集合。可向GBR的MPEG4-SStP应用类似的原理,其中,可以再次提供每个变换尺寸的2或3个矩阵。熵编码基本熵编码包括向输入数据符号分配码字,其中,最短可用的码字被分配到输入数据中最可能的符号。平均起来,结果是无损的但小得多的输入数据表示。能够在进一步通过识别符号概率以最近先前数据通常是有条件的并因此使分配处理上下文自适应来改善该基本方案。在这种方案中,上下文变量CV被用来确定相应的概率模型的选择,并且在HEVC4提供了这样的CV4:2:0方案。为了将熵编码扩展到4:2:2方案,例如,其将使用4×8色度TU而不是针对8×8亮度TU的4×4TU,可选地,可通过仅垂直重复相当的CV选择设置上下文变量。然而,在本公开的实施方式中,不为左上方的系数高能量、DC和或低空间频率系数重复选择CV,而是得出新的CV。例如,在这种情况下,可从亮度图lumamap得出映射。该方法也可用于4:4:4方案。在编码过程中,在4:2:0方案中,所谓的Z字型扫描从高到低频率依次扫描整个系数。然而,应再次注意,4:2:2方案中的色度TU可以是非正方形,因此在本公开的实施方式中,提出不同的色度Z字型扫描,扫描的角度倾斜以使其更水平,或者更一般地,响应于TU的长宽比。类似地,对重要映射CV选择的邻域,并且大于一个或大于两个CV选择的c1c2系统可相应地调整。同样地,在本公开的实施方式中,对于4:4:4方案也调整最后有效系数位置在解码过程中其变成起点,而且与共定位的亮度TU中的最后有效位置不同地编码色度TU的最后有效位置。系数扫描也可使预测模式取决于某些TU尺寸。因此,不同的扫描顺序可被用于取决于帧内预测模式的一些TU尺寸。在4:2:0方案中,模式依赖系数扫描MDCS仅适用于帧内预测的4×48×8亮度TU以及4×4TU。在本公开的实施方式中,建议在4:2:2方案中,将MDCS应用于帧内预测的4×8和8×4色度TU。类似地,提议在4:4:4方案中,将MDCS应用至8×8和4×4色度TU。环内滤波器去块deblocking去块应用于所有的CU、PU和TU边界,并且不考虑CUPUTU形状。滤波器强度和尺寸取决于局部统计数据,去块具有8×8亮度像素的粒度。因此,期望应用于4:2:0方案的当前去块应当也适用于4:2:2和4:4:4方案。采样自适应偏移在采样自适应偏移SAO中,每个通道都是完全独立的。SAO使用四叉树划分每个通道的图像数据,并且所得到的块的大小是至少一个LCU。叶块与LCU边界对齐并且如通过编码器确定的每个叶块可以三个模式之一运行“中央频带偏移”、“边带偏移”或“边缘偏移”。每个叶对其像素加以分类,并且编码器通过将SAO输入数据与源数据进行比较得出16种类中每个的偏心值。将这些偏移发送到解码器。解码的像素的种类的偏移被加到其值中以最小化与源的偏差。此外,在图像电平启用或不启用SAO;如果为亮度启用,其也可以分别为各个色度通道启用。因此,只有当应用于亮度时才将SAO仅应用于色度。因此,该过程对下面的块方案大部分透明并且预期应用于4:2:0方案的当前SAO也应当适用于4:2:2和4:4:4方案。自适应环路滤波器在4:2:0方案中,默认禁用自适应环路滤波器ALF。然而,原则上如果允许之后ALF将应用于色度的整个图片。在ALF中,亮度采样被分为15个种类之一;每个种类使用不同的维纳类滤波器。与此相反,在4:2:0中,未对色度采样分类,Cb和Cr只有一个维纳类滤波器。因此,在本公开的实施方式中,鉴于4:2:2和4:4:4方案中增加的色度信息,建议对色度采样分类;例如,为4:2:2分7个种类以及为4:4:4分15个种类。同时在4:2:0方案中,使用ALF控制标记对以每CU为基础的亮度禁用ALF降至ALF控制深度指定的CU等级,仅可以每张图片为基础对色度禁用。因此,在本公开的实施方式中,4:2:2和4:4:4方案提供有用于色度的一个或两个通道特定的ALF控制标记。语法在HEVC中,语法已经被呈现为表示4:2:0、4:2:2或4:4:4方案,并以序列级表示。然而,在本公开的实施方式中,提议也以该级表示4:4:4GBR编码。HEVC编码器现参考图6,在本公开的实施方式中,适用于实施以上技术的HEVC编码器包括帧内模式选择器110和帧内模式预测器120;运动补偿帧预测器130、运动估算器140和子像素内插滤波器例如,14子像素滤波器;帧存储器150;自适应环路滤波器170和ALF系数生成器175;采样自适应偏移单元180和SAO系数生成器185;去块滤波器190和去块滤波器编码决定单元195;变换单元200和逆变换单元205;量化单元210和逆量化单元215;以及熵编码器220。HEVC解码器如上所述,图6所示的解码器的反向路径215、205、190、180、170、160、150、140、130、120、110及相关特征对应解码器的正向路径。因此,本领域技术人员应容易理解对应于以上编码器的解码器,类似地包括:帧内模式选择器对应选择器110,可操作为选择例如,基于编码器提供的作为编码的比特流一部分的数据帧内预测模式,以及帧内模式预测器对应预测器120,其响应于选择而可操作为选择多个变换单元处理的预测顺序中的一个,以便与该数据的编码处理一致否则,传输的残差将会与解码处预测中的误差不一致。因此,这种解码器也可实施在本文中描述的方法。图6的设备示意性地示出视频编码设备的示例性实施方式,该设备可操作涉及4:2:2色度子采样格式或实际上另一种格式,设备包括:分配器其可通过例如变换单元200实现,被配置为将图像数据划分成变换单元;分割器再次通过变换单元200在示例性实施方式中实现,在非正方形变换单元的情况下可操作并被配置为在应用空间频率变换之前将非正方形变换单元分成正方形块;以及空间频率变换器再一次通过变换单元200在示例性实施方式中实现,被配置为将空间频率变换应用至正方形块以生成空间频率系数的相应集合。如上所述,图6的编码器的反向路径的特征适用于解码器的正向路径。在本技术的实施方式中,在视频解码设备可相对于4:2:2色度子采样格式或另一种格式操作的上下文中,逆变换单元可用作以下中的每个:空间频率变换器,被配置为将空间频率变换应用至空间频率系数的块以生成两个或更多采样的相应的方形块;以及组合器,被配置为将两个或多个采样的方形块组合成非正方形变换单元。本领域技术人员应当理解HEVC或对应以上编码器的其他解码器。这种解码器可至少实施以下图7A至图7I中总结的方法。总结在本公开的总结实施方式中,如上所述的HEVC编码器可操作为实施本文中所描述的方法,包括但不限于以下。参考图7A,在总结实施方式的情况下,对于4:4:4色度子采样格式,递归分割s710最大编码单元降低至4×4像素的编码单元。参考图7B,在总结实施方式的情况下,对于4:4:4色度子采样格式,为每个通道Y、Cb、Cr提供s720各自的编码单元树形层次结构。参考图7C,在总结实施方式的情况下,对于4:2:2色度子采样格式,启用s732非正方形四叉树变换,启用s734非对称运动划分,并且选择s736变换单元块尺寸以与所得到的非对称预测单元块布局对齐。参考图7D,在总结实施方式的情况下,对于4:2:2色度子采样格式,使正方形预测单元的s740帧内预测模式角与非正方形预测单元的帧内预测模式角相关联。参考图7E,在总结实施方式的情况下,对于4:4:4色度子采样格式,为编码单元中的两个或更多预测单元提供s750各自帧内预测模式。参考图7F,在总结实施方式的情况下,对于4:2:2色度子采样格式,使用相应4:2:0格式预测单元采用的色度滤波器内插s762具有相应4:2:0格式预测单元高度的两倍的高度的色度预测单元,并且s764仅使用内插的色度预测单元的交替垂直值。参考图7G,在总结实施方式的情况下,对于4:4:4色度子采样格式,使用相应4:2:0格式预测单元采用的色度滤波器内插s772具有相应4:2:0格式预测单元尺寸的两倍的尺寸的色度预测单元,并s774仅使用内插的色度预测单元的交替垂直与水平值。参考图7H,在总结实施方式的情况下,对于4:2:2色度子采样格式和或4:4:4色度子采样格式,得出s782预测单元的亮度运动矢量,并单独得出s784预测单元的色度运动矢量。参考图7I,在总结实施方式的情况下,对于4:4:4色度子采样格式,得出s792预测单元的亮度运动矢量,并单独得出s794预测单元的各色度通道的各自色度运动矢量。参考图7J,在总结实施方式的情况下,对于4:2:2色度子采样格式或另一种格式,在应用空间频率变换之前将非正方形变换单元s812分割成正方形块,并且然后组合s814例如交织得到的系数。参考图7K,在总结实施方式的情况下,对于4:2:2色度子采样格式和或4:4:4色度子采样格式,指示s822亮度残差数据无损地包含于比特流中,并单独指示s824色度残差数据无损地包含于比特流中。参考图7L,在总结实施方式的情况下,对于4:4:4色度子采样格式,单独指示s830对于每个通道,残差数据是否无损地包含于比特流中。参考图7M,在总结实施方式的情况下,对于4:2:2色度子采样格式,提供s840亮度与色度量化参数之间的量化参数关联表,其中,最大色度量化参数值比最大亮度量化参数小6。参考图7N,在总结实施方式的情况下,对于4:2:2色度子采样格式,提供s850亮度与色度量化参数之间的量化参数关联表,其中,最大色度量化参数值与最大亮度量化参数相同。参考图7O,在总结实施方式的情况下,对于4:4:4色度子采样格式,将亮度量化参数值用作或视作s860色度量化参数值。参考图7P,在总结实施方式的情况下,对于4:2:2色度子采样格式和或4:4:4色度子采样格式,相对于为不同的例如,4:2:0色度子采样格式定义的量化矩阵将一个或多个量化矩阵定义s870为差值。参考图7Q,在总结实施方式的情况下,对于4:2:2色度子采样格式和或4:4:4色度子采样格式,从与色度变换单元一起使用的亮度上下文变量图variablemaps880映射熵编码上下文变量,以及s890使用映射上下文变量对色度变换单元的一个或多个系数熵编码。参考图7R,在总结实施方式的情况下,对于4:4:4色度子采样格式,熵编码s910亮度和色度变换单元的系数,以及与共定位亮度变换单元中最后有效位置不同地编码s920色度变换单元的最后有效位置。参考图7S,在总结实施方式的情况下,对于4:2:2色度子采样格式和或4:4:4色度子采样格式,启用s930自适应环路滤波,并s940将各自色度采样分类到各自具有相应滤波器的多个类型中的一类中。参考图7T,在总结实施方式的情况下,对于4:2:2色度子采样格式和或4:4:4色度子采样格式,启用s950自适应循环路滤波,并s960提供色度通道的至少第一自适应循环滤波器例如,Cb和Cr共同一个滤波器,或者Cb和Cr中每个一个滤波器。最终,应理解的是,在本文中公开的方法可在适当适配为通过软件指令适用和或通过包含或替代专用硬件的常规硬件上来执行。因此,需要适应常规等效设备的现有部件可以以非暂时性的计算机程序产品或制造的类似对象的形式来实现,包括存储在数据载体上的处理器可执行的指令,例如软盘、光盘、硬盘、磁盘、PROM、RAM、闪存或者这些或其他存储介质的任何组合,或在经由数据信号在网络上,诸如以太网、无线网络、因特网或者这些其他的任意组合网络传输的形式来实现,或者实现在硬件中作为ASIC专用集成电路或FPGA现场可编程门阵列或适合于用来适配常规等效装置的其它可配置的电路。在到目前为止已被描述为通过软件控制的数据处理设备实施至少部分的实施方式中,应当理解,如光盘、磁盘、半导体存储器等承载这样的软件的非暂时性机器可读介质也被认为是表示本发明的实施方式。显而易见的是,借鉴上述教导,本发明的众多变形和改变是可能的。因此应当理解,在所附权利要求的范围内,本技术可以按不同于这里具体描述的方式被实施。本公开的实施方式可以包括视频捕捉、存储、显示、传输和或接收设备,包括如上所述的解码器和或如上所述的编码器。本公开的实施方式的各方面和特征利用以下编号条款来限定。在下面的条目中,可选地,术语“高效率”可从措辞中删除,因为其仅指本技术的实施方式的用途的实例。1.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式将最大编码单元递归分割降至4×4像素的编码单元。2.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式为每个通道提供各自编码单元树形层次结构。3.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式;以及对于该格式启用非正方形四叉树变换;启用非对称运动划分;以及选择变换单元块大小以与所得到的非对称预测单元块布局对齐。4.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式;以及对于该格式,将正方形预测单元的帧内预测模式角与非正方形预测单元的不同帧内预测模式角相关联。5.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式,为编码单元中的两个或更多预测单元提供各自帧内预测模式。6.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式;以及对于该格式,使用所述相应4:2:0格式预测单元采用的所述色度滤波器内插高度是相应4:2:0格式预测单元的高度两倍的色度帧内预测单元;以及仅使用所述内插色度预测单元的交替垂直值。7.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式,使用所述相应4:2:0格式预测单元采用的所述色度滤波器内插尺寸是相应4:2:0格式预测单元的尺寸的两倍的色度帧内预测单元;以及仅使用所述内插色度预测单元的交替垂直与水平值。8.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式和或4:4:4色度子采样格式;以及对于任一格式,得出预测单元的亮度运动矢量;以及单独得出预测单元的色度运动矢量。9.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式,得出预测单元的亮度运动矢量;以及单独得出预测单元的每个色度通道的各自色度运动矢量。10.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式;以及对于该格式,在应用空间频率变换之前将非正方形块变换单元分成正方形块;以及然后组合所得到的系数。11.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式和或4:4:4色度子采样格式;以及对于任一格式,指示亮度残差数据将被无损地包含于比特流中;以及单独指示色度残差数据将被无损地包含于所述比特流中。12.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式,单独表示对于每个通道,残差数据是否被无损地包含于比特流中。13.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式;以及对于该格式,提供亮度与色度量化参数之间的量化参数关联表,其中,所述最大色度量化参数值比所述最大亮度量化参数小6.14.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式,提供亮度与色度量化参数之间的量化参数关联表,其中,所述最大色度量化参数值与所述最大亮度量化参数相同。15.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式,将亮度量化参数值视为色度量化参数值。16.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式和或4:4:4色度子采样格式;以及对于任一格式,定义一个或多个量化矩阵作为关于对不同色度子采样格式定义的量化矩阵的差值。17.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式和或4:4:4色度子采样格式;以及对于任一格式,从与色度变换单元一起使用的亮度上下文变量图映射熵编码上下文变量;以及使用所述映射的上下文变量熵编码色度变换单元的一个或多个系数。18.一种高效率视频编码的方法,包括步骤:提供4:4:4色度子采样格式;以及对于该格式,熵编码亮度和色度变换单元的系数;以及与共定位亮度变换单元中的最后有效位置不同地编码色度变换单元的最后有效位置。19.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式和或4:4:4色度子采样格式;以及对于任一格式,启用自适应循环滤波器;以及将相应色度采样分类到各自具有各自滤波器的多个类型之一。20.一种高效率视频编码的方法,包括步骤:提供4:2:2色度子采样格式和或4:4:4色度子采样格式;以及对于任一格式,启用自适应环路滤波器;以及为所述色度通道提供至少第一自适应循环滤波控制标记。21.一种用于实现任一前述方法条款的步骤的计算机程序。22.一种设置成执行任一前述方法条款的步骤的操作的高效率视频编码的编码器。23.一种设置成执行条款1至9中任一项的步骤的操作的高效率视频编码的解码器。24.一种参考附图基本上如在本文中所描述的高效率视频编码的方法。25.一种参考附图基本上如在本文中所描述的高效率视频编码的编码器。26.一种参考附图基本上如在本文中所描述的高效率视频编码的解码器。应理解的是这些方面和特征,以及它们涉及的潜在的实施方式在技术适当时可组合应用。

权利要求:1.一种视频编码的方法,所述方法包括:将图像数据分成变换单元;在非正方形变换单元的情况下,在应用空间频率变换之前将所述非正方形变换单元分割成正方形块;对所述正方形块应用空间频率变换以生成空间频率系数的相应集合;以及组合与从变换单元导出的所述正方形块有关的所述空间频率系数的集合。2.根据权利要求1所述的方法,其中,所述分割的步骤包括应用哈尔变换。3.根据权利要求1所述的方法,其中,所述非正方形变换单元是矩形,并且所述分割的步骤包括选择矩形变换单元的中心轴线的任一侧的各自的正方形块。4.根据权利要求1所述的方法,其中,所述非正方形变换单元是矩形,并且所述分割的步骤包括选择所述变换单元的采样的交替行或列。5.根据前述权利要求中任一项所述的方法,其中,所述变换单元在水平方向上具有两倍于垂直方向上的采样。6.根据前述权利要求中任一项所述的方法,其中,对于帧内预测单元的变换单元,在生成关于所述预测单元的预测图像数据之前执行所述分割的步骤。7.根据前述权利要求中任一项所述的方法,包括以下步骤:启用非正方形四叉树变换;启用非对称运动划分;并且选择变换单元块大小以与所得到的非对称预测单元块布局对齐。8.根据前述权利要求中任一项所述的方法,包括以下步骤:将用于正方形预测单元的帧内预测模式角与用于非正方形预测单元的不同帧内预测模式角相关联。9.根据前述权利要求中任一项所述的方法,对于4:2:2色度子采样格式,所述方法包括以下步骤:使用对相应4:2:0格式预测单元采用的色度滤波器内插色度帧内预测单元,所述色度帧内预测单元具有两倍于所述相应4:2:0格式预测单元的高度的高度;并且仅使用内插的所述色度预测单元的交替垂直值。10.根据前述权利要求中任一项所述的方法,包括以下步骤:导出用于预测单元的亮度运动矢量;并且独立导出用于所述预测单元的色度运动矢量。11.根据前述权利要求中任一项所述的方法,包括以下步骤:指示亮度残差数据将被无损地包含于比特流中;并且独立指示色度残差数据将被无损地包含于所述比特流中。12.根据前述权利要求中任一项所述的方法,包括以下步骤:提供亮度与色度量化参数之间的量化参数关联表,其中,最大色度量化参数值比最大亮度量化参数小6。13.根据前述权利要求中任一项所述的方法,包括以下步骤:定义一个或多个量化矩阵作为关于针对不同色度子采样格式定义的量化矩阵的差值。14.根据前述权利要求中任一项所述的方法,包括以下步骤:从与色度变换单元一起使用的亮度上下文变量图映射熵编码上下文变量;并且使用映射的所述上下文变量来熵编码色度变换单元的一个或多个系数。15.根据前述权利要求中任一项所述的方法,包括以下步骤:启用自适应环路滤波;并且将各自的色度采样分类到均具有各自的滤波器的多个种类中的一个。16.根据前述权利要求中任一项所述的方法,包括以下步骤:启用自适应环路滤波;并且为色度通道提供至少第一自适应环路滤波控制标记。17.一种视频解码的方法,所述方法包括:将空间频率变换应用于空间频率系数的集合以生成两个或更多的采样的相应正方形块;将所述两个或更多的采样的正方形块组合为非正方形变换单元;将空间频率系数的集合分割成两个或更多子集;并且将逆空间频率变换分别应用于各个所述子集。18.根据权利要求17所述的方法,其中,所述组合的步骤包括应用逆哈尔变换。19.根据权利要求17所述的方法,其中,所述非正方形变换单元是矩形,并且所述组合的步骤包括将该矩形变换单元的中心轴线的任一侧的各自的正方形块连接。20.根据权利要求17所述的方法,其中,所述非正方形变换单元是矩形,并且所述组合的步骤包括从所述正方形块的交替正方形块选择所述变换单元的采样的交替行或列。21.根据权利要求17至20中任一项所述的方法,其中,所述变换单元在水平方向上具有两倍于垂直方向上的采样。22.根据前述权利要求中任一项所述的方法,其中,所述视频编码是关于4:2:2色度子采样格式的视频编码。23.一种计算机软件,在由计算机执行时使所述计算机实施前述权利要求中任一项所述的方法。24.一种视频编码设备,所述设备包括:分配器,被配置为将图像数据分成变换单元;分割器,能在非正方形变换单元的情况下操作并且被配置为在应用空间频率变换之前将所述非正方形变换单元分割成正方形块;空间频率变换器,被配置为将空间频率变换应用于所述正方形块以生成空间频率系数的相应集合;以及组合器,被配置为组合与从变换单元导出的所述正方形块有关的所述空间频率系数的集合。25.一种视频解码设备,所述设备包括:逆空间频率变换器,被配置为对空间频率系数的集合应用逆空间频率变换以生成两个或更多的采样的相应正方形块;组合器,被配置为将所述两个或更多的采样的正方形块组合为非正方形变换单元;以及分割器,被配置为将空间频率系数的集合分割成两个或更多子集,其中,所述逆空间频率变换器被配置为将所述逆空间频率变换分别应用于各个所述子集。26.根据权利要求24或25所述的设备,能关于4:2:2色度子采样格式操作。27.一种视频捕捉、存储、显示、传输和或接收设备,包括:根据权利要求25所述的解码设备和或根据权利要求24所述的编码设备。

百度查询: 索尼公司 视频编解码的方法和设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术