申请/专利权人：索尼公司

申请日：2013-05-10

公开（公告）日：2020-05-19

公开（公告）号：CN107820089B

主分类号：H04N19/172(20140101)

分类号：H04N19/172(20140101);H04N21/432(20110101);H04N21/472(20110101);H04N21/845(20110101);H04N5/92(20060101);H04N9/80(20060101)

优先权：["20120710 JP 2012-154557"]

专利状态码：有效-授权

法律状态：2020.05.19#授权;2018.04.13#实质审查的生效;2018.03.20#公开

摘要：本公开涉及图像解码装置、图像编码装置及图像编码方法。根据一个实施例的图像解码装置包括：解码单元，被配置为基于纯净随机访问信息来对一个或更多个图像进行解码，其中纯净随机访问信息标识图像中的一个或更多个纯净随机访问图片，并且纯净随机访问信息被设置在包括报头区和数据区的文件的报头区中，其中数据区包括图像的实际数据，一系列编码图像数据被存储在数据区中。

主权项：1.一种图像编码装置，包括：编码单元，被配置成对图像序列中的图像进行编码并且生成图像数据；确定单元，被配置成在所述图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个纯净随机访问图片；以及文件生成单元，被配置成将用于标识由所述确定单元确定的所述一个或更多个纯净随机访问图片的纯净随机访问信息插入到包括报头区和数据区的文件的所述报头区中，并且将所述图像数据插入到所述数据区中。

全文数据：图像解码装置、图像编码装置及图像编码方法[0001]本申请是申请日为2013年5月10日、申请号为“2〇1380035503.6”、发明名称为“图像解码装置、图像解码方法、图像编码装置及图像编码方法”的发明专利申请的分案申请。技术领域[0002]本公开内容涉及图像解码装置、图像解码方法、图像编码装置以及图像编码方法。背景技术[0003]在作为图像编码方案的标准规范之一的H.264AVC中，将各个图像（图片）分割成一个或更多个切片slice。将每个切片归类为I切片帧内切片）、P切片预测切片和B切片双向预测切片之一。I切片是在不参考另一图像的情况下独立地解码的切片。P切片是通过参考另一单个图像解码的切片。B切片是通过参考多个其他图像解码的切片。将序列的仅包括I切片的开始图片称为IDR瞬时解码刷新）图片。使用NAL网络抽象层单元类型的值来标识IDR图片。同一序列中IDR图片之后的图片仅按照呈现次序位于IDR图片后面，而不参考按照解码次序在IDR图片之前的图片。从而，当在某个编码流的视频中间的时间点处尝试随机访问（不是从流的开始解码而是从流的中间解码再现时，可以在指定时间点附近从IDR图片适当地对视频进行解码。[0004]在作为H.264AVC之后的下一代图像编码方案的HEVC高效视频编码）的标准化中，除IDR图片之外还提出了一种使用NAL单元类型的值来标识图片CRA纯净随机访问）图片。CRA图片是位于序列中间的仅包括I切片的图片。按照解码次序和呈现次序两者在CRA图片之后的图片既不参考按照解码次序在CRA图片之前的图片既也不参考按照呈现次序在CRA图片之前的图片（参见下面的非专利文献2。从而，当尝试在视频的中间的时间点处对CRA图片进行随机访问（从CRA图片对视频进行解码时，能够无故障地执行对按照呈现次序在CRA图片之后的图片进行解码的处理。[0005]引用列表[0006]非专利文献[0007]非专利文献1:BenjaminBross，Woo-JinHan，Jens-RainerOhm，GaryJ.Sul1ivan,Thomasffiegand,^HighefficiencyvideocodingHEVCtextspecificationdraft6”（JCTVC-H1003ver20,2012年2月17日）[0008]非专利文献2:Ye-KuiWang,“ReportoftheBoGoncleanrandomaccessCRApicture，’’JCTVC-F759,2011年7月14日至22日发明内容[0009]技术问题[0010]虽然在序列的开始仅存在一个IDR图片，但是在序列的中间可以存在多个CRA图片。从而，CRA图片的引入意味着视频的可随机访问点增加。从而，从对视频的再现或编辑的使用方面而言，存在显著提高用户便利性的潜力。然而，在存储遵照HEVC方案编码的编码流的已知文件格式中，尚未定义有效地支持对CRA图片的随机访问的信息要素。例如，在MPEG-4第14部分（ISOIEC14496-14:2003:下文称为MP4格式中，除非参考存储在数据区mdat盒box中的块chunk中的每个采样的NAL单元类型，否则可能难以确定哪个图片是CRA图片。这可能导致随机访问CRA图片的过度处理成本。[0011]从而，期望提供有效地支持对CRA图片的随机访问的文件格式。[0012]问题的解决方案[0013]根据本公开内容，提供了一种图像解码装置，包括:获取单元，被配置成从包括报头区和数据区的文件格式的报头区获取CRA信息，CRA信息用于标识被插入数据区的图像序列中的一个或更多个CRA图片;控制单元，被配置成当检测到随机访问的指令时，使用CRA信息将图像序列中的一个CRA图片指定为解码开始图片；以及解码单兀，被配置成从控制单元所指定的解码开始图片起对图像序列进行解码。[0014]此外，根据本公开内容，提供了一种图像解码方法，包括:从包括报头区和数据区的文件格式的报头区获取CRA信息，CRA信息用于标识被插入数据区的图像序列中的一个或更多个CRA图片；当检测到随机访问的指令时，使用CRA信息将图像序列中的一个CRA图片指定为解码开始图片；以及从所指定的解码开始图片起对图像序列进行解码。[0015]根据一个实施例，提供一种图像解码装置，其包括:解码单元，被配置为基于纯净随机访问信息来对一个或更多个图像进行解码，其中纯净随机访问信息标识图像中的一个或更多个纯净随机访问图片，并且纯净随机访问信息被设置在包括报头区和数据区的文件的报头区中，其中数据区包括图像的实际数据，一系列编码图像数据被存储在数据区中。[0016]此外，根据本公开内容，提供了一种图像编码装置，包括:编码单元，被配置成对图像序列中的图像进行编码并且生成图像数据;确定单元，被配置成在图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个CRA图片；以及文件生成单元，被配置成将用于标识由确定单元确定的一个或更多个CRA图片的CRA信息插入到包括报头区和数据区的文件格式的报头区中，并且将图像数据插入到数据区中。[0017]此外，根据本公开内容，提供了一种图像编码方法，包括:对图像序列中的图像进行编码并且生成图像数据;在图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个CRA图片；以及将用于标识所确定的一个或更多个CRA图片的CRA信息插入到包括报头区和数据区的文件格式的报头区中；以及将图像数据插入到数据区中。[0018]本发明的有利效果[0019]与己知方案相比，根据本公开内容中的技术可以更简单地实现对CRA图片的随机访问。附图说明[0020]图1是示出根据一个实施方式的图像编码装置的配置示例的框图；[0021]图2是示出该实施方式中可以采用的文件格式的示例的说明图；[0022]图3是示出该实施方式中可以采用的文件格式的另一示例的说明图；[0023]图4是;^出关于非分段影片的CRA信息的专用盒的第一示例的说明图；[0024]图5是;^出关于非分段影片的CRA信息的专用盒的第二示例的说明图；[0025]图6是示出关于非分段影片的CRA信息的专用盒的第三示例的说明图；[0026]图7是;^出关于非分段影片的随机访问信息的共享盒的第一示例的说明图；[0027]图8是f出关于非分段影片的随机访问信息的共享盒的第二示例的说明图；[0028]图9是示出关于非分段影片的随机访问信息的共享盒的第三示例的说明图；[0029]图10是示出关于分段影片的CRA信息的专用盒的第一示例的说明图；[0030]图11是示出关于分段影片的CRA信息的专用盒的第二示例的说明图；[0031]图12是示出关于分段影片的CRA信息的专用盒的第三示例的说明图；[0032]图13是;^出关于分段影片的随机访问信息的共享盒的第一示例的说明图；[0033]图14是出关于分段影片的随机访问信息的共享盒的第二示例的说明图；[0034]图15是示出关于分段影片的随机访问信息的共享盒的第三示例的说明图；[0035]图16是示出用于基本采样组信息的盒的第一说明图；[0036]图17是示出用于基本采样组信息的盒的第二说明图；[0037]图18是示出对CRA图片进行分组的采样组的定义的第一示例的说明图；[0038]图19是示出对CRA图片进行分组的采样组的定义的第二示例的说明图；[0039]图20是示出对CRA图片进行分组的采样组的定义的第三示例的说明图；[0040]图21是示出对CRA图片进行分组的采样组的定义的第四示例的说明图；[0041]图22是示出对CRA图片进行分组的采样组的定义的第五示例的说明图；[0042]图23是示出对CRA图片进行分组的采样组的定义的第六示例的说明图；[0043]图24是示出根据该实施方式的图像解码装置的配置示例的框图；[0044]图25是示出由图24所例示的装置执行的解码处理的流程的第一示例的流程图；[0045]图26是示出获取与指定时间对应的采样号的处理的流程示例的流程图；[0046]图27是示出指定解码开始图片的处理的流程的第一示例的流程图；[0047]图28是示出指定解码开始图片的处理的流程的第二示例的流程图；[0048]图29是示出跳过对未正常解码的先前图片的输出的处理的流程的第一示例的流程图；[0049]图30是示出跳过对未正常解码的先前图片的输出的处理的流程的第二示例的流程图；[0050]图31是示出跳过对未正常解码的先前图片的输出的处理的流程的第三示例的流程图；[0051]图32是示出由图24中例示的装置执行的解码处理的流程的第二示例的流程图；[0052]图33是示出指定解码开始图片的处理的流程的第三示例的流程图；[0053]图34是示出电视机的示意性配置的示例的框图；[0054]图35是示出移动电话的示意性配置的示例的框图；[0055]图36是示出记录再现装置的示意性配置的示例的框图；以及[0056]图37是示出图像拍摄装置的示意性配置的示例的框图。具体实施方式[0057]下文中，将参考附图详细描述本发明的优选实施方式。注意，在此说明书和附图中，用相同的附图标记来表示具有基本上相同功能和结构的元件，并且省略重复说明。[0058]按照以下顺序来进行描述。[0059]1.根据实施方式的图像编码装置的配置示例[0060]2.CRA信息的示例[0061]2-1.CRA信息非分段影片的专用盒[0062]2-2.随机访问信息非分段影片的共享盒[0063]2-3.CRA信息分段影片的专用盒[0064]2-4.随机访问信息分段影片的共享盒[0065]2-5.采样组的利用[0066]3.根据实施方式的图像解码装置的配置示例[0067]4.解码处理的流程[0068]4-1.非分段影片的解码处理[0069]4-2.分段影片的解码处理[0070]5.示例应用[0071]6•结论[0072]T步骤S124。此处，当时间变量S尚未超过指定时间T时，处理返回至步骤S122。相反地，当时间变量S超过指定时间时，控制单元37用计数器的值n代替采样号x步骤S125。[0172]通过这样的处理，获取与指定时间T对应的采样号X。[0173]3指定解码开始图片[0174]图27是示出以下处理的流程的第一示例的流程图：该处理与图25的步骤S130对55，并且被执行以指定解码开始图片。在第一示例中，假设CRA信息被存储在图4至图6所例示的stcs盒以及图7至图9所例示的stra盒中。[0175]参考图27,控制单元37首先将编号变量M和计数器n初始化为1步骤S131。接着，控制单元3、7参考CRA信息的采样盒中的第n个条目（步骤S132。接着，控制单元37确定第n个条目的采样类型（sample_type是否指示预定值例如，指示CRA图片或IDR图片的NAL单元类型的值）（步骤S133。当CRA信息的采样盒不包括采样类型时，此处忽略该确定。当第n个条目的采样类-不指示预定值时，跳过步骤S1：34后面的处理并且处理进行至步骤S136。当第n个条目的采样类型指示预定值时，控制单元37确定第条目的采样号（sample_numberXn是否等于或小于与指定时间T对应的采样号x步骤S134。此处，当采样号如不小于等于采样号X时，处理行进至步骤S138。相反地，当采样号Xn等于或小于采样号X时，控制单元37用采样号Xn替换编号变量M步骤S135。接着，控制单元37确定第n个条目是否为最后条目（步骤S136。如果第n个条目不是最后条目，则控制单元37增大计数器n步骤S137并且处理返回步骤S132。如果第n个条目是最后的条目，则处进行至步骤S138。在步骤S138中，控制单元37用编号变量M的值替换解码开始图片的采样号Y步骤S138。当CRA信息的采样盒与IDR信息的采样盒分开被定义时，则还可以对IDR信息的采样盒进行与图27的处理相同的处理。在该情况下，可以采用距采样号X较近的值作为解码开始图片的采样号Y。[0176]图28是示出以下处理的流程的第二示例的流程图：该处理与图25的步骤S130对应，并且被执行以指定解码开始图片。在第二示例中，如图18至图23所例示的，假设CRA信息为对CRA图片进行分组的采样组信息。[0177]参考图狀，控制单元37首先将编号变量j初始化为零并且将编号变量M和计数器n初始化为1步骤S141。接着，控制单元37参考参照图16描述的sbgp盒中的第n个条目。本文所指的sbgp盒是包括组类型“crap”和“rap2”的盒。[0178]接着，控制单兀37将sbgp盒中的第n个条目的米样计数器（sample_count加至编号变量j。接着，控制单元37确定编号变量j是否小于等于与指定时间T对应的采样号XS144。此处，当编号变量j不小于等于采样号X时，处理进行至步骤S150。相反地，当编号变量j等于或小于采样号X时，处理进行至步骤S145。在步骤S145中，控制单元37确定第n个条目的组描述索引（group_descriptionjndex是否大于零，S卩，与编号变量j对应的采样分组至一个采样组步骤S145。此处，当组描述索引大于零时，控制单元37还确定相应的采样类型（sample_type是否指示预定值（例如，指示CRA图片或IDR图片的NAL单元类型的值）步骤S146。此处，当相应采样类型指示预定值时，控制单元37用编号变量j替换编号变量M步骤S147。相反地，当相应采样类型不指示预定值或当组描述索引不大于零时，跳过步骤S147的处理并且处理进行至步骤S14S。当采样组信息不包括作为组属性的采样类型时，忽略步骤S146的确定。接着，控制单元37确定第n个条目是否为最后条目（步骤S148。当第n个条目不是最后条目时，控制单元37增大计数器n步骤S149，并且处理返回至步骤S142。如果第n个条目是最后的条目，则处理进行至步骤S150。在步骤S150中，控制单元37用编号变量M的值替换解码开始图片的采样号Y步骤S148。[0179]通过图27或图28所例示的处理，指定解码开始图片的采样号Y。当CRA图片未包括在图像序列中时，图像序列的开始的IDR图片可以变为解码开始图片。从文件的开始至每个块的开始的字节数被存储在stco盒块偏移盒）中。每个采样的字节数被存储在^灯盒采样大小盒）中。从而，当指定了解码开始图片的采样号Y时，可以基于关于采样号y的信息计算解码开始图片在文件中的位置从文件的开始起的字节数。[0180]⑷跳过未被正常解码的先前图片的输出[0181]图29和图30不出了当从图25中的步骤S160进行至步骤S190时跳过未被正常解码的先前图片的输出的处理的流程的三个示例。[0182]在图29的第一示例中，假设CRA信息包括每个CRA图片的损坏采样数br〇ken_samples。首先，控制单元37用解码开始图片的损坏采样数替换临时变量p步骤S161。接着，控制单元37用解码开始图片的输出定时替换时间变量t步骤S1e2。接着，控制单元37将编号变量R初始化为1步骤S163。[0183]接着，控制单元37用输出缓冲器35中的第R个采样的输出定时替换时间变量x步骤S164^接着，控制单元37确定临时变量P是否为零，S卩，损坏采样数是否为零步骤S165。当损坏采样数不为零时，处理行进至步骤S166。相反地，当损坏采样数为零时，处理行进至步骤S167。在步骤S166中，控制单元37确定时间变量X是否小于t，即，第R个采样是否为解码开始图片的先前采样步骤S166。当第R个采样不是解码开始图片的先前采样或者损坏采样数为零时，从输出缓冲器35输出由解码单元M解码的第R个采样（步骤S167。相反地，当第R个采样是解码开始图片的先前采样时，跳过对第R个采样的输出并且处理行进至步骤S168。之后，编号变量R增大步骤S168并且处理返回至步骤S164。[0184]在第一示例中，统一跳过对解码开始图片的先前采样的输出。[0185]在图30的第二示例中，还假设CRA信息包括每个CRA图片的损坏采样数broken—samples。首先，步骤S161至S163的处理与图29所示的第一示例的处理相同。[0186]在第二示例中，在编号变量R被初始化为1之后，控制单元37确定临时变量P是否为零，即，损坏采样数是否零步骤S165。当损坏采样数不为零时，处理行进至步骤S171。相反地，当损坏采样数为零时，处理行进至步骤S175。在步骤S171中，控制单元37确定编号变量R是否小于等于临时变量P，即，第R个采样是否是未被正常解码的损坏采样步骤S171。当第R个采样不是损坏采样时，处理行进至步骤S172。相反地，当第R个采样是损坏采样时，处理行进至步骤S176。在步骤S172中，控制单元37确定临时变量P是否为负值，g卩,损坏采样数是否未知步骤SIM。当损坏采样数未知时，处理行进至步骤S173。相反地，当损坏采样数并非未知时，处理行进至步骤S175。在步骤S173中，控制单元37用输出缓冲器35中的第R个采样的输出定时替换时间变量X步骤S173。接着，控制单元37确定时间变量X是否小于t，即，第R个采样是否为解码开始图片的先前采样步骤S174。当第R个采样不是解码开始图片的先前采样并且损坏采样数为零时或者当损坏采样数并非未知并且第R个采样不是损坏采样时，从输出缓冲器35输出由解码单元34解码的第R个采样步骤S175。相反地，当第R个采样是^坏采样或当损坏采样数未知并且第R个采样时解码开始图片的先前采样时，跳过对第R个采样的输出并且处理行进至步骤S176。之后，编号变量R增大步骤S176并且处理返回至步骤S164。[0187]在第二示例中，选择性地跳过对解码开始图片的先前采样中未被正常解码的采样的输出。[0188]在图31的第三示例中，假设CRA信息包括每个CRA图片的损坏持续时间（broker^duration。首先，控制单元37用解码开始图片的损坏持续时间替换临时变量P步骤S181。接着，控制单兀37用一个解码目标图片的输出定时presentation_time替换时间变量Z步骤S182。[0189]接着，控制单元37确定临时变量P是否大于时间变量Z，即，解码目标图片的输出定时是否已经过损坏持续时间（步骤S183。当解码目标图片的输出定时已经过损坏持续时间时，解码单元34对解码目标图片进行解码并且将解码图片存储在输出缓冲器35中（步骤S1S4。当解码目标图片的输出定时尚未经过损坏持续时间时，跳过对图片的解码。此后，将按解码次序的后续图片设置成解码目标图片并且处理返回至步骤S182。[0190][4-2•分段影片的解码处理][0191]1总体流程[0192]图32是示出由图24中例示的图像解码装置3〇执行的解码处理的流程的第二示例的流程图。第二示例与具有分段影片结构的图像序列的解码相关联。[0193]在图：32所例示的解码处理中，控制单元37持续监视随机访问（RA指令（步骤S2〇0。当检测到RA指令时，执行步骤S210至步骤S26〇的处理。当未检测到RA指令时，解码单元34按照解码次序对图像进行解码步骤S290。[0194]当检测到RA指令时，控制单元37获取指示RA指令中的指定定时的指定时间T步骤S210。接着，控制单元37基于CRA信息检索紧接在指定时间T之前的可随机访问图片并且指定解码开始图片步骤S230。本文所指定的解码开始图片是CRA图片或IDR图片。接着，解码单元3对由控制单元37指定的解码开始图片执行随机访问（步骤S260。然后，解码单元34按照解码次序从解码开始图片起对图像进行解码步骤S290。[0195]重复上述处理直到结束解码的指令或直到解码出最后图像步骤S295。[0196]⑵指定解码开始图片[0197]图33是示出以下处理的流程的示例的流程图：该处理与图32的步骤S230对应，并且被执行以指定解码开始图片。在图33的示例中，假设CRA信息被存储在图10至图12所例示的tfca盒中以及图13至图15所例示的tfr2盒中。[0198]参考图33,控制单元37首先将编号变量M和计数器n初始化为1步骤S231。接着，控制单元37参考包括CRA图片的分段的CRA信息的采样盒中的第n个条目（步骤S232。接着，控制单元37确定第n个条目的输出定时time是否小于等于指定时间T步骤S234。此处，当第n个条目的输出定时不小于等于指定时间T时，处理行进至步骤S238。相反地，当第n个条目的输出定时等于或小于指定时间T时，处理行进至步骤S234。在步骤S234中，控制单元37确定第n个条目的采样类型（sample_type是否指示预定值例如，指示CRA图片或IDR图片的NAL单元类型的值）（步骤S234。当CRA信息的采样盒不包括采样类型时，此处忽略该确定。当第n个条目的采样类型不指示预定值时，跳过步骤S234的后续处理并且处理进行至步骤S236。当弟n个条目的采样类型指不预定值时，控制单兀37用米样号（sample_numberXn替换编号变量M步骤S235。接着，控制单元37确定第n个条目是否为最后条目（步骤S236。当第n个条目不是最后条目时，控制单元37增大计数器n步骤S237，并且处理返回至步骤S232。如果第n个条目是最后条目，则处进行至步骤S238。在步骤S238中，控制单元37用编号变量M的值替换解码开始图片的采样号Y步骤S238。当CRA信息的采样盒与IDR信息的采样盒分=被定义时，还可以对IDR信息的采样盒进行与图27的处理相同的处理。在该情况下，可以采用解码开始图片的输出定时距指定时间T较近的采样号Y。[01"]当CRA信息是图18至图23所例示的对CRA图片进行分组的采样组信息时，还可以针对分段影片指定解码开始图片的采样号Y，如在图28所例示的非分段影片的情况下。[0200]当从图32的步骤S260行进至步骤S290时，跳过对未被正常解码的先前图片的输出的处理可以与图29至图31所例示的处理相同。[0201]〈5•示例应用〉[0202]根据上述实施方式的图像编码装置10和图像解码装置30可以应用于多种电子设备，例如用于卫星广播、有线广播如有线电视、因特网上的分发、经由蜂窝通信至终端的分发等的发送器与接收器;将图像记录在如光盘、磁盘或闪存的介质中的记录装置;从这种存储介质再现图像的再现装置等。下面将描述四个示例应用。[0203][5-1•第一应用示例][0204]图34示出了应用前述实施方式的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元9〇5、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。[0205]调谐器902根据通过天线901接收的广播信号提取期望频道的信号并且对所提取的信号进行解调。调谐器902然后将通过解调获得的编码比特流输出至解复用器903。即，调谐器902在电视装置900中起到接收编码有图像的编码流的传输装置的作用。[0206]解复用器903将要根据编码比特流观看的节目中的视频流和音频流分离开并且将每个分离流输出至解码器904。解复用器903还从编码比特流提取辅助数据如EPG电子节目指南）并且将所提取的数据提供给控制单元910。此处，如果编码比特流被加扰，解复用器903可以对编码比特流进行解扰。[0207]解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904然后将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。[0208]视频信号处理单元905对从解码器904输入的视频数据进行再现并且将视频显示在显示器906上。视频信号处理单元905还可以将通过网络提供的应用屏幕显示在显示器906上。视频信号处理单元905还可以进行另外的处理如根据设置对视频数据进行降噪。此夕卜，视频信号处理单元905可以生成GUI图形用户接口）如菜单、按钮或光标的图像，并且将所生成的图像叠加到输出图像上。[0209]显示器906被从视频信号处理单元905提供的驱动信号驱动，并且将视频或图像显示在显示装置（如液晶显示器、等离子显示器或〇ELD有机电致发光显示器）的视频屏幕上。[0210]音频信号处理单元907对从解码器904输入的音频数据进行再现处理如DA转换和放大，并且从扬声器908输出音频。音频信号处理单元907还可以进行另外的处理如对音频数据进行降噪。[0211]外部接口909是将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。这意味着外部接口909在电视装置900中还起到接收编码有图像的编码流的传输装置的作用。[0212]控制单元910包括处理器如中央处理单元CPU以及存储器如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据以及通过网络获取的数据。例如，在电视装置900启动时由CPU读取并且执行存储在存储器中的程序。例如，通过执行程序，CPU根据从用户接口911输入的操作信号来控制电视装置900的工作。[0213]用户接口911连接至控制单元91〇。例如，用户接口911包括供用户操作电视装置的按钮及开关以及接收远端控制信号的接收部件。用户接口911通过这些部件检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元910。[0214]总线912将调谐器902、解复用器9〇3、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910互连。[0215]在具有上述配置的电视装置900中，解码器904具有根据上述实施方式的图像解码装置30的功能。从而，在电视装置900中，可以基于上述CRA信息简单地对CRA图片进行随机访问。[0216][5-2•第二应用示例][0217]图3f5不出应用前述实施方式的电移动电话的不意性配置的示例。移动电话920包括天线犯1、通信单元922、音频编解码器923、扬声器犯4、麦克风925、摄像机单元926、图像处理单元927、解复用单元928、记录再现单元929、显示器930、控制单元931、操作单元932和总线933。[0218]天线Q21连接至通信单元922。扬声器9M和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、解复用单元犯8、记录再现单元929、显示器930和控制单元931互连。[0219]移动电话920执行操作，如发送接收音频信号，发送接收电子邮件或图像数据，对图像进行成像，或在包括音频呼叫模式、数据通信模式、摄影模式和视频电话模式的各种操作模式下记录数据。[0220]在音频呼叫模式下，将麦克风925生成的模拟音频数据提供给音频编解码器923。音频编解码器923然后将模拟音频信号转换成音频数据，对所转换的音频数据进行AD转换并且对数据进行压缩。音频编解码器923之后将所压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。通信单元922然后将所生成的发送信号通过天线921发送至基站未示出）。此外，通信单元922对通过天线921接收的无线电信号进行放大，转换信号的频率并且获取接收信号。通信单元922之后对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923扩展音频数据，对数据进行DA转换并且生成模拟音频信号。音频编解码器923通过将所生成的音频信号提供给扬声器924来输出音频。[0221]在数据通信模式下，例如，控制单元931根据通过操作单元932的用户操作来生成对电子邮件进行配置的字符数据。控制单元931还将字符显示在显示器930上。此外，控制单元931根据来自用户的通过操作单元932的发送指令来生成电子邮件，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922将所生成的发送信号通过天线921发送至基站（未示出）。通信单元922还对通过天线921接收的无线电信号进行放大，转换信号的频率并且获取接收信号。通信单元922此后对接收信号进行解调和解码，对电子邮件数据进行恢复并且将所恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示器930上以及将电子邮件数据存储在记录再现单元929的存储介质中。[0222]记录再现单元929包括可读可写的任意存储介质。例如，存储介质可以是内置的存储介质如RAM或闪存，或者可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、USB未分配空间位图存储器或存储卡。[0223]在摄影模式下，例如，摄像机单元926对对象进行成像，生成图像数据并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像机单元926输入的图像数据进行编码，并且将编码流存储在记录再现单元929的存储介质中。[0224]在视频电话模式中，例如，解复用单元928对由图像处理单元吧7编码的视频流以及从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信单元922。通信单元922对流进行编码和调制以生成发送信号。通信单元922随后将所生成的发送信号通过天线921发送至基站未示出）。此外，通信单元922对通过天线921接收的无线电信号进行放大，转换信号的频率并且获取接收信号。发送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并且将所恢复的流输出至解复用单元928。解复用单元928将来自输入流的视频流与音频流分离并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据然后被提供给显示器930,显示器930显示一系列图像。音频编解码器923展开音频流并且对音频流进行DA转换单元以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供给扬声器924以输出音频。[0225]在具有上述配置的移动电话920中，图像处理单元927具有根据上述实施方式的图像编码装置10和图像解码装置3〇的功能。从而，在移动电话920或对在移动电话920中编码的图像进行解码的装置中，可以基于上述CRA信息简单地执行对CRA图片的随机访问。[0226][5-3•第三应用示例][0227]图36示出应用前述实施方式的记录再现装置的示意性配置的示例。例如，记录再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并且将数据记录到记录介质中。例如，记录再现装置940也可以对从另外的装置获取的音频数据和视频数据进行编码，并且将数据记录到记录介质中。响应于用户指令，例如，记录再现装置940在监视器和扬声器上对记录在记录介质中的数据进行再现。记录再现装置940此时对音频数据和视频数据进行解码。[0228]记录再现装置940包括调谐器941、外部接口942、编码器943、HDD硬盘驱动器）944、盘驱动器945、选择器946、解码器947、0SD屏上显示器948、控制单元949和用户接口950。[0229]调谐器941根据通过天线未示出）接收的广播信号提取期望的频道的信号并且对所提取的信号进行解调。调谐器941然后将通过解调获得的编码比特流输出至选择器946。艮口，调谐器941具有作为记录再现装置940中的传输装置的作用。[0230]外部接口942是将记录再现装置940与外部装置或网络连接的接口。外部接口942可以例如是IEEE1洲4接口、网络接口、USB接口或闪存接口。例如，通过外部接口942接收的视频数据和音频数据被输入至编码器943。即，外部接口942具有作为记录再现装置940中的传输装置的作用。[0231]当从外部接口M2输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。编码器943之后将编码比特流输出至选择器946。[0232]HDD944将其中压缩有内容数据如视频和音频的编码比特流、各种程序以及其他数据记录到内部硬盘中。当再现视频和音频时，HDD944从硬盘读取这些数据。[0233]硬盘驱动器945将数据记录至安装至盘驱动器的记录介质中或从该记录介质读取数据。安装至硬盘驱动器945的记录介质可以例如是DVD盘（如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW或蓝光注册商标盘。[0234]选择器946选择当记录视频和音频时从调谐器941或编码器943输入的编码比特，并且将所选择的编码比特输出至HDD944或盘驱动器M5。另一方面，当再现视频和音频时，选择器94G将从HDD944或盘驱动器9妨输入的编码比特流输出至解码器947。[0235]解码器947对编码比特流进行解码以生成视频数据和音频数据。解码器904然后将所生成的视频数据输出至0SD948并且将所生成的音频数据输出至外部扬声器。[0236]0SD948对从解码器947输入的视频数据进行再现，并且显示视频。0SD948还可以将GUI如菜单、按钮或光标等图像叠加到所显示的视频上。[0237]控制单元949包括如CPU的处理器以及如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。例如，存储在存储器中的程序在记录再现装置940启动时由CPU读取并且执行。例如，通过执行程序，CPU根据从用户接口950输入的操作信号来控制记录再现装置900的工作。[0238]用户接口950连接至控制单元949。例如，用户接口950包括供用户操作记录再现装置940的按钮和开关以及接收遥控信号的接收部件。用户接口950通过这些部件检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元949。[0239]在具有上述配置的记录再现装置940中，编码器943具有根据上述实施方式的图像编码装置10的功能。解码器947具有根据上述实施方式的图像解码装置30的功能。从而，在记录再现装置940或对在记录再现装置940中被解码的图像进行解码的装置中，可以基于上述CRA信息简单地执行对CRA图片的随机访问。[0240][5-4•第四应用示例][0241]图37示出应用上述实施方式的图像拍摄装置的示意性配置的示例。成像装置960对对象进行成像，生成图像，对图像数据进行编码并且将数据记录纸记录介质中。[0242]成像装置960包括光学块961、成像单元％2、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器96了、媒体驱动器％8、0SD%9、控制单元970、用户接口971和总线972。[0243]光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口9了1连接至控制单元970。总线972将图像处理单元％4、外部接口966、存储器967、媒体驱动器968、0SD969和控制单元970互联。[0244]光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器如CCD电荷耦合装置或CMOS互补金属氧化物半导体），并且执行光电转换以将形成在成像表面上的光学图像转换成作为电信号的图像信号。随后，成像单元962将图像信号输出至信号处理单元963。[0245]信号处理单元963对从成像单元962输入的图像信号进行各种摄像机信号处理如拐点校正、伽马校正和颜色校正。信号处理单元963将执行了摄像机信号处理的图像数据输出至图像处理单元964。[0246]图像处理单元964对从信号处理单兀963输入的图像数据进行编码并且生成编码数据。图像处理单元964然后将所生成的编码数据输出至外部接口966或媒体驱动器968。图像处理单元964还对从外部接口966或媒体驱动器968输入的编码数据进行解码以生成图像数据。图像处理单元964然后将所生成的图像数据输出至显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965以显示图像。此外，图像处理单元964可以将从0SD969获取的显示数据叠加到输出在显示器965上的图像上。[0247]0SD969生成GUI如菜单、按钮或光标的图像，并且将所生成的图像输出至图像处理单元964。[0248]例如，外部接口966被配置成USB输入输出端子。例如，当打印图像时，外部接口966将成像装置960与打印机连接。此外，驱动器根据需要连接至外部接口966。例如，可移除介质如磁盘或光盘被安装至驱动器，使得从可移除介质读取的程序可以安装至成像装置960。外部接口966还可以被配置成连接至如LAN或因特网等网络的网络接口。即，外部接口966具有成像装置960中的传输装置的作用。[0249]安装至媒体驱动器968的记录介质可以是任意可读可写的移动介质如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以固定地安装至媒体驱动器968以使得非便携式存储单元如内置式盘驱动器或SSD固态驱动器被配置。[0250]控制单元970包括如CPU的处理器以及如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序在成像装置960启动时由CPU读取并且然后被执行。例如，通过执行程序，CPU根据从用户接口971输入的操作信号来控制成像装置960的工作。[0251]用户接口971连接至控制单元970。例如，用户接口971包括供用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元970。[0252]在具有上述配置的成像装置960中，图像处理单元964具有根据上述实施方式的图像编码装置10和图像解码装置30的功能。从而，在对在成像装置960中拍摄和编码的图像进行解码的装置中，可以基于上述CRA信息简单地进行对CRA图片的随机访问。[0253]6.结论〉[0254]上面参考图1至图37详细描述了本公开中的技术的各种实施方式。根据上述实施方式，用于标识可用作随机访问时的解码开始图片的CRA图片的CRA信息被插入到文件格式的报头区中。从而，解码器可以在不检查分配给跨一系列图像数据的数据区中的图像数据的NAL单元类型的情况下简单地实现对CRA图片的随机访问。[0255]在某种实施方式中，可以通过利用采样组的具有MP4格式的结构对CRA图片进行分组来形成CRA信息。在该配置中，由于解码器不处理新的采样盒，所以可以以较低的成本来扩展已知的解码器并且基于CRA信息实现随机访问。[0256]在另一种实施方式中，通过扩展具有MP4格式的采样盒，可以形成存储CRA信息的扩展采样盒。在该配置中，可以将各种信息如每个CRA图片的采样号以及未被正常解码的先前图片信息包括在扩展采样盒中。扩展采样盒可以是CRA信息的专用盒。在该情况下，不支持对CRA图片的随机访问的解码器可以简单地忽略该专用盒。从而，由于引入扩展采样盒而导致的缺点不会出现。扩展采样盒可以是IDR信息和CRA信息的共享盒。在该情况下，解码器可以安装仅参考共享盒的用于对IDR图片和CRA图片的随机访问的综合结构。[0257]CRA信息可以包括用于标识按照呈现顺序在每个CRA图片之前的并且在对CRA图片进行随机访问时未被正常解码的先前图片的先前图片信息。因为IDR图片不包括这样的先前图片，可以仅针对CRA图片生成先前图片信息。在该配置中，解码器随后可以不确定在随机访问时先前图片是否被正常解码，并且可以防止损坏图像显示在显示器上或基于先前图片信息输出至外部处理器。[0258]虽然上面参考附图描述了本发明的优选实施方式，但是本发明当然不限于上面的示例。本领域技术人员可以找到所附权利要求范围内的各种替代和修改，并且应当理解，它们自然会落入本发明的技术范围中。[0259]此外，本技术还可以被配置如下。[0260]1一种图像解码装置，包括：[0261]获取单元，被配置成从包括报头区和数据区的文件格式的所述报头区获取纯净随机访问（CRA信息，所述CRA信息用于标识被插入所述数据区的图像序列中的一个或更多个CRA图片；[0262]控制单元，被配置成当检测到随机访问的指令时，使用所述CRA信息将所述图像序列中的一个CRA图片指定为解码开始图片；以及[0263]解码单元，被配置成从所述控制单元所指定的所述解码开始图片起对所述图像序列进行解码。[0264]⑵根据⑴所述的图像解码装置，[0265]其中，所述文件格式是MP4格式，并且[0266]其中，所述CRA信息是对所述一个或更多个CRA图片进行分组的采样组信息。[0267]3根据1所述的图像解码装置，[0268]其中，所述文件格式是MP4格式，并且[0269]其中，所述获取单元从被扩展以存储所述CRA信息的扩展采样盒获取所述CRA信息。[0270]4根据3所述的图像解码装置，其中，所述扩展采样盒是还包括用于标识瞬时解码刷新（IDR图片的IDR信息的盒。[0271]⑸根据⑶所述的图像解码装置，其中，所述扩展采样盒是与包括用于标识IDR图片的IDR信息的盒分开定义的盒。[0272]⑹根据⑵至⑸中任一项所述的图像解码装置，[0273]其中，所述CRA信息包括用于标识以下先前图片的先前图片信息:所述先前图片按照呈现次序在每个CRA图片之前并且当随机访问所述CRA图片时不被正常解码，并且[0274]其中，所述控制单元基于所述先前图片信息跳过所述图像解码装置对所述先前图片的输出。[0275]C7根据所述的图像解码装置，其中，所述先前图片信息指示每个CRA图片的先前图片的数目。[0276]⑻根据⑹所述的图像解码装置，其中，所述先前图片信息指示与每个CRA图片的所述先前图片相对应的持续时间。[0277]9根据⑴至⑻中任一项所述的图像解码装置，其中，所述控制单元基于所述CRA信息，将位置与所述随机访问的指令中指定的定时最近的CRA图片指定为所述解码开始图片。[0278]10—种图像解码方法，包括：[0279]从包括报头区和数据区的文件格式的所述报头区获取纯净随机访问（CRA信息，所述CRA信息用于标识被插入所述数据区的图像序列中的一个或更多个CRA图片；[0280]当检测到随机访问的指令时，使用所述CRA信息将所述图像序列中的一个CRA图片指定为解码开始图片；以及[0281]从所指定的解码开始图片起对所述图像序列进行解码。[0282]11一种图像编码装置，包括：[0283]编码单元，被配置成对图像序列中的图像进行编码并且生成图像数据；[0284]确定单元，被配置成在所述图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个纯净随机访问（CRA图片；以及[0285]文件生成单元，被配置成将用于标识由所述确定单元确定的所述一个或更多个CRA图片的CRA信息插入到包括报头区和数据区的文件格式的所述报头区中，并且将所述图像数据插入到所述数据区中。[0286]12根据（11所述的图像编码装置，[0287]其中，所述文件格式是MP4格式，并且[0288]其中，所述CRA信息是对所述一个或更多个CRA图片进行分组的采样组信息。[0289]13根据（11所述的图像编码装置，[0290]其中，所述文件格式是MP4格式，并且[0291]其中，所述文件生成单元将所述CRA信息存储在被扩展以存储所述CRA信息的扩展采样盒中。[0292]14根据（13所述的图像编码装置，其中，所述文件生成单元还将用于标识瞬时解码刷新IDR图片的IDR信息存储在所述扩展采样盒中。[0293]15根据（13所述的图像编码装置，其中，所述扩展采样盒是与存储有用于标识IDR图片的IDR信息的盒分开定义的盒。[0294]16根据12至（15中任一项所述的图像编码装置，[0295]其中，所述确定单元还确定以下先前图片:所述先前图片按照呈现次序在每个CRA图片之前，并且当随机访问所述CRA图片时不被正常解码，并且[0296]其中，所述文件生成单元将先前图片信息包括在所述CRA信息中，所述先前图片信息用于标识由所述确定单元确定的每个CRA图片的所述先前图片。[0297]17根据（16所述的图像解码装置，其中，所述先前图片信息指示每个CRA图片的先前图片的数目。[0298]18根据（16所述的图像解码装置，其中所述先前图片信息指示与每个CRA图片的所述先前图片相对应的持续时间。[0299]19一种图像编码方法，包括：[0300]对图像序列中的图像进行编码并且生成图像数据；[0301]在所述图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个纯净随机访问（CRA图片；以及[0302]将用于标识所确定的一个或更多个CRA图片的CRA信息插入到包括报头区和数据区的文件格式的所述报头区中；以及[0303]将所述图像数据插入到所述数据区中。[0304]附图标记列表[0305]10图像编码装置[0306]11编码单元[0307]12确定单元[0308]15文件生成单元[0309]16控制单元[0310]20运动图像文件[0311]21报头区[0312]27数据区[0313]30图像解码装置[0314]34解码单元[0315]36CRA信息获取单元[0316]37控制单元

权利要求：1.一种图像解码装置，包括：_解码单元，被配置为基于纯净随机访问信息来对一个或更多个图像进行解码，其中所述纯净随机访问信息标识所述图像中的一个或更多个纯净随机访问图片，并且所述纯净随机访问信息被设置在包括报头区和数据区的文件的所述报头区中，其中所述数据区包括所述图像的实际数据，一系列编码图像数据被存储在所述数据区中。2.根据权利要求1所述的图像解码装置，其中，所述纯净随机访问信息包括网络抽象层单元类型。3.根据权利要求1所述的图像解码装置，其中，所述报头区是MP4文件格式中的moov盒。4.根据权利要求3所述的图像解码装置，其中，所述纯净随机访问信息被存储在所述moov盒的采样组描述盒中。5.根据权利要求4所述的图像解码装置，其中，所述纯净随机访问信息是由条目定义的，所述条目基于所述采样组描述盒中的视觉采样组条目类。6.—种图像编码装置，包括：编码单元，被配置成对图像序列中的图像进行编码并且生成图像数据；确定单元，被配置成在所述图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个纯净随机访问图片；以及文件生成单元，被配置成将用于标识由所述确定单元确定的所述一个或更多个纯净随机访问图片的纯净随机访问信息插入到包括报头区和数据区的文件的所述报头区中，并且将所述图像数据插入到所述数据区中。7.根据权利要求6所述的图像编码装置，其中，所述文件的格式是MP4格式，并且其中，所述纯净随机访问信息是对所述一个或更多个纯净随机访问图片进行分组的采样组信息。8.根据权利要求6所述的图像编码装置，其中，所述文件的格式是MP4格式，并且其中，所述文件生成单元将所述纯净随机访问信息存储在被扩展以存储所述纯净随机访问信息的扩展采样盒中。9.根据权利要求8所述的图像编码装置，其中，所述文件生成单元还将用于标识瞬时解码刷新图片的瞬时解码刷新信息存储在所述扩展采样盒中。10.根据权利要求8所述的图像编码装置，其中，所述扩展采样盒是与存储有用于标识瞬时解码刷新图片的瞬时解码刷新信息的盒分开定义的盒。11.根据权利要求7所述的图像编码装置，其中，所述确定单元还确定以下先前图片，所述先前图片按照呈现次序在每个纯净随机访问图片之前，并且当随机访问所述纯净随机访问图片时不被正常解码，并且其中，所述文件生成单元将先前图片信息包括在所述纯净随机访问信息中，所述先前图片信息用于标识由所述确定单元确定的每个纯净随机访问图片的所述先前图片。12.根据权利要求11所述的图像编码装置，其中，所述先前图片信息指示每个纯净随机访问图片的先前图片的数目。13.根据权利要求11所述的图像编码装置，其中所述先前图片信息指示与每个纯净随机访问图片的所述先前图片相对应的持续时间。14.一种图像编码方法，包括：对图像序列中的图像进行编码并且生成图像数据；在所述图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个纯净随机访问图片；以及将用于标识所确定的一个或更多个纯净随机访问图片的纯净随机访问信息插入到包括报头区和数据区的文件的所述报头区中；以及将所述图像数据插入到所述数据区中。

百度查询： 索尼公司 图像解码装置、图像编码装置及图像编码方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD