买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】图像处理装置、图像处理方法以及图像处理电路_松下知识产权经营株式会社_201780049934.6 

申请/专利权人:松下知识产权经营株式会社

申请日:2017-09-27

公开(公告)日:2020-11-20

公开(公告)号:CN109565547B

主分类号:H04N5/232(20060101)

分类号:H04N5/232(20060101);H04N5/235(20060101);H04N7/18(20060101)

优先权:["20161013 JP 2016-201721"]

专利状态码:有效-授权

法律状态:2020.11.20#授权;2019.04.26#实质审查的生效;2019.04.02#公开

摘要:一种图像处理装置,用于将在1帧时间内并行的以长度不同的2个以上的曝光时间拍摄到的第一图像与第二图像进行合成,所述图像处理装置具备:水平调整部,其对第一图像进行调整,来输出与第二图像的亮度水平大致匹配的校正第一图像;运动检测部,其计算校正第一图像和第二图像中的同位置像素间的像素值之差的绝对值,并通过将计算出的绝对值按每个图像块进行累加,来求出每个图像块中的运动检测量;运动混合比率计算部,其对运动检测量进行平滑化,并基于平滑化后的运动检测量来计算同位置像素间的运动混合比率;以及图像合成部,其通过以运动混合比率将同位置像素之间进行合成,来生成运动自适应图像。

主权项:1.一种图像处理装置,用于将采用逐行方式拍摄的第一图像与第二图像进行合成,其中,所述第一图像和所述第二图像是以长度不同的2个以上的曝光时间通过交替地对各行进行拍摄而得到的,所述图像处理装置具备:水平调整部,其对所述第一图像的亮度水平进行调整,来输出与所述第二图像的亮度水平大致匹配的校正第一图像;运动检测部,其计算所述校正第一图像和所述第二图像中的处于相同位置的各个同位置像素间的像素值之差的各自的绝对值,并通过将各个所述绝对值按每个图像块进行累加,来求出多个图像块的各图像块中的运动检测量,其中,所述图像块是所述校正第一图像或所述第二图像内的连续的多个像素的集合;运动混合比率计算部,其对所述多个图像块的各图像块中的所述运动检测量进行平滑化,基于平滑化后的各个所述运动检测量来计算各个所述同位置像素间的运动混合比率;以及图像合成部,其通过以各自的所述运动混合比率将各个所述同位置像素之间进行合成,来生成运动自适应图像。

全文数据:图像处理装置、图像处理方法以及图像处理电路技术领域本公开涉及一种将以长度不同的曝光时间并行地拍摄到的多个图像进行合成的图像处理装置。背景技术专利文献1公开了一种图像合成装置,基于多个图像来生成被扩展了动态范围dynamicrange的合成图像。该图像合成装置通过将基准图像与其它图像进行比较,来检测这些图像中包含的运动物体的区域,将基准图像中包含的该运动物体的区域的图像设为运动物体图像。然后,图像合成装置将该运动物体区域置换为其它图像的对应的区域来生成置换图像,并将置换图像与基准图像进行合成来生成合成图像。通过该结构,能够生成将运动物体考虑在内的合成图像。专利文献2公开了一种图像处理装置,基于映现出进行移动的被摄体的多张图像来生成合成图像。该图像处理装置按照基于与明亮度有关的评价值、与运动有关的评价值及与对比度有关的评价值计算出的合成比率,来将多个图像进行合成。通过该结构,基于映现出进行移动的被摄体的图像也能够生成看起来自然的合成图像。专利文献3公开了一种图像合成装置,进行包含运动被摄体的像且明亮度不同的多个图像的合成处理。该图像合成装置计算运动数据,该运动数据是基准图像与基于基准图像及非基准图像生成的比较图像之间的偏差量。另外,针对基准图像和比较图像中的各个图像,计算每个规定大小的图像块的像素平均值,基于将该像素平均值之间的差与规定阈值进行比较的结果,根据运动数据来判定是否能够将相对应的基准图像的图像块与非基准图像的图像块进行合成。此外,规定阈值和图像块的合成的比率是基于基准图像的图像块的像素平均值决定的。通过该结构,能够得到图像的抖动被校正且动态范围被扩展的合成图像。专利文献1:日本特开2011-188277号公报专利文献2:日本特开2014-229988号公报专利文献3:日本特开2012-84960号公报发明内容本公开提供一种图像处理装置,将以不同的曝光时间拍摄到的多个图像进行合成,并且用更小规模的电路结构来实现降低了图像内的抖动的高图像质量。本公开中的图像处理装置是将在1帧时间内并行的以长度不同的2个以上的曝光时间拍摄到的第一图像与第二图像进行合成的图像处理装置。图像处理装置具备水平调整部、运动检测部、运动混合比率计算部以及图像合成部。水平调整部对第一图像的亮度水平进行调整,来输出与第二图像的亮度水平大致匹配的校正第一图像。运动检测部计算校正第一图像和第二图像中的处于相同位置的同位置像素间的像素值之差的绝对值,并通过将绝对值按每个图像块进行累加,来求出多个图像块的各图像块中的运动检测量,其中,所述图像块是校正第一图像或第二图像内的连续的多个像素的集合。运动混合比率计算部对多个图像块中的运动检测量进行平滑化,基于平滑化后的运动检测量来计算同位置像素间的运动混合比率。图像合成部通过以运动混合比率将同位置像素之间进行合成,来生成运动自适应图像。本公开中的图像处理装置在将以不同的曝光时间拍摄到的多个图像进行合成时,以更小规模的电路结构来实现降低了图像内的抖动的高图像质量。附图说明图1是示出实施方式1中的图像处理装置的结构的框图。图2是示出实施方式1中的图像处理装置的动作过程的一例的流程图。图3A是示出作为上述处理过程的处理的对象的图像的一例的示意图。图3B是示出作为上述处理过程的处理的对象的图像的一例的示意图。图4是示出在上述处理过程的中间阶段进行了监视的情况下的图像的一例的示意图。图5是示出在上述处理过程的中间阶段进行了监视的情况下的图像的一例的示意图。图6是示出实施方式2中的图像处理装置的结构的框图。图7是示出实施方式2中的图像处理装置的动作过程的一例的流程图。图8是示出实施方式3中的图像处理装置的结构的框图。图9A是用于说明实施方式3中的图像块间的平滑化处理的图。图9B是用于说明实施方式3中的图像块间的平滑化处理以及图像块内的平滑化处理的图。具体实施方式下面,适当地参照附图来详细地说明实施方式。但是,有时省略不必要的详细的说明。例如,有时省略已经公知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免下面的说明不必要地变得冗长,易于使本领域技术人员理解。此外,发明人们为了使本领域技术人员充分地理解本公开而提供附图及下面的说明,并不意图由这些附图及说明对权利要求书中记载的主体进行限定。实施方式1下面,使用图1~图5来说明实施方式1。[1-1].结构图1是示出实施方式1所涉及的图像处理装置10的结构的框图。图像处理装置10例如由包含门阵列等的电子电路实现,将从图像传感器未图示输入的多张图像进行合成来输出为1张图像。被输入的多张图像是图1所示的长曝光图像和短曝光图像,是由1个图像传感器以长度不同的曝光时间拍摄大致同一景象所得到的图像,是本实施方式中的第一图像和第二图像的例子。在这些图像上,即使是相同的被摄体的像,明亮度也根据该曝光时间的差异而不同。图像处理装置10将这些图像进行合成,来输出高动态范围HighDynamicRange,在下面及各附图中也表述为HDR图像。此外,该曝光时间的差越大,则图像间的明亮度也越体现出差异,因此容易获得动态范围越宽的HDR图像。迄今为止,在拍摄HDR的动态图像的图像传感器中,开始采用一种在1帧时间内一边改变曝光时间一边拍摄多个图像的被称作LinebyLine逐行方式的驱动方式,来取代按垂直同步的每个周期、也就是说每1帧时间一边改变曝光时间一边拍摄1张图像的FramebyFrame逐帧方式。与FramebyFrame方式相比,LinebyLine方式具有以下3个优点。1易于缩短多个图像的拍摄间隔例如,为了获得长曝光图像和短曝光图像这2个图像,在FramebyFrame方式的图像传感器中,在1帧时间内输出从开头行到最终行为止的各行的通过长曝光下的拍摄得到的数据以下也称为长曝光数据,在接下来的1帧时间内输出从开头行到最终行为止的各行的通过短曝光下的拍摄得到的数据以下也称为短曝光数据。因而,各行的长曝光数据的输出与短曝光数据的输出之间的时间差同短曝光时间的长度无关而固定为1帧时间,即,各曝光时间内的所有行的完整数据的输出、即1个图像的拍摄与拍摄的间隔固定为1帧时间。与此相对,在LinebyLine方式的图像传感器中,当开头行的长曝光数据的输出结束时,立即开始进行开头行的短曝光下的拍摄。像这样,短曝光下的拍摄的结束在最终行的长曝光数据的输出结束之前。之后,针对直到最终行为止的各行,当长曝光数据的输出结束时,开始进行短曝光下的拍摄。因而,各行的长曝光数据的输出与短曝光数据的输出之间的时间差同短曝光时间的长度实质上相等,1个图像的拍摄与拍摄之间的间隔也同样。当短曝光下的拍摄结束时,开始进行进入下一个帧时间的长曝光下的拍摄,此后,交替地进行长曝光下的拍摄和短曝光下的拍摄。当以其它方式表述时,关于长曝光图像的拍摄与短曝光图像的拍摄,在FramebyFrame方式的图像传感器中是在不同帧的时间内进行的,而非并行,但是在LinebyLine方式的图像传感器中是在1帧时间内并行的。此外,在HDR图像合成中,关于曝光条件不同的多个图像的拍摄,时间间隔越短,则被摄体或图像传感器具备图像传感器的摄像机的位置之差越小,图像的一致度越高,因此易于获得高图像质量的HDR图像。2易于延长长曝光图像的曝光时间假设在拍摄30fps的HDR动态图像的情况下,在各帧中基于长曝光图像和短曝光图像来生成HDR图像的情况下,在FramebyFrame方式的图像传感器中,需要在30分之1秒内将各曝光时间的图像输出1组,实质上是以60fps来进行拍摄。也就是说,长曝光图像的曝光时间的上限为60分之1秒。另一方面,在LinebyLine方式的图像传感器中,在各行中用30分之1秒输出长曝光数据和短曝光数据即可,长曝光图像的曝光时间的上限不限定于60分之1秒。例如,如果1帧时间内的长曝光图像的曝光时间与短曝光图像的曝光时间之比为2:1,则长曝光图像的曝光时间为45分之1秒。实际上,长曝光图像的曝光时间在1帧时间内所占的比率也可以更高。像这样,在LinebyLine方式中,易于延长长曝光图像的曝光时间,从而易于使长曝光图像的曝光时间与短曝光图像的曝光时间之差增大,因此易于获得动态范围更宽的HDR图像。另外,即使为了根据被摄体的各种明亮度来获得适当的图像而使曝光时间的变化进一步增大,对长曝光图像的曝光时间的影响也比FramebyFrame方式时的影响小。假设在为了拍摄30fps的HDR动态图像而以3个等级的曝光时间来进行拍摄的情况下,在FramebyFrame方式的图像传感器中,最长曝光时间的上限止于90分之1秒。3易于缩小电路规模在FramebyFrame方式的图像传感器中,在接受输出数据的一侧,为了在合成前暂时保存以各曝光时间拍摄到的图像,需要帧存储器。另一方面,在LinebyLine方式的图像传感器中,能够在以各曝光时间拍摄到的图像备齐之前开始进行合成,因此不需要帧存储器。因而,能够缩小电路规模,另外,能够抑制相应的量的消耗电力。像这样,LinebyLine方式的图像传感器有利于动态范围的扩大。然而,如果曝光时间长,则只要被摄体和摄像机这两方没有被固定,两者的相对位置的变化就容易变大,从而容易在图像中产生运动抖动或摄像机抖动以下,也概括性地仅表述为抖动。包含大的抖动的图像根据用途不同而不适合。例如,在电子镜中,驱动器对周围状况的识别精度下降,在自动驾驶车辆等中的周围的物体探测中,探测的精度下降,均涉及安全性。另外,在行车记录仪中,难以进行例如事故时的状况的掌握、对方的驾驶者或车辆的特征及汽车的号码的识别。此外,本公开中的图像处理装置能够应用于针对从上述那样的LinebyLine方式的图像传感器输出的图像的合成处理,但是能够应用的图像传感器不限定于此。例如,还能够应用于针对从全局快门方式的图像传感器输出的图像的合成处理。如图1所示,图像处理装置10具备水平调整部100、运动检测部110、运动混合比率计算部120、运动自适应合成部130、亮度混合比率计算部140以及高动态范围合成部以下表述为HDR合成部150。图像处理装置10被图像传感器输入长曝光图像和短曝光图像。长曝光图像被输入到运动检测部110、运动自适应合成部130以及亮度混合比率计算部140,短曝光图像被输入到水平调整部100、亮度混合比率计算部140以及HDR合成部150。水平调整部100对从图像传感器输入的短曝光图像的亮度水平进行调整,将调整后的短曝光图像作为与长曝光图像的亮度水平大致匹配的校正短曝光图像来输出。更具体地说,提高表示短曝光图像的信号的增益,来输出表示校正短曝光图像的信号。所输出的校正短曝光图像被输入到后述的运动检测部110和运动自适应合成部130。运动检测部110探测图像中呈现出的被摄体的运动。运动检测部110具备减法部111、绝对值计算部113以及块差累加部115。减法部111取从图像传感器输入到运动检测部110的长曝光图像与从水平调整部100输入的校正短曝光图像之差并输出该差。更具体地说,使用来自同一图像传感器的长曝光图像的信号和校正短曝光图像的信号,输出从长曝光图像中的关注像素的像素值减去校正短曝光图像中的处于与关注像素同一位置的像素的像素值的所得到结果即差。针对长曝光图像和校正短曝光图像中的处于同一位置的像素的各组来进行该减法和差的输出。所输出的差被输入到绝对值计算部113。此外,被输入到运动检测部110的长曝光图像和被输入到水平调整部100的短曝光图像如果是从上述的LinebyLine方式的图像传感器输入的图像,则是在同一帧时间内并行地拍摄到的长曝光图像和短曝光图像。绝对值计算部113输出从减法部111输入的差的绝对值,将该绝对值输出到块差累加部115。作为电路中的对信号的处理,对来自减法部111的信号进行整流。这样的差的绝对值表示长曝光图像和短曝光图像中的处于同一位置的像素之间的像素值之差的大小。块差累加部115按每个图像块将从绝对值计算部113输入的差绝对值进行累加后输出。图像块是指将长曝光图像或短曝光图像分割为规定大小的格子状而得到的由连续的多个像素的集合构成的区域。长曝光图像的曝光时间内产生的被摄体的运动量越大,则长曝光图像中的被摄体的像越抖动,从而与短曝光图像之差越大。因而,被摄体的运动量越大,则针对每个图像块的累加值越大。该累加值被作为所检测出的被摄体的运动量以下称为运动检测量输出。此外,进行了运动的被摄体的像在图像上发生抖动从而扩展到某种程度的区域,因此即使是以适当的大小的图像块为单位统计出的运动量,也某种程度地准确地表示图像内的被摄体的运动。此外,上述的图像块的大小例如是根据包含图像处理装置10的摄像装置的视角、像素数量以及用途上要求的精度及处理速度等适当地决定的。在运动检测部110中,通过像这样由各构成要素发挥功能,基于在1帧时间内并行拍摄到的长曝光图像和短曝光图像,来求出并输出与被摄体的运动量相应的运动检测量。运动混合比率计算部120被输入按每个图像块计算出的运动检测量,基于运动检测量来计算长曝光图像和短曝光图像中的处于相同位置的像素之间的混合比率。首先,运动混合比率计算部120对图像块中的运动检测量进行平滑化。更具体地说,将邻接的图像块间的运动检测量之差细分化,以根据图像块的重心与各像素之间的距离来分配该差的方式对各像素的运动检测量进行插值。接着,运动混合比率计算部120计算像素之间的混合比率,使得短曝光图像的混合率与表示被摄体的运动的运动检测量之间具有正的相关关系。这是由于在被检测出大幅的运动的图像块中,长曝光图像的被摄体像发生了抖动的可能性高。在此,上述的平滑化处理的结果是像素间的运动检测量的变化在图像块的边界处变得平滑,因此计算出的像素间的混合比率也在图像块的边界处平滑地变化。也就是说,长曝光图像与校正短曝光图像的混合比率并非按每个块决定并应用的,而是按每个像素决定并应用的,因此能够使得不容易产生合成后的图像的块失真。运动混合比率计算部120所计算出的各像素的混合比率以下也称为运动混合比率被输出到运动自适应合成部130。运动自适应合成部130按照被输入的混合比率将长曝光图像与校正短曝光图像进行合成。更具体地说,以各像素的混合比率为系数来将长曝光图像的像素与短曝光图像的像素进行阿尔法Alpha混合。在该合成中,对于长曝光图像内的抖动大的部分,校正短曝光图像被自适应性地以高的比率混合到该部分。另一方面,对于是长曝光图像但抖动小的部分,校正短曝光图像被以低的比率混合到该部分。校正短曝光图像在SN比方面逊于长曝光图像。因而,针对长曝光图像中的抖动小的部分,不使其图像质量不必要地劣化。下面将像这样获得的图像称为运动自适应图像。运动自适应合成部130是本实施方式中的图像合成部的例子。运动自适应图像被从运动自适应合成部130输出到HDR合成部150,将由亮度混合比率计算部140基于长曝光图像及短曝光图像的像素值或者长曝光图像及短曝光图像中的一方的像素值计算出的亮度混合比率用作系数,来由HDR合成部150将运动自适应图像与短曝光图像进行阿尔法混合。由此,生成自适应于被摄体的运动以及图像的各像素的亮度这两方的HDR图像。HDR合成部150是本实施方式中的图像合成部的例子。在如上述那样说明的图像处理装置10中,运动检测是通过1帧时间内并行拍摄到的长曝光图像与短曝光图像的比较来进行的。另外,以往提出了如下一种方法:例如基于像素值的差与规定阈值的比较结果来锁定构成运动的被摄体的像的像素的候选之后,基于候选的像素的连续性来确定存在进行了运动的被摄体的像的区域。在该方法中,为了暂时针对所有像素进行与阈值的比较判定而需要帧存储器。但是,在图像处理装置10中,取代对构成运动的被摄体的像的区域的确定,而是进行以作为连续的像素的集合的图像块为单位的表示运动量的值的累加即可,因此不需要帧存储器。另外,与所检测出的运动对应的长曝光图像内的抖动能够利用并行拍摄到的短曝光图像的像素数据来消除。在其它各构成要素中也是,某个帧时间内拍摄到的图像不被再次利用于其以后的帧时间内拍摄到的图像的处理中。因而,在图像处理装置10的处理中,不需要用于事先存储过去的帧的图像的帧存储器,也不需要用于在从1帧时间内的长短曝光图像的输入起直到作为运动自适应的处理及HDR处理的结果的图像的输出为止的中途阶段暂时存储图像整体的帧存储器。在这样的图像处理装置10中,能够将电路规模抑制与不需要帧存储器的部分相应的量,从而还能够抑制制造成本。另外,由于不使用帧存储器,消耗电力得到抑制,即使是在温度等方面使用环境容易变得严酷的汽车或自动驾驶车辆中,相比于以往的图像处理装置而言,也能够稳定地进行动作。另外,在汽车或自动驾驶车辆的电子镜、物体识别中,将在各帧时间内实际进入图像传感器的光以由驱动器或物体识别的算法易于识别物体的状态进行呈现这样的输出内容的实时性关系着驾驶的安全性的确保。具有上述的结构的图像处理装置10能够输出具有这样的实时性的图像数据,从而能够实现这样的用途时的更高的安全性。[1-2].动作说明如以上那样构成的图像处理装置10的动作过程。图2是示出图像处理装置10的动作过程的一例的流程图。另外,相应地示意性地图示各过程中的图像的状态。此外,在各过程中,图像未必一定实际生成为1帧的图像。图示的图像是为了理解本公开而假设地示出对该时间点的图像进行了监视的情况的图像。首先,图像处理装置10从图像传感器接受长曝光图像及短曝光图像的输入步骤S20。图3A是向图像处理装置10输入的处理对象的长曝光图像的一例的示意图。图3B是图像处理装置10中被进行处理的处理对象的短曝光图像的一例的示意图。在这些图中,假设地示意性地示出由以LinebyLine方式驱动的图像传感器在1帧时间内拍摄并输入到图像处理装置10的长曝光图像和短曝光图像。长曝光图像整体上比短曝光图像明亮。然而,在长曝光时间内进行了运动的被摄体的像、在本例中是近景中的手和该手中拿着并轻轻挥起的旗子的像发生了抖动。在该示意图中,用点线或虚线表示发生了抖动的像的轮廓。与此相对,比手和旗子更远处的道路和建筑物的像不存在抖动。用实线表示不存在抖动的像的轮廓。短曝光图像整体上比长曝光图像暗。在该示意图中,用各种浓度的点表示暗的部分。浓度低的部分表示比浓的部分明亮。例如,在拍摄时使光透过或反射而变得明亮的建筑物的窗户的部分的点比其它部分的点稀疏。另外,在短曝光图像中,被摄体的像几乎不存在抖动地映现。此外,短曝光图像中的被摄体的像的范围包含在长曝光图像中的被摄体的像的范围内。这是由于长曝光图像和短曝光图像是由1个图像传感器在同一帧的时间内并行拍摄到的。接着,由水平调整部100对短曝光图像的亮度水平进行调整,来输出与长曝光图像的亮度水平大致匹配的校正短曝光图像步骤S21。该步骤中的亮度水平的提高幅度是基于长曝光图像和短曝光图像各自的拍摄的曝光时间及输出信号的增益的大小决定的。校正短曝光图像被输入到运动检测部110。图4是在步骤S21中输出的校正短曝光图像的示意图。校正短曝光图像与校正前的短曝光图像相比,明亮度整体上与长曝光图像几乎相同。但是,由于为了提升亮度水平进行的放大而使噪声变得显著,图像质量逊于长曝光图像的图像质量。在图4中,用白色或黑色的点来示意性地表示噪声。接着,在被输入了校正短曝光图像的运动检测部110中,减法部111计算长曝光图像的像素值与校正短曝光图像的像素值之差步骤S22。由于在步骤S21中已使亮度水平几乎一致,因此在步骤S22中,在图像内的关于有无抖动存在差异的部分的像素处取出大的差。接着,由绝对值计算部113计算根据长曝光图像和校正短曝光图像中的处于相同位置的像素的像素值的大小关系不同而符号不同的值混在一起的差的绝对值步骤S23。由此,长曝光图像与校正短曝光图像的像素值之差的大小被数值化。如果在曝光时间内从图像传感器的位置观察到的被摄体的位置发生变化,则图像上的该被摄体的像的位置也发生变化。因而,在长曝光图像及校正短曝光图像中的各像素处,在两者之间相同位置的像素值之差大的可能性高。利用该情况,在本公开中,将步骤S23中计算出的绝对值用作表示用于拍摄长曝光图像的曝光时间内的被摄体的运动的大小的值。接着,块差累加部115将由绝对值计算部113计算出的像素值之差的绝对值按每个图像块来进行累加,该图像块是由连续的像素的集合构成的区域。由此,将长曝光图像与校正短曝光图像的像素值之差以图像块为单位来进行统计。换言之,由此检测每个图像块中的运动量步骤S24。进行了运动的被摄体的像在图像上发生抖动从而扩展到某种程度的区域,因此即使是以图像块为单位统计出的结果,如果以图像整体进行观察,也某种程度地准确地表示各处的被摄体的运动量。另外,通过利用像素单位的差来对被摄体的运动量进行处理,也能够节约所需要的存储器区域,另外,某种程度地弥补了各个像素的有无噪声的差异。图5是示出对由块差累加部115输出的表示每个图像块中的运动量的信号进行监视而得到的1帧的图像的运动量的分布例的示意图。图5的a所示的示意图示出与长曝光图像或校正短曝光图像的大小相当的信号,图中的各格子表示图像块。在本例中,运动量越大的图像块、也就是说长曝光图像与校正短曝光图像的像素值之差越大的图像块,则越明亮。接着,运动混合比率计算部120对图像块中的运动检测量进行平滑化。由此,将相邻的图像块之间的运动检测量之差从在该图像块之间的边界两侧相对的像素起至处于图像块的重心处的像素地细分化为多个等级并进行分配插值,来决定各像素的运动检测量。图5的b是示出对表示图5的a所示的图像块的平滑化处理后的运动检测量的信号进行监视而得到的1帧图像的一部分虚线的框内的运动量的分布例的示意图。在该示意图中,用阴影的浓度表示运动量,与平滑化处理前的a相比,在图像块间的边界处更平滑地变化。然后,基于各像素的运动检测量来计算各像素的运动混合比率步骤S25。到此为止是运动混合比率计算部120的动作,接下来,由运动自适应合成部130将长曝光图像与校正短曝光图像以步骤S25中计算出的运动混合比率来进行混合。由此,生成运动自适应图像步骤S26,该运动自适应图像是对于长曝光图像中的构成抖动小的像的像素将校正短曝光图像的像素以低的比率进行混合、对于长曝光图像中的构成抖动大的像的像素将校正短曝光图像的像素以高的比率进行混合而得到的。在完全不存在抖动的部分,可以直接使用长曝光图像的像素。在像这样获得的运动自适应图像中,优先使用SN比高的长曝光图像的像素来构成不存在抖动或抖动小的像,提高校正短曝光图像的像素的优先性后,使用校正短曝光图像的像素来构成抖动大的像,在整体上易于由人和物体探测算法进行被摄体的识别这样的意义上,是高图像质量的图像。此外,在上述的过程中,没有进行亮度的动态范围的扩大。由亮度混合比率计算部140使用已知的技术来计算用于扩大亮度的动态范围的长曝光图像与短曝光图像的混合率亮度混合比率步骤S27。然后,由HDR合成部150以该亮度混合比率将运动自适应图像与短曝光图像进行合成,来生成图像质量更高的HDR图像步骤S28。此外,图2的流程图中,在末尾示出步骤S27,但是步骤S27也可以与步骤S26并行执行。[1-3].效果如以上那样,在本实施方式中,图像处理装置10将在1帧时间内并行的以长度不同的2个以上的曝光时间拍摄到的短曝光图像和长曝光图像进行合成,该图像处理装置10具备水平调整部100、运动检测部110、运动混合比率计算部120以及运动自适应合成部130。水平调整部100对短曝光图像的亮度水平进行调整,来输出与长曝光图像的亮度水平大致匹配的校正短曝光图像。运动检测部110计算校正短曝光图像和长曝光图像中的处于相同位置的同位置像素间的像素值之差的绝对值。然后,通过将该绝对值按每个图像块进行累加,来求出各图像块中的运动检测量,其中,所述图像块是校正短曝光图像或长曝光图像中的连续的多个像素的集合。运动混合比率计算部120对图像块中的运动检测量进行平滑化,并基于平滑化处理后的运动检测量来计算同位置像素之间的运动混合比率。运动自适应合成部130通过以该运动混合比率将同位置像素之间进行合成,来生成运动自适应图像。更具体地说,运动混合比率计算部120以如下方式计算运动混合比率:平滑化处理后的运动检测量越大,则短曝光图像的像素以越高的比率与长曝光图像的像素进行合成。由此,进行混合,使得抖动少的短曝光图像的像素值与长曝光图像内的每个图像块中的运动检测量所表示的像的抖动的程度相适应地反映到长曝光图像。具体地说,对于抖动越大的像的像素,短曝光图像的像素值以越高的比率反映到该抖动大的像的像素。另外,该反映的程度是基于平滑化处理后的运动检测量决定的,因此能够抑制在合成图像中体现出邻接的图像块间的运动检测量之差的块失真。像这样,生成整体上易于由人和物体探测算法进行被摄体的识别的运动自适应图像。另外,在本实施方式中,也可以是,图像处理装置10还具备亮度混合比率计算部140和HDR合成部150。亮度混合比率计算部140基于短曝光图像和长曝光图像来计算同位置像素间的亮度混合比率。HDR合成部150以该亮度混合比率将运动自适应图像和短曝光图像中的处于相同位置的像素之间进行合成。由此,生成抖动被降低且亮度的动态范围被扩展的更易于进行被摄体的识别的HDR图像。实施方式2下面,使用图6和图7来说明实施方式2。[2-1].结构图6是示出实施方式2所涉及的图像处理装置20的结构的框图。此外,用与图1相同的附图标记来表示与实施方式1相同的构成要素。另外,关于与实施方式1的共同点,简单地进行说明或者省略说明,下面,以与实施方式1的差异点为中心来进行说明。实施方式2所涉及的图像处理装置20与实施方式1所涉及的图像处理装置10的不同点在于,图像处理装置20具备运动检测部210,来代替运动检测部110。运动检测部210除了具备运动检测部110的结构以外,还具备噪声削减部214。噪声削减部214从绝对值计算部113接受表示长曝光图像与校正短曝光图像之差的绝对值的信号的输入,并对该信号中包含的噪声进行削减。此外,此处所说的噪声在信号上例如为尖峰spike,在图像上呈现为与周围的像素相比像素值有很大不同且不具备或缺乏与周围的像素之间的外观上的连续性的像素。该噪声例如是因如图4所示那样的校正短曝光图像中包含的噪声而引起的。但是,一般来说,从图像传感器输出的图像中存在噪声,本公开中的噪声不限定于校正短曝光图像中包含的噪声。关于因这样的噪声而引起的像素值,与被摄体的实际的运动无关而提升差的绝对值。其结果,包含该像素的图像块的累加值也与图像上的抖动的程度无关而增加,从而在该图像块中校正短曝光图像的混合比率提高。校正短曝光图像的SN比逊于长曝光图像的SN比,因此当不必要地提高混合率时,运动自适应图像的图像质量下降。噪声削减部214通过进行阈值处理来削减这样的噪声。由此,能够抑制从图像传感器输出的图像中存在的噪声对运动自适应图像的图像质量的不良影响。此外,该阈值基于以下理由是可变的,噪声削减部214使用从水平调整部100输入的校正短曝光图像,来决定该阈值处理中使用的阈值。在图像传感器输出的图像内,噪声的振幅是不固定的,在越暗的区域,则噪声的振幅越小。因而,存在以下倾向:在图像内的暗的区域中的各像素处,噪声对差的影响小,在明亮的区域中的各像素处,噪声对差的影响大。而且,在使用固定的阈值的情况下,根据该阈值的大小不同,即使是因噪声而引起的不适当的绝对值,也会超过阈值而被检测为运动。而且,如果针对1个图像块内对这样的不适当的绝对值进行累加,则无论实际的抖动的程度如何,运动检测量都会增大。因而,校正短曝光图像的混合率提高,生成噪声多的运动自适应图像。或者,根据阈值的大小不同,不仅因噪声而引起的不适当的绝对值被从累加中除外,因图像上的抖动而引起的差的绝对值中的比较大的值也不超过阈值并被从累加中除外。在该情况下,无论实际的抖动的程度如何,运动检测量都会减少。因而,校正短曝光图像的混合率下降,生成抖动的减轻不充分的运动自适应图像。像这样,在本实施方式中的运动检测部210中,根据用于噪声削减的阈值处理对象的像素以下称为关注像素所在的区域的明亮度来使用适当的阈值,由此能够适当地提取产生了噪声的像素来抑制图像质量的下降。在本实施方式中,噪声削减部214在进行关注像素的阈值处理时,根据校正短曝光图像中的处于该关注像素的周围的至少一个像素的亮度来决定所要使用的阈值。更具体地说,例如使用根据基于包含关注像素的数个像素四方的亮度值或者在与关注像素同一行中将关注像素夹在中间的数个像素的亮度值导出的平均值或中间值等以统计方式导出的数值来预先设定的阈值。例如,与该统计性数值的范围相对应地分等级地设定阈值。或者,也可以基于将该统计性数值作为输入的函数来输出并设定阈值。[2-2].动作图7是示出图像处理装置20的动作过程的一例的流程图。关于图像处理装置20的动作,也以与实施方式1所涉及的图像处理装置10的动作过程的差异为中心来进行说明。噪声削减部214将从绝对值计算部113接收的信号所表示的绝对值与所使用的阈值进行比较。然后,进行避免在下游的块差累加部115中将不超过该阈值的绝对值不适当地进行累加那样的阈值处理步骤S70。例如,噪声削减部214可以将不超过阈值的绝对值从针对每个图像块的累加的对象中除外,或者置换为包含周边像素的差的绝对值的中间值或对周边像素的差的绝对值进行平均所得到的值。[2-3].效果本实施方式所涉及的图像处理装置20的运动检测部210将同位置像素间的像素值之差的绝对值中的超过规定阈值的绝对值设为针对每个图像块的累加的对象,将不超过阈值的绝对值从以图像块为单位的累加的对象中除外。该阈值是根据校正第一图像中的处于关注像素的周围的像素的亮度决定的。由此,按每个图像块对差的绝对值中的因抖动引起的适当的值进行累加,并将因噪声引起的不适当的值去掉,来计算运动检测量,由此能够得到适当的校正短曝光图像的混合率,能够抑制因噪声引起的运动自适应图像的图像质量的下降。实施方式3下面,使用图8~图9B来说明实施方式3。[3-1].结构图8是示出实施方式3所涉及的图像处理装置30的结构的框图。此外,用与图1相同的附图标记来表示与实施方式1相同的构成要素。另外,关于与实施方式1的共通点,简单地进行说明或者省略说明,下面,以与实施方式1的差异点为中心来进行说明。实施方式3所涉及的图像处理装置30与实施方式1所涉及的图像处理装置10的不同点在于,图像处理装置30具备运动混合比率计算部320,来代替运动混合比率计算部120。运动混合比率计算部320具备平滑部321,来代替平滑部121。平滑部321具备块间滤波器3210和像素间滤波器3215。在平滑部321中,由块间滤波器3210和像素间滤波器3215针对每个图像块中的运动检测量执行2个阶段的平滑化处理。[3-2].动作由使用了这些滤波器的运动混合比率计算部320进行的滤波器处理的动作是在图2所示的流程图的步骤S25中执行。在块间滤波器3210中,对多个图像块中的各运动检测量进行平滑化。图9A和图9B是用于说明由块间滤波器3210进行的平滑化的例子的图。图中的各格子示意性地表示1个图像块,各格子中的数字是图像块中包含的像素之差的绝对值的累加结果。3个点表示省略数字的记载。例如在图9A中,累加值为“10”的图像块下面的2个图像块为“0”。当对这些图像块应用块间滤波器3210时,这3个图像块间的累加值的变化如图9B的a所示那样变得平缓。在位于累加值为“10”的图像块的右侧的图像块中,为了使相对于该图像块的累加值的变化变得平缓,也有一部分图像块的累加值被变更。由此,与应用滤波器之前相比,这些图像块间的校正短曝光图像的混合率之差变小。因而,在正好处于运动自适应图像内的邻接的图像块的边界上的位置处,抖动的减轻程度或者噪声的量之差变小,能够抑制外观的不自然感以及图像识别精度变差。另外,块间滤波器不仅可以使用邻接块的累积值,还可以使用时间方向上的块累积值。例如,在隧道的出入口等处周围急剧地变暗的情况下,被摄体的长曝光图像与短曝光图像之差的绝对值变小,其结果,导致运动检测量也急剧地下降。应对这样的状况的发生,通过使用时间方向上的块累积值,能够实现运动检测量的鲁棒性。另外,在本实施方式中,对各图像块进一步应用像素间滤波器3215。在图9B的b中,示出了由像素间滤波器3215对上述的累加值为“10”的图像块进行的平滑化的结果的例子。处于图像块的重心的像素在本例中为粗框内的中央的像素仍为由块间滤波器3210进行处理后的累加值即10。除此以外的像素的累加值以从10起逐渐接近在各方向上邻接的图像块的累加值的方式变化。另外,在邻接的图像块中,也通过像素间滤波器3215而同样地变化。其结果,例如,将用粗线表示的图像块的边界夹在中间的像素之间的差小于图像块之间的累加值。例如,将累积值为10的图像块与累积值为6的图像块之间的边界粗框左侧的边夹在中间的像素之间的差在0~0.5的范围内。另外,将累积值为10的图像块与累积值为2的图像块之间的边界粗框上侧的边夹在中间的像素之间的差在0.5~1的范围内。针对图像块内的像素,在像素间对差的绝对值的累加值进行平滑化。由此,图像整体的校正短曝光图像的混合率更加平滑地变化。另外,由块间滤波器3210进行的平滑化处理的结果是图像块间的运动检测量之差变小,因此附在图像块内的各像素的累加值间的用于接近邻接的图像块的累加值的变化也变得平缓。由此,在运动自适应图像中能够降低因抖动的减轻、噪声的量的多少而引人注目的急剧的不自然的变化的发生。此外,具备这样的滤波器的运动混合比率计算部320还能够应用于实施方式2的图像处理装置20,使用上述的两种滤波器进行的2个阶段的平滑化处理是在图7的流程图所示的步骤S25中执行。[3-3].效果本实施方式所涉及的图像处理装置30所具备的运动混合比率计算部320针对每个图像块中的运动检测量,使用用于在该图像块的邻近的多个图像块之间进行平滑化的块间平滑滤波器、以及用于在关注像素的邻近的多个像素间进行平滑化的像素间平滑滤波器,来执行运动检测量的平滑化。由此,能够在图像块的边界处减小校正短曝光图像的混合率的变化。另外,能够减小以跨图像块的边界的方式连续排列的像素间、例如从某个图像块的重心起到邻接的图像块的重心为止排列的像素间的校正短曝光图像的混合率的变化。其结果,能够整体上抑制块失真的发生,从而能够获得灰度平滑地变化的运动自适应图像。通过使用这样的运动自适应图像,能够生成由人或算法进行的物体探测的识别精度更高的HDR图像。其它实施方式如以上那样,作为在本申请中公开的技术的例示,说明了实施方式1~3。然而,本公开中的技术不限定于此,还能够应用于适当进行变更、置换、附加、省略等所得到的实施方式。另外,还能够将上述实施方式1~3中说明的各构成要素进行组合来形成新的实施方式。因此,下面例示其它实施方式。例如,本公开的技术能够以包含由上述的各实施方式所涉及的图像处理装置10、20或30执行的图2或图7的流程图所示的处理动作的各步骤的图像处理方法来实现。另外,该方法能够通过由计算机执行的程序来实现。而且,该程序既可以被记录在计算机可读取的CD-ROM等非临时性的记录介质中,也可以通过因特网等通信线路来分发。另外,在上述的各实施方式中,记载了基于长曝光图像及短曝光图像生成被降低了抖动的图像即运动自适应图像为止的处理是与生成被扩大了亮度动态范围的图像即HDR图像的处理相独立的预处理,但是不限定于此。在上述中,在运动自适应图像的生成和HDR图像的合成中执行了两次阿尔法混合,但是也可以将长曝光图像和短曝光图像作为输入,通过一次阿尔法混合来合成HDR图像。关于在该情况下的HDR图像的合成中使用的系数,例如能够使用上述的两次阿尔法混合中的各次阿尔法混合所使用的系数以及由水平调整部100进行的亮度水平调整的系数来获取。另外,在上述的各实施方式中,作为从图像传感器输入的图像,仅列举了长曝光图像和短曝光图像这两种图像进行了说明,但是本公开的技术还能够应用于将曝光时间不同的三种以上的图像作为输入的装置、方法、电子电路、程序等。例如,上述的各实施方式的图像处理装置能够对从以上述的LinebyLine方式驱动且在1帧时间内并行地拍摄曝光时间不同的3个图像的图像传感器输出的图像进行处理。另外,在上述的各实施方式中,说明了在运动检测部110或210中将长曝光图像以及对短曝光图像的亮度水平进行了使其与长曝光图像的亮度相匹配的校正而得到的校正短曝光图像作为对象的处理,但是本公开的技术不限定于此。也可以是被降低了亮度水平的长曝光图像和短曝光图像为处理的对象,还可以是,在对短曝光图像和长曝光图像这两方的亮度水平进行调整来使它们大致一致的基础之上,将它们用作运动检测部110或210进行上述的处理的对象。另外,在上述的各实施方式中,说明了在运动混合比率计算部120或320中进行运动检测量的平滑化处理,但是本公开的技术不限定于此。也可以对基于运动检测量求出的各图像块中的运动混合比率进行平滑化,来代替运动检测量的平滑化。如以上那样,作为本公开中的技术的例示,说明了实施方式。为此,提供了附图和详细的说明。因而,在附图和详细的说明所记载的构成要素中,不仅包括必要的构成要素,还可能为了例示上述技术而包括并非必要的构成要素。因此,不应基于在附图、详细的说明中记载有那些并非必要的构成要素而直接将那些并非必要的构成要素认定为必要的构成要素。另外,上述的实施方式用于例示本公开中的技术,因此在权利要求书或其等同的范围内能够进行各种变更、置换、附加、省略等。产业上的可利用性本公开能够应用于根据被摄体的运动来适应性地进行图像合成处理的图像合成装置。具体地说,本公开能够应用于数字静像摄像机、数字视频摄像机、以及车载的物体探测系统、电子镜及行车记录仪等。附图标记说明10、20、30:图像处理装置;100:水平调整部;110、210:运动检测部;111:减法部;113:绝对值计算部;115:块差累加部;120、320:运动混合比率计算部;121、321:平滑部;130:运动自适应合成部图像合成部;140:亮度混合比率计算部;150:HDR合成部;214:噪声削减部;3210:块间滤波器;3215:像素间滤波器。

权利要求:1.一种图像处理装置,用于将在1帧时间内并行的以长度不同的2个以上的曝光时间拍摄到的第一图像与第二图像进行合成,所述图像处理装置具备:水平调整部,其对所述第一图像的亮度水平进行调整,来输出与所述第二图像的亮度水平大致匹配的校正第一图像;运动检测部,其计算所述校正第一图像和所述第二图像中的处于相同位置的各个同位置像素间的像素值之差的各自的绝对值,并通过将各个所述绝对值按每个图像块进行累加,来求出多个图像块的各图像块中的运动检测量,其中,所述图像块是所述校正第一图像或所述第二图像内的连续的多个像素的集合;运动混合比率计算部,其对所述多个图像块的各图像块中的所述运动检测量进行平滑化,基于平滑化后的各个所述运动检测量来计算各个所述同位置像素间的运动混合比率;以及图像合成部,其通过以各自的所述运动混合比率将各个所述同位置像素之间进行合成,来生成运动自适应图像。2.根据权利要求1所述的图像处理装置,其特征在于,所述运动检测部将各个所述同位置像素间的像素值之差的各自的绝对值中的超过规定阈值的绝对值设为针对所述多个图像块的各图像块的累加的对象,将不超过所述阈值的绝对值从针对所述多个图像块的各图像块的累加的对象中除外,根据所述校正第一图像中的处于关注像素的周围的至少一个像素的亮度来决定所述阈值。3.根据权利要求1或2所述的图像处理装置,其特征在于,所述运动混合比率计算部针对所述多个图像块的各图像块中的运动检测量,使用块间平滑滤波器和像素间平滑滤波器来执行所述运动检测量的平滑化,其中,所述块间平滑滤波器用于在所述多个图像块各自的邻近的多个图像块之间进行平滑化,所述像素间平滑滤波器用于在关注像素的邻近的多个像素间进行平滑化。4.根据权利要求1~3中的任一项所述的图像处理装置,其特征在于,还具备亮度混合比率计算部,该亮度混合比率计算部根据所述第一图像及所述第二图像中的各像素的像素值,来计算同位置像素间的亮度混合比率,所述图像合成部通过以所述亮度混合比率将所述运动自适应图像和所述第一图像中的处于相同位置的像素之间进行合成,来生成高动态范围图像。5.根据权利要求1~4中的任一项所述的图像处理装置,其特征在于,所述第一图像是以比所述第二图像的曝光时间短的曝光时间进行拍摄所得到的图像,所述运动混合比率计算部计算所述运动混合比率,使得平滑化后的所述运动检测量越大,则将所述第一图像的像素以越高的比率与所述第二图像的像素进行合成。6.一种图像处理方法,用于将在1帧时间内并行的以长度不同的2个以上的曝光时间拍摄到的第一图像与第二图像进行合成,所述图像处理方法包括以下步骤:对所述第一图像的亮度水平进行调整,来输出与所述第二图像的亮度水平大致匹配的校正第一图像;计算所述校正第一图像和所述第二图像中的处于相同位置的各个同位置像素间的像素值之差的各自的绝对值;通过将各个所述绝对值按每个图像块进行累加,来求出多个图像块的各图像块中的运动检测量,其中,所述图像块是所述校正第一图像或所述第二图像内的连续的多个像素的集合;对所述多个图像块的各图像块中的所述运动检测量进行平滑化,并基于平滑化后的各个所述运动检测量来计算各个所述同位置像素间的运动混合比率;以及通过以所述运动混合比率将所述同位置像素之间进行合成,来生成运动自适应图像。7.一种图像处理电路,用于将在1帧时间内并行的以长度不同的2个以上的曝光时间拍摄到的第一图像与第二图像进行合成,所述图像处理电路具备:水平调整部,其对所述第一图像的亮度水平进行调整,来输出与所述第二图像的亮度水平大致匹配的校正第一图像;运动检测部,其计算所述校正第一图像和所述第二图像中的处于相同位置的各个同位置像素间的像素值之差的各自的绝对值,并通过将各个所述绝对值按每个图像块进行累加,来求出多个图像块的各图像块中的运动检测量,其中,所述图像块是所述校正第一图像或所述第二图像内的连续的多个像素的集合;运动混合比率计算部,其对所述多个图像块的各图像块中的所述运动检测量进行平滑化,并基于平滑化后的所述运动检测量来计算各个所述同位置像素间的运动混合比率;以及图像合成部,其通过以各自的所述运动混合比率将各个所述同位置像素之间进行合成,来生成运动自适应图像。

百度查询: 松下知识产权经营株式会社 图像处理装置、图像处理方法以及图像处理电路

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。