申请/专利权人：佳能株式会社

申请日：2017-11-02

公开（公告）日：2021-02-09

公开（公告）号：CN108024027B

主分类号：H04N1/32(20060101)

分类号：H04N1/32(20060101)

优先权：["20161102 JP 2016-215301","20170802 JP 2017-149980"]

专利状态码：有效-授权

法律状态：2021.02.09#授权;2018.11.30#实质审查的生效;2018.05.11#公开

摘要：本发明涉及一种图像处理设备、图像处理方法和存储介质。用于提供隐私保护和监视的图像处理设备获取背景图像和所拍摄图像，从所述所拍摄图像中提取与预定被摄体相对应的被摄体区域，基于与所述背景图像有关的颜色信息来设置遮罩颜色，并且基于所述遮罩颜色来遮罩所提取的被摄体区域。

主权项：1.一种图像处理设备，其特征在于，包括：获取单元，用于获取摄像单元所拍摄的视频中的对象图像和不包括预定的被摄体的背景图像；提取单元，用于从所述对象图像中提取与所述预定的被摄体相对应的被摄体区域；第一生成单元，用于针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像；以及第二生成单元，用于通过合成由所述第一生成单元所生成的所述遮罩图像和由所述获取单元所获取的所述背景图像来生成合成图像，其中，所述第一生成单元基于与所述背景图像有关的第一颜色信息和针对从所述视频中的所述对象图像的先前图像中提取的所述被摄体区域的隐私保护生成遮罩图像时所使用的第二颜色信息，针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像，以将所述遮罩图像与所述背景图像区分开。

全文数据：图像处理设备、图像处理方法和存储介质技术领域[0001]本发明涉及用于保护隐私的图像处理设备、图像处理方法和存储介质。背景技术[0002]如今，通常安装监视照相机，同时在监视照相机的视频中所拍摄到的个人的隐私保护的重要性不断增加。日本专利5S：34193论述了如下的技术:使用人体检测的结果来生成人体区域被遮罩的视频。日本专利4578〇44论述了如下的技术:接收单元接收与监视模块所提取的各图像之间的差异区域有关的轮廓信息，生成该轮廓信息和背景图像的合成图像，并且显示该合成图像。[0003]日本专利5834193中所论述的技术根据人的属性来改变人体区域的颜色和遮罩图案，并且改变后的颜色可以变为与背景图像类似的颜色。因此，没有将被遮罩的人与背景区分开，这可能导致遗漏掉实际存在的人。在日本特开4578044中所论述的技术的情况下，由于接收单元所接收到的轮廓信息与背景图像重叠，因此轮廓信息的颜色可以变得与背景的颜色类似。发明内容[0004]根据本发明的方面，一种图像处理设备，包括:获取单元，用于获取背景图像和所拍摄图像;提取单元，用于从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；以及处理单元，用于基于与所述背景图像有关的颜色信息来设置遮罩颜色，并且基于所述遮罩颜色来遮罩所提取的被摄体区域。[0005]根据本发明的方面，一种图像处理方法，包括以下步骤:获取背景图像和所拍摄图像;从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域;基于与所述背景图像有关的颜色信息来设置遮罩颜色；以及基于所述遮罩颜色来遮罩所提取的被摄体区域。[0006]根据本发明的方面，一种存储介质，其存储程序，所述程序用于使计算机用作上述的图像处理设备。[0007]通过以下参考附图对典型实施例的说明，其它特征将变得明显。附图说明[0008]图1是示出图像处理设备的硬件结构的图。[0009]图2是示出图像处理设备的软件结构的图。[0010]图3是示出图像处理设备的处理的流程图。[0011]图4是示出所拍摄图像的示例的图。[0012]图5是示出被摄体的遮罩区域的示例的图。[0013]图6是示出合成图像的示例的图。[0014]图7是详细示出步骤S103〜步骤S105的信息处理的流程图。[0015]图8是示出图像处理设备的软件结构的图。[0016]图9是示出图像处理设备的处理的流程图。_[0017]图10A〜10C是示出遮罩颜色基于被摄体的移动而动态地改变的状态的示意图。具体实施方式[0018]以下基于附图来说明典型实施例。[0019]图1是示出图像处理设备100的硬件结构的示例的图。[0020]中央处理单元CPU11控制连接至系统总线14的各种装置。[0021]只读存储器ROM12存储基本输入输出系统BIOS的程序以及引导程序。[0022]随机存取存储器RAM13用作CPU11的主存储装置。[0023]键盘控制器KBC15进行与通过诸如鼠标等的指示装置PD19和键盘KB20输入f目息等有关的处理。[0024]显示控制器CRTC16在内部包括视频存储器，并且响应于来自CPU11的指示来在视频存储器上进行描绘并将视频存储器中所描绘的图像数据作为视频信号输出至阴极射线管CRT21。注意，CRT21是图1中的显示设备的一个示例。显示设备不限于该示例，并且可以是液晶显示设备或者将使得能够实践典型实施例的任何其它类型的显示设备。[0025]盘控制器DKC17访问硬盘HDD22。[0026]网络接口卡NIC18连接至网络，并且经由该网络进行信息通信。[0027]HDD22是存储区域的示例。将操作系统0S的程序和在该0S上工作的各种应用的程序存储在HDD22中。[0028]在上述结构中，在图像处理设备100接通的情况下，CPU11基于ROM12所存储的引导程序来将0S程序从HDD22载入RAM13,并且执行处理以实现各装置的功能。[0029]在图像处理设备100的CPU11基于ROM12或HDD22所存储的程序来执行处理的情况下，实现了以下所述的图2和图8中的图像处理设备100的软件结构、以及以下所述的图3、图7和图9中的流程图的处理。[0030]图2是示出根据第一典型实施例的图像处理设备100的软件结构的示例的图。图像处理设备100包括图像获取单元101、遮罩区域提取单元102、图像信息设置单元103、图像合成单元104和输出单元105作为软件结构。图像获取单元101按预定间隔从包括透镜和传感器等的照相机的摄像单元顺次获取图像，并且将这些图像提供至遮罩区域提取单元102。该摄像单元可以包括在图像处理设备100中，或者可以经由网络等可通信地连接至图像处理设备100。[0031]遮罩区域提取单元102进行用以提取作为隐私保护对象的被摄体的遮罩区域的处理。换句话说，遮罩区域提取单元102从图像中提取与诸如人等的预定被摄体相对应的被摄体区域，并且将该被摄体区域视为遮罩区域。遮罩区域提取单元102从图像获取单元101所获取到的图像与摄像设备100的摄像区域中的不存在被摄体的、提取遮罩区域所要使用的背景图像之间的差异中提取遮罩区域被摄体区域）。提取方法不限于此，并且遮罩区域提取单元1〇2可以使用其它方法来提取遮罩区域。遮罩区域提取单元102将所提取的遮罩区域和背景图像提供至图像信息设置单元1〇3。此时，例如，假定遮罩区域提取单元102将不存在被摄体的仅背景的图像数据（以下称为背景图像存储在RAM13或HDD22等中。该背景图像是预先由图像获取单元101获取到的。[0032]图像信息设置单元103获取作为与背景图像有关的图像信息的颜色信息，并且将与利用该颜色信息表示的颜色不同的颜色相对于背景图像的颜色可视性高且吸引性高的颜色设置为遮罩区域的颜色遮罩颜色）。[0033]例如，在图l〇A中，被摄体110的遮罩颜色和被摄体的背景的颜色彼此不同。因此，容易掌握到被摄体的存在。之后，在被摄体110移动、并且如图10B所示被摄体的遮罩颜色与作为背^的墙壁120等的颜色类似的情况下，难以掌握被摄体11〇的存在或运动。因此，如图10C所示，提取相应的背景颜色以确定遮罩颜色，从而改变被摄体no的遮罩颜色并且便于掌握被摄体110的存在和运动。[0034]作为为了确定颜色而获取到的颜色信息，从图像获取单元1〇1获取到的视频信号中获取信号成分Y、Cr和Cb，并且将这些信号成分转换成RGB信号。将相对于从背景图像中所提取的颜色的反转颜色或互补颜色设置为遮罩区域的颜色，这使得容易将被摄体与背景区分开。例如，在RGB信号中的R的值是80的情况下，根据表达式255-80=175来计算遮罩颜色的值，并且以相同方式计算其它颜色成分的值。可以使用如下的众所周知的方法:确定RGB值中的最大值和最小值的合计值，并且从该合计值中分别减去各构成成分的值以确定新的RGB值。另外，由于这种计算不要求严格的精度，因此可以使用列出具有特定精度的颜色信息的表等来进行确定。图像信息设置单元103生成遮罩区域被所设置的颜色信息的颜色遮罩的遮罩图像，并且将该遮罩图像连同背景图像一起提供至图像合成单元104。另外，图像信息设置单元103在获取与背景图像有关的图像信息时，可以代替与背景图像整体有关的图像信息而获取与同遮罩区域相对应的区域有关的图像信息。[0035]图像合成单元104对背景图像和遮罩图像遮罩处理所用的图像进行合成以生成合成图像以下称为隐私保护图像。[0036]输出单元105将图像合成单元104所生成的隐私保护图像经由线缆或无线连接输出至与图像处理设备100相连接的外部设备等。另外，输出单元105可以将隐私保护图像输出至HDD22和CRT21等。[0037]接着，说明图像处理设备100的信息处理的流程。[0038]图3是示出在连续提供的图像中在使人模糊的同时提高该人的形状的可视性、并且输出如此得到的图像的处理的流程图。[0039]在该处理开始之后，在步骤S101中，图像获取单元101获取图像。图像获取单元101将所获取到的图像存储在诸如RAM13和HDD22等的存储器中。图4示出图像获取单元101所获取到的图像的示例。[0040]在步骤S102中，遮罩区域提取单元102从图像获取单元101所获取到的图像中提取被摄体的遮罩区域。图5示出遮罩区域提取单元102所提取的被摄体的遮罩区域的示例。[0041]在步骤S103中，图像信息设置单元103提取颜色信息作为与背景图像有关的图像信息。此时，图像信息设置单元103可以提取与背景图像整体有关的颜色信息，或者可以提取与同遮罩区域相对应的区域有关的颜色信息。另外，图像信息设置单元103可以选择取决于状态的区域。例如，图像信息设置单元103在图像处理设备100的处理开始时可以提取与背景图像整体有关的颜色信息，并且在该处理开始之后可以提取与同遮罩区域相对应的区域有关的颜色信息。[0042]在步骤S104中，图像信息设置单元103选择与所提取的颜色不同且容易与背景颜色区分开的颜色，并且将所选择的颜色设置为与遮罩区域有关的颜色信息，由此生成遮罩图像。[0043]在步骤S105中，图像合成单元104生成背景图像和遮罩图像的合成图像以生成隐私保护图像。图6示出图像合成单元104所生成的隐私保护图像的示例。[0044]在步骤S106中，输出单元105将所生成的隐私保护图像输出至外部设备等。[0045]在步骤S107中，输出单元105判断是否从PD19或KB20等接收到结束指示。在输出单元105判断为接收到了结束指示的情况下步骤Sl〇7中为“是”），图3所示的流程图的处理结束。在输出单元105判断为没有接收到结束指示的情况下步骤S107中为“否”），处理返回至步骤S101。[0046]如上所述，图像处理设备提取遮罩区域，并且将容易与背景图像区分开的颜色吸引性高且可视性高的颜色设置为遮罩颜色，以提高人的形状和轮廓的可视性。遮罩图像是经过了模糊化用以防止辨识出个人的图像处理）以保护被摄体的隐私的图像。由于进行替换被摄体区域的颜色的处理作为图像处理，因此被摄体图像被遮罩，但容易识别出被摄体的存在和运动。如上所述，需要容易地将遮罩图像与背景图像区分开，以使得能够容易地识别出被摄体并且使得能够掌握被摄体的运动。[0047]在第一典型实施例中，将颜色作为在背景图像和遮罩图像之间有所不同的图像信息的示例进行了说明。图像信息不限于颜色信息，并且可以使用作为用于生成遮罩图像的图像信息的图像图案和线类型等。[0048]在与同遮罩区域相对应的背景区域有关的图像信息包括多个颜色信息的情况下，图像信息设置单元103将与单色有关的颜色信息设置为遮罩区域的颜色。更具体地，图像信息设置单元103将与如下的单色有关的颜色信息设置为与遮罩区域的颜色有关的颜色信息，其中该单色不同于利用多个颜色信息表示的颜色中的、在与遮罩区域相对应的背景图像的最宽面积中所使用的颜色。这样使得能够设置针对各帧不同的遮罩颜色，并且基于不同的遮罩颜色来提取遮罩处理。[0049]图像信息设置单元103可以基于与在先前帧中所选择的遮罩区域有关的图像信息和与当前帧中的背景图像有关的图像信息来选择与遮罩区域有关的图像信息。该方法防止了遮罩图像的颜色针对各帧而改变，并且使得用户能够容易地识别出被遮罩的被摄体。[0050]图7是详细示出图3中的步骤S103〜步骤S105的信息处理的流程图。[0051]在步骤S103中，图像信息设置单元103提取颜色信息作为与背景图像有关的图像伯息。[0052]在步骤S110中，图像信息设置单元103将步骤S103中所提取的与背景图像有关的图像信息和与先前帧中所设置的遮罩区域有关的图像信息进行比较。[0053]在步骤S111中，图像信息设置单元103判断作为比较的结果、这两个图像信息是否彼此不同。在图像信息设置单元103判断为这两个图像信息彼此不同的情况下（步骤S111中为“是”），处理进入步骤S112。在图像信息设置单元103判断为这两个信息并非彼此不同的情况下步骤SI11中为“否”），处理进入步骤SI13。[0054]在步骤S112中，图像信息设置单元103将作为与先前帧中所设置的遮罩区域有关的图像信息的颜色信息设置为与当前帧中的遮罩区域有关的颜色信息，并且生成遮罩图像。[0055]这两个图像信息不是彼此不同的情况对应于难以进行区分的情况。因此，在步骤S113中，图像信息设置单元103新确定与相对于背景的颜色不同的颜色有关的颜色信息。[0056]在步骤S114中，图像信息设置单元103保存新确定的与遮罩区域有关的颜色信息。[0057]在步骤S115中，图像信息设置单元103基于新确定的与遮罩区域有关的颜色信息来生成遮罩图像。[0058]在步骤S105中，图像合成单元104生成背景图像和遮罩图像的合成图像以生成隐私保护图像。[0059]根据第一典型实施例的信息处理使得能够进行考虑到人等的隐私的监视，并且使得能够显示与状态相对应的遮罩图像。结果，容易识别出被遮罩的人，从而减轻了监视器的负担。[0060]图8是示出根据第二典型实施例的图像处理设备1〇〇的软件结构的示例的图。图像处理设备100包括图像获取单元1〇1、遮罩区域提取单元1〇2、图像信息设置单元103、图像合成单元104、输出单元105、操作估计单元106和区域估计单元107作为软件结构。省略了针对与第一典型实施例相同的软件结构的组件的说明。[0061]操作估计单元106从遮罩区域提取单元102接收到作为隐私保护对象的被摄体信息。操作估计单元106基于针对各帧的被摄体信息，来进行被摄体的追踪处理以估计后续帧中的被摄体的位置。操作估计单元106将所估计的被摄体位置发送至区域估计单元107。[0062]区域估计单元107根据所估计的被摄体位置来估计要遮罩的区域，并且获取与同所估计的区域相对应的背景图像有关的图像信息。区域估计单元107将与所获取到的所估计的区域有关的图像信息发送至图像信息设置单元103。[0063]图像信息设置单元103基于与同从遮罩区域提取单元102接收到的遮罩区域相对应的背景图像有关的图像信息和从区域估计单元107接收到的图像信息，来设置与遮罩区域有关的图像信息。[0064]图9是示出根据第二典型实施例的图像处理设备100的信息处理的示例的流程图，其中该信息处理用于根据连续提供的图像生成隐私保护图像并且输出该隐私保护图像。省略了针对与第一典型实施例的处理相同的处理的说明。[0065]通过直到步骤S103为止的处理来提取与当前帧中的遮罩区域相对应的图像信息。[0066]在步骤S201中，操作估计单元106进行作为前景的被摄体的追踪处理，并且估计后续帧中的被摄体位置。[0067]在步骤S202中，区域估计单元107估计与所估计的被摄体位置相对应的区域。[0068]在步骤S203中，区域估计单元107提取与同所估计的区域相对应的背景区域有关的图像伯息。[0069]在步骤S204中，图像信息设置单元103设置相对于区域提取单元107所提取的图像信息以及与遮罩区域相对应的图像信息不同的、与遮罩区域有关的图像信息，并且生成遮罩图像。此时，在与先前帧中的遮罩区域有关的图像信息是相对于区域估计单元107所提取至IJ的图像信息以及与遮罩区域相对应的图像信息不同的信息的情况下，图像信息设置单元103设置与先前帧中的遮罩区域有关的图像信息并且生成遮罩图像。[0070]根据第二典型实施例的信息处理，基于与背景图像有关的颜色信息和与估计后续帧中的被摄体位置的遮罩区域有关的颜色信息来确定遮罩区域的颜色。这样消除了遮罩区域针对各帧的频繁颜色变化。因此，生成防止了要遮罩的被摄体被遗漏的隐私保护图像。[0071]上述典型实施例的一个或多个功能可通过以下来实现:将程序经由网络或存储介质供给至系统或设备，并且使该系统或设备的计算机中的一个或多个处理器加载并执行这些程序。该一个或多个功能还可由电路例如，专用集成电路ASIC来实现。[0072]尽管以上详细说明了一些典型实施例，但这些特定典型实施例不应被视为限制性的。[0073]例如，图像处理设备100的软件结构的一部分或全部可被视为图像处理设备100的硬件结构。另外，图像处理设备100的硬件结构是示例，并且PD19、KB20、CRT21、HDD22和其它组件可以位于图像处理设备100的外部。[0074]在上述典型实施例的说明中，图像信息设置单元103设置图像信息并且生成遮罩图像。可选地，图像信息设置单元103可以设置图像信息，并且图像合成单元104可以基于所设置的图像信息等来生成遮罩图像，并且可以根据该遮罩图像和背景图像生成隐私保护图像。另外，图像合成单元104可以包括图像信息设置单元103的所有功能。换句话说，图像合成单元104可以设置图像信息，生成遮罩图像，并且根据该遮罩图像和背景图像生成隐私保护图像。[0075]根据这些典型实施例的处理提供实现了隐私保护和监视这两者的监视视频。[0076]其它实施例[0077]本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件程序提供给系统或装置，该系统或装置的计算机或是中央处理单元CPU、微处理单元MPU读出并执行程序的方法。[0078]尽管已经说明了典型实施例，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

权利要求：1.一种图像处理设备，其特征在于，包括：获取单元，用于获取背景图像和所拍摄图像；提取单元，用于从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；以及处理单元，用于基于与所述背景图像有关的颜色信息来设置遮罩颜色，并且基于所述遮罩颜色来遮罩所提取的被摄体区域。2.根据权利要求1所述的图像处理设备，其中，所述处理单元包括生成单元，所述生成单元用于生成用于遮罩所述被摄体区域的遮罩图像，并且生成包括所生成的遮罩图像和所述背景图像的合成图像。3.根据权利要求2所述的图像处理设备，其中，所述生成单元从所述背景图像中提取颜色信息，基于与所提取的颜色信息不同的颜色信息来生成针对所述被摄体区域的遮罩图像，并且生成包括所生成的遮罩图像和所述背景图像的合成图像。4.根据权利要求2所述的图像处理设备，其中，在从所述背景图像中提取多个颜色信息的情况下，所述生成单元基于所提取的多个颜色信息来设置与单色有关的颜色信息，基于所设置的颜色信息来生成针对所述被摄体区域的遮罩图像，并且生成包括所生成的遮罩图像和所述背景图像的合成图像。5.根据权利要求4所述的图像处理设备，其中，所述生成单元设置与单色有关的颜色信息，其中该单色不同于所述多个颜色信息所表示的颜色中的、在与所述被摄体区域相对应的背景图像的区域中使用最多的颜色。6.根据权利要求2所述的图像处理设备，其中，所述生成单元基于与所述背景图像有关的图像信息和先前帧中生成合成图像时所使用的图像信息，来设置当前帧中生成合成图像时所要使用的图像信息，基于所设置的图像信息来生成针对所述被摄体区域的遮罩图像，并且生成包括所生成的遮罩图像和所述背景图像的合成图像。7.根据权利要求6所述的图像处理设备，其中，在与所述背景图像有关的图像信息不同于所述先前帧中生成合成图像时所使用的图像信息的情况下，所述生成单元将所述先前帧中生成合成图像时所使用的图像信息设置为所述当前帧中生成合成图像时所要使用的图像信息，在与所述背景图像有关的图像信息并非不同于所述先前帧中生成合成图像时所使用的图像信息的情况下，所述生成单元将相对于与所述背景图像有关的图像信息不同的图像信息设置为所述当前帧中生成合成图像时所要使用的图像信息，以及所述生成单元基于所设置的图像信息来生成针对所述被摄体区域的遮罩图像，并且生成包括所生成的遮罩图像和所述背景图像的合成图像。8.根据权利要求2所述的图像处理设备，其中，还包括：估计单元，用于估计后续帧中的所述被摄体的位置；以及区域估计单元，用于根据所估计的所述被摄体的位置来估计区域，并且获取与同所估计的区域相对应的背景图像有关的图像信息，其中，所述生成单元基于与所述背景图像有关的图像信息以及与同所估计的区域相对应的背景图像有关的图像信息来设置图像信息，基于所设置的图像信息来生成针对所述被摄体区域的遮罩图像，并且生成包括所生成的遮罩图像和所述背景图像的合成图像。9.根据权利要求2所述的图像处理设备，其中，还包括输出单元，所述输出单元用于输出所述合成图像。10.—种图像处理方法，其特征在于，包括以下步骤：获取背景图像和所拍摄图像；从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；基于与所述背景图像有关的颜色信息来设置遮罩颜色；以及基于所述遮罩颜色来遮罩所提取的被摄体区域。11.一种存储介质，其存储程序，其特征在于，所述程序用于使计算机用作根据权利要求1至9中任一项所述的图像处理设备。

百度查询： 佳能株式会社 图像处理设备、图像处理方法和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD