申请/专利权人：索尼公司

申请日：2016-02-17

公开（公告）日：2020-12-01

公开（公告）号：CN107431762B

主分类号：H04N5/232(20060101)

分类号：H04N5/232(20060101);H04N5/225(20060101);H04N7/18(20060101)

优先权：["20150414 JP 2015-082273"]

专利状态码：有效-授权

法律状态：2020.12.01#授权;2018.05.01#实质审查的生效;2017.12.01#公开

摘要：[目标]为了提供一种图像处理设备、图像处理方法和图像处理系统，利用所述设备、所述方法和所述系统能够在从原始图像切出图像的情况下以更高的自由度确定切出区域的位置。[解决方案]一种图像处理设备，设置有：物体检测单元，其检测第一图像中的物体；以及切出区域确定单元，其以第一图像中的物体的检测位置为基准来确定位于根据检测条件而变化的相对方向上的区域作为切出区域。

主权项：1.一种图像处理设备，包括：物体检测单元，被配置为检测第一图像中的物体和所述物体的位置；检测区域计算单元，被配置为计算所述物体的区域尺寸；以及切出区域决定单元，被配置为基于所述物体在第一图像中的位置识别第一切出区域，确定所述物体的区域尺寸是否大于第一切出区域的尺寸，并且在确定所述物体的区域尺寸大于第一切出区域的尺寸的情况下，通过在相对方向上移动第一切出区域来决定第二切出区域以将检测目标部分包括在第二切出区域中，所述相对方向对应于所述物体的类型。

全文数据：图像处理设备、图像处理方法以及图像处理系统技术领域[0001]本公开涉及图像处理设备、图像处理方法以及图像处理系统。背景技术[0002]通常，已经开发了用于从拍摄的图像中切出诸如人的检测目标物体的区域的各种技术。[0003]例如，专利文献1描述了一种用于检测由具有鱼眼镜头的相机拍摄的图像中的移动物体并切出检测到的移动物体中的每一个的外切四边形区域的技术。此外，专利文献2描述了一种用于基于在拍摄的图像中检测到目标物体的显着点的位置以及预先存储的从显着点到切出位置的距离和方向来计算拍摄的图像中的切出区域的中心位置的技术。[0004]引用列表[0005]专利文献[0006]专利文献1:JP2001-333422A[0007]专利文献2:JP2005-184266A发明内容[0008]技术问题[0009]然而，当使用专利文献1或专利文献2中描述的技术时，从原始图像切出的切出区域的位置受到限制。例如，在检测到显着点的位置相同的情况下，即使切出目标物体彼此不同，根据专利文献2所述的技术，切出区域的位置也是相同的。[0010]因此，本公开提出了一种新颖且改进的图像处理设备、图像处理方法和图像处理系统，其能够在从原始图像切出图像时自由地决定切出区域的位置。[0011]解决问题[0012]根据本公开，提供了一种图像处理设备，包括:物体检测单元，其被配置为检测第一图像中的物体；以及切出区域决定单元，其被配置为以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化。[0013]另外，根据本公开，提供了一种图像处理方法，包括:检测第一图像中的物体；以及以在第一图像中检测到物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化。[0014]另外，根据本公开，提供了一种图像处理系统，包括:物体检测单元，其被配置为检测第一图像中的物体;切出区域决定单元，其被配置为以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化;切出图像生成单元，其被配置为通过从第一图像切出由所述切出区域决定单元决定的切出区域来生成切出图像;以及存储单元，其被配置为存储所生成的切出图像。[0015]发明的有益效果[0016]如上所述，根据本公开，能够在从原始图像中切出图像时，自由地决定切出区域的位置。注意，这里描述的效果不一定是受限制的，并且可以显示在本公开中期望描述的任何效果。附图说明[0017][图1]图1是示出根据本公开的实施例的图像处理系统的配置示例的说明图。[0018][图2]图2是示出由相机10生成的缩小图像32的示例的说明图。[0019][图3]图3是示出从原始图像30生成的多个裁剪图像50的示例的说明图。[0020][图4]图4是示出根据实施例的相机10的配置的功能框图。[0021][图5]图5是示出原始图像30和裁剪区域40之间的关系的说明图。[0022][图6]图6是示出根据实施例的监控终端22的配置的功能框图。[0023][图7]图7是用于描述实施例中要解决的问题的说明图。[0024][图8]图8是示出根据实施例的区域设定单元104的配置的功能框图。[0025][图9]图9是示出根据实施例决定裁剪区域40的示例的说明图。[0026][图10]图10是示出根据实施例生成人的裁剪图像50的示例的说明图。[0027][图11]图11是示出根据实施例决定裁定区域40的另一示例的说明图。[0028][图12]图12是示出根据实施例的操作的流程图。[0029][图13]图13是示出根据实施例的裁剪图像生成处理的操作的一部分的流程图。[0030][图14]图14是示出根据本示例的裁剪图像生成处理的操作的一部分的流程图。[0031][图15]图15是用于描述实施例的应用示例中要解决的问题的说明图。[0032][图16]图16是用于描述应用示例中要解决的问题的另一说明图。[0033][图17]图17是示出根据应用示例决定裁剪区域的示例的说明图。[0034][图18]图18是示出根据应用示例生成裁剪图像的示例的说明图。[0035][图19]图19是示出根据应用示例的裁剪图像生成处理的操作的一部分的流程图。具体实施方式[0036]在下文中，将参照附图详细描述本公开的优选实施例一个或多个）。在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。[0037]注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件有时在相同的附图标记之后使用不同的字母彼此区分开。例如，具有基本相同的功能和结构的结构元件根据需要被分为视频裁剪单元l〇6a和视频裁剪单元106b。然而，当不需要特别区分具有基本相同的功能和结构的结构元件时，仅附加相同的附图标记。例如，在不需要将视频裁剪单元106a和视频裁剪单元106b彼此区分的情况下，它们被简单地称为视频裁剪单元106。[0038]此外，在“具体实施方式”部分中，以下列顺序进行描述。[0039]1.图像处理系统的基本配置[0040]2•实施例的详细描述[0041]3.应用示例[0042]4.修改示例[0043]«1.图像处理系统的基本配置》[0044][0171]在上述实施例中，已经描述了相机10用作根据本公开的图像处理设备的示例。然而，本公开不限于此。例如，在监控终端22的控制单元22〇包括全部视频缩小单元1〇2、区域设定单元104以及多个视频裁剪单元1〇6而不是相机1〇的情况下，监控终端22可以用作根据本公开的图像处理设备。[0172]或者，在服务器能够经由通信网络24与相机10通信，并且服务器包括所有视频缩小单元102、区域设定单元104和多个视频裁剪单元106而不是相机10的情况下，单独提供的服务器未示出）可以用作根据本公开的图像处理设备。另外，服务器可以与储存器2〇集成。[0173][0174]此外，在上述实施例中主要描述了存在预先设定的检测模式的示例。然而，本公开不限于此。例如，相机10能够识别包括在拍摄的原始图像中的物体的类型，并且动态地设定与所识别的类型对应的检测模式。例如，在所拍摄的原始图像中包括的物体的类型仅为人的情况下，相机10能够通过计算检测到的物体区域的宽高比来识别物体是人，并且动态地设定与识别结果对应的检测模式诸如“人检测模式”）。[0175][0176]此外，根据上述实施例，还能够提供一种计算机程序，用于使诸如CPU、R0M和RAM的硬件执行与上述视频缩小单元102、区域设定单元104以及视频裁剪单元106等同的功能。此夕卜，能够提供其中存储有计算机程序的记录介质。[0177]另外，本技术也可以如下配置。[0178]1一种图像处理设备，包括：[0179]物体检测单元，被配置为检测第一图像中的物体;以及[0180]切出区域决定单元，被配置为以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化。[0181]2根据⑴所述的图像处理设备，[0182]其中，所述检测条件与检测目标物体的类型相关联。[0183]⑶根据⑵所述的图像处理设备，[0184]其中，所述检测目标物体的类型包括人和车辆。[0185]⑷根据⑶所述的图像处理设备，_[0186]其中，在所述检测目标物体是人的情况下，所述切出区域决定单元以在所述第一图像中检测到人的位置为基准决定位于相对向上方向上的区域作为所述切出区域。[0187]⑸根据⑶或⑷所述的图像处理设备，_[0188]其中，在所述检测目标物体是车辆的情况下，所述切出区域决定单元以在所述第一图像中检测到车辆的位置为基准决定位于相对向下方向上的区域作为所述切出区域。[0189]⑹根据⑶至⑸中任一项所述的图像处理设备，[0190]其中，所述切出区域决定单元决定所述切出区域，使得通过在根据所述物体的类型而变化的相对方向上移动在所述第一图像中检测到所述物体的位置而获得的位置被放置在所述切出区域的中心。[0191]⑺根据⑶至⑹中任一项所述的图像处理设备，其中[0192]预先决定切出区域的尺寸，[0193]图像处理设备还包括检测区域计算单元，被配置为计算检测到的物体的区域尺寸，以及[0194]在由检测区域计算单元计算出的区域尺寸大于切出区域的尺寸的情况下，切出区域决定单元以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测目标物体的类型而变化。[0195]⑻根据⑺所述的图像处理设备，其中[0196]第一图像是运动图像的帧图像，以及[0197]检测区域计算单元基于在第一图像之前的多个帧图像中计算的物体的区域尺寸来计算第一图像中的物体的区域尺寸。[0198]⑼根据⑴至⑻中任一项所述的图像处理设备，还包括[0199]切出图像生成单元，被配置为通过从所述第一图像切出由所述切出区域决定单元决定的切出区域来生成切出图像。[0200]10根据⑼所述的图像处理设备，[0201]其中，在由所述切出区域决定单元决定的切出区域的一部分偏离所述第一图像的情况下，所述切出图像生成单元生成所述切出图像，使得所述切出图像包括示出偏离所述第一图像的区域的显示。[0202]11根据⑼所述的图像处理设备，[0203]其中，在示出偏离第一图像的区域的显示中，偏离第一图像的区域被以预定颜色或预定图案填充。[0204]12根据10或（11所述的图像处理设备，[0205]其中，在示出偏离第一图像的区域的显示中，将预定字符串放置在偏离第一图像的区域中。[0206]13—种图像处理方法，包括：[0207]检测第一图像中的物体；以及[0208]以在第一图像中检测到物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化。[0209]14一种图像处理系统，包括：[0210]物体检测单元，被配置为检测第一图像中的物体；[0211]切出区域决定单元，被配置为以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化；[0212]切出图像生成单元，配置为通过从第一图像切出由所述切出区域决定单元决定的切出区域来生成切出图像;以及[0213]存储单元，被配置为存储所生成的切出图像。[0214]附图标记列表[0215]10相机[0216]20储存器[0217]22监控终端[0218]24通信网络[0219]100图像拍摄单元[0220]102视频缩小单元[0221]104区域设定单元[0222]106视频裁剪单元[0223]108通信单元[0224]120物体检测单元[0225]122检测区域计算单元[0226]124裁剪区域决定单位[0227]220控制单元[0228]222通信单元[0229]224显示单元[0230]226输入单元

权利要求：1.一种图像处理设备，包括：物体检测单元，被配置为检测第一图像中的物体;以及切出区域决定单元，被配置为以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化。2.根据权利要求1所述的图像处理设备，其中，所述检测条件与检测目标物体的类型相关联。3.根据权利要求2所述的图像处理设备，其中，所述检测目标物体的类型包括人和车辆。4.根据权利要求3所述的图像处理设备，其中，在所述检测目标物体是人的情况下，所述切出区域决定单元以在所述第一图像中检测到人的位置为基准决定位于相对向上方向上的区域作为所述切出区域。5.根据权利要求3所述的图像处理设备，其中，在所述检测目标物体是车辆的情况下，所述切出区域决定单元以在所述第一图像中检测到车辆的位置为基准决定位于相对向下方向上的区域作为所述切出区域。6.根据权利要求3所述的图像处理设备，其中，所述切出区域决定单元决定所述切出区域，使得通过在根据所述物体的类型而变化的相对方向上移动在所述第一图像中检测到所述物体的位置而获得的位置被放置在所述切出区域的中心。7.根据权利要求3所述的图像处理设备，其中预先决定切出区域的尺寸，图像处理设备还包括检测区域计算单元，被配置为计算检测到的物体的区域尺寸，以及在由检测区域计算单元计算出的区域尺寸大于切出区域的尺寸的情况下，切出区域决定单元以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测目标物体的类型而变化。8.根据权利要求7所述的图像处理设备，其中第一图像是运动图像的帧图像，以及检测区域计算单元基于在第一图像之前的多个帧图像中计算的物体的区域尺寸来计算第一图像中的物体的区域尺寸。9.根据权利要求1所述的图像处理设备，还包括切出图像生成单元，被配置为通过从所述第一图像切出由所述切出区域决定单元决定的切出区域来生成切出图像。10.根据权利要求9所述的图像处理设备，其中，在由所述切出区域决定单元决定的切出区域的一部分偏离所述第一图像的情况下，所述切出图像生成单元生成所述切出图像，使得所述切出图像包括示出偏离所述第一图像的区域的显示。11.根据权利要求1〇所述的图像处理设备，其中，在示出偏离第一图像的区域的显示中，偏离第一图像的区域被以预定颜色或预定图案填充。12.根据权利要求10所述的图像处理设备，其中，在示出偏离第一图像的区域的显示中，将预定字符串放置在偏离第一图像的区域中。13.—种图像处理方法，包括：检测第一图像中的物体；以及以在第一图像中检测到物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化。14.一种图像处理系统，包括：物体检测单元，被配置为检测第一图像中的物体；切出区域决定单元，被配置为以在所述第一图像中检测到所述物体的位置为基准决定位于相对方向上的区域作为切出区域，所述相对方向根据检测条件而变化；切出图像生成单元，配置为通过从第一图像切出由所述切出区域决定单元决定的切出区域来生成切出图像；以及存储单元，被配置为存储所生成的切出图像。

百度查询： 索尼公司 图像处理设备、图像处理方法以及图像处理系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD