申请/专利权人：佳能株式会社

申请日：2016-07-14

公开（公告）日：2020-03-24

公开（公告）号：CN106373154B

主分类号：G06T7/60(20170101)

分类号：G06T7/60(20170101);G06T7/80(20170101);H04N1/00(20060101)

优先权：["20150721 JP JP2015-144409"]

专利状态码：有效-授权

法律状态：2020.03.24#授权;2017.03.01#实质审查的生效;2017.02.01#公开

摘要：本发明提供图像处理装置及图像处理方法。所述图像处理装置包括：获取单元，其被构造为获取包括第一图像的多个图像；检测单元，其被构造为从由所述获取单元获取的所述多个图像中包括的所述第一图像中检测四边形区域；确定单元，其被构造为确定构成由所述检测单元检测到的四边形区域的各边缘的位置；以及反映单元，其被构造为在所述检测单元检测到由所述获取单元获取的除所述第一图像以外的、所述多个图像中的各图像中包括的四边形区域的情况下，将关于由所述确定单元针对所述第一图像确定的各边缘的位置的信息反映到除所述第一图像之外的多个图像。

主权项：1.一种图像处理装置，所述图像处理装置包括：获取单元，其被构造为获取包括第一图像的多个图像；检测单元，其被构造为从由所述获取单元获取的所述多个图像中的各个中检测多个候选线段作为包括在所述多个图像中的各个中的四边形区域的各边缘的候选；识别单元，其被构造为基于针对所述四边形区域的各边缘而检测的多个候选线段的各评估值，识别具有针对所述四边形区域的各边缘而选择的候选线段的四边形区域；显示控制单元，其被构造为执行控制以在画面上显示由所述识别单元针对所述第一图像识别的所述四边形区域；改变单元，其被构造为基于用户指定，将构成所述画面上显示的所述四边形区域的所述边缘，改变为作为检测到的多个候选线段之一的另一个候选线段；更新单元，其被构造为基于所述改变单元的改变结果，更新被检测为在除所述第一图像以外的多个获取的图像中包括的四边形区域的各边缘的候选的多个候选线段的评估值，其中，利用所述更新单元更新的候选线段的评估值来选择构成四边形区域的边缘。

全文数据：图像处理装置及图像处理方法技术领域[0001]本公开普遍涉及图像处理，尤其涉及能够提取图像中包括的原稿区域并且能够校正提取出的区域的畸变distort1n的图像处理装置及图像处理方法。本公开还涉及相关的图像处理方法。背景技术[0002]具有高度先进的图像处理功能的、诸如近年来的智能手机和平板个人计算机PC等的便携式终端变得普及。这种便携式终端配备有具有图像捕获功能即，照相机功能的照相机。这种便携式终端的照相机功能可用来捕获例如纸张原稿的图像。能够将捕获的原稿图像即图像数据存储在便携式终端的存储器中。此外，将捕获的图像数据发送至打印机并使打印机进行打印操作是可行的。换句话说，便携式终端能够与打印机组合或与打印机相关联，以复印对象物体。即使在用户不具有多功能外围设备MFPS卩，具有扫描器功能和打印机功能二者的图像处理装置的情形下，当如上所述可利用便携式终端和打印机二者时，复印原稿也是可行的。[0003]在利用使用上述照相机功能的便携式终端进行的原稿图像捕获操作中，与通过MFP扫描原稿的情况相比，通常难以捕获整个原稿的正面图像而不引起捕获的整个图像的任何畸变。因此，需要准备基座或三脚架来固定便携式终端和原稿即摄影对象。否则，难以精确地维持照相机与原稿之间的距离或角度。此外，直接复印由此捕获的图像或存储由此捕获的图像的数据文件是不期望的，这是因为摄影的图像可能包括除原稿图像以外的噪声分量，或者例如当在倾斜方向上捕获了图像时，原稿图像可能几何变形。在这种情况下，需要在进行复印操作或存储数据文件之前从捕获的图像中仅提取原稿图像区域即原稿区域，并且需要通过对提取出的原稿区域施加畸变校正可以被称为“梯形校正”来移除几何畸变。[0004]作为从捕获的图像中提取原稿区域的方法，存在如下传统方法:参照从捕获的图像中获得的边缘信息，自动检测原稿区域的四个边缘即，分别构成原稿的端部的边缘，使得能够减小用户的负担。然而，在由于原稿区域与原稿周围的背景区域之间的对比度低而无法检测到原稿区域的预期边缘的情况下，或者在检测到除原稿区域的四个边缘以外的许多边缘、并且无法合适地确定预期边缘的情况下，构成原稿区域的边缘的自动检测可能失败。[0005]在这种情况下，该方法包括:识别由从被检测为原稿区域的边缘的线段集合中被确定为可能是原稿区域的边缘的线段构成的四边形；以及将识别出的四边形叠加在输入图像上。该方法包括接受校正四个边缘的位置的用户操作，这是因为需要指定精确的原稿区域。[0006]此外，作为使得用户能够指定四边形区域的方法，传统上已知设置四边形的顶点以及位于各边缘的中点处的校正手柄，并接受由用户进行的鼠标或触摸操作。根据上述方法，用户能够通过操作相应的手柄将顶点或边缘移动到任意位置。[0007]此外，存在如下传统方法:使得用户能够从已经事先获取的候选中选择期望的顶点或边缘的位置，以替代直接指定顶点位置或边缘位置。如日本特开2007-52670号公报所讨论的，传统上已知获得多个轮廓候选，并使得用户能够从连续呈现的轮廓候选中选择并指定期望的轮廓候选。[0008]然而，根据上述技术，当用户输入多个图像并对各图像中包括的原稿图像进行校正操作时，用户需要进行如下操作:校正各图像中包括的原稿图像的四个边缘的位置。[0009]因此，用户需要进行如下处理:针对多个图像中包括的各原稿图像，指定精确的区域。校正操作需要大量的工作并且变得复杂。发明内容[0010]根据本公开的一方面，一种图像处理装置包括:获取单元，其被构造为获取包括第一图像的多个图像;检测单元，其被构造为从由所述获取单元获取的所述多个图像中包括的所述第一图像中检测四边形区域;确定单元，其被构造为确定构成由所述检测单元检测到的四边形区域的各边缘的位置；以及反映单元，其被构造为在所述检测单元检测到由所述获取单元获取的除所述第一图像以外的、所述多个图像中的各图像中包括的四边形区域的情况下，将关于由所述确定单元针对所述第一图像确定的各边缘的位置的信息反映到除所述第一图像之外的多个图像。[0011]因此，通过校正构成在多个输入图像中的一个输入图像中包括的原稿图像S卩，四边形图像的四个边缘的位置，对在多个输入图像而不是多个输入图像中的一个输入图像中包括的原稿图像的检测结果进行校正，是可行的。因此，减少需要对构成在多个输入图像中的各个输入图像而不是多个输入图像中的一个输入图像中包括的原稿图像的四个边缘进行的校正操作，是可行的。因此能够简化用户操作。[0012]通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。附图说明[0013]图1A和图1B是例示根据第一示例性实施例的便携式终端的示意图。[0014]图2是例示根据第一示例性实施例的便携式终端的示意性构造的框图。[0015]图3是例示根据第一示例性实施例的处理过程的流程图。[0016]图4A、图4B和图4C是例示根据第一示例性实施例的原稿区域识别处理的图。[0017]图5是例示根据第一示例性实施例的区域指定处理过程的流程图。[0018]图6是例示根据第一示例性实施例的基于边缘选择的区域指定处理过程的流程图。[0019]图7A、图7B、图7C和图7D是概念性例示根据第一示例性实施例的基于边缘选择的区域指定处理的图。[0020]图8A和图8B是例示根据第一示例性实施例的畸变校正处理的图。[0021]图9A和图9B是例示根据第一示例性实施例的各自存储候选线段组的候选线段组管理表的图。[0022]图10是例示根据第一示例性实施例的候选边缘组更新处理过程的流程图。[0023]图11是例示根据第二示例性实施例的处理过程的流程图。[0024]图12是例示根据第二示例性实施例的区域指定处理过程的流程图。[0025]图13是例示根据第三示例性实施例的区域指定处理过程的流程图。[0026]图14是例示根据第四示例性实施例的区域指定处理过程的流程图。具体实施方式[0027]在下文中，将参照附图详细描述本公开的示例性实施例。[0028]〈便携式终端的构造〉[0029]图1A和图1B例示了根据第一示例性实施例的便携式终端S卩，图像处理装置101的外观。图1A例示了从其正面看到的便携式终端101的外观。触摸屏显示设备102和操作按钮103配设在便携式终端101的正面。图1B例示了从其背面看到的便携式终端101的外观。照相机104配设在便携式终端101的背面。此外，照相机104包括能够测量焦距或被摄体距离的自动聚焦机构未例示。[0030]本公开适用于具有上述照相机功能的各种图像处理装置。例如，图像处理装置为分别具有照相机功能的智能手机或便携式电话、平板终端或个人计算机PC。此外，图像处理装置可以是配备有触摸屏显示设备的数字照相机。此外，图像处理装置可以是经由有线网络或无线网络与照相机连接的个人计算机。此外，当便携式终端或PC可访问存储由照相机等捕获的图像数据的存储设备例如，存储卡时，便携式终端或PC能够从存储设备读取图像数据，并进行根据本示例性实施例的处理。[0031]图2例示了便携式终端101的内部构造。图2中例示的构造为根据本示例性实施例的示例。本公开不限于所例示的构造。[0032] 在图2中，中央处理单元CPU201、随机存取存储器RAM202和只读存储器ROM203能够经由数据总线211发送和接收程序与数据。存储单元204、数据发送接收单元205、摄像单元206、显示单元207、操作单元208、图像处理单元209以及运动传感器210连接到数据总线211。上述功能单元与CPU201,RAM202和ROM203相关联，以发送和接收程序与数据。如这里使用的，属于“单元”一般指软件、固件、硬件或用于实现目的其他组件诸如电路的任何组合。[0033]存储单元204是能够存储图像数据和各种程序的闪速存储器。数据发送接收单元205包括能够与外部设备进行数据的发送和接收的无线局域网LAN控制器。[0034]摄像单元206是捕获原稿的图像并获取图像数据的照相机。摄像单元206针对获取的图像数据提供便携式终端的制造商名称和头信息例如，型号名称、图像分辨率、光圈值F值以及焦距，然后摄像单元206将图像数据发送至后述各单元。[0035]显示单元207是显示各种信息包括要在摄像单元206的摄像操作期间进行的实时显示以及根据本示例性实施例的处理结束通知显示的显示设备。操作单元208是接受用户操作并向各单元发送操作信息的触摸屏或操作按钮。[0036]图像处理单元209进行用于从捕获的图像中提取原稿图像例如，四边形区域的原稿提取处理。运动传感器210包括三轴加速度传感器、电子罗盘以及三轴角速度传感器。运动传感器210通过使用传统上已知的技术，来检测便携式终端101的姿势或移动。[0037] 在本示例性实施例中，可能包括一个或多个处理器以及一个或多个存储器的CPU201从ROM203或存储单元204中读取计算机程序，并执行该计算机程序以控制便携式终端101的构成部件。[0038]〈根据本示例性实施例的处理的详细描述〉[0039]图3是例示由根据本示例性实施例的便携式终端101进行的畸变校正处理可以被称为“梯形校正处理”的流程图。便携式终端101使用户在ROM203中存储的输入图像、或由摄像单元206获取的输入图像中指定要经过畸变校正处理的基准四边形区域。便携式终端101以校正后的四边形区域变成矩形的方式，进行用于校正指示的四边形区域的畸变校正处理。在本示例性实施例中，便携式终端101的CPU201即，计算机在功能上作为处理单元进行操作，该处理单元通过执行从ROM203加载到RAM202中的相关处理程序，来进行图3的各步骤中的处理。[0040] 在步骤S301中，CPU201获取由用户选择或摄影的输入图像。在CPU201从存储的图像中获取输入图像的情况下，CPU201经由数据总线211，从存储在存储器例如，ROM203或存储卡中的图像中选择由操作单元208指示的图像。另一方面，在CPU201通过图像捕获来获取输入图像的情况下，CPU201经由数据总线211获取由摄像单元206捕获的输入图像。[0041]在步骤S306中，CPU201使显示单元207显示使得用户能够指示选择添加图像或摄影添加图像的内容。[0042] CPU201获取关于经由操作单元208对由显示单元207显示的内容进行的操作的信息。在本示例性实施例中，关于经由操作单元208进行的操作的信息，是指示添加处理对象图像、从存储器中选择图像、使摄像单元捕获图像、或不添加图像的信息。[0043]在用户选择输入图像作为要添加的图像的情况下，如步骤S301的处理中所描述，CPU201经由数据总线211从存储在ROM203或存储卡中的图像中，选择由操作单元208指示的图像。此外，在用户摄影输入图像作为要添加的图像的情况下，如步骤S301的处理中所描述，CPU201经由数据总线211获取由摄像单元206获取的图像。[0044]在步骤S302中，CPU 201从在步骤S301中获取的输入图像中检测候选线段组SP，候选边缘组，作为原稿区域的各边缘的候选。然后，CPU201进行原稿区域识别处理以识别四边形区域，该四边形区域表示由从检测到的候选线段组即，多个线段中选择的高可能性的边缘构成的原稿区域的四个边缘。下面将参照图4A、图4B和图4C详细描述原稿区域识别处理。如果在步骤S306中存在添加的图像，则CPU201对各添加的图像进行在步骤S302中描述的原稿区域识别处理。[0045] 在步骤S307中，CPU201确定针对在步骤S301中获取的所有输入图像，是否完成了步骤S302中的处理S卩，原稿区域识别处理。[0046] 在步骤S303中，CPU201进行区域指定处理，该处理包括:将在步骤S302中检测到的四边形区域叠加在输入图像上，以及响应于对显示的四边形区域输入的用户指令，来改变或校正四边形区域的形状。[0047]在本示例性实施例中，最初校正的输入图像被称为基准图像或第一图像。基准图像不限于最初输入的图像。最初经过校正处理的图像被称为基准图像。[0048]下面将参照图5详细描述区域指定处理。[0049] 在步骤S304中，CPU201进行畸变校正处理，该处理包括:参照在步骤S303中指定的四边形区域，从输入图像中提取四边形区域图像，以及以将提取出的四边形区域图像转换为矩形图像的方式校正畸变。下面将详细描述畸变校正处理。[0050]在步骤S308中，CPU201确定针对在步骤S301中获取的所有输入图像，是否完成了步骤S304中的畸变校正处理。[0051]在步骤S305中，CPU201使显示单元207显示经过步骤S304中的畸变校正处理的原稿图像的预览图像。如果存在各自经过了步骤S304中的畸变校正处理的多个原稿图像，则CPU201使显示单元207显示所有原稿图像的预览图像。在这种情况下，显示预览图像的方式不限于特定方法。例如，CPU201使显示单元207将多个缩小的预览图像同时显示在显示单元207上。作为另一方法，CPU201使显示单元207针对各原稿图像独立地显示预览图像。[0052]尽管便携式终端101进行了上述处理包括图像获取至梯形校正，但是MFP能够进行类似的处理。更具体地说，MFP能够扫描图像并将扫描的图像显示在MFP的用户界面UI上，并且MFP能够进行梯形校正处理。[0053]〈原稿区域识别处理要在步骤S302中进行的详细描述〉[0054] 通过图像处理单元209进行原稿区域识别处理S卩，要在步骤S302中进行的处理。当完成输入图像的获取时，图像处理单元209识别包括原稿区域的四个边缘的候选的候选线段组、以及指示原稿区域的四个边缘的四边形区域。图4A例示了输入图像400，输入图像400包括指示原稿图像的四边形区域的原稿区域401。[0055]图4B例示了包括叠加在输入图像400上的候选线段组的图像。通过使用传统上已知的从输入图像400中检测边缘信息的方法例如，Hough变换算法，能够获得候选线段组。检测到的候选线段组包括除构成原稿区域的四个边缘以外的多余候选线段例如，包括线段402。图像处理单元209识别高可能性的候选线段403、404、405和406，这些候选线段可能构成原稿区域的上边缘、右边缘、下边缘和左边缘。作为用于从候选线段组中识别候选线段403、404、405和406作为第一候选的示例性方法，图像处理单元209评估由四个任意候选线段构成的各四边形。更具体地说，图像处理单元209能够基于几何信息例如，相对边缘的长度比、内角和长宽比，来评估由四个任意候选线段构成的各四边形。此外，图像处理单元209能够参照图像信息例如，内部与外部之间的色彩或色散dispers1n的差异，来识别构成四边形的线段。[0056]图4C例示了包括四边形区域407的图像，四边形区域407是从候选线段组中识别并叠加在显示的输入图像400上的原稿区域。四边形区域407是当候选线段403、404、405和406被识别为四个边缘时能够被构成的四边形区域、或者由连接顶点408、409、410和411的线段围绕的四边形区域。[0057]图9A例示了存储关于候选线段组的信息的候选线段组管理表的示例。根据所例示的示例，将第一位至第六位线段组存储在表中，作为表示构成四边形区域的高可能性边缘的信息。候选线段组管理表存储关于上边缘的左端XI，Y1和右端X2，Y2的坐标信息、关于右边缘的上端0131和下端02，¥2的坐标信息、关于下边缘的左端01，¥1和右端Χ2，Υ2的坐标信息以及关于左边缘的上端XI，Yl和下端Χ2，Υ2的坐标信息，这些坐标信息共同构成了四边形区域的各边缘。[0058]〈区域指定处理要在步骤S303中进行的详细描述〉[0059]在要在步骤S303中进行的区域指定处理中，基于用户指定来修改或校正要经过畸变校正处理的基准四边形区域。下面将参照图5中例示的流程图来详细描述区域指定处理。[0060]在本示例性实施例中，便携式终端101的CPU201即，计算机在功能上可作为处理单元进行操作，该处理单元通过执行从ROM203加载到RAM202中的相关处理程序，来进行图5的各步骤中的处理。[0061]在步骤S501中，CPU201将通过在步骤S302中进行的原稿区域识别处理识别出的四边形区域、与边缘手柄一起，叠加在由显示单元207显示的输入图像上，各边缘手柄接受用户操作。下面将参照图7A至图7D来详细描述手柄的显示样式。[0062]在步骤S502中，CPU 201经由操作单元208接受来自用户的边缘选择指令或区域确定指令。当用户选择由显示单元207显示的边缘手柄时，认为已经指示选择四边形的一个边缘或者已经指示边缘选择。[0063] 在步骤S503中，CPU201确定在步骤S502中是否已经指示了边缘选择。即，CPU201确定是否已经基于用户指令选择了四边形的一个边缘。[0064] 在步骤S504中，CPU201进行基于边缘选择的区域指定处理。下面将参照图6和图7A至图7D来详细描述基于边缘选择的区域指定处理。[0065] 在步骤S505中，CPU201确定在步骤S502中是否已经指示区域确定。如果已经指示区域确定步骤S505中的是JljCPU201保持该时间点的四边形区域。然后，操作进行到步骤S506。如果尚未指示区域确定步骤S505中的否，则操作返回到步骤S502，以再次接受用户指令。[0066] 在步骤S506中，CPU201确定是否已经通过步骤S502、S503和S504中的处理进行了边缘选择和区域改变。如果CPU201确定进行了区域改变步骤S506中的是，则操作进行到步骤S507ο如果确定尚未进行区域改变步骤S506中的否，则CPU201保持该时间点的四边形区域，并终止图5中例示的流程图的处理。[0067]在步骤S507中，CPU 201参照关于在步骤S505中确定的区域的信息，针对其他输入图像进行候选边缘组更新处理，以更新候选边缘组的各评估值。下面将参照图10来详细描述候选边缘组更新处理。[0068]通过图5中例示的处理流程，如果改变了构成从多个图像中的一个图像S卩，基准图像中检测到的四边形区域即，原稿区域的各边缘的位置并且校正了四边形区域的形状，则更新要在检测其他图像中包括的四边形图像时使用的候选边缘组的评估值，是可行的。[0069]〈候选边缘组更新处理要在步骤S507中进行的详细描述〉[0070] 在要在步骤S507中进行的候选边缘组更新处理中，如果响应于在边缘选择中的用户指令而校正四边形区域的形状，则针对除校正后的基准图像以外的图像，再评估候选边缘组的评估值并更新候选边缘组的评估值。[0071]下面将参照图10中例示的流程图来详细描述候选边缘组更新处理。[0072]在本示例性实施例中，便携式终端101的CPU 201即，计算机在功能上可作为处理单元进行操作，该处理单元通过执行从ROM203加载到RAM202中的相关处理程序，来进行图10的各步骤中的处理。[0073] 在步骤S1001中，CPU201获取在步骤S504中校正的四边形区域的边缘数据。例如，在图9A中例示的候选线段组管理表中，由CPU201获取的数据包括:作为从候选边缘组中选择的第二位边缘数据的上边缘数据、作为从候选边缘组中选择的第三位边缘数据的右边缘数据、连同未校正的左边缘数据和下边缘数据。[0074] 在步骤S1002中，CPU201确定在步骤S1001中获取的边缘数据是否表示存在于候选边缘组中的边缘。CPU201针对四个边缘中的各个进行步骤S1002的确定处理。[0075]如果确定所选择的边缘存在于候选边缘组中步骤S1002中的是，则在步骤S1003中，CPU201以评估值排在候选边缘组中的第一位的方式来改变所选择的边缘的评估值。[0076]上述评估值可以是基于在步骤S302的处理中描述的几何信息例如，相对边缘的长度比、内角和长宽比评估的值，或者可以是根据关于构成四边形的线段的内部与外部之间的色彩或色散的比较而获得的值。CPU201通过以所选择的边缘的评估值变得高于其他边缘的评估值的方式进行加权等，来改变并确定评估值。[0077] 在步骤S1004中，CPU201通过参照在步骤S1003中确定的评估值、对候选边缘组进行再评估处理，来获取再评估值。[0078] 在步骤S1005中，CPU201基于在步骤S1004中获取的再评估值进行候选边缘组更新处理。候选边缘组更新处理包括改变各候选线段在图9A中例示的候选线段组管理表中的排位。[0079] 在步骤S1006中，CPU201确定针对除经过了边缘校正处理的基准图像以外的所有输入图像，是否完成了候选边缘组的更新。如果确定针对除经过了边缘校正处理的图像以外的所有输入图像，完成了候选边缘组的更新步骤S1006中的是JljCPU201终止图10中例示的流程图的处理。[0080]图9B例示了当在步骤S1005中更新了图9A中例示的候选线段管理组时获得的候选线段组管理表。除各组的排位以外，图9B中例示的候选线段组的内容与图9A中例示的内容类似。图9B的第一位是图9A的第三位的更新结果。图9B的第二位与图9A的第二位没有区别。此外，图9B的第三位是图9A的第一位的更新结果。图9B的第四位是图9A的第六位的更新结果。图9B的第五位与图9A的第五位没有区别。图9B的第六位是图9A的第四位的更新结果。[0081]通过图10中例示的处理流程，如果基准图像中包括的四边形区域S卩，原稿图像的形状被校正，则针对除基准图像以外的图像中包括的四边形区域来再评估候选边缘组的评估值，并更新候选边缘组的评估值，是可行的。[0082]因此，当从除基准图像以外的图像中检测到原稿图像时，反映对一个图像中包括的原稿图像施加的校正的结果，是可行的。[0083]〈基于边缘选择的区域指定处理要在步骤S504中进行的详细描述〉[0084]在要在步骤S504中进行的基于边缘选择的区域指定处理中，响应于当选择边缘时的用户指令，来进行四边形区域的变形。[0085]图7A至图7D概念性例示了基于边缘选择的区域指定处理。图7A例示了四边形区域701、各自用于边缘选择的边缘手柄702、703、704和705以及各自用于顶点选择的顶点手柄706、707、708和709。[0086] 在本示例性实施例中，边缘手柄702、703、704和705是布置在各边缘的中点的圆形手柄。各边缘手柄的形状和位置不限于所例示的示例。例如，边缘本身能够被构造为可选择作为手柄。[0087]图6是例示基于边缘选择的区域指定处理的流程图。[0088]下面将参照图6中例示的流程图以及图7A至图7D的图，来详细描述基于利用手柄的边缘选择的区域指定处理。[0089]在本示例性实施例中，便携式终端101的CPU 201即，计算机在功能上作为处理单元进行操作，该处理单元可以通过执行从ROM203加载到RAM202中的相关处理程序，来进行图6的各步骤中的处理。[0090] 在步骤S601中，如果用户在显示画面上触摸选择边缘手柄或边缘本身JljCPU201改变当前选择的边缘及相应手柄的显示样式例如，颜色，使得所选择的边缘及相应手柄能够与其他边缘及其手柄相区分。因此，用户能够坚定地确认当前选择的边缘。图7B例示了如下状态:选择了边缘710的边缘手柄711，并且改变了边缘710和边缘手柄711的颜色。[0091] 在步骤S602中，CPU201显示与当前选择的边缘相对应的候选边缘组。通过从在原稿区域识别处理中检测到的候选线段组中，仅提取能够籍以替换当前选择的边缘的候选线段，能够获得与当前选择的边缘相对应的候选边缘组。因此，用户能够容易地确认在候选边缘组中是否包括能够籍以替换当前选择的边缘的期望的线段。此外，仅在选择边缘的情况下显示与所选择的边缘相对应的候选边缘组，对于维持在未选择边缘的状态下的显示画面的可见性，是有用的。在用于从多个候选线段组中仅提取与当前选择的边缘相对应的候选边缘组的方法中，能够参照关于当前选择的边缘的几何信息例如，长度、角度和位置。图7B例示了当选择了边缘710时显示的线段712、713和714的候选边缘组。使显示的线段712、713和714的候选边缘组在颜色或显示样式例如，虚线上相区分，从而使得候选边缘组能够与四边形区域701和当前选择的边缘710相区别。[0092]在步骤S603中，CPU 201接受来自用户的边缘移动指令或边缘选择取消。在这种情况下，用户通过改变边缘手柄的位置来发出边缘移动指令。例如，当用户在显示画面上滑动手指、同时利用手指连续触摸边缘的位置时，CPU201确定改变了边缘手柄的位置，并且提供了边缘移动指令。此外，用户通过取消边缘手柄的选择来发出边缘选择取消。例如，如果用户从显示画面上释放触摸边缘的位置的手指，则CPU201确定取消了选择。[0093] 在步骤S604中，CPU201确定在步骤S603中接受到的用户指令是否是边缘移动指令。如果确定接受到的指令是边缘移动指令步骤S604中的是，则操作进行到步骤S605。然后，在步骤S605中，CPU201将关于尚未经过变形的四边形区域的信息，临时存储在存储器中。[0094] 接下来，在步骤S606中，CPU201确定是否将当前选择的边缘移动到位于与当前正在移动的边缘手柄的当前位置最近的候选线段的位置。即，CPU201确定是否改变当前选择的边缘的位置。[0095]在图7B中，确定对象是位于与边缘手柄711最近的线段712XPU201参照几何信息例如，当前选择的边缘手柄的移动位置移动指示位置与确定对象候选线段之间的距离、或者当前选择的边缘与确定对象候选线段之间的长度差或角度差，来确定是否利用最近的候选线段来替换当前选择的边缘。例如，在接收到移动指令的状态下，如果确定手柄位置与确定对象线段之间的距离等于或小于预定阈值，则CPU201确定接收到将当前选择的边缘移动到确定对象线段的位置即，利用确定对象线段替换当前选择的边缘的指令。[0096]如果确定不应当利用候选线段替换当前选择的边缘步骤S606中的否，则在步骤S607中，CPU201使当前选择的边缘向由用户在步骤S603中指示的位置平行移动。[0097]图7C例示了所选择的边缘从线段727向线段715的平行移动。更具体地说，CPU 201在保持边缘727的梯度的同时，使各自与当前选择的边缘727相邻的两个边缘716和717随着边缘手柄的移动而移动。通过当前选择的边缘727的上述平行移动可获得的变形的四边形区域具有新的顶点，其中的一个顶点是从边缘716延伸的直线与移动后的边缘之间的交叉点718，另一个顶点是从边缘717延伸的直线与移动后的边缘之间的交叉点719。[0098]如果确定应当利用候选线段替换当前选择的边缘步骤S606中的是，则在步骤S608中，CPU201以当前选择的边缘的位置与确定对象候选线段的位置相一致的方式，来移动并显示当前选择的边缘。在这种情况下，需要用户进行简单的操作以将当前选择的边缘向显示的候选线段移动，从而在当前选择的边缘与候选线段之间的距离等于或小于预定阈值的情况下，能够将当前选择的边缘放置在位于接近的候选线段上。因此，如果候选边缘组包括表示原稿区域的相应边缘的线段，则能够容易地指定原稿区域的精确边缘。[0099]图7D例示了用边缘721替换边缘720。更具体地说，当用户使边缘720向候选边缘722移动时，在边缘720与候选边缘722之间的距离等于或小于预定阈值时，在位置和梯度两方面通过候选边缘722来替换边缘720。新获得的边缘721具有如下上端和下端，在该上端和下端处，线段722与同所选择的边缘720相邻的两个边缘723和724交叉。[0100] 在步骤S609中，CPU201参照顶点之间的距离、各顶点的位置以及变形的四边形区域的内角，来确定在步骤S607或步骤S608中获得的四边形区域是否不精确。例如，在上述确定中，CPU201参照通过设置捕获的图像中包括的原稿区域的最小尺寸而确定的、顶点之间的距离。此外，参照各顶点手柄的显示尺寸来确定顶点之间的距离是否适于确保可操作性和可见性，是有用的。此外，参照顶点位置来确定是否所有的顶点存在于图像显示区域中，是有用的。此外，参照内角来确定在倾斜方向上对原稿进行摄影时是否能够获得四边形，是有用的。[0101] 在步骤S610中，CPU201基于步骤S609中的确定结果来进行确定。如果确定所获得的四边形区域不精确步骤S609中的否JljCPU201不通过在步骤3607或步骤3608中获得的四边形区域，来替换当前的四边形区域。换句话说，CPU201不接受来自用户的变形指令。[0102]另一方面，如果CPU 201确定所获得的四边形区域精确步骤S610中的是，则操作进行到步骤S611。然后，在步骤S611中，CPU201通过在步骤3607或步骤3608中获得的四边形区域，来替换当前的四边形区域。即，CPU201接受来自用户的变形指令。[0103] 在步骤S612中，S卩，如果用户在步骤S603中指示了边缘选择取消并且接受到的指令不是边缘移动指令步骤S604中的否JljCPU201确定四边形区域的形状。四边形区域形状确定例如是:参照四边形区域的内角确定四边形区域是否具有凸形，或者确定相对边缘是否交叉。[0104]在步骤S613中，CPU 201将当前选择的边缘和相应的手柄的显示样式颜色返回到之前的样式。因此，用户能够确认取消了边缘的选择。[0105] 在步骤S614中，CPU201取消候选线段的显示。因此，当用户取消了边缘的选择时，只有四边形区域和手柄作为显示画面的输入图像上的叠加项而保留，如图7A中所例示。因此，用户能够确认充分维持可见性的四边形区域。[0106]〈畸变校正处理要在步骤S304中进行的详细描述〉[0107] 通过图像处理单元209进行要在步骤S304中进行的畸变校正处理。图像处理单元209参照通过原稿区域识别处理和区域指定处理而从包括原稿图像的输入图像中获得的四边形区域，来进行畸变校正处理。图8A例示了叠加在输入图像上的四边形区域。四边形区域801被认为是已经通过区域指定处理获得的四边形区域。图像处理单元209基于捕获的图像中包括的原稿区域的尺寸，来计算变倍参数scalingparameter。在这种情况下计算出的变倍参数是适于输出图像尺寸即，当捕获的图像中包括的四边形区域被作为文件数据输出时应用的图像尺寸的变倍参数。例如，以输出具有A4或信纸尺寸的图像的方式进行变倍，是有用的。可以事先设置变倍参数，或者可以由用户稍后选择变倍参数。[0108]假设四边形区域的形状通常为梯形，采用投影变换矩阵作为上述变倍参数。可以参照定义输入图像中包括的四边形区域的顶点信息顶点802、803、804和805以及关于定义输出图像的四个角806、807、808和809的坐标信息，使用传统上已知的方法，来计算投影变换矩阵。在处理速度优先的情况下，可以采用仿射变换矩阵或单纯的变倍率作为变倍参数。如果一旦确定了变倍参数，则图像处理单元209能够通过仅对输入图像的四边形区域施加变倍处理，来从输入图像中提取四边形区域。提取出的图像可以被输出至触摸屏显示设备102。图SB例示了通过畸变校正处理获得的输出图像。[0109]如上所述，根据本示例性实施例，在输入多个图像的情况下，通过校正构成包括在基准图像即，一个输入图像中的四边形区域即，原稿图像的四个边缘的位置并校正四边形区域的形状，来校正除基准图像以外的图像中包括的四边形区域的检测结果，是可行的。因此，可以减小用于校正包括在其他输入图像中的各原稿图像的四个边缘的处理负荷。结果，能够简化用户操作。[0110]此外，仅在用户在区域指定处理中选择边缘时显示边缘的候选边缘组是有用的，这是因为用户容易确认所获得的候选是否为期望的。因此，能够简化处理期间的画面显示。[0111]此外，基于用来选择边缘而进行操作的手柄的位置来从候选边缘组中选择边缘，是可行的。因此，与手动指定顶点位置的情况相比，指定四边形区域是简单有效的。[0112]在第一示例性实施例中，在用户添加图像数据进行连续摄影操作或输入多个图像之后，图像处理装置进行原稿区域识别处理、区域指定处理和畸变校正处理。[0113]在第二示例性实施例中，在用户输入了处理对象基准图像时、图像处理装置对该基准图像中包括的原稿图像即，四边形区域完成了原稿区域识别处理、区域指定处理和畸变校正处理之后，用户附加地输入图像或附加地进行摄影操作。此外，图像处理装置能够针对稍后添加的图像中包括的原稿的四个边缘，改变候选线段组的评估结果，并且能够更新各边缘候选的排位。[0114]因此，将对基准图像S卩，已由用户作为处理对象而输入的图像施加的校正处理的内容，反映到其他图像中包括的原稿图像，是可行的，在对构成基准图像中包括的原稿图像四边形区域的四边形区域的各边缘的位置施加了校正之后，输入了所述其他图像。[0115]在第二示例性实施例中，仅详细描述与第一示例性实施例中描述的特征不同的特征。[0116]图11是例示由根据本示例性实施例的便携式终端101进行的畸变校正处理可以被称为“梯形校正处理”的流程图。图11中例示的流程图包括与参照图3描述的处理类似的处理。因此，将避免其冗余描述。[0117]在本示例性实施例中，便携式终端101的CPU 2018卩，计算机在功能上作为处理单元进行操作，该处理单元可以通过执行从ROM203加载到RAM202中的相关处理程序，来进行图11的各步骤中的处理。[0118]在步骤S1102中，CPU 201确定是否存在要添加的任何图像。如果确定存在图像添加指令步骤S1102中的是，则操作进行到步骤S301。如果确定不存在要添加的任何图像步骤S1102中的否，则CPU201终止图11中例示的流程图的处理。[0119]〈区域指定处理要在步骤SllOl中进行的详细描述〉[0120]图12是例示根据本示例性实施例的候选线段组更新处理的流程图。图12中例示的流程图包括与参照图5描述的处理类似的处理。因此，将避免其冗余描述。[0121]在本示例性实施例中，便携式终端101的CPU 2018卩，计算机在功能上作为处理单元进行操作，该处理单元可以通过执行从ROM203加载到RAM202中的相关处理程序，来进行图12的各步骤中的处理。[0122] 在步骤S1201中，CPU201进行如下处理:将校正结果反映到要添加的下一个输入图像的候选线段组的评估中。通过该反映处理能够更新各候选边缘组在输入图像中的排位。[0123]因此，根据用户指令校正构成四边形区域的各边缘的位置并将处理结果反映到下一个输入图像，是可行的。[0124]因此，将对输入的基准图像施加的校正处理的内容，反映到其他图像中包括的原稿图像，是可行的，在对构成基准图像中包括的原稿图像的四边形区域的各边缘的位置施加了校正之后，输入了所述其他图像。[0125]因此，将对基准图像中包括的原稿图像施加的校正处理的内容，反映到在完成了用于校正基准图像中包括的原稿图像的处理之后添加的图像，是可行的。[0126]在第三示例性实施例中，图像处理装置从用户获取关于经过了校正的四边形区域的边缘的信息，并且使得能够仅针对校正后的边缘，更新包括在其他图像中的原稿图像的候选线段组的评估。因此，能够精确地识别由用户校正的四边形区域。能够减小评估要校正的候选线段组的处理负荷。能够快速完成处理。[0127]〈区域指定处理要在步骤SllOl中进行的详细描述〉[0128]图13是例示根据第三示例性实施例的候选边缘组更新处理的流程图。[0129]在本示例性实施例中，便携式终端101的CPU 201即，计算机在功能上作为处理单元进行操作，该处理单元可以通过执行从ROM203加载到RAM202中的相关处理程序，来进行图13的各步骤中的处理。[0130]图13中例示的流程图包括与参照图10描述的处理类似的处理。因此，将避免其冗余描述。[0131]如果确定在候选边缘组中存在所选择的边缘步骤S1002中的是，则在步骤S1303中，CPU201获取所选择的边缘的位置以及第一位候选边缘组的评估值。在本示例性实施例中，所选择的边缘的位置指示四个边缘中的一个即，上边缘、右边缘、下边缘或左边缘。此夕卜，如步骤S302中所描述，可以参照几何信息例如，相对边缘的长度比、内角和长宽比来获取评估值。此外，在识别构成四边形的线段时，可以参照图像信息例如，内部与外部之间的色彩或色散的差异。[0132] 在步骤S1304中，CPU201进行如下处理:参照与在步骤S1303中获取的边缘位置相对应的边缘的评估值，来再评估相应边缘位置的候选边缘组。[0133] 在步骤S1305中，CPU201仅对与基于在步骤S1304中计算出的评估值校正的边缘位置相对应的候选边缘组，进行更新处理。[0134]因此，能够精确地识别原稿的四个边缘的、由用户校正的四边形区域。能够减小针对其他图像中包括的原稿图像来评估要校正的候选线段组的处理负荷。因此，能够快速完成针对其他图像中包括的原稿图像的原稿区域识别处理和区域指定处理。[0135]在第四示例性实施例中，当图像处理装置针对构成由用户校正的四边形区域的边缘的位置，来更新其他图像的候选线段组的评估时，图像处理装置在进行候选线段组更新处理之前，确定是否对各图像应用更新后的内容。因此，基于具有构成由用户校正的四边形区域的边缘的图像与其他图像之间的比较，来确定是否更新候选线段组的评估，是可行的。结果，能够简化用户操作。[0136]〈区域指定处理要在步骤SllOl中进行的详细描述〉[0137]图14是例示根据第四示例性实施例的候选边缘组更新处理的流程图。[0138]在本示例性实施例中，便携式终端101的CPU 201即，计算机在功能上作为处理单元进行操作，该处理单元可以通过执行从ROM203加载到RAM202中的相关处理程序，来进行图14的各步骤中的处理。[0139]图14中例示的流程图包括与参照图10描述的处理类似的处理。因此，将避免其冗余描述。[0140]在步骤S1401中，CPU 201获取关于通过连续摄影操作输入的其他图像的特征量的信息。特征量例如是关于整个图像的亮度值、颜色直方图、或原稿与背景之间的亮度差的信息，在识别输入图像的特征量与基准图像的特征量之间的差异时参照该信息。在上述与特征量相关的确定中可使用任何其他信息。此外，基准图像是构成输入图像的一部分并包括具有构成四边形区域的边缘的原稿图像的图像，该边缘的位置已由用户最初校正。[0141] 在步骤S1402中，CPU201参照在步骤S1401中获取的信息，来确定在输入图像与基准图像之间是否存在任何特征量的变化。例如，通过检查所获取的信息与基准图像之间的差是否等于或小于事先确定的阈值，能够进行步骤S1402中的确定。能够在外部指定或设置阈值。[0142]因此，基于包括具有构成由用户校正的四边形区域的边缘的原稿图像的图像与其他图像之间的比较，来确定是否更新候选线段组的评估，是可行的。结果，能够简化用户操作。[0143]其他实施例[0144]另外，可以通过读出并执行记录在存储介质也可更完整地称为“非临时性计算机可读存储介质”上的计算机可执行指令例如，一个或更多程序以执行上述实施例中的一个或更多的功能、并且或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路例如，专用集成电路ASIC的系统或装置的计算机，来实现本公开的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多处理器以及一个或多个存储器例如，中央处理单元CPU，微处理单元MPU，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器RAM、只读存储器ROM、分布式计算系统的存储器、光盘诸如压缩光盘CD、数字通用光盘DVD或蓝光光盘BD™、闪存设备以及存储卡等中的一者或更多。[0145]本发明的实施例还可以通过如下的方法来实现，S卩，通过网络或者各种存储介质将执行上述实施例的功能的软件程序提供给系统或装置，该系统或装置的计算机或是中央处理单元CPU、微处理单元MPU读出并执行程序的方法。[0146] 虽然参照示例性实施例对本公开进行了描述，但是应当理解，本公开并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

权利要求：1.一种图像处理装置，所述图像处理装置包括:获取单元，其被构造为获取包括第一图像的多个图像；检测单元，其被构造为从由所述获取单元获取的所述多个图像中包括的所述第一图像中检测四边形区域；确定单元，其被构造为确定构成由所述检测单元检测到的四边形区域的各边缘的位置；以及反映单元，其被构造为在所述检测单元检测到由所述获取单元获取的除所述第一图像以外的、所述多个图像中的各图像中包括的四边形区域的情况下，将关于由所述确定单元针对所述第一图像确定的各边缘的位置的信息反映到除所述第一图像之外的多个图像。2.根据权利要求1所述的图像处理装置，所述图像处理装置还包括:校正单元，其被构造为对所述检测单元检测到的包括在所述第一图像中的、并且由所述确定单元确定了各边缘位置的四边形区域，以及所述反映单元反映了关于由所述确定单元确定的各边缘的位置的信息的其他检测到的四边形区域，进行畸变校正处理。3.根据权利要求1所述的图像处理装置，其中，如果所述确定单元确定了各边缘的位置，则修改所检测到的四边形区域的形状。4.根据权利要求1所述的图像处理装置，其中，所述检测单元检测多个线段作为构成所述四边形区域的各边缘的候选，并且基于所检测到的多个线段的各评估值，来检测所述四边形区域。5.根据权利要求4所述的图像处理装置，其中，如果所述确定单元确定了各边缘的位置，则基于确定来更新多个候选线段的评估值。6.根据权利要求1所述的图像处理装置，其中，所述反映单元将关于由所述确定单元确定的各边缘的位置的信息，仅反映到与所述确定单元确定了位置的边缘相对应的边缘。7.根据权利要求1所述的图像处理装置，其中，所述反映单元将关于由所述确定单元确定的各边缘的位置的信息，仅反映到在特征量上与所述第一图像类似并且包括在由所述获取单元获取的所述多个图像中的图像。8.根据权利要求1所述的图像处理装置，其中，通过由摄像单元进行的对原稿的图像捕获，来获得所获取的多个图像。9.根据权利要求1所述的图像处理装置，其中，所述四边形区域是由摄像单元捕获的原稿的图像。10.—种图像处理装置，所述图像处理装置包括:获取单元，其被构造为获取包括第一图像和第二图像的多个图像；检测单元，其被构造为从由所述获取单元获取的所述多个图像中包括的所述第一图像中检测四边形区域；确定单元，其被构造为确定构成由所述检测单元检测到的四边形区域的各边缘的位置；以及校正单元，其被构造为基于具有由所述确定单元确定的边缘位置的边缘的四边形区域，来校正所述第一图像和所述第二图像。11.一种图像处理方法，所述图像处理方法包括:获取步骤，获取包括第一图像的多个图像；检测步骤，从所获取的多个图像中包括的所述第一图像中检测四边形区域；确定步骤，确定构成所检测到的四边形区域的各边缘的位置；以及反映步骤，在从所获取的除所述第一图像以外的多个图像中的各图像中检测到四边形区域的情况下，将关于针对所述第一图像所确定的各边缘的位置的信息反映到除所述第一图像之外的多个图像。12.根据权利要求11所述的图像处理方法，所述图像处理方法还包括:对所检测到的包括在所述第一图像中的、并且确定了各边缘位置的四边形区域，以及反映了关于所确定的各边缘的位置的信息的其他检测到的四边形区域，进行畸变校正处理。13.根据权利要求11所述的图像处理方法，其中，如果确定了各边缘的位置，则修改所检测到的四边形区域的形状。14.根据权利要求11所述的图像处理方法，其中，所述检测步骤包括检测多个线段作为构成所述四边形区域的各边缘的候选，并且基于所检测到的多个线段的各评估值，来检测所述四边形区域。15.根据权利要求14所述的图像处理方法，其中，如果确定了各边缘的位置，则基于确定来更新多个候选线段的评估值。16.根据权利要求11所述的图像处理方法，其中，将关于所确定的各边缘的位置的信息，仅反映到与确定了位置的边缘相对应的边缘。17.根据权利要求11所述的图像处理方法，其中，将关于所确定的各边缘的位置的信息，仅反映到在特征量上与所述第一图像类似并且包括在所获取的多个图像中的图像。18.根据权利要求11所述的图像处理方法，其中，通过由摄像单元进行的对原稿的图像捕获，来获得所获取的多个图像。19.根据权利要求11所述的图像处理方法，其中，所述四边形区域是由摄像单元捕获的原稿的图像。20.—种图像处理方法，所述图像处理方法包括:获取包括第一图像和第二图像的多个图像；从所获取的多个图像中包括的所述第一图像中检测四边形区域；确定构成所检测到的四边形区域的各边缘的位置；以及基于具有所确定的边缘位置的边缘的四边形区域，来校正所述第一图像和所述第二图像。

百度查询： 佳能株式会社 图像处理装置及图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD