申请/专利权人：株式会社摩如富

申请日：2017-12-07

公开（公告）日：2020-06-23

公开（公告）号：CN108184048B

主分类号：H04N5/232(20060101)

分类号：H04N5/232(20060101);H04N5/225(20060101)

优先权：["20161208 JP 2016-238299"]

专利状态码：有效-授权

法律状态：2020.06.23#授权;2018.07.13#实质审查的生效;2018.06.19#公开

摘要：本发明提供一种图像处理装置以及方法，在对输入图像进行放大显示时，既能维持放大显示，又能浏览未被用作输出图像的输入图像数据区域的信息。图像处理装置具备：特定区域设定部，从输入图像中设定特定区域；附加信息设定部，设定附加信息，所述附加信息是与从所述输入图像除去所述特定区域以外的区域即非特定区域的至少一部分相关的信息；以及显示控制部，使所述特定区域及所述附加信息作为输出图像而显示于显示部。通过能够同时浏览经放大的特定区域的图像与附加信息，从而能够较以往更有效地活用输入图像的信息。

主权项：1.一种图像处理装置，其特征在于，包括：显示部；输入部，输入图像；特定区域设定部，从输入至所述输入部的输入图像中设定特定区域；显示控制部，使所述特定区域显示于所述显示部；附加信息设定部，设定附加信息，所述附加信息是与非特定区域的至少一部分相关的信息，所述非特定区域是从所述输入图像除去所述特定区域以外的区域；以及附加信息显示控制部，使所述附加信息显示于所述显示部，所述特定区域设定部对应于所述输入图像的更新来更新所述特定区域，所述附加信息设定部对应于所述输入图像的更新来更新所述附加信息，所述附加信息显示控制部基于从所述非特定区域中所含的物体的位置直至所述特定区域为止的距离，来决定是否使与所述物体对应的附加信息显示于所述显示部上。

全文数据：图像处理装置以及方法技术领域[0001]本发明涉及一种将图像放大显示的图像处理装置、方法以及在带有摄像机camera的便携设备中安装有具备望远功能的光学设备的电子设备等。背景技术[0002]以往，已知有一种安装装置，其将双筒望远镜或望远镜等具备望远功能的光学设备安装于智能电话2等带摄像机的便携设备例如专利文献1。而且，已知有一种图像处理装置，其进行因拍摄时的手抖等引起的拍摄图像的畸变或模糊修正例如专利文献2。[0003]现有技术文献[0004]专利文献[0005]专利文献1:日本专利特开2015-200700公报[0006]专利文献2:W02014069632公报[0007]专利文献3:W02012127618公报发明内容[0008][发明所要解决的问题][0009]通过双筒望远镜等的光学变焦（zoom而放大的图像具有画质比数字变焦digitalzoom好的优点，但必须由用户user自身在浏览过程中手动进行倍率变更等操作，因此存在无法专心浏览的问题。另一方面，通过对图像数据进行数字处理来将图像放大的数字变焦尽管在画质方面差于光学变焦，但能够迅速且容易地进行倍率变更或者与场景相应的摄影模式的变更等。而且，有能够在显示画面上显示成为摄影辅助的告知等各种信息的优点。[0010]通过在智能电话2等带有具备数字变焦功能的摄像机的便携设备上，安装具备光学变焦式望远功能的光学设备，能够兼具光学变焦的画质与数字变焦的操作性这两种优点。[0011]经光学设备光学变焦的图像被输入至便携设备，进而，此输入图像光学输出图像在便携设备上进行数字变焦时，用户最终所浏览的输出图像是将输入至便携设备的输入图像光学输出图像）的一部分切出而得的图像。即，存在虽作为输入图像光学输出图像而输入至便携设备、但未被用作输出图像的图像数据区域。但是，在以往的图像处理装置中，不存在供用户在浏览输出图像的状态下掌握未被用作输出图像的图像数据区域的信息的手段。因此，存在无法有效活用输入图像数据中的信息的问题。[0012]例如设想下述场景：在对足球比赛等体育场景（sportsscene进行摄影时，使用便携设备的摄像机的数字变焦来浏览以球ball为中心的放大图像。此时，用户正在浏览放大显示在便携设备的显示画面上的输出图像，因此为了掌握在未显示于当前输出图像上的位置其他球员的移动如何，必须进行缩小（zoomout操作（降低数字变焦的放大倍率或解除数字变焦）。此时存在下述问题，即，原本正注视的球附近的图像信息也会缩小，从而变得难以目测。[0013]本发明是有鉴于此种问题而完成，其目的在于:在用户继续浏览输出图像的状态下，从输入图像中获取未作为当前的输出图像而显示的区域的信息以提供给用户。[0014][解决问题的技术手段][0015]为了解决所述问题，采用以下手段。另外，后述的具体实施方式的说明及附图中所使用的符号用括号标注以供参考，但本发明的构成要素并不限定于此标注者。[0016]第1发明是一种图像处理装置，其包括：[0017]显示部显示部22、300;输入部输入部10、110，输入图像;特定区域设定部切出图像设定部13、173，从输入至所述输入部的输入图像中设定特定区域切出数据区域52;显示控制部（显示控制部20、180，使所述特定区域显示于所述显示部；附加信息设定部辅助图像设定部16、176，设定附加信息，所述附加信息是与从所述输入图像除去所述特定区域以外的区域即非特定区域非切出数据区域53的至少一部分相关的信息；以及附加信息显示控制部（显示控制部20、180，使所述附加信息显示于所述显示部，所述特定区域设定部切出图像设定部13、173对应于所述输入图像的更新来更新所述特定区域，所述附加信息设定部辅助图像设定部16、176对应于所述输入图像的更新来更新所述附加信息。[0018]据此，用户能够在显示部上确认从输入图像中设定的特定区域与附加信息，所述附加信息是与从输入图像中除去特定区域以外的区域即非特定区域的至少一部分相关的信息。而且，通过对应于输入图像的更新来更新特定区域，并对应于输入图像的更新来更新附加信息，从而能够配合输入图像的更新来更新特定区域及附加信息的显示。由此，能够在用户继续浏览输出图像的状态下，从输入图像中获取例如未作为当前的输出图像而显示的区域的信息来作为附加信息，以提供给用户。[0019]而且，作为第2发明，也可构成下述图像处理装置，[0020]其是根据第1发明的图像处理装置，其中[0021]所述附加信息显示控制部（显示控制部20、180使所述附加信息与所述特定区域切出数据区域52的位置关系对应地，使所述附加信息显示于所述显示部。[0022]而且，作为第3发明，也可构成下述图像处理装置，[0023]其是根据第1发明或第2发明的图像处理装置，其中[0024]所述附加信息（图标（icon65是与所述非特定区域非切出数据区域53中所含的物体obiect相关的信息。[0025]而且，作为第4发明，也可构成下述图像处理装置，[0026]其是根据第3发明的图像处理装置，其中[0027]所述附加信息（图标65是与所述物体的位置相关的信息。[0028]而且，作为第5发明，也可构成下述图像处理装置，[0029]其是根据第3发明或第4发明的图像处理装置，其中[0030]所述物体是符合事先设定的特征的物体。[0031]而且，作为第6发明，也可构成下述图像处理装置，[0032]其是根据第3发明或第4发明的图像处理装置，其中[0033]所述物体是由用户所指定的物体、或符合用户所指定的特征的物体。[0034]而且，作为第7发明，也可构成下述图像处理装置，[0035]其是根据从第3发明至第6发明中选择的任一发明的图像处理装置，其中[0036]所述附加信息显示控制部（显示控制部20、180基于从所述物体的位置直至所述特定区域切出数据区域52为止的距离，来决定是否使与所述物体对应的附加信息（图标65显示于所述显示部显示部22、300上。[0037]而且，作为第8发明，也可构成下述图像处理装置，[0038]其是根据从第1发明至第7发明中选择的任一发明的图像处理装置，其中[0039]所述附加信息显示控制部（显示控制部20、180使所述附加信息（图标65在所述显示部显示部22、300上显示于所述特定区域切出数据区域52的显示区域的外侧。[0040]而且，作为第9发明，也可构成下述图像处理装置，[0041]其是根据从第1发明至第8发明中选择的任一发明的图像处理装置，其中[0042]所述附加信息是使非特定区域非切出数据区域53变形而得的图像。[0043]而且，作为第10发明，也可构成下述图像处理装置，[0044]其是根据第9发明的图像处理装置，其中[0045]所述附加信息是根据距所述特定区域切出数据区域52的距离使非特定区域非切出数据区域53变形的图像。[0046]而且，作为第11发明，也可构成下述图像处理装置，[0047]其是根据从第1发明至第10发明中选择的任一发明的图像处理装置，其中[0048]所述特定区域设定部（切出图像设定部13、173对所述特定区域（切出数据区域52的更新周期短于所述附加信息设定部辅助图像设定部16、176对所述附加信息（图标65的更新周期。[0049]而且，作为第12发明，也可构成下述图像处理装置，[0050]其是根据从第1发明至第11发明中选择的任一发明的图像处理装置，其中[0051]所述特定区域设定部切出图像设定部13、173是以包含对象物体的方式来设定所述特定区域切出数据区域52，所述对象物体是由用户所选择的物体、或符合用户所指定的条件的物体。[0052]而且，作为第13发明，也可构成下述图像处理装置，[0053]其是根据从第1发明至第11发明中选择的任一发明的图像处理装置，其中[0054]所述特定区域设定部切出图像设定部13、173在通过用户输入而选择了所述附加信息（图标65的情况下，以包含与所述附加信息对应的物体作为对象物体的方式来设定所述特定区域切出数据区域52。[0055]而且，作为第14发明，也可构成下述图像处理装置，[0056]其是根据第12发明或第13发明的图像处理装置，其中[0057]所述特定区域设定部切出图像设定部13、173对应于所述输入图像的更新来更新所述特定区域切出数据区域52，以包含所述对象物体。[0058]而且，作为第15发明，也可构成下述图像处理装置，[0059]其是根据第14发明的图像处理装置，其中[0060]所述特定区域设定部切出图像设定部13、173对应于所述输入图像的更新来使所述特定区域切出数据区域52的放大显示率发生变化，以包含所述对象物体。[0061]而且，作为第16发明，也可构成下述图像处理装置，[0062]其是根据从第12发明至第14发明中选择的任一发明的图像处理装置，还包括：[0063]拍摄部摄像机23、拍摄部500;以及[0064]告知部，促使用户移动所述拍摄部的摄影方向，以使包含所述对象物体的特定区域切出数据区域52靠近所述输入图像的中心。[0065]而且，作为第17发明，也可构成下述图像处理装置，[0066]其是根据从第12发明至第15发明中选择的任一发明的图像处理装置，还包括：[0067]信息显示控制部（显示控制部20、180，当所述对象物体不再包含在所述输入图像中时，使此意旨显示在所述显示部显示部22、300上。[0068]第18发明是一种图像处理装置，[0069]其具备可显示输入图像的显示部显示部22、300，且所述图像显示装置包括：[0070]亮度调整部处理部100、显示控制部20、180，当所述输入图像中包含亮度满足特定条件的物体时，调整所述输入图像的亮度。[0071]此时，所述亮度调整部也可使与所述物体对应的图像区域的亮度下降。[0072]第19发明是一种图像处理装置，其包括：[0073]拍摄部摄像机23、拍摄部500;显示部（显示部22、300;计算部处理部100，基于所述拍摄部的位置信息来计算太阳的方向；以及显示控制部（显示控制部20、180，使所述显示部显示警告不要使所述拍摄部朝向所述经计算的太阳的方向的信息。[0074]而且，作为其他发明，也可构成下述图像处理装置，[0075]其是根据第19发明的图像处理装置，还包括：[0076]位置计算部（处理部100，使用卫星定位系统（全球定位系统GlobalPositionSystem，GPS等）与惯性导航系统（INSInertialNavigationSystem等）中的至少任一种来计算所述拍摄部的位置，[0077]所述计算部基于与由所述位置计算部所计算的位置对应的位置信息，来计算太阳的方向。[0078]第20发明是一种图像处理装置，其包括：[0079]显不部（显不部22、300;拍摄部摄像机23、拍摄部500，拍摄图像;输入部（输入部10、110，输入由所述拍摄部所拍摄的图像；显示控制部（显示控制部20、180，将输入至所述输入部的输入图像放大并显示于所述显示部；以及修正指标值设定部移动判定部11、171、模糊修正部15、175，检测所述拍摄部的移动，设定修正指标值，[0080]所述显示控制部（显示控制部20、180对应于所述输入图像的更新，基于所述修正指标值来更新所述显示。[0081]而且，作为第21发明，也可构成下述图像处理装置，[0082]其是根据第20发明的图像处理装置，其中[0083]所述显示控制部（显示控制部20、180在所述修正指标值大于第1阈值的情况下，以降低所述显示的放大率的方式进行更新。[0084]而且，作为第22发明，也可构成下述图像处理装置，[0085]其是根据第20发明或第21发明的图像处理装置，其中[0086]所述显示控制部（显示控制部20、180在所述修正指标值小于第2阈值的情况下，比所述修正指标值大于第2阈值的情况加强模糊的抑制而更新所述显示。[0087]而且，作为第23发明，也可构成下述图像处理装置，[0088]其是根据第20发明的图像处理装置，其中[0089]所述修正指标值设定部移动判定部11、171、模糊修正部15、175基于输入图像中的放大显示范围的位置来使所述修正指标值发生变化。[0090]而且，作为第24发明，也可构成下述图像处理装置，[0091]其是根据第20发明的图像处理装置，其中[0092]所述修正指标值设定部移动判定部11、171、模糊修正部15、175基于输入图像中的物体的位置来使所述修正指标值发生变化。[0093]而且，作为第25发明，也可构成下述图像处理装置，[0094]其是根据第20发明的图像处理装置，其中[0095]关于由所述拍摄部连续拍摄的输入图像中的各个特定区域切出数据区域52，在存在包含预定物体的特定区域与不含预定物体的特定区域的情况下，当预定物体的特征满足预定条件时，将包含预定物体的特定区域替换为不含预定物体的特定区域。[0096]而且，作为第26发明，也可构成下述图像处理装置，[0097]其是根据第20发明的图像处理装置，其中[0098]关于由所述拍摄部连续拍摄的输入图像中的各个特定区域切出数据区域52，在存在包含预定物体的特定区域与不含预定物体的特定区域的情况下，当预定物体的特征满足预定条件时，将包含预定物体的特定区域中的所述预定物体的区域，替换为不含预定物体的特定区域的对应区域。[0099]而且，作为第27发明，也可构成下述图像处理装置，[0100]其是根据第20发明的图像处理装置，其中[0101]可安装与所述拍摄部摄像机23、拍摄部500的镜头（lens不同的外部镜头光学变焦部24、550，且具备:安装信息检测部处理部100，在安装有所述外部镜头的状态下拍摄的输入图像中，对用于确定所述外部镜头光学变焦部24、550的安装位置或安装角度的信息进行检测。[0102]而且，作为第28发明，也可构成下述图像处理装置，[0103]其是根据第27发明的图像处理装置，其具备：[0104]判定部处理部100，基于由所述安装信息检测部处理部100所检测出的信息，来判定所述外部镜头光学变焦部24、550是否已适当地安装，且，所述图像处理装置使基于所述判定部的判定结果的信息显示于所述显示部显示部22、300。[0105]而且，作为第29发明，也可构成下述图像处理装置，[0106]其是根据第27发明的图像处理装置，其具备：[0107]输入图像修正部处理部100，基于由所述安装信息检测部处理部100所检测出的信息来修正所述输入图像。[0108]第30发明是一种图像处理方法，用于执行图像处理，所述图像处理方法包括：[0109]输入步骤，输入图像;特定区域设定步骤S250，从在所述输入步骤输入的输入图像中设定特定区域；显示控制步骤，使所述特定区域显示于显示部；附加信息设定步骤S350，设定附加信息，所述附加信息是与从所述输入图像除去所述特定区域以外的区域即非特定区域的至少一部分相关的信息；以及附加信息显示控制步骤，使所述附加信息显示于所述显示部，[0110]所述特定区域设定步骤包含对应于所述输入图像的更新来更新所述特定区域的步骤，[0111]所述附加信息设定步骤包含对应于所述输入图像的更新来更新所述附加信息的步骤。[0112]第31发明是一种程序，用于使计算机执行图像处理，所述程序使计算机执行下述步骤，即：[0113]输入步骤，输入图像;特定区域设定步骤S250，从在所述输入步骤输入的输入图像中设定特定区域;显示控制步骤，使所述特定区域显示于显示部显示部22、300;附加信息设定步骤S350，设定附加信息，所述附加信息是与从所述输入图像除去所述特定区域以外的区域即非特定区域的至少一部分相关的信息；以及附加信息显示控制步骤，使所述附加信息显示于所述显示部，[0114]所述特定区域设定步骤包含对应于所述输入图像的更新来更新所述特定区域的步骤，[0115]所述附加信息设定步骤包含对应于所述输入图像的更新来更新所述附加信息的步骤。[0116]第32发明是一种图像处理方法，用于执行图像处理，所述图像处理方法包括：[0117]拍摄步骤，通过拍摄部来拍摄图像;输入步骤，输入所述所拍摄的图像;显示控制步骤，将在所述输入步骤输入的输入图像放大并使其显示于显示部（显示部22、300;以及修正指标值设定步骤SI50、S300，检测所述拍摄部的移动，并设定修正指标值，[0118]所述显示控制部步骤包含下述步骤，S卩，对应于所述输入图像的更新，基于所述修正指标值来更新所述显示。[0119]第33发明是一种程序，用于使计算机执行图像处理，所述程序使计算机执行下述步骤，即：[0120]拍摄步骤，通过拍摄部来拍摄图像;输入步骤，输入所述所拍摄的图像;显示控制步骤，将在所述输入步骤输入的输入图像放大并使其显示于显示部（显示部22、300;以及修正指标值设定步骤SI50、S300，检测所述拍摄部的移动，并设定修正指标值，[0121]所述显示控制部步骤包含下述步骤，S卩，对应于所述输入图像的更新，基于所述修正指标值来更新所述显示。[0122]而且，作为其他发明，也可构成一种记录介质，[0123]其记录有所述任一发明的程序且计算机可读取。附图说明[0124]图1是表示图像处理装置的功能结构的一例的框图。[0125]图2中的（IA至3B是表示输入图像与输出图像的一例的说明图。[0126]图3是表示图像处理装置的处理流程的一例的流程图。[0127]图4中的⑴及⑵是表示输入图像与输出图像的一例的说明图。[0128]图5中的⑴至⑶是表示输出图像的另一例的说明图。[0129]图6是表示智能电话的功能结构的一例的框图。[0130]图7是表示显示控制处理流程的一例的流程图。[0131]图8是表示图像映射生成处理流程的一例的流程图。[0132]图9是表示移动判定处理流程的一例的流程图。[0133]图10是表示数字变焦控制处理流程的一例的流程图。[0134]图11是表示模糊修正处理流程的一例的流程图。[0135]图12是表示切出图像设定处理流程的一例的流程图。[0136]图13是表示辅助图像设定处理流程的一例的流程图。[0137]图14中的（IA至3B是表示选择被摄物显示的一例的说明图。[0138]图15中的（IA至3B是表示选择被摄物显示的另一例的说明图。[0139]图16中的（IA至3B是表示选择被摄物的告知及操作引导显示的一例的说明图。[0140]图17中的（IA至4B是表示意料外的物体的去除处理时的输入图像与输出图像的一例的图。[0141]图18中的（IA及2A是表示摄像机镜头与望远镜头的对位的一例的图。[0M2]图19中的（IA至4B是表示摄像机镜头与望远镜头的对位的一例的图与图表。[0143]图20是表示拍摄避免处理流程的一例的流程图。[0144]图21是表示记录介质的一例的图。[0145][符号的说明][0146]1:图像处理装置[0147]2:智能电话[0148]9:存储卡[0149]10、110:输入部[0150]11、171:移动判定部[0151]12、172:图像映射生成部[0152]13、173:切出图像设定部[0153]14、174:数字变焦控制部[0154]15、175:模糊修正部[0155]16、176:辅助图像设定部[0156]20、180:显示控制部[0157]21:存储部[0158]22、300:显示部[0159]23:摄像机[0160]24、550:光学变焦部[0161]25、760:移动传感器[0162]26、200:操作部[0163]50:输入图像[0164]51:图像数据区域[0165]52:切出数据区域[0166]53:非切出数据区域[0167]60:输出图像[0168]61:显示区域[0169]62:切出图像[0170]63:辅助图像[0171]65:图标[0172]66:操作引导[0173]67、68:框[0174]100:处理部[0175]140:告知部[0176]250:触控面板[0177]400:声音输出部[0178]500:拍摄部[0179]520:接合装置[0180]600:通信部[0181]700:时钟部[0182]750:振动部[0183]800:存储部[0184]810:显示控制程序[0185]811:移动判定程序[0186]812:图像映射生成程序[0187]813:切出图像设定程序[0188]814:数字变焦控制程序[0189]815:模糊修正程序[0190]816:辅助图像设定程序[0191]820:图像数据存储部[0192]821:图像映射数据表[0193]822:切出图像设定表[0194]825:输入图像数据库[0195]830:移动数据存储部[0196]840:设定信息存储部[0197]910:卡槽[0198]920:卡读写器[0199]A:望远镜头区域[0200]Al〜A17、S15〜S35、S100〜S350、S101〜S107、S151〜S170、S201〜S220、S251〜S270、S301、S305、S351、S355:步骤[0201]B:接目部区域[0202]Cl:智能电话的摄像机的镜头的中心位置[0203]C2:望远镜头的中心位置[0204]D:圆形部[0205]E:箭头[0206]H1、H2:法线向量[0207]K、L:被摄物[0208]P1、P2:点[0209]Q:物体[0210]XI:足球[0211]Yl〜Y4:黑色队服的球员[0212]Zl〜Z4:白色队服的球员[0213]Θ:角度具体实施方式[0214]以下，使用附图来说明适用本发明的较佳实施方式的一例。另外，在附图的说明中，有时对相同要素标注相同的符号并省略重复说明。而且，附图的尺寸比率未必与所说明者一致。而且，可适用本发明的方式当然不限定于以下说明的实施方式。[0215][1.图像处理装置][0216]本实施方式的图像处理装置是显示经放大显示的输出图像，且将输出图像中未显示的区域且输入图像中存在的区域的信息输出至显示部的装置。例如，本实施方式的图像处理装置是在多个图像的连续拍摄或视频拍摄时采用。[0217]本实施方式的图像处理装置例如适合搭载于移动电话、数字摄像机、个人数字助理PersonalDigitalAssistant，PDA等资源resource有限的移动终端中，但并不限于这些，例如也可搭载于通常的计算机系统computersystem中。[0218][1-1.结构及原理][0219]图像名的称呼）[0220]本实施方式所记载的输入图像50是指由图像处理装置的输入部所输入的图像，当将光学变焦部连接于图像处理装置的摄像机而使用光学变焦功能时，经光学放大的图像经由摄像机而输入至图像处理装置。[0221]以下的说明及图所示的输入图像50是输入图像数据、输入帧、或光学optical输出图像的概念图。而且，输出图像60是指显示在图像处理装置的显示部上，用户所浏览的图像。在未使用数字变焦的情况下，输入图像50光学输出图像作为输出图像60而显示于显示部上。在使用数字变焦时，输出图像60成为将输入图像50光学输出图像通过数字变焦功能而放大的图像。本实施方式中，若未特别说明，则设为不使用光学变焦来进行说明，但明确的是，即使在使用光学变焦的情况下，仍起到同样的效果。[0222]而且，本实施方式的输出图像60包含主main图像与子sub图像。在对输出图像进行放大显示的情况下，主图像成为显示将输入图像50的数据的一部分区域（以下称作切出数据区域52切取的信息的图像，因此以下的说明中将主图像称作切出图像62。子图像是显示输入图像50的数据内的切出数据区域52以外的区域（以下称作非切出数据区域53的信息的图像，以下称作辅助图像63。另外，由于此含义，辅助图像63也可称作附加信息图像、辅助信息图像等。[0223]图1是表示本实施方式中的图像处理装置1的功能结构的一例的框图。图像处理装置1具备输入部10与显示控制部20。显示控制部20具备移动判定部11、图像映射生成部12、切出图像主图像设定部13、数字变焦控制部14、模糊修正部15及辅助图像子图像设定部16。它们是图像处理装置1的未图示的处理部处理装置所具有的功能部功能块），处理部是具备中央处理器（CentralProcessingUnit，CPU或数字信号处理器（DigitalSignalProcessor，DSP等处理器或专用集成电路ApplicationSpecificIntegratedCircuit，ASIC等集成电路而构成。[0224]输入部10具有输入由摄像机23所拍摄的图像（以下称作“拍摄图像”）、来自移动传感器25的输出信息及从操作部26输出的信息的功能。拍摄图像从输入部10输出并保存至存储部21中。而且，输入部10具有将输入图像（以下也有时称作输入帧图像的图像数据输出至移动判定部11及图像映射生成部12的功能。[0225]移动传感器25是内置或附设于摄像机23的传感器，对用户移动摄像机23时的摄像机23的移动信息进行检测。移动传感器25是具有检测三轴加速度的加速度传感器、检测三轴角速度的角速度传感器陀螺传感器gyrosensor、将这些传感器封装化的惯性测量装置（InertialMeasurementUnit，IMU等传感器单元而构成。移动传感器25检测加速度或角速度来作为移动信息，并将所检测出的移动信息输出至移动判定部11。通过使用由移动传感器25所检测的角速度或加速度，能够检测摄像机23的动向及位移。移动传感器25的输出值经由输入部10而输出至移动判定部11及模糊修正部15。[0226]光学变焦部24是利用夹具等可装卸地连接于摄像机23的、具有望远功能的光学望远装置。[0227]显示控制部20具有下述功能，S卩，使用存储在存储部21中的输入帧图像的信息、由移动传感器25所检测的摄像机23的移动信息、从操作部26输入的用户的操作信息，来控制显示控制部20内部所设的移动判定部11、图像映射生成部12、数字变焦控制部14、模糊控制部15、切出图像设定部13及辅助图像设定部16，并且控制显示部22的显示。[0228]移动判定部11使用移动传感器25的输出信息或输入帧图像数据，来判定摄像机23的移动度。或者，移动判定也可使用当前的输入帧图像与在此输入帧图像之前刚刚或以前拍摄的过去的输入帧的图像数据来进行判定。而且，也可使用移动传感器25的输出信息与输入帧图像数据这两者。[0229]作为用户移动摄像机23的动作，有拿着摄像机的手的颤动及手抖等用户无意识的动作与用户有意识的动作。作为用户有意识的动作，设想下述两种动作，即：为了追随所注视的被摄物的移动而移动摄像机23的摇移俯仰pantilt动作；以及为了变更要注视的被摄物或场景而相对较大地移动摄像机23的动作。通过立足于这些特征，从而能够根据摄像机23的移动大小的程度等，来判定用户所进行的动作是摇移俯仰动作，还是被摄物变更动作等。[0230]具体而言，例如相对于移动传感器25的输出值，将后述的摄像机的移动度指标即第1阈值至第3阈值这三个阈值设定为第3阈值第2阈值第1阈值。并且，只要将移动传感器25的输出值为第3阈值以上的情况判定为被摄物变更动作，将为第2阈值以上且小于第3阈值的情况判定为摇移俯仰动作即可。而且，只要在小于第1阈值的情况下，判定为摄像机未移动（固定），将为第1阈值以上且小于第2阈值的情况判定为稍稍移动微动）即可。[0231]图像映射生成部12使用输入图像50的图像数据，通过物体识别、人物识别、人脸识别等公知的方法，来检测输入图像50内的物体。而且，图像映射生成部12具有进行使用物体的颜色信息的检测的功能。所检测出的物体的位置信息被输出至存储部21，并对应于进行物体检测的每个输入帧编号而作为图像映射数据予以保存。此时，优选对所有输入帧进行检测，但此时，数据处理的负载会变大，因此也可每隔预定帧间隔、例如每隔10帧进行检测。[0232]使用物体的颜色信息的检测是基于用户事先登记的颜色信息来进行。基于颜色信息的检测方法例如专利文献3W02012127618公报）中所记载般，可通过评价颜色的移动程度来进行。具体而言，首先，获取图像帧间的像素的移动度及图像帧中所含的像素的颜色。继而，基于移动度，针对每种颜色来计算表示颜色移动程度的评价得分score，并基于所计算的评价得分来检测运动物体。此处，对于评价得分的计算，可针对每种颜色来累积所述图像帧内的像素数及此像素的移动度，并基于图像帧内的累积像素数及累积移动度来计算此颜色的评价得分。而且，通过针对每种颜色来累积像素的位置信息，从而能够基于每种颜色的累积像素数及累积位置信息来确定运动物体的位置。以上，对专利文献3中揭示的方法进行了说明，但可适用于本实施方式的检测方法并不限于此，也可使用与专利文献3不同的方法。例如，也可基于事先设定好颜色信息的支持向量机SupportVectorMachine，SVM或深度学习（De印Leaming，DL来进行。而且，也可仅对具有与进行体育转播等的播放的广播台所发布或售卖的信息相适合的颜色信息的物体进行检测。[0233]切出图像设定部13设定与进行输出图像的放大显示时的切出图像的显示相关的信息。如上所述，输出图像包含切出图像主图像与辅助图像子图像）。切出图像显示的设定信息被输出至显示部22。[0234]数字变焦控制部14具有对从摄像机23输入至输入部10的图像的数字变焦倍率进行控制的功能。数字变焦倍率是由用户经由操作部26而设定为例如2倍，并作为数字变焦倍率信息而从数字变焦控制部14输出至切出图像设定部13,以用于切出图像显示的设定。[0235]模糊修正部15具有排除手抖或卷帘快门（rollingshutter畸变等问题而输出帧图像的功能。对于模糊修正处理，可适用公知的修正处理方法，例如可使用专利文献2W02014069632公报）中揭示的方法。在专利文献2的图像处理装置中，将图像变形的移动分为卷帘快门畸变成分、平行移动成分或旋转成分中的至少一者、与其他成分这三种来处理，分别独立地进行计算。例如，可将应去除的卷帘快门成分从进行手抖去除等的修正对象中除外。由此，能够使修正的计算成本或修正滤波器filter的设计变得容易。进而，对于平行移动成分或旋转成分、与包含辅助矩阵的成分，分别利用不同的式来计算，因此能够使强烈反映用户意图的平行移动成分或旋转成分、与其他的剩余成分不相互关联而独立地修正。即，对于强烈反映用户意图的移动成分与除此以外的移动成分，能够利用不同的滤波器来进行修正，因此既能适当地追随摄像机的移动，又能兼顾消除因用户无意识的移动造成的问题。[0236]以下，对专利文献2所揭示的图像处理装置及图像处理方法进行说明。[0237]将基准帧图像framei_1与作为处理对象的帧图像frame1的移动数据移动向量设为移动数据P。而且，将使基准帧图像framei_1的切出区域Ki_1与输出帧图像out-framei_1相关联的转换式第1投影矩阵设为Pdsf1。此时，使帧图像frame1的切出区域K1与输出帧图像out-frame1相关联的转换式第2投影矩阵Pdst1可使用移动数据P与第1投影矩阵Pdst1'而以Pdst1=P·Pd，1数式1来算出。此处，在数式1的状态下，完全成为将切出区域固定的模式。但是，必须相对于用户有意识的移动例如摄像机的平行移动或摇移俯仰而追随，并去除手抖等问题。例如使用旁通滤波器bypassfilter，对用户有意识的移动及成为问题的移动进行滤波。此时，第2投影矩阵PdstiSPdsti=HPFP·Pdsti_1数式2。此处，HPF为旁通滤波器。即，使手抖等的高频成分通过而使画面固定，对于用户有意识的移动即低频成分进行裁切cut而使画面追随于用户的移动。[0238]但是，在移动数据P中包含卷帘快门畸变成分。所谓卷帘快门畸变，是指当摄像机相对于被摄物而相对地沿水平方向移动时，被摄物朝水平方向畸变为平行四边形状，当摄像机沿垂直方向移动时，如同被摄物沿垂直方向放大缩小般变形。对于此卷帘快门畸变成分，必须始终予以修正，因此是应始终通过旁通滤波器的成分。即，对于卷帘快门畸变成分，无须适用旁通滤波器。因而，必须构建下述架构，即，在使卷帘快门畸变成分分离的状态下，相对于用户有意识的移动而追随，并去除手抖等问题。详细说明在专利文献2中有所记载，因此予以省略，但无卷帘快门畸变的系统的第2投影矩阵Si是以Si=HPFN·Sh数式3来表示。而且，第2投影矩阵Pdsti是以Pdsti=Di·Si=Di·HPFN·Si-O数式4来表示。此处，N是无卷帘快门畸变的系统中的移动数据，Sh是使基准帧图像frame14的无卷帘快门畸变的图像即RS_frame1_1的切出区域、与输出桢图像out-frame1相关联的向量股影矩阵）。[0239]第1计算部计算包含卷帘快门畸变成分的第1矩阵Di。摄像机的移动速度越快，则畸变量越大，因此卷帘快门畸变能够使用摄像机的移动速度来推定。摄像机的移动速度能够使用帧间的平行移动量来推定。因而，第1计算部例如基于移动数据P中所含的平行移动量，来计算包含卷帘快门畸变成分的第1矩阵Di。通过计算第1矩阵Di,能够将作为处理对象的帧图像frameif换为无卷帘快门畸变的系统的图像RS_framd。由此，也能够使用移动数据P及第1矩阵D1，来导出无卷帘快门畸变的系统中的移动数据N。通过计算移动数据N，能够仅关于未考虑卷帘快门畸变的N·Sh来适用旁通滤波器。[0240]然而，由于N·Sh为矩阵，因此若直接在N·Sh的状态下适用旁通滤波器，则处理有可能变得复杂。因此，将N·Sh的移动成分分割为反映了用户意图的摄像机的移动、与除此以外的移动成分来处理。第2计算部算出包含反映了用户意图的摄像机移动的第2矩阵。辅助矩阵计算部算出包含除此以外的移动的辅助矩阵。[0241]第2计算部为了算出包含反映了用户意图的摄像机移动的第2矩阵，而算出用户移动矩阵Ac。用户移动矩阵Ac包含将朝向与拍摄方向正交的方向的平行移动成分、及以拍摄方向为基准的旋转成分中的至少一者。第2计算部修正用户移动矩阵Ac而算出第2矩阵。第2计算部具有下述功能，即，关于可能是用户有意识的摄像机移动，去除因手抖等引起的高频成分。第2计算部使用旁通滤波器来去除因摄影技巧camerawork引起的频率成分。[0242]第2计算部算出用户移动矩阵Ac，并对用户移动矩阵Ac进行修正而算出第2矩阵。例如，利用旁通滤波器进行修正而得到第2矩阵。移动矩阵Ac包含朝向与拍摄方向正交的方向的平行移动成分、及以拍摄方向为基准的旋转成分的至少一者。第2计算部能够根据移动数据P来算出用户移动矩阵Ac。具体而言，第2计算部例如使用使输出帧图像out-frame投影至第1帧图像的已知的第1投影矩阵PW1与移动数据P，来确定桢图像frame的中心坐标。然后，第2计算部算出使输出帧图像out-frame的坐标x，y平行移动及旋转，并投影至帧图像frame的中心（X，Y的用户移动矩阵Ac。对于平摇（yaw成分、横摇（roll成分及纵摇pitch成分，例如能够根据中心附近的移动量与焦点距离而在一定程度上准确地推测。而且，辅助矩阵计算部使用移动信息N、第1矩阵D1及过去的辅助矩阵，算出包含第1矩阵D1及第2矩阵中未包含的移动成分的辅助矩阵。[0243]第2矩阵可设为下述矩阵，S卩，当用户移动矩阵Ac主要包含旋转成分时，对包含平摇成分yi、纵摇成分Pi及横摇成分ri的用户移动矩阵Ac适用旁通滤波器。辅助矩阵可设为下述矩阵，即，对包含第1矩阵及第2矩阵中未包含的成分Ii的移动矩阵Bc适用旁通滤波器。使输出帧图像out-frame1与输入帧图像frame1相关联的第2投影矩阵Pdst1是使用第1矩阵Di、第2矩阵及辅助矩阵，而以Pdsti=Di.HPFyi.HPFpi.HPFri.HPFIi数式5来表示。[0244]以上，对专利文献2所揭示的方法进行了说明，但可适用于本实施方式的畸变手抖修正的方法并不限于此，也可使用与专利文献2不同的方法及计算式。即，只要是如下所述的方法即可:推定呈现模糊的要素即平行旋转成分等，对于用于修正的滤波器，根据状况来改变系数而适用，以进行畸变模糊修正。[0245]辅助图像设定部16具有设定与辅助图像的显示相关的信息的功能。显示于辅助图像的信息，例如是以模仿所检测的物体的图标等来显示。在进行基于颜色信息的物体识别的情况下，较佳的是，对应于所检测的位置来显示标注有所检测的物体颜色的图标等。辅助图像显示的设定信息被输出至显示部22。[0246]显示部22使用从切出图像设定部13及辅助图像设定部16输出的设定信息，显示包含切出图像及辅助图像的输出图像。[0247]光学变焦部24是具备望远镜头的光学设备，利用夹具等连接于摄像机23。[0248]另外，以下的说明中，若未特别说明，则设为未使用光学变焦部24的光学变焦的状态来说明，但明确的是，即使在使用光学变焦的情况下，仍起到同样的效果。[0249]辅助图像显示例）[0250]图2的（IA及图2的（IB与图2的（2A及图2的（2B是对未使用辅助图像显示的以往技术的问题进行说明的图。图2的（3A及图2的（3B是对本实施方式的辅助图像显示的一方式及其效果进行说明的图。图2的（IA至图2的3B的说明中，假设无摄像机23的移动，而不考虑畸变修正手抖畸变修正或卷帘快门畸变修正）。[0251]首先，使用图2的（IA及图2的（IB与图2的（2A及图2的（2B，对未使用辅助图像显示的以往技术中的输入图像50的图像数据与输出图像的关系进行说明。[0252]图2的（IA及图2的（IB是表示未使用数字变焦功能的情形数字变焦倍率1倍时的、输入图像的图像数据与输出图像的关系的一例。当未使用数字变焦功能时，图2的（IA的输入图像50的图像数据区域51整体显示在图2的（IB的输出图像60的显示区域61中。即，如图2的（IA及图2的（IB所示，输入图像50的图像数据区域51中所含的被摄物K及被摄物L显示在输出图像60的显示区域61中。[0253]接下来，图2的（2A及图2的（2B表示从图2的（IA及图2的（IB所示的数字变焦倍率1倍的状态，将输出图像60变更为数字变焦倍率2倍的状态的输入图像50的图像数据与输出图像的关系。[0254]在图2的（IB的输出图像60中，位于显示区域61中央的被摄物K在图2的（2B中被放大为2倍而显示。另一方面，显示在显示区域61的端部附近的被摄物L在图2的（2B的输出图像60中不再被显示。[0255]通过将数字变焦倍率设为2倍，从而图2的（2B的输出图像60成为将图2的（2A的输入图像50的图像数据的一部分切出而放大为2倍而得的图像。即，图2的（2A的输入图像50的切出数据区域52经数字处理而放大为2倍，图2的（2B的输出图像60成为切出图像62。[0256]此处，从图2的（2A的输入图像50的图像数据区域51除去切出数据区域52后的非切出数据区域53成为虽作为输入图像50的图像数据而存在，但未显示在图2的（2B的输出图像60上的区域。因此，在对输出图像60进行放大显示的情况下，用户将无法再浏览非切出数据区域53的信息。即，之所以在图2的（IB的输出图像60中所显示的被摄物L在图2的2B的输出图像60中不再显示，是因为被摄物L位于非切出数据区域53内。为了从此状态再次浏览非切出数据区域53的信息，必须解除数字变焦而中止放大显示。以上是未使用辅助图像显示的以往技术中的输入图像50的图像数据与输出图像60的显示范围的关系的说明。[0257]接下来，使用图2的3A及图2的3B，对适用了本实施方式的辅助图像显示时的、输入图像50的图像数据与输出图像60的关系进行说明。被摄物及数字变焦的倍率与图2的2B相同。[0258]与图2的（IB同样，在图2的（IB的输出图像60中位于显示区域61中央的被摄物K在图2的（3B中被放大为2倍而显示。另一方面，在图2的（IB的输出图像60中位于显示区域61的端部附近的被摄物L，在图2的（3B的辅助图像63内作为模仿被摄物L的圆形图标65而示意性地显示。图2的（3B的输出图像60的切出图像62是将图2的（3A的输入图像50的切出数据区域52放大为2倍而得的图像。另外，若通过基于颜色信息的物体识别来检测被摄物L，并将所检测出的被摄物L的颜色标注于所述圆形图标65而显示等，则更为有效。[0259]并且，图2的（3B的辅助图像63被设定为从输出图像60去除切出图像62后的区域，作为显示图2的3A的输入图像50的非切出数据区域53的信息的区域发挥功能。[0260]如以上所说明般，通过使用本实施方式的图像处理装置1，从而用户通过浏览图2的3B的输出图像60,既能浏览被放大显示为主图像即切出图像62的被摄物K，又能通过目测辅助图像63而获得未伴随放大显示而显示的被摄物L的位置信息、颜色信息等。即，通过输出图像60具有切出图像62与辅助图像63,从而用户能够较以往更多地掌握输入图像数据中原本所含的信息。[0261][卜2.处理][0262]使用图3与图4的⑴及图4的（2，对包含切出图像主图像及辅助图像子图像）的输出图像的显示处理进行说明。图3是表示显示控制处理流程的一例的流程图。图4的（1及图4的（2是对足球比赛中的一场景进行拍摄而得的图像，图4的⑴是输入图像数据，图4的（2与图2的3B同样，表示将数字变焦设为2倍，且使输出图像包含切出图像主图像及辅助图像子图像而显示的示例。[0263]另外，为了简化说明，使用图4的（1及图4的⑵的显示例来说明摄像机23的位置被固定的状态、且作为被摄物的足球XI、黑色队服的球员Yl〜Y4及白色队服的球员Zl〜Z4以下称作球Π、黑Yl〜Y4及白Zl〜Z4未移动的状态，即相当于定点摄影时的静止图像的状态。[0264]显示控制处理是由图像处理装置1的显示控制部20依照存储在存储部21中的显示控制程序来执行。此显示控制处理是通过由用户启动图像处理装置1的应用程序application来执行。[0265]当启动显示控制程序时，首先，作为图像映射生成处理，图像映射生成部12从输入图像数据，针对每个输入帧来执行基于用户事先登记的颜色信息的物体检测，而生成图像映射数据S15。所谓图像映射数据，是指针对每个输入帧而记录有各检测物体的位置信息输入图像数据内的坐标信息）的数据。若以图4的（1及图4的（2的示例来说明，则用户事先登记的颜色信息是球或队服的颜色，图像映射数据是针对每个输入帧而记录有球XI、黑Yl〜Y4及白Zl〜Z4的位置信息的数据。而且，较佳的是，与输入帧相关联地记录数字变焦倍率。[0266]另外，物体检测及位置信息的存储也可每隔预定的输入帧间隔来进行。而且，用于图像映射数据的各物体的位置坐标例如只要设定包围各物体的矩形，并设为此矩形的中心点即可。当在物体检测中进行轮廓提取时，也可使用将所述提取的轮廓用作包围各物体的图形。[0267]继而，移动判定部11使用移动传感器25的输出值，根据预先设定的多个阈值来判定摄像机23的移动度，并将判定结果输出至数字变焦控制部14及模糊修正部15。图4的（1及图4的（2的示例中，由于摄像机23被固定，因此判定为摄像机23未移动，前进至下个处理。[0268]数字变焦控制部14将经由操作部26而输入的数字变焦倍率的设定值输出至切出图像设定部13。而且，数字变焦控制部14具有下述功能，S卩，在由移动判定部11判定为摄像机23发生了移动时，根据所判定的移动等级（level来调整数字变焦功能。[0269]模糊修正部15例如使用所述专利文献2所揭示的方法来修正手抖等的移动。而且，模糊修正部15具有下述功能，S卩，在由移动判定部11判定为摄像机23发生了移动时，根据所判定的移动等级，来变更修正等级或解除修正。[0270]接下来，切出图像设定部13执行进行切出图像62的设定的切出图像设定处理S25。摄像机23的移动信息及数字变焦倍率信息分别从移动判定部11及数字变焦控制部14输出至切出图像设定部13。图4的（2的示例中，切出图像62的中心位置被设定为与输出图像60的中心位置一致。而且，切出图像62的显示尺寸是根据显示部22的尺寸、用户所设定的数字变焦倍率（图4的（1及图4的（2中为2倍及输出图像60与切出图像62的尺寸比率的设定值而算出。切出图像62的设定值被输出至显示部22。切出图像62是对应于每个输入帧而实时（realtime地更新。[0271]或者，也可在设定好辅助图像63的尺寸后，辅助图像设定部16将辅助图像63的设定值输出至切出图像设定部13,切出图像设定部13根据辅助图像63的显示尺寸及显示部22的尺寸来设定切出图像62的显示尺寸。[0272]继而，辅助图像设定部16执行进行辅助图像63的设定的辅助图像设定处理S35。辅助图像的显示尺寸是根据显示部22的尺寸及从切出图像设定部13输出的切出图像62的尺寸而算出并设定。[0273]此处，辅助图像设定部16基于保存在存储部21中的图像映射数据物体的位置信息及事先设定的颜色信息，来设定图标65的显示位置、尺寸、颜色等。显示控制部20使用切出图像62及辅助图像63的设定值，在显示部22上显示输出图像60。[0274]另外，在对所有输入帧进行物体检测及图像映射数据的保存时，辅助图像63可与切出图像62同样地，针对所有的每个输入帧而实时更新。另外，辅助图像63的更新未必需要对所有的每个输入帧来进行，也可设定为每隔预定的帧间隔来更新。此时，例如只要配合进行物体检测的帧间隔，而每隔预定帧间隔、例如每隔10帧来进行辅助图像63的更新即可。[0275]图4的⑵的示例中，在各图标65上分别附加有对应的球员队服的颜色信息。例如可掌握黑Y3是位于切出图像62的区域外且左下方向。而且，黑Y4是位于切出图像62的区域外且右上方向。而且，白Z3是位于切出图像62的区域外且左方向。而且，白Z4是位于切出图像62区域外且右下方向。而且，各图标65的图形大小（此时为圆的直径）是与从切出图像62的中央或切出图像62最近的端部算起的距离对应的大小，且设定为，距离越近则显示得越大。例如对于白Z3与黑Y3设定为，使白Z3的图标显示得较大。即，用户通过目测辅助图像63的图标65,便能够掌握哪个颜色的队服的球员在哪个方向上位于大致怎样的距离。通过如此般设定辅助图像63,并与切出图像62同时显示在输出图像60内，一眼便能够看到显示在切出图像62上的球员以外的信息输入图像50内的非切出数据区域53的信息），从而能够在使数字变焦功能持续的状态下掌握其他球员的移动。[0276]辅助图像显示的另一例）[0277]图5的⑴至图5的⑶是表示辅助图像显示的另一例的图。[0278]图4的（2中，表示了显示有模仿被摄物的图形（圆形的图标65的示例，但辅助图像63的显示方式并不限于此。图形也可使用多边形及模仿被摄物的示意图、记号、数字、文字及符号，还可为它们的组合。而且，也可显示与被摄物对应的球员的背部编号或姓名。图5的（1是对圆形的图标65标注与球员所属的每个队伍对应的不同颜色，进而将球员的背部编号显示在图标65内的示例。[0279]而且，作为辅助图像63,也可使对应位置的输入图像50的非切出数据区域53变形或压缩而显示。而且，例如也可设为模仿鱼眼镜头的显示方式。在进行压缩显示时，例如只要将非切出数据区域53整体以预定的压缩率来进行压缩即可。或者，也可越接近切出数据区域52而使压缩率越低，越远则使压缩率越高。或者，也可仅对包含所检测的被摄物数据的非切出数据区域53进行压缩。或者，也可对应于辅助图像63的显示幅度，将非切出数据区域53变形或压缩为例如纵长或横长而显示。[0280]图5的（2是取代图标65,而对输入图像50的非切出数据区域53进行图像压缩而显示的示例。白Z3、黑Y3、黑Y4及白Z4的被摄物的图像对应于位于非切出数据区域53内的位置，而在辅助图像63内压缩显示缩小显示）。[0281]而且，在辅助图像63中，不仅可设置图标65等，也可设置显示电视播放时所使用的反射式字幕telop等其他信息的区域。[0282]而且，这些显示方式只要可由用户对操作部26进行操作来选择即可。而且，也可切换显示及非显示。[0283]而且，在图4的（2中，辅助图像63的画面显示设为与矩形的输出图像的外框的四边之间具备宽度的形状，且上下左右方向设为均等的显示区域宽度，但并不限于此。例如也可设为使切出图像62的四角并非直角而是带有弧度的形状，将从输出图像60除去切出图像62后的区域设为辅助图像63。而且，也可根据输入图像50内的检测物体的存在状况而使辅助图像63的显示区域发生变形。例如，辅助图像63的显示未必需要为输出图像60的整个周围（矩形的情况下为四边），也可根据检测物体的存在状况，使未检测到事先登记的物体的方向比检测到物体的其他区域缩窄辅助图像63的显示区域。或者，也可仅在检测到物体的方向上显示辅助图像63。或者，也可为，所检测的物体的数据量像素量越多的方向，则越加宽辅助图像63的显示区域。[0284]图5的⑶是将切出图像62的四角设为带有弧度的形状，使辅助图像63的上下左右方向的显示区域宽度根据检测物体的存在状况而变化的示例。为了表示在上方向的输入图像数据的非切出数据区域53中不存在检测物体，以辅助图像63的上方向的显示区域宽度比其他方向窄的方式来予以显示。当在下帧或预定数后的输入帧中，在上方向的非切出数据区域53内检测到物体时，只要设定为，变更辅助图像63的上方向的显示区域宽度，以显示所述检测物体即司。[0285]根据本实施方式，用户能够在显示部上确认从输入图像中设定的切出数据区域52与辅助图像63,所述辅助图像63是作为与从输入图像除去切出数据区域52以外的区域即非切出数据区域53的至少一部分相关的信息。而且，通过对应于输入图像的更新来更新切出数据区域52,并对应于输入图像的更新来更新辅助图像63,从而能够配合输入图像的更新来更新切出数据区域52及辅助图像63的显示。由此，能够在用户继续浏览输出图像的状态下，从输入图像中获取未作为当前的输出图像而显示的区域的信息来作为附加信息，以提供给用户。[0286][2.实施例][0287]接下来，作为具备所述图像处理装置的电子设备的一例，对作为便携终端、信息显示装置的一种的智能电话2的实施例进行说明。但是，可适用本发明的实施例当然并不限定于以下说明的实施例。[0288][2-1.功能结构][0289]图6是表示具备本实施方式中的图像处理装置1的智能电话2的功能结构的一例的框图。[0290]智能电话2具备处理部100、操作部200、显示部300、声音输出部400、拍摄部500、通信部600、时钟部700、振动部750、移动传感器760及存储部800。[0291]处理部100是依照存储在存储部800中的系统程序等各种程序来统一控制智能电话2的各部，或进行与图像处理相关的各种处理的处理装置，具有CHJ或DSP等处理器或者ASIC等集成电路而构成。[0292]处理部100具有输入部110、显示控制部180及告知部140,以作为主要的功能部。而且，显示控制部180具有移动判定部171、图像映射生成部172、切出图像设定部173、数字变焦控制部174、模糊修正部175及辅助图像设定部176。这些功能部分别对应于图1的图像处理装置1所具备的功能部。[0293]操作部200是具有操作按钮button或操作开关（switch、或者另行连接的触控笔touchpen或鼠标mouse等供用户进行针对智能电话2的各种操作输入的输入装置而构成。而且，操作部200具有与显示部300—体地构成的触控面板touchpanel250,此触控面板250作为用户与智能电话2之间的输入接口（interface发挥功能。依据用户操作的操作信号从操作部200输出至处理部100。[0294]显示部300是具有液晶显示器LiquidCrystalDisplay，LCD等而构成的显示装置，进行基于从处理部100输出的显示信号的各种显示。显示部300是与触控面板250—体地构成而形成触控屏touchscreen。在显示部300上，显示拍摄图像等各种图像。[0295]声音输出部400是具有扬声器speaker等而构成的声音输出装置，进行基于从处理部100输出的声音输出信号的各种声音输出。[0296]拍摄部500是可拍摄任意场景的图像地构成的摄像装置，是具有电荷耦合器件ChargeCoupledDevice，CCD影像传感器（imagesensor或互补金属氧化物半导体ComplementaryMetalOxideSemiconductor，CMOS影像传感器等拍摄元件而构成。拍摄部500将光信号转换为电信号，并将数字化的拍摄图像的数据输出至处理部。[0297]通信部600是用于与外部的信息处理装置之间收发装置内部所利用的信息的通信装置。作为通信部600的通信方式，可适用经由遵照预定通信规格的电缆cable而进行有线连接的形式、或经由被称作座充cradle的与充电器兼用的中间装置而连接的形式、利用近距离无线通信来进行无线连接的形式等各种方式。[0298]时钟部700是智能电话2的内部时钟，例如具有晶体振子及作为振荡电路的晶体振荡器而构成。时钟部700的计时时刻被随时输出至处理部100。[0299]存储部800是具有只读存储器OteadOnlyMemory，ROM或电可擦可编程只读存储器（ElectricallyErasableProgrammableReadOnlyMemory，EEPR0M、快闪存储器flashmemory、随机存取存储器RandomAccessMemory，RAM等易失性或非易失性的存储器或者硬盘harddisk装置等而构成的存储装置。存储部800存储处理部100用于控制智能电话2的系统程序、或用于进行各种图像处理的程序或数据。[0300]本实施例中，在存储部800中，存储有由处理部100所读出并作为显示控制处理而执行的显示控制程序810。显示控制程序810包含移动判定程序811、图像映射生成程序812、切出图像设定程序813、数字变焦控制程序814、模糊修正程序815及辅助图像设定程序816作为子例程subroutine。[0301]而且，在存储部800中，包含图像数据存储部820、保存移动传感器760的信息的移动数据存储部830、及保存由用户事先设定的信息的设定信息存储部840。而且，在图像数据存储部820中，存储有:输入图像数据库database825，将从拍摄部500输入至处理部100的拍摄图像的图像信息保存为输入图像；图像映射数据表821，保存输入图像的图像映射；以及切出图像设定表822,保存切出图像的设定信息。在输入图像数据库825中，针对每个输入帧或每隔预定帧间隔而保存有过去及当前的输入图像数据。[0302]振动部750是具有马达motor等而构成的振动产生装置，进行基于从处理部100输出的振动产生信号的各种振动产生。此装置是作为对用户的告知部件的一例，被用于使智能电话2振动时。[0303]移动传感器760是可检测智能电话2的移动信息地构成的传感器。移动传感器760将使智能电话2的移动信息转换为电信号的数据输出至处理部100。[0304]光学变焦部550是具备望远镜头的光学设备，通过接合装置520而连接于智能电话2的拍摄部500。另外，以下的说明中，若未特别说明，则设为不使用光学变焦功能的状态，但明确的是，即使在使用光学变焦功能的情况下，仍起到同样的效果。[0305][2-2.处理][0306]使用图4的⑴及图4的（2所示的足球的图像及图6〜图13,对本实例的智能电话2的一方式进行说明。[0307]图7是表示显示控制处理流程的一例的流程图。显示控制处理是智能电话2的处理部100依照存储在存储部800中的显示控制程序810而执行的处理。此显示控制处理是通过由用户启动智能电话2的应用程序而执行。[0308][221.图像映射生成处理][0309]最先，显示控制部180进行图像映射生成处理S100。[0310]图8是表示图像映射生成处理的一例的流程图。图像映射生成处理是处理部100的图像映射生成部172依照存储在存储部800中的图像映射生成程序812而执行的处理。[0311]首先，最先，图像映射生成部172从存储在存储部800中的设定信息存储部840读出物体信息SlOl。[0312]在设定信息存储部840中，存储有用户事先设定的物体信息例如球或队服的颜色等。本实施例中，在设定信息存储部840中，记录有球Π、黑色队服的球员Y及白色队服的球员Z以下称作黑Y及白Z的信息。继而，图像映射生成部172从输入图像数据库825进行输入图像50的图像数据输入帧）的读出（S103。[0313]继而，图像映射生成部172基于在SlOl中读出的物体信息例如用户事先登记的颜色信息，针对每个输入帧来进行物体检测，由此来确定所检测的各物体的位置，生成包含所述输入帧中的各检测物体的位置信息所述输入图像数据内的各检测物体的坐标信息）的图像映射数据S105。所生成的图像映射数据保存在图像映射数据表821中（S107，结束图像映射生成处理。[0314][0315]表1表示保存在图像数据存储部820中的图像映射数据表821的一例。如表1所示，在图像映射数据表821中，例如与时间序列信息一同存储有当前输入帧及过去输入帧中的球Π、黑Yl〜Y4及白Zl〜Z4的位置信息，各位置信息与各帧编号相关联。位置信息是将输入帧的左上设为原点的X及Y这两方向的坐标值，单位为像素pixel。另外，物体检测及位置信息的存储既可针对每个输入帧，也可每隔预定的输入帧间隔例如每隔10帧来进行。而且，位置信息的原点并不限于左上，例如也可设为输入帧的中心点。而且，较佳的是，与输入帧相关联地记录数字变焦倍率。[0316]以上所说明的示例中，图像映射生成部172基于在SlOl中读出的物体信息，通过图像识别处理来进行物体检测及物体位置信息的获取，但也可基于来自安装于物体的GPS单元等卫星定位单元的信号，来获取物体的位置信息。具体而言，安装于物体的GPS单元接收射频RadioFrequency，RF信号，此RF信号包含从作为定位用卫星的一种的GPS卫星发送的定位用卫星信号的一种即GPS卫星信号。并且，GPS单元从所接收的RF信号中捕捉GPS卫星信号，基于所捕捉的GPS卫星信号来进行公知的GPS运算以运算出物体的位置信息等，并将所述运算结果作为GPS运算信号而发送。GPS运算信号被智能电话2的通信部600接收，并被输出至显示控制部180。图像映射生成部172基于事先与各物体ID相关联地登记在设定信息存储部840中的各GPS单元的ID信息，进行将各物体的GPS运算信号转换为所述输入图像数据内的各检测物体的坐标信息的运算处理，制作图像映射数据。作为GPS单元，在足球比赛等中，只要使用可安装于队服或鞋上的小型GPS标签tag即可。在汽车赛等中，作为GPS单元，只要使用搭载于车辆中的GPS装置GPS模块module即可。而且，在日常场景中，作为GPS单元，只要使用搭载于各种装置或车辆等中的导航navigation装置中内置的GPS装置GPS模块即可。[0317][2-2-2.移动判定处理][0318]返回图7,显示控制部180进行移动判定处理S150。移动判定处理是处理部100的移动判定部171依照存储在存储部800中的移动判定程序811而执行的、对拍摄部500的移动以下称作智能电话2的移动进行判定的处理。移动判定处理结果被输出至数字变焦控制部174及模糊修正部175,用于是否需要使用数字变焦功能的判断、及手抖修正等级适用判断。[0319]图9是表示移动判定处理的一例的流程图。本例中，作为智能电话2的移动度的指标，将三个阈值设定为第3阈值第2阈值第1阈值。阈值既可对应于移动传感器25的输出值来设置，也可对应于根据多个输入帧图像数据而算出的移动量来设置。使用图9,对使用多个阈值，将智能电话2的移动分类为移动标记flag1〜4而保存在移动数据存储部830中的处理流程进行说明。[0320]当执行移动判定程序811时，首先，若智能电话2的移动度小于第1阈值（S151:否No，则智能电话2被判定为大致未移动，移动标记设定为IS153。[0321]若智能电话2的移动度为第1阈值以上（S151:是Yes，则判定是否为第2阈值以上S155。若小于第2阈值S155:否），则移动标记设定为2S157。若智能电话2的移动度为第2阈值以上S155:是），则判定是否为第3阈值以上S159。若小于第3阈值S159:否），则移动标记设定为3S161。若为第3阈值以上S159:是），则移动标记设定为4S163。[0322]移动判定部171将所设定的移动标记信息移动标记1、2、3、4保存到移动数据存储部830中（S170，结束移动判定处理。另外，移动判定也可并非针对每帧，而是每隔预定帧例如每隔10帧）来进行。较佳的是，移动标记信息是与进行移动判定时的帧相关联地存储在移动数据存储部830中。[0323]移动判定的分类）[0324]图9所示的示例中，设定三个阈值第1〜3阈值来进行智能电话2的移动判定，且设定有移动标记1〜4。移动标记1、2、3、4分别设想下述四种移动，S卩：1大致未移动（以下称作固定）；2有稍稍移动（以下称作微动）；3因用户的摇移俯仰动作而稍大地移动（以下称作摇移俯仰）；4因用户的被摄物变更或摄影场景转换动作而大幅移动（以下称作场景转换）。通过适当地设定阈值，能够判别所述1〜4的移动。[0325]移动度的阈值设定）[0326]对用于判定智能电话2的移动度的阈值设定的示例进行说明。成为以下说明的阈值设定基准的项目既可单独使用，也可组合使用。[0327]1所谓固定移动标记1，例如是指智能电话2大致未移动或被固定的状态，所谓2微动移动标记2，是设想虽有所移动，但为小于摇移俯仰动作的轻微移动。判别1固定移动标记1与2微动移动标记2的第1阈值例如只要设定为可判别固定状态与小于通常的摇移俯仰动作的轻微移动即可。[0328]判别2微动移动标记2与3摇移俯仰移动标记3的第2阈值是将设想为进行通常的摇移俯仰动作的情况的移动为基准而设定。例如，当根据输入帧的图像数据来进行移动度的判定时，在1080X1980像素的分辨率及30fps的拍摄条件下，只要将第2阈值设定为帧20像素帧左右即可。[0329]判别3摇移俯仰移动标记3与4场景转换移动标记4的第3阈值只要在与第2阈值设定相同的拍摄条件下，设定为50像素帧左右即可。另外，以上的说明中，是使用来自输入帧的计算值来进行阈值的设定，但如上所述，也可基于移动传感器760的输出值来进行阈值的设定，还可基于移动传感器760的输出信息与来自输入帧的计算值这两者。[0330]而且，在阈值的设定时，也可使用智能电话2的移动加速度。3摇移俯仰移动标记3是设想用户追随于特定的被摄物的移动而移动智能电话2的动作，因此为智能电话2的移动速度大致固定且稳定地移动的状态加速度小的状态）。另一方面，4场景转换移动标记4是设想为了拍摄不同的被摄物或不同的场景，用户快速且大幅地移动智能电话2的场景，因此移动速度的变化变得急遽加速度大的状态）。即，将智能电话2的移动加速度作为基准来设定第3阈值，若小于第3阈值，则视为3摇移俯仰移动标记3，也可将第3阈值以上的情况判别为4场景转换移动标记4。加速度的信息只要根据从移动传感器760的输出信息或输入帧的图像数据获取的移动速度来计算即可。[0331]而且，在阈值的设定时，也可使用在输入帧图像数据间移动的像素量。在用户追随于某个特定的被摄物的移动而移动智能电话2的状态下，构成输入帧图像数据的多个像素的位置在输入帧图像数据间为大致固定。另一方面，在变更用户所浏览的被摄物，或者转换了拍摄场景的状态下，构成输入帧图像数据的多个像素的位置在输入帧图像数据间大幅不同。即，在输入帧图像数据间，也可将移动了预定值以上的像素的量作为基准来设定第3阈值，将小于第3阈值的情况设为3摇移俯仰移动标记3，若为第3阈值以上，则判别为4场景转换移动标记4。[0332]而且，在阈值的设定时，也可使用当前及过去的输入帧图像数据内的被摄物信息。如上所述，在图像映射数据表821中，对应于每个图像帧编号而记录有事先登记的被摄物的位置信息。即，未记录有位置信息的被摄物是未存在于输入帧图像中的被摄物。即，当在预定帧数中（例如60帧中）以预定的概率例如80%而存在事先登记的被摄物信息的记录时、或在连续的预定帧数中（例如15帧中）存在事先登记的被摄物信息的记录时，判断为未进行被摄物变更，从而判定为3摇移俯仰移动标记3。在无记录的情况下，也可判断为进行了被摄物变更或场景转换，从而判定为4场景转换移动标记4。[0333]另外，对于以上说明的借助阈值的判定，也可在第1〜3阈值判定（S151、S155、S159结束后，不立即执行作为下个处理的移动标记1〜4的设定（S153、S157、S161、S163，而是当此阈值判定状态维持预定期间时，进行移动标记的设定。借此，能够防止因用户的操作失误等而进行与用户的意图不同的移动判定处理。[0334]而且，也可将移动判定部171当前的判定结果为1固定、2微动、3摇移俯仰及4场景转换中的哪一种告知给用户。借此，用户能够知晓是否达成了用户有意识的移动判定。而且，可识别如何移动智能电话2才会判定为例如摇移俯仰动作。当被告知有无意识的移动判定时，能够修正移动智能电话2的操作，或者暂时中断移动操作。[0335]而且，第1〜3阈值也可由用户变更。例如若用户感到判定为2微动、3摇移俯仰或4场景转换的频率过多，则只要分别上调第1、第2、第3阈值的设定即可。[0336]而且，也可通过用户对操作部200或触控面板250进行操作，来进行1固定、2微动、3摇移俯仰及4场景转换的切换。而且，例如也可将切换1固定与2微动的按钮显示在触控面板250上，且可通过用户用手指来轻击tap切换按钮的动作与移开手指的动作，来切换1固定与2微动。如此，当用户进行操作时，只要使基于用户操作的切换较移动判定部171的判定而优先设定智能电话2的移动度移动标记设定值即可。[0337]由于智能电话2的操作存在个人差异，因此通过如此般进行借助用户操作的设定变更，从而能够提高操作性。[0338][2-2-3.数字变焦控制处理][0339]接下来，返回图7,显示控制部180进行数字变焦控制处理S200。数字变焦控制处理是数字变焦控制部174依照存储在存储部800中的数字变焦控制程序814而执行。数字变焦控制部174将用户经由操作部200而设定的数字变焦的倍率输出至切出图像设定部173。而且，数字变焦控制部174具有下述功能，S卩，基于从移动判定部171输出的智能电话2的移动信息即移动标记设定值来调整数字变焦功能。[0340]对于用户而言，难以一边观察通过数字变焦功能而放大的输出图像60,一边进行变更作为浏览对象的被摄物的动作或摄影场景转换动作，放大倍率越高，其困难度越高。因此，理想的是，此种情况下，自动解除数字变焦功能，或者使基于此功能的倍率自动下降至预定值例如2倍等为止。以下，使用图10的流程图来说明数字变焦控制处理的处理流程。[0341]首先，数字变焦控制部174从移动数据存储部830进行移动标记设定值的读出S201〇[0342]接下来，数字变焦控制部174判定移动标记是否为4S202。若移动标记并非4S202:否），则移动标记为1〜3中的任一个，因此数字变焦控制部174将数字变焦倍率仍维持当前的倍率S210。若移动标记为4S202:是），则智能电话2的移动为4场景转换，因此数字变焦控制部174解除数字变焦S220，输出图像60缩小。[0343]另外，以上的说明中，在移动标记4的情况下设为解除数字变焦功能，但亦可不解除此功能，而是使倍率降低至预定值例如2倍等为止。而且，在移动标记1〜3的情况下，设为数字变焦功能仍持续当前的倍率，但对于移动标记3的3摇移俯仰动作，也可与移动标记4同样地，解除数字变焦功能或者使此功能的倍率降低至预定值为止。[0344]另外，在移动标记4的情况S202:是下，数字变焦控制部174也可不立即解除数字变焦功能或执行倍率的降低，而是在来自移动判定部171的移动标记4的输出维持预定时间后执行。或者也可设为，在移动标记4的情况下，移动判定部171再次进行移动判定处理。借此，能够防止因移动判定处理的错误或用户的操作失误等，导致在与用户意图不同的时机timing解除数字变焦或者降低数字变焦倍率。[0345][2_2_4·模糊修正处理][0346]接下来，返回图7,进行模糊修正处理S300。[0347]模糊修正处理是模糊修正部175依照存储在存储部800中的数字变焦控制程序814而执行。另外，对于模糊修正处理，可使用专利文献2中揭示的方法。而且，以下的说明中，对针对通过数字变焦而放大的图像的模糊修正处理进行说明，但明确的是，对于同时进行光学变焦与数字变焦的放大图像及输入图像50光学输出图像），也能够适用同样的模糊修正处理。[0348]设想下述状况：当用户使用望远功能时，欲在无模糊的固定状态下浏览所注视的被摄物。另一方面，望远输出图像望远图像与未使用变焦功能的输出图像非望远图像）相比，用户手抖的影响变大。作为进行模糊修正的频段，在非望远图像中，通常仅对因手抖引起的高频段进行模糊修正，这意味着，因智能电话2的轻微移动等引起的低频段不作为模糊修正的对象频段。但是，为了获得固定的望远图像，对于在非望远图像中不造成问题的程度的智能电话2的轻微移动也必须进行模糊修正。具体而言，理想的是，在望远图像中，将比非望远图像宽的频段，即，将因手抖引起的高频段及因轻微移动等引起的低频段这两者作为模糊修正的对象频段。[0349]另一方面，在进行摇移俯仰动作时，为了追随于用户有意识的移动，理想的是，因摇移俯仰动作引起的低频段不作为模糊修正对象，而仅将因手抖引起的高频段作为模糊修正的对象频段。[0350]因此，作为适用于望远图像的模糊修正模式，较佳的是，准备较非望远图像更严格地设定移动容许等级的模糊修正模式模糊修正模式A:对高频段及低频段进行修正而将切出图像62固定）、与容许因摇移俯仰动作引起的移动的模糊修正模式模糊修正模式B:仅对高频段进行修正，而允许摇移俯仰动作），且用户或模糊修正部175可根据摄影状况来进行模糊修正模式的切换。[0351]在作为修正对象的频段设定时，例如较佳的是使用旁通滤波器（以下称作HPF。所谓HPF，是指使比所设定的阻断频率高的频率成分通过，而将比阻断频率低的频率成分截止的滤波器。在不使用HPF的情况下，对高频段至低频段为止的频段进行模糊修正处理。当仅将因手抖引起的高频段作为模糊修正的对象频段时，提高阻断频率，即将HPF系数设定得较高。当将更低频侧作为模糊修正的对象频段时，只要进一步降低阻断频率，即，只要将HPF系数设定得更低即可。通过如此般适当切换借助HPF来修正的频段而进行模糊修正处理，从而能够对用户有意识的移动即摇移俯仰动作不执行模糊修正，而使切出图像62的显示追随于智能电话2的移动，而对于手抖执行模糊修正，以从切出图像62的显示中去除因手抖引起的移动。[0352]当模糊修正部175自动切换模糊修正模式时，只要模糊修正部175使用来自移动传感器760的输出值、或者从移动判定部171输出的移动判定结果移动标记设定值），来进行模糊修正模式的变更即可。[0353]若对智能电话2的移动度移动标记1〜4与模糊修正模式的设定的一例进行说明。例如在移动判定的结果为1固定移动标记1的情况下，为了使移动容许的等级较非望远图像更严格，在1固定的情况下，在将HPF系数设定得比移动判定的结果为2微动移动标记2的情况更低的状态、或不使用HPF的状态下，进行模糊修正模糊修正模式A:固定）。借此，能够将修正的频段设为更宽的范围，从而能够获得大致或完全固定的状态的切出图像62。另外，在移动判定的结果为3摇移俯仰移动标记3的情况下，在将HPF系数设定得比2微动（移动标记2的情况高的状态下进行模糊修正处理（模糊修正模式B:摇移俯仰允许），以去除手抖引起的高频段而容许摇移俯仰动作。低于阻断频率的低频段成分通过HPF而被截止，因此不成为模糊修正处理的对象。另一方面，比阻断频率高的因手抖引起的高频段成分通过HPF，因此执行模糊修正处理。[0354]使用图11来说明模糊修正处理的模糊修正模式设定流程。[0355]首先，模糊修正部175从移动数据存储部830进行由移动判定部171所设定的移动标记的读出（S251。[0356]接下来，模糊修正部175判定移动标记是否为1或2S253。若移动标记为1或2S253:是），则模糊修正部175将模糊修正模式设定为A固定）（S255，执行模糊修正后结束处理。若移动标记并非1或2S253:否），则模糊修正部175判定移动标记是否为3S260。若移动标记为3S260:是），则模糊修正部175将模糊修正模式设定为B摇移俯仰允许）S265，执行模糊修正后结束处理。若移动标记并非3S260:否），则判定移动标记为4,不进行模糊修正处理S270而结束处理。[0357]另外，在移动判定的结果为4场景转换移动标记4的情况下，是设想为了进行被摄物变更或场景转换而大幅移动智能电话2的情况，因此也可设为在数字变焦中不进行模糊修正处理的设定。此时，可省略图11的是否为移动标记3的判断（S260。而且，较佳的是，在大幅的移动结束，移动标记由4变化为3以下的时机，进行模糊修正处理。[0358]而且，较佳的是，根据数字变焦倍率，来使进行模糊修正的频段自动地发生变化。具体而言，从数字变焦控制部174将数字变焦倍率的值输出至模糊修正部175。模糊修正部175只要根据数字变焦倍率的值，以倍率越高则越加宽进行模糊修正的频段的方式，来下调例如阻断频率下调HPF的系数即可。[0359]而且，如图11的说明中所说明般，当智能电话2的移动被判定为1固定移动标记1或2微动移动标记2时，通过模糊修正模式A固定）来进行模糊修正处理，因此切出图像62成为被固定的状态。即，只要用户未将智能电话2大幅移动到判断为3摇移俯仰移动标记3或4场景转换移动标记4的程度，则切出图像62仍保持固定。这意味着，即使用户为了追踪被摄物而移动智能电话2，切出图像62也无法追随于被摄物的移动的状态。[0360]为了避免此种状态，在用户移动智能电话2的可能性高的状况，例如当切出图像62的中心位置距输入图像50的中心位置为预定距离时，模糊修正部175只要将模糊修正模式由模糊修正模式A固定变更为模糊修正模式B摇移俯仰允许）即可。借此，即使在智能电话2未大幅移动到判定为3摇移俯仰移动标记3的程度的情况下，也能够追随于智能电话2的移动来移动切出图像62。[0361]或者，为了避免此种状态，例如在切出图像62的中心位置距输入图像50的中心位置为预定距离的情况下，移动判定部171也可下调判别2微动与3摇移俯仰的第2阈值，将第2阈值缓和至较通常更容易判定为3摇移俯仰移动标记3的值，由此使得模糊修正模式容易由A固定变更为B摇移俯仰允许）。通过如此般变更阈值的设定，即使在智能电话2未大幅移动到判定为3摇移俯仰移动标记3的程度的情况下，也能够追随于智能电话2的移动来移动切出图像62。[0362]而且，较佳的是，当用户再次移动智能电话2,而切出图像62的中心位置在输入图像50的预定距离内停留预定时间（例如1秒钟）时，通过取消（cancel第2阈值的缓和，从而使模糊修正模式由B摇移俯仰允许）自动切换为A固定）。[0363]以上，对借助缓和第2阈值的方法进行了说明，但通过变更模糊修正模式的设定值，也可获得同样的效果。以下，对此方法进行说明。[0364]模糊修正模式的设定值的变更例如设定为，使进行模糊修正的频段窄于1固定标记1状态，以允许相当于2微动移动标记2的轻微移动。具体而言，适用设定为比模糊修正模式A固定高、且比模糊修正模式B摇移俯仰允许低的阻断频率低的HPF系数）的模糊修正模式A2微动允许），以允许相当于2微动移动标记2的轻微移动。[0365]S卩，当切出图像62的中心位置距输入图像50的中心位置为预定距离时，可自动切换为模糊修正模式A2微动允许），将修正频段缩窄至较1固定移动标记1为高频侧将阻断频率变更至高的方向、HPF系数大的方向），由此，避免将因相当于2微动移动标记2的轻微移动引起的低频成分作为模糊修正对象。[0366]借此，即使在智能电话2未大幅移动到判定为3摇移俯仰移动标记3的程度的情况下，也能够追随于智能电话2的移动而移动切出图像62。[0367]另外，在模糊修正模式切换为A2微动允许后，当为了进一步追随被摄物而移动智能电话2,而被判定为3摇移俯仰移动标记3时，模糊修正模式由A2微动允许）自动切换为B摇移俯仰允许）。而且，较佳的是，当在切换为模糊修正模式A2微动允许后，再次移动智能电话2，而切出图像62的中心位置在输入图像50的预定距离内停留预定时间（例如1秒钟时，使模糊修正模式由A2微动允许）自动切换为A固定）。[0368]而且，较佳的是，将用于告知用户显示在显示部300上的切出图像62是将输入图像50的哪个区域切出而得的图像的显示窗，显示在输出图像60内的例如切出图像62的端部附近。在显示窗中，例如可显示输入图像50及切出图像62的轮廓与各自的中心位置。而且，显示控制部180在切出图像62的切出位置靠近从输入图像50的端部起的预定距离内的情况及位于输入图像50外侧的情况等下，也可将引导用户移动智能电话2的位置的告知显示在输出图像60内。[0369][2-2-5.切出图像设定处理][0370]接下来，返回图7,显示控制部180进行切出图像设定处理S250。图12是表示切出图像设定处理的一例的流程图。切出图像设定处理是处理部100的切出图像设定部173依照存储在存储部800中的切出图像设定程序813而执行。[0371]切出图像设定部173根据从数字变焦控制部174输出的数字变焦倍率信息，来设定输入图像50的切出数据区域52的尺寸S301。另外，在数字变焦倍率为1倍的情况下，输入图像50光学输出）成为切出数据区域52,因此省略S301的步骤。[0372]接下来，设定输出图像60内的切出图像62的显示尺寸及显示位置S305，将设定信息输出至显示部300而结束切出图像设定处理。切出数据区域52例如为矩形区域，切出数据区域52的中心点是设定为与输入图像50的中心点一致。而且，切出图像62的中心点是设定为与输出图像60的中心点一致。借此，位于输入图像50光学输出）的中心点附近的被摄物被显示在输出图像60及切出图像62的中心点附近。[0373]而且，切出图像62的显示尺寸例如只要设为输出图像60的50%〜80%的尺寸即可。而且，也可由用户对操作部200或触控面板250进行操作而变更显示尺寸。[0374]而且，也可在通过以下说明的辅助图像设定处理来设定辅助图像63的尺寸后，将从输出图像60除去辅助图像63以外的区域作为切出图像62。[0375][2-2-6·辅助图像设定处理][0376]继而，返回图7,显示控制部180进行辅助图像设定处理S350。[0377]图13是表示辅助图像设定处理的一例的流程图。辅助图像设定处理是处理部100的辅助图像设定部176依照存储在存储部800中的辅助图像设定程序816而执行的处理。[0378]首先，辅助图像设定部176从存储在存储部800中的图像映射数据表821中读出物体信息S351。[0379]接下来，辅助图像设定部176基于所读出的物体信息，对于位于输入图像50内且切出图像62的区域外非切出数据区域53的被摄物，针对每个被摄物来设定其位置和与种类是否为人物等及颜色信息对应的图标65S355，并将设定信息输出至显示部300而结束辅助图像设定处理。[0380]以上，结束图7所示的显示控制处理。[0381][3.变形例][0382]可适用本发明的实施例并不限定于所述实施例，当然可在不脱离本发明的主旨的范围内进行适当变更。以下，对变形例进行说明，但对于与所述实施例相同的结构标注相同的符号，并省略再次的说明。[0383][3-1-1.将切出图像中的选择被摄物显示于中心][0384]在观看球赛例如足球时，将球附近放大浏览的倾向高，为了使随时移动的球显示在输出图像的中心附近，用户必须进行精细地移动智能电话2的位置的动作。但是，数字变焦倍率越高，越会反映出用户轻微的手移动而大幅移动输出图像60的显示，因此用户的动作变得困难，负担也增加。[0385]为了解决此种问题，只要智能电话2将在切出图像62中由用户所选择的被摄物自动显示在切出图像62的中心位置即可。以下，使用图14的（IA至图14的（3B来进行具体说明。[0386]假设位于图14的（IA的输入图像50及图14的（IB输出图像60的中心附近的球Π是用户欲作为浏览中心的被摄物。[0387]如图14的（2A的输入图像50及图14的（2B的输出图像60所示，假设球Xl移动到切出图像62的左上方向。此处，用户不移动智能电话2,而进行对操作部200或触控面板250进行操作例如用手指轻击切出图像62上的球Π来选择球Π的操作。切出图像设定部173根据球Xl在当前的输入图像50内的坐标位置、数字变焦倍率，来算出为了使用户所选择的球Π显示在切出图像62的中心附近所需的切出数据区域52的移动方向及移动量，并依照计算值来使切出数据区域52移动。[0388]图14的（3A的输入图像50及图14的（3B的输出图像60表示进行所述处理而进行了切出数据区域52的移动的状态。可知的是，通过使在输入图像50内切出的位置移动到左上，球Xl便显示在切出图像62的中心附近。[0389][3-1-2.将辅助图像中的选择被摄物显示于中心、操作引导功能][0390]接下来，对智能电话2将在辅助图像63中由用户所选择的被摄物自动显示于切出图像62的中心位置的处理进行说明。[0391]假设位于图15的（IA的输入图像50内的球Xl如图15的（IB所示，未显示在切出图像62内，而在辅助图像63内以白色的圆形图标65所显示。[0392]此种情况下，用户不移动智能电话2,而对操作部200或触控面板250进行操作（例如用手指轻击辅助图像63上的图标65而选择与球Xl对应的白色图标65。[0393]切出图像设定部173根据球Π在当前的输入图像50内的坐标位置、数字变焦倍率，来算出为了使用户所选择的球Xl显示在切出图像62的中心附近所需的切出数据区域52的移动方向及移动量，并依照计算值来使切出数据区域52移动。[0394]图15的（2A的输入图像50及图15的（2B的输出图像60表示进行所述处理而进行了切出图像62的移动的状态。可知的是，通过使在输入图像50内切出的位置移动到左上，球Π便显示在切出图像62内。如此，在用户欲浏览的被摄物未显示在切出图像62内的情况下，无须移动智能电话2,通过选择显示在辅助图像63内的图标65等，便可将所选择的被摄物显示在切出图像62内。[0395]切出数据区域的移动范围的限制）[0396]另外，在图15的（2B的输出图像60中，球Π未显示在切出图像62的中心附近的理由是:对切出数据区域52的移动范围设置限制，以免切出到不存在输入图像50的数据的范围。在未设限制的情况下，有可能使球Xl显示在切出图像62的中心附近。但在此时，将切出不存在输入图像50的数据的范围，从而有损输出图像60的美观。[0397]操作引导的显示）[0398]为了避免此种状态，只要使用户持着智能电话2的手朝球Xl所处的方向适当移动即可。此时，较佳的是，告知部140对用户进行促使其移动智能电话2的位置的告知。[0399]在图15的（2B的辅助图像63上，作为告知的一例，显示有表示移动智能电话2的方向的箭头的操作引导66。另外，告知方法也可为在输出图像60上显示文本消息（textmessage、或借助声音输出部400的声音。而且，也可借助所述方法的组合。[0400]而且，也可如图5的（3的辅助图像63的显示例所示，通过变更辅助图像63的区域宽度来进行告知。此时，根据数据的存在量来缩窄或消除不存在预定量的输入图像50的数据的方向的辅助图像63的区域宽度。用户通过目测辅助图像63的区域宽度，便能够获知移动智能电话2的方向。[0401]图15的（3A的输入图像50及图15的（3B的输出图像60表示了下述状态，S卩，用户依照告知而适当地移动了智能电话2,结果，球Xl显示在切出图像62的中心附近。[0402]而且，为了避免切出不存在输入图像50的数据的范围而有损输出图像的美观的状况，也可设定为，在切出数据区域52靠近至输入图像的端部的情况下，例如，当切出数据区域52的外边缘到达从输入图像的端部起在预定距离内的位置（内线）的情况下，自动上调数字变焦倍率。借此，与切出图像62对应的切出数据区域52的尺寸变小，因此能够防止切出到不存在输入图像50的数据的范围。[0403]另外，以上的说明中，设为使用户所选择的被摄物显示在切出图像62的中心而进行了说明，但也可并非使被摄物，而是使在切出图像62中由用户所选择的范围显示在切出图像62的中心。此时，用户对操作部200或触控面板250进行操作，以选择切出图像62内的所需范围（例如矩形的范围）。随后，只要将用户选择范围的中心点设为所述说明中的球Π而进行同样的处理即可。[0404]而且，以上的说明中，设为在切出图像62内进行范围的选择，将所选择的范围显示在切出图像62的中心而进行了说明，但也可在输入图像50内进行范围的选择。[0405]此时，将用于告知用户显示在显示部300上的切出图像62是将输入图像50的哪个区域切出而得的图像的显示窗，显示在输出图像60内的例如切出图像62的端部附近。在显示窗中，例如显示输入图像50及当前的切出图像62的轮廓与各自的中心位置。用户对操作部200或触控面板250进行操作，以选择欲在显示窗内浏览的范围（例如矩形的范围）。显示控制部180只要算出与显示窗的选择范围对应的输入图像50内的范围的坐标信息，继而算出为了使输入图像50内的选择范围的中心点与切出数据区域52的中心点一致所需的坐标信息，并输出至切出图像设定部173即可。[0406][3-1-3.选择被摄物位置的告知][0407]如在图像映射生成处理中所说明般，本实施例中，事先登记的被摄物信息被保存在设定信息存储部840中，当前及过去的输入帧中的位置信息被保存在图像映射数据表821中。使用这些信息，当用户所选择的特定的被摄物位于切出图像62或输入图像50内时，可将其位置告知给用户。[0408]例如，用户事先选择球Xl来作为选择被摄物，并登记在设定信息存储部840中。在开始拍摄后，图像映射生成部172在球Xl的位置信息被记录于图像映射数据表821中时，图像映射生成部172将选择被摄物检测标记输出至显示控制部180。显示控制部180在选择被摄物的检测位置位于切出数据区域52内的情况下，向切出图像设定部173输出选择被摄物的位置信息及告知处理命令，在选择被摄物的检测位置位于非切出数据区域53内的情况下，向辅助图像设定部176输出选择被摄物的位置信息及告知处理命令。[0409]切出图像设定部173为了告知用户选择被摄物位于切出图像62内，例如将以矩形的框来包围选择被摄物周围等的设定信息输出至显示部300。图16的（IA及图16的（IB表示进行所述告知时的输入图像50与输出图像60。如图16的（IA所示，作为选择被摄物的球Xl位于输入图像50的切出数据区域52内。如图16的（IB所示，在球Xl的周围显示有矩形的框67〇[0410]辅助图像设定部176为了告知用户选择被摄物位于辅助图像63内，例如将以矩形的框来包围与选择被摄物对应的图标65周围等的设定信息输出至显示部300。图16的（2A及图16的（2B表示进行此告知时的输入图像50与输出图像60。如图16的（2A所示，作为选择被摄物的球Xl位于输入图像50的非切出数据区域53内。如图16的（2B所示，在与球Xl对应的图标65的周围显示有矩形的框68。[0411]而且，设想下述情况:暂时在输入图像50内被检测到的选择被摄物因被摄物突发性的大幅移动，而移动到输入图像50外。例如设想下述情况:在足球比赛中的球等被摄物的移动突发性地加快的场景中，选择被摄物移动到当前的输入图像50的数据区域外。此时，由于对象被摄物的数据不处于当前的输入图像50内，因此无法通过图14的（IA至图14的（3B中所说明的切出图像62的移动处理来应对。以下，使用图16的（IA至图16的（3B来说明此种情况下由智能电话2所进行的处理。[0412]图16的（IA及图16的（IB表示作为选择被摄物的球Xl位于输入图像50及输出图像60的中心附近的情况。[0413]图16的（2A及图16的（2B表示了：球Xl位于输入图像50内，但球Xl未显示在输出图像60的切出图像62内，且在辅助图像63内显示有模仿球Xl的白色图标65。[0414]在此阶段，由于球Π位于输入图像50内，因此通过移动切出图像62,便能够使Π显示在切出图像62内。[0415]图16的（3A及图16的（3B表示了：球Xl未位于输入图像50中，且未显示在输出图像60上。检测到作为选择被摄物的球Π未位于输入图像50中的显示控制部180从保存在存储部800的图像映射数据表821中的过去帧的图像数据中，读出相当于球Π的例如过去数秒钟的移动的位置数据。[0416]接下来，显示控制部180使用所读出的过去的位置数据，例如判定为当前的球Π位于根据球Xl的过去数秒钟的坐标而算出的轨迹的方向、或最后检测到球Xl的位置的方向上。继而，显示控制部180在告知部140及辅助图像设定部176上输出球Π的当前位置推定方向以作为操作引导信息。告知部140及辅助图像设定部176例如图16的（3B所示，在辅助图像63内显示催促朝上方向移动智能电话2的操作引导66。[0417]通过进行此种告知，用户无须解除数字变焦功能或降低变焦倍率，既能维持浏览输出图像60的状态，又能有效地移动智能电话2,以使作为选择被摄物的球Π再次显示在输出图像60上。[0418][3-2.向注视位置的恢复处理][0419]当用户使智能电话2朝向某固定位置而对望远图像浏览预定时间以上时，可视为对于此位置的注视度高，将来进行此位置（以下称作注视位置）的浏览的概率高。注视度的设定例如可使用在数字变焦中由移动判定处理S150判定为智能电话2未移动⑴固定移动标记1的状态下的经过时间或输入帧数。即，当在望远图像中对某固定位置浏览预定时间（例如15秒钟或预定的输入帧数例如450帧）以上时，将此浏览位置判断为注视位置，将此时的输出图像60的图像信息作为注视图像信息注视场景信息）而保存在图像数据存储部820中加以利用。或者，在解除数字变焦功能而缩小输出图像60时，也可将此之前的输出图像60的信息自动保存为注视图像信息。数字变焦功能的解除既可通过用户操作来解除，也可通过前述的移动判定部171及数字变焦控制部174使用移动标记的判定来解除。[0420]在进行注视图像信息的保存后，用户为了变更被摄物而大幅移动智能电话2,或者为了让手休息而将持着智能电话2的手放下，由此，通过移动判定部171及数字变焦控制部174使用移动标记的判定4场景转换移动标记4来自动解除数字变焦功能，输出图像60成为缩小画面。[0421]随后设定为，当智能电话2的移动停止，而达成了1固定移动标记1判定时，处理部100对此时的切出图像62自动适用最近缩小前的数字变焦设定倍率。即，每当达成了由4场景转换移动标记4到1固定移动标记1的移动判定时，使数字变焦设定倍率由1倍恢复至缩小前的倍率（以下称作倍率恢复功能）。最近缩小前的数字变焦倍率只要从图像映射数据表821读出即可。另外，倍率恢复也可并非在1固定移动标记1的移动判定之后立即进行，而是在此状态维持预定时间或预定帧数后进行。而且，也可并非恢复至最近缩小前的倍率，而是变更为预先设定的预定倍率例如2倍）。[0422]具体说明在下述场景下，使用倍率恢复功能时的流程，S卩：在注视位置处的浏览及注视图像信息的保存后，用户为了变更被摄物而移动智能电话2后，将智能电话2再次移动到原本的注视位置。首先，因以数字变焦2倍对某位置浏览预定时间，由此保存注视图像信息。接下来，当用户为了变更被摄物而大幅移动智能电话2,从而判定为4场景转换移动标记4时，切出图像62自动成为缩小倍率1倍图像。继而，当用户停止智能电话2的移动而判定为1固定移动标记1时，即，当用户开始浏览不同的被摄物时，处理部100对此时的切出图像62自动适用前次的数字变焦倍率此时为2倍）。[0423]随后，当用户为了再次浏览原本的注视位置而大幅移动智能电话2而判断为4场景转换移动标记4时，切出图像62自动成为缩小倍率1倍）图像。当用户在注视位置附近停止智能电话2的移动而判定为1固定移动标记1时，处理部100对此时的切出图像62自动适用前次的数字变焦倍率此时为2倍）。由此，切出图像62从缩小画面切换为适用前次的数字变焦倍率的画面望远图像）。[0424]继而，处理部100针对每个像素而算出当前的倍率恢复处理后的切出图像62与保存在图像数据存储部820中的注视位置图像的切出图像62的差分值。当存在预定量以上的差分值为预定值以下的像素时，处理部100判定为向注视位置的恢复，执行注视位置恢复处理。具体而言，处理部100进行借助切出数据区域52的移动的对位，以使当前的切出图像62重合于注视位置的切出图像62。借此，能够容易地进行向注视位置的恢复。[0425]另外，以上的说明中，设处理部100自动进行对位，但例如也可通过将对注视位置的切出图像62进行边缘edge检测而生成的轮廓图像以预定的不透明度例如50%重叠显示于当前的切出图像62,来对用户进行催促其移动智能电话2的告知。此时也可为，首先，用户依照告知来对位至大致准确的位置，随后进行借助处理部100的对位。[0426]使用输入图像信息的恢复处理）[0427]而且，也可不使用倍率恢复功能，而使用输入图像信息如下所述般进行恢复处理。当使用输入图像50时，只要预先保存注视位置的输入图像信息来作为注视位置信息即可。[0428]在进行了作为注视图像信息的、输入图像信息及数字变焦倍率信息的保存后，用户为了变更被摄物而大幅移动智能电话2,或者为了让手休息而将持着智能电话2的手放下，由此，通过移动判定部171及数字变焦控制部174使用移动标记的判定4场景转换移动标记4来自动解除数字变焦功能，输出图像60成为缩小画面。[0429]随后，当用户为了再次浏览注视位置而将智能电话2移动到缩小前的位置附近之后停止移动，而达成了1固定移动标记1判定时，处理部100针对每个像素而算出当前的输入图像50与保存在图像数据存储部820中的注视位置的输入图像50的差分值，当存在预定量以上的差分值为预定值以下的像素时，处理部100判定为向注视位置的恢复，执行注视位置恢复处理。具体而言，处理部100进行借助切出数据区域52的移动的对位及数字变焦倍率的设定，以使当前的输出帧重合于注视位置的输出帧图像。借此，能够容易地进行向注视位置的恢复。[0430]另外，以上的说明中，设处理部100自动进行对位与数字变焦倍率的设定，但也可通过将对注视位置的输出帧图像进行边缘检测而生成的轮廓图像以预定的不透明度例如50%重叠显示于当前的输出帧图像，来对用户进行催促其移动智能电话2的告知。此时只要首先用户依照告知来进行数字变焦倍率的变更与朝向大致准确位置的对位，随后进行借助处理部100的对位即可。[0431]而且，除了像素的差分值的计算以外，也可进行运动物体检测，将判定为运动物体的区域从差分值的计算中予以除外。借此，将因人物或车辆等运动物体引起的像素移动从差分值计算中予以除外，因此能够提高差分值的计算精度。[0432]而且，也可取代像素的差分值，而提取注视位置的输入图像50中的特征点，通过与当前的输入图像50的特征点进行匹配matching，来进行向注视位置的恢复。例如在足球比赛的情况下，较佳的是，使用门柱goalpost或比赛场的围栏fence等固定的被摄物的特征点来进行匹配。为此，例如只要对各特征点算出移动向量，进行重视移动向量小的特征点的匹配即可。即，只要仅使用所提取的多个特征点中的、移动向量为预定值以下的特征点，或者，使移动向量为预定值以下的特征点的权重高于除此以外的特征点的权重来用于匹配即可。[0433]而且，当在图像数据存储部820中保存有多个注视位置图像的信息时，只要从在时间序列上最近的注视位置图像信息开始进行所述判定即可。而且，也可设定为，用户对注视位置信息标注标签（label而保存，当欲进行向注视位置的恢复时，用户选择特定的标签，由此来读出所需的注视位置信息，进行所述处理。[0434][3-3.意料外的物体的去除处理][0435]在浏览望远图像的过程中，有时会有意料外的物体显示在输出图像60中。即便其显示时间极短，但放大倍率越大，意料外的物体便会在输出图像60中占据越大的比例而显示，因此对用户造成的不快感变大。以下说明用于避免此种显示的处理。[0436]对于是否产生了包含意料外的物体的输出帧的判断，关于各输出帧而生成边缘映射，并在对位的基础上与其之前及之后的帧的边缘映射进行比较。边缘映射的生成例如是由图像映射生成部172来进行。[0437]首先，判定所述帧与之前帧以及所述帧与之后帧之间，差分值超过预定值的像素是否为预定数判定1。通过此判定1，来检测帧间是否有变化。[0438]当通过判定1而判定为帧间有变化时，继而在通过判定1而检测出变化的区域的像素中，算出所述帧前后的帧间、即所述帧的之前帧与之后帧间的差分值。判定所述差分值不超过预定值与用于第1判定的预定值不同）的像素是否为预定数判定2。即，判定2是判定在经判定1检测的区域中，在所述帧前后的帧间是否存在意料外的物体。当在判定2中所述像素数存在预定数时，判定为意料外的物体仅位于所述帧的所述区域，可调换为在之前帧或之后帧中，与跟所述区域对应的位置的像素。[0439]边缘映射既可基于亮度及彩度这两者来生成，也可仅基于亮度而生成。尤其，若为后者，则将忽略彩度，但人眼对于彩度的变化感觉迟钝，因此即使产生了意料外的物体，多数情况下也不会在意。而且，能够避免因过度识别意料外的物体的产生而进行过剩的处理。[0440]图17的（IA至图17的（4B是表示体育场景中的输入图像50与输出图像60的一例的说明图。图17的（IA至图17的（4A表示输入图像50，图17的（IB至图17的（4B表示输出图像60切出图像62与辅助图像63。在图像映射数据表821中，与帧编号相关联地存储有事先设定的物体的坐标位置。[0441]图17的（2A所示的输入图像50是紧跟着图17的（IA而输入。[0442]此处，如图17的（2A所示，在输入图像50上，显示有未包含在事先设定的物体信息中的物体Q。图像映射生成部172中，当从输入图像数据生成边缘映射时，检测到未包含在事先设定的物体信息中的物体时，与帧编号相关联地使此物体的坐标位置存储于存储部800中。[0443]图17的（3A表示紧跟着图17的（2A而输入的输入图像50。与图17的（2A不同，在图17的（3A中，物体Q位于输入图像50的大致中央。此时，在切出图像62上，如图17的（3B所示般放大显示物体Q。[0444]图17的（4A表示紧跟着图17的（3A而输入的输入图像50。与图17的（3A不同，在图17的4A中，物体Q位于输入图像50的左下。[0445]若在与图17的（3A的物体Q的坐标位置对应的、图17的（2A的位置处无物体信息，则局部地复制copy此位置的像素，与图17的3A的物体Q的坐标位置的像素进行替换，借此，能够避免在切出图像62中显示物体Q。[0446]图像映射生成部172也可不仅使用3帧所述帧及其前后的帧）的图像存储数据，而且使用例如更多帧的图像数据来进行所述判断。[0447]而且，作为意料外的物体，设想有各种物体，但若是飞在空中的虫子等，则会生成影子，因此可认为成为黑色的倾向高，因而除了所述判断处理以外，也可在成为此帧中的对象的物体的颜色含有较多黑色的情况下，进行像素信息的调换。[0448]以上，对下述处理进行了说明，S卩，当产生包含意料外的物体的输出帧时，将所述区域的像素调换为其之前或之后帧的对应区域的像素，并作为输出图像而输出至智能电话2的显示部，但也可复制从包含意料外的物体的输出帧起为预定范围内的帧、例如之后或其之后帧整体，而替换帧整体。[0449]另外，以上说明的实施例及变形例中，使用了智能电话2的拍摄部500经由接合装置520而连接于光学变焦部550的示例，但本领域技术人员当明确，本发明的效果在未连接光学变焦部550的情况仍充分有效。[0450][3-4·摄像机镜头与望远镜头的对位][0451]当安装智能电话2的摄像机拍摄部500与望远镜头时，由于望远镜头及智能电话2分别存在各种各样的形状，因此难以用一样的形式来实现其安装，在安装时，用户必须对望远镜头位置与智能电话2的摄像机位置进行微调。并且，在用户进行微调后，即使判断为即便启动装置也无问题，从而实际启动装置来使用，仍有可能产生渐晕，或者图像产生畸变。[0452]以往，在安装望远镜头时，通常是关闭（OFF智能电话2的电源或摄像机功能而进行，但本实施例中，是在开启（ON智能电话2的电源及摄像机拍摄部500功能的状态下进行安装。[0453]图18的（IA及图18的（2A是表示智能电话2的摄像机镜头与望远镜头的对位的一例的图。处理部100使显示部300的输出图像60中显示表示智能电话2的摄像机的镜头的中心位置Cl0,0的标记mark例如+符号）、和由智能电话2的摄像机所拍摄的望远镜头与接目部例如接目的抵目部分）。而且，图18的（IA及图18的（2A所示的区域A及区域B表示望远镜头区域A及接目部区域B。[0454]处理部100例如通过以下说明的方法来算出镜头区域A与接目部区域B的交界线即圆形部D的中心位置（望远镜头的中心位置）C2X，Y，并使其显示于智能电话2的显示部300。此时，较佳的是，表示C2的标记采用颜色或形状与表示Cl的标记不同的标记。用户通过目测智能电话2的摄像机的镜头的中心位置Cl与圆形部D的中心位置C2的位置，能够识别安装误差，通过微调安装位置，便能够将望远镜头安装到适当的位置。[0455]对于望远镜头的中心位置C2X，Y的计算，首先，由处理部100随机random提取一圆的圆周上的2点，所述圆是通过在对圆形部D进行边缘检测后进行霍夫变换（Houghtransform而获得。接下来，算出将所提取的2点分别作为基准的2个法线向量的交点坐标。算出通过多次重复此操作而获得的多个交点坐标的中心位置，以作为望远镜头的中心位置C2X，Y。另外，霍夫变换也可由用户通过轻击等来指定圆形部D的圆周上的2点、例如图18的（IA的P1、P2,将以P1、P2为基准的法线向量H1、H2的交点作为望远镜头的中心位置C2X，Y。借此，能够降低数据处理的负载。而且，通过由用户指定适当的位置而非由处理部100随机提取，从而能够避免处理错误。[0456]处理部100算出所计算出的望远镜头的中心位置C2X，Y与智能电话2的摄像机的镜头的中心位置Cl0,0的误差，例如图18的（2A所示，沿望远镜头的中心位置C2朝向智能电话2的摄像机的镜头的中心位置Cl的方向显示箭头E，以作为用户进行对位的引导。另外，处理部100即使在所计算出的望远镜头的中心位置C2X，Y处于输出图像60外侧的情况下，也可使箭头E显示在输出图像60内，以引导用户进行对位操作。[0457]图19的（IA至图19的4B是表示智能电话2的摄像机镜头与望远镜头的对位的一例的图与图表。[0458]如图19的（IA至图19的（4A所示，在显示部300上，显示有望远镜头的镜头区域A、望远镜头的接目部区域B、镜头区域A与接目部区域B的交界线即圆形部D、及智能电话2的摄像机的镜头的中心位置C1。另外，圆形部D也可设为霍夫变换后的圆形。[0459]图19的（IB至图19的（4B是将横轴设为圆形部D的中心角（0〜360度），将纵轴设为从智能电话2的摄像机的镜头的中心位置Cl直至圆形部D的圆周为止的距离R的图表。图19的（IB的图表中，在0〜360度的角度时，距离R呈固定的值。这表示:望远镜头的中心位置C2与智能电话2的摄像机的镜头的中心位置Cl一致。此时，理想的是，在智能电话2的显示部上进行“镜头位置正确OK”等的显示。[0460]在图19的（2A中，圆形部D的中心相对于中心位置Cl而偏向右侧显示。图19的（2B的图表成为与将180度设为最低值的双曲线相近的形状。这表示:望远镜头的中心位置C2与智能电话2的摄像机的镜头的中心位置Cl发生了偏离，具体而言，表示望远镜头偏移offset向右方向而安装。此时，理想的是，在智能电话2的显示部上进行“望远镜头偏向右侧安装，请调整”等的显示。[0461]在图19的（3A中，圆形部D显示为纵长的椭圆。图19的（3B的图表成为在100度附近及250度附近具有峰而在180度处具有谷的曲线。这表示:望远镜头的中心位置C2与智能电话2的摄像机的镜头的中心位置Cl一致，但望远镜头朝平摇方向倾斜。此时，理想的是，在智能电话2的显示部上进行“望远镜头朝平摇方向倾斜安装，请调整”等的显示。[0462]在图19的4A中，圆形部D显示为横长的椭圆。图19的4B的图表成为在90度附近及270度附近具有谷而在200度附近具有峰的曲线。而且，90度附近的谷的斜率大于270度附近的谷。这表示:望远镜头的中心位置C2与智能电话2的摄像机的镜头的中心位置Cl一致，但望远镜头朝纵摇方向倾斜。此时，理想的是，在智能电话2的显示部上进行“望远镜头朝纵摇方向倾斜安装，请调整”等的显示。[0463]以上，对在智能电话2的摄像机镜头上安装望远镜头时的调整进行了说明，但也可使用图19的（IA至图19的4B所示的数据来进行输入图像50光学输出图像的畸变修正。当将望远镜头无偏离地安装于智能电话2的摄像机时，输入图像50成为无畸变的状态。即，如图19的（IA及图19的（IB所示，智能电话2的摄像机的镜头的中心位置Cl与望远镜头的中心位置C2—致，从中心位置Cl直至圆形部D的圆周为止的距离R为固定值，将距离R作为半径而绘制的圆为正圆。另一方面，如图19的4A及图19的（4B所示，当望远镜头以偏离的状态而安装于智能电话2的摄像机时，输入图像50也产生畸变，将距离R作为半径而绘制的圆成为纵方向短的椭圆。为了修正此种输入图像的畸变，只要算出转换矩阵，由处理部100进行基于此转换矩阵的修正处理即可，所述转换矩阵是在作为理想状态的正圆上与作为歪斜状态的椭圆上，决定例如上下左右方向及中心的5点的对应关系。[0464][3-5.拍摄避免处理][0465]在通过外置于终端（图像处理装置1、智能电话2的望远镜头光学变焦部24、550来拍摄室外等时，有可能因望远镜头朝向太阳的方向，而导致正在观看放大显示中的切出图像62的用户产生视觉上的损伤damage。为了避免此种风险risk，显示控制部显示控制部20、180进行避免太阳包含在切出图像62中的拍摄避免处理。[0466]终端（图像处理装置1或智能电话2所具备的GPS单元接收RF信号，此RF信号包含从作为定位用卫星的一种的GPS卫星发送的定位用卫星信号的一种即GPS卫星信号。并且，GPS单元从所接收的RF信号中捕捉GPS卫星信号，基于所捕捉的GPS卫星信号来进行公知的GPS运算，以算出自身终端的三维位置信息及时刻误差信息。[0467]终端所具备的陀螺传感器（移动传感器25、760对与自身终端相关联的本地local坐标系中的三维角速度三轴的绕轴角速度进行检测。[0468]图20是表示智能电话2的显示控制部180所执行的例外处理流程的一例的流程图。[0469]首先，显示控制部180从GPS单元获取包含自身终端的位置信息及时刻误差信息的GPS信息Al。然后，处理部执行时刻修正处理A3。具体而言，基于在Al中获取的GPS信息中所含的时刻误差信息，修正自身终端的时钟部的计时时刻。[0470]继而，显示控制部180执行太阳位置推定处理A5。具体而言，基于在A3的时刻修正处理中经修正的时钟部的计时时刻，推定以在Al中获取的自身终端的位置为基准的、相对性的太阳位置。此处理也可以说是推定自身终端的位置与太阳位置的相对位置关系的处理相对位置关系推定处理）。[0471]随后，显示控制部180从移动传感器760获取自身终端的角速度信息A7。然后，显示控制部180执行姿势计算处理A9。具体而言，通过对在A7中获取的角速度信息中所含的三维角速度进行积分处理积分及累计），从而算出自身终端的姿势角（attitudeangle姿势）。然后，显示控制部180基于所算出的姿势角，将自身终端当前朝向的方向确定为摄影方向All。[0472]随后，显示控制部180基于在A5中推定的太阳位置，来判定在A11中算出的摄影方向是否包含太阳A13。若判定为包含A13;是），则显示控制部180执行警告处理A15。具体而言，例如使提醒用户注意便携终端正朝向太阳的信息、或催促用户改变便携终端的移动以避开太阳的信息显示于显示部300上，或者从声音输出部400输出警告声等，以进行对用户的警告。[0473]在A15之后，或者，当在A13中判定为在摄影方向上不含太阳的情况下A13;否），显示控制部180判定是否结束处理A17。若判定为继续处理A17;否），则显示控制部180使处理返回A1。另一方面，若判定为结束处理A17;是），则显示控制部180结束拍摄避免处理。[0474]另外，GPS单元所输出的位置既可设为三维位置信息，也可设为包含维度、经度的二维位置信息。[0475]而且，在姿势计算处理中，也可使用加速度传感器或磁传感器来算出自身终端的姿势。例如，也可通过并用三轴加速度传感器及三轴磁传感器来算出自身终端的倾斜及方位，从而算出自身终端的姿势。加速度传感器或陀螺传感器、磁传感器等传感器可作为惯性测量单元（InertialMeasurementUnit，IMU而封装化为一个传感器单元，并搭载于便携终端中。[0476]而且，也可并非使用GPS等卫星定位系统来算出终端的位置，而是使用具备惯性测量单元（IMU等而构成的惯性导航系统（InertialNavigationSystem，INS来算出终端的位置。而且，也可使用卫星定位系统与惯性导航系统中的至少任一种来算出终端的位置。具体而言，例如也可进行对使用卫星定位系统所算出的位置、与使用惯性导航系统所算出的位置进行平均例如算术平均或加权平均）的平均处理，以算出终端的位置。[0477]如此，即使在进行了用于抑制望远镜头朝向太阳方向的警告的情况下，仍存在用户误将望远镜头朝向太阳方向的可能性。为了降低此时的危险性，也可在尽管太阳未映入于切出图像62切出数据区域52中，但包含在辅助图像63非切出数据区域53中的阶段，执行使太阳的图像亮度下降的处理。具体而言，在辅助图像63非切出数据区域53中存在阈值以上或超过阈值）的亮度的像素时，显示控制部180也可自动进行使此亮度值下降的处理等，从而进行使与高亮度物体对应的图像区域的亮度下降的处理。即，通过对辅助图像63非切出数据区域53适用亮度滤波器，防止如太阳般高亮度的物体直接显示在切出图像62上。另外，使此亮度值下降的处理并不限于以非切出数据区域53为对象来进行，也可以切出数据区域52为对象来进行。[0478]而且，由于可基于陀螺传感器等的输出来算出自身装置的姿势，因此也可基于所算出的自身装置的姿势来修正所拍摄的输入图像50或切出图像62的透视perspective。例如，也可使从建筑物的高楼层以俯瞰的角度拍摄下方的拍摄对象所获得的拍摄图像输入图像50或切出图像62、与拍摄时的自身装置的姿势即拍摄时姿势相关联地存储在存储部800中。并且，也可算出将拍摄时姿势、与将预先存储的拍摄部500的镜头方向设为水平方向时的自身装置的姿势相关联的转换矩阵，基于所算出的转换矩阵来转换拍摄图像，以获取假定为正视拍摄对象时的修正图像。[0479]物体检测的检测框）[0480]当检测到物体时，也可显示包围物体的例如矩形的检测框，以提高可视性。此时，有效的是，针对所检测出的每个人物、每个球队，对检测框标注颜色。而且，在所述中，对将球设为选择被摄物的示例进行了说明，但也可选择特定的球员，还可使包围选择被摄物的框与其他框的颜色显示为不同，以使其容易看到。[0481]以上说明的实施例中，对将智能电话2保持在手上来使用的情况进行了说明，但明确的是，在将智能电话2连接于摄影辅助器材，用户通过利用遥控器remotecontroller等来操作摄影辅助器材而使智能电话2平行移动及旋转，以进行放大图像的浏览或拍摄的情况下，也能够同样地适用。即，明确的是，智能电话2的移动是与保持在手上时同样地由移动判定部171来判定，并可使用此判定结果来执行数字变焦控制及模糊修正等。[0482]而且，以上说明的实施例中，设针对用户的操作引导等的告知是通过在显示部300上显示图形或文字信息来进行而进行了说明，但告知的方式并不限于此，也可通过声音、光、振动及它们的组合来进行。[0483]而且，也可构成一种记录介质，所述记录介质记录有用于使计算机执行所述实施方式或实施例中说明的各种图像处理或图像显示的程序且计算机可读取。这些记录介质可采用各种磁盘或光盘、光磁盘、快闪存储器等记录介质。[0484]图21是表示此时的记录介质的一例的图。[0485]在智能电话2中，设有用于插入存储卡memorycard9的卡槽cardslot910,且设有卡读写器ΦW920,所述卡读写器RW920用于读取插入至卡槽910内的存储卡9中存储的信息、或者对存储卡9写入信息。卡读写器920通过处理部100的控制，进行将记录在存储部800中的程序或数据写入至存储卡9的动作。通过利用智能电话2以外的外部装置例如个人计算机personalcomputer来读取记录在存储卡9中的程序或数据，从而构成为能够在所述外部装置中实现所述实施方式中的图像处理或图像显示。[0486]卫星定位系统）[0487]而且，所述实施方式中，举适用GPS作为卫星定位系统的情况为例进行了说明，但也可适用广域增强系统WideAreaAugmentationSystem，WAAS、准天顶卫星系统（QuasiZenithSatelliteSystem，QZSS、全球导航卫星系统（GLObalNAvigationSatelliteSystem，GL0NASS、伽利略GALILEO等其他卫星定位系统。

权利要求：1.一种图像处理装置，其特征在于，包括：显示部；输入部，输入图像；特定区域设定部，从输入至所述输入部的输入图像中设定特定区域；显示控制部，使所述特定区域显示于所述显示部；附加信息设定部，设定附加信息，所述附加信息是与从所述输入图像除去所述特定区域以外的区域即非特定区域的至少一部分相关的信息；以及附加信息显示控制部，使所述附加信息显示于所述显示部，所述特定区域设定部对应于所述输入图像的更新来更新所述特定区域，所述附加信息设定部对应于所述输入图像的更新来更新所述附加信息。2.根据权利要求1所述的图像处理装置，其特征在于，所述附加信息显示控制部使所述附加信息与所述特定区域的位置关系对应地，使所述附加信息显示于所述显示部。3.根据权利要求1所述的图像处理装置，其特征在于，所述附加信息是与所述非特定区域中所含的物体相关的信息。4.根据权利要求3所述的图像处理装置，其特征在于，所述附加信息是与所述物体的位置相关的信息。5.根据权利要求3所述的图像处理装置，其特征在于，所述物体是符合事先设定的特征的物体。6.根据权利要求3所述的图像处理装置，其特征在于，所述物体是由用户所指定的物体、或符合用户所指定的特征的物体。7.根据权利要求3所述的图像处理装置，其特征在于，所述附加信息显示控制部基于从所述物体的位置直至所述特定区域为止的距离，来决定是否使与所述物体对应的附加信息显示于所述显示部上。8.根据权利要求1所述的图像处理装置，其特征在于，所述附加信息显示控制部使所述附加信息在所述显示部上显示于所述特定区域的显示区域的外侧。9.根据权利要求1所述的图像处理装置，其特征在于，所述附加信息是使所述非特定区域变形而得的图像。10.根据权利要求9所述的图像处理装置，其特征在于，所述附加信息是根据距所述特定区域的距离来使所述非特定区域变形而得的图像。11.根据权利要求1所述的图像处理装置，其特征在于，所述特定区域设定部对所述特定区域的更新周期短于所述附加信息设定部对所述附加信息的更新周期。12.根据权利要求1所述的图像处理装置，其特征在于，所述特定区域设定部是以包含对象物体的方式来设定所述特定区域，所述对象物体是由用户所选择的物体、或符合用户所指定的条件的物体。13.根据权利要求1所述的图像处理装置，其特征在于，所述特定区域设定部在通过用户输入而选择了所述附加信息的情况下，以包含与所述附加信息对应的物体的方式来设定所述特定区域。14.根据权利要求12所述的图像处理装置，其特征在于，所述特定区域设定部对应于所述输入图像的更新来更新所述特定区域，以包含所述对象物体。15.根据权利要求14所述的图像处理装置，其特征在于，所述特定区域设定部对应于所述输入图像的更新来使所述特定区域的放大显示率发生变化，以包含所述对象物体。16.根据权利要求12所述的图像处理装置，其特征在于，还包括：拍摄部；以及告知部，促使用户移动所述拍摄部的摄影方向，以使包含所述对象物体的所述特定区域靠近所述输入图像的中心。17.根据权利要求12所述的图像处理装置，其特征在于，还包括：信息显示控制部，当所述对象物体不再包含在所述输入图像中时，使此意旨显示在所述显示部上。18.根据权利要求1所述的图像处理装置，其特征在于，还包括：亮度调整部，当所述输入图像中包含亮度满足特定条件的物体时，调整所述输入图像的亮度。19.一种图像处理方法，用于执行图像处理，所述图像处理方法的特征在于，包括：输入步骤，输入图像；特定区域设定步骤，从在所述输入步骤输入的输入图像中设定特定区域；显示控制步骤，使所述特定区域显示于显示部；附加信息设定步骤，设定附加信息，所述附加信息是与从所述输入图像除去所述特定区域以外的区域即非特定区域的至少一部分相关的信息；以及附加信息显示控制步骤，使所述附加信息显示于所述显示部，所述特定区域设定步骤包含对应于所述输入图像的更新来更新所述特定区域的步骤，所述附加信息设定步骤包含对应于所述输入图像的更新来更新所述附加信息的步骤。

百度查询： 株式会社摩如富 图像处理装置以及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD