申请/专利权人：奥多比公司

申请日：2016-12-22

公开（公告）日：2024-04-12

公开（公告）号：CN107123084B

主分类号：G06T3/403

分类号：G06T3/403;G06V10/25

优先权：["20160224 US 15/052,702"]

专利状态码：有效-授权

法律状态：2024.04.12#授权;2019.03.22#实质审查的生效;2017.09.01#公开

摘要：本发明的实施例涉及优化图像裁剪。根据本发明的一些实施例，获取图像和图像内的感兴趣区域的指示。此后，基于图像要被放置于其中的容器的尺寸来确定缩放图像的量以用于显示。为了聚焦在图像内的感兴趣区域、针对较小尺寸的容器缩放图像的量大于针对较大尺寸的容器缩放图像的量。可以根据确定缩放图像的量来缩放图像，并且此后裁剪以适于容器的边界。

主权项：1.一种用于优化图像裁剪的计算机实施的方法，所述方法包括：获取图像和所述图像内的感兴趣区域的指示；基于所述图像要被放置于其中以用于显示的容器的尺寸以及所述感兴趣区域的用以占据所述容器的期望部分的线性渐增的量来确定缩放所述图像的量，所述容器的所述部分小于所述容器，其中基于所述图像要被放置于其中的容器的尺寸来确定缩放所述图像的量以用于显示包括：使用渐增量和用于使所述感兴趣区域占据最小容器尺寸的预定部分的图像缩放因子来确定缩放所述图像的量；根据所确定的缩放所述图像的量来缩放所述图像；以及将经缩放的图像裁剪为适合于所述容器。

全文数据：优化图像裁剪背景技术[0001]当在与网络或移动应用相关联的相应布局内显示图像时，图像可以被放置在几乎任何形状和尺寸的容器内。例如，可以在第一实例处将图像放置在第一尺寸的容器内，而在第二实例处将相同的图像放置在第二尺寸的容器内。用于图像放置的容器尺寸可以由于任^数^的原因而变化，诸如在显示时图像的突出（例如，与相关搜索结果相关联）、设备或显示屏幕的尺寸例如，较大的设备可能导致更大的容器尺寸等。[0002]为了促进针对容器的图像的裁剪，一些传统技术确保在容器的边界内的单个焦点的放置。其他技术执行面部的自动检测并将面部放置在容器的边界内。对于任一种技术，图像被简单地定尺寸以适合容器，从而使得图像具有与容器对应的适当的宽度和或高度。然后可以裁剪不在容器边界内的过量的图像。然而，该方法可能导致图像的无意义的显示，特别是由于可以放置图像的不同的容器尺寸。例如，假定图像中的感兴趣对象是个体，但是该个体仅是图像的一小部分。使用这种传统方法，不管容器的尺寸如何，图像被定尺寸成适合容器例如，容器的尚度）。因此，当图像被放置在相对较小的容器中时，在图像内的围绕个体的细节和内容中个体可能很难看到。发明内容[0003]本公开的方面涉及根据容器尺寸来优化图像裁剪。在这点上，在裁剪图像之前，对图像缩放以适合特定容器，图像要被放置在基于该容器的尺寸的布局内。为此，放置在相对较大的容器中的图像可能被最小地缩放或根本不缩放，而放置在相对较小的容器中的图像可能被相当地缩放以聚焦在特定的感兴趣区域热点上。基于容器尺寸来缩放图像可以使得特定感兴趣区域以清楚和清晰的方式保持在视野中。例如，假定感兴趣区域是人的面部。在这种情况下，当图像被呈现在相对较小的容器内时，人的面部可以占据容器的大量部分。因此，围绕感兴趣区域人的面部）的内容通常可以被排除在显示之外，以从人的面部去除任何不必要的千扰。[0004]除了根据图像要被放置于其中的容器的尺寸来最佳地缩放图像以用于显示之外，在一些实施方式中，可以将图像定位在容器内，从而使得感兴趣区域或热点被定位在容器的边界内。例如，指定的热点可以居中于容器中以确保感兴趣区域的完全可见性。在确定图像在容器内的缩放和放置之后，可以裁剪图像以去除落在容器边界外部的图像部分。然后可以以允许感兴趣区域的最佳查看的方式来显示最佳地裁剪的图像。[0005]提供本发明内容以便以简化形式来介绍将在下文详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。附图说明[0006]下面参考附图详细描述本发明，其中：[0007]图1示出了已经被裁剪而导致感兴趣区域的去除的示例性图像；[0008]图2A-2B图示了与不同尺寸的容器相关联而被呈现的图像；[0009]图3A-3B图示了根据本公开的实施例的具有与不同尺寸容器相关联而被呈现的具有不同缩放因子的图像；[0010]图4是根据本公开的实施例的用于优化图像裁剪的示例性系统的框图；[0011]图5图示了根据本公开的实施例的用于选择焦点和热点的示例性用户界面；[0012]图6图示了根据本发明的实施例的被缩放和裁剪的图像；[0013]图7图示了根据本公开的实施例的有助于图像裁剪优化的一种方法的流程图；[0014]图8是示出根据本公开的实施例的促进图像裁剪优化的另一种方法的流程图；[0015]图9是示出根据本公开的实施例的促进图像裁剪优化的另一种方法的流程图；以及[0016]图10是适合在本公开的实现中使用的示例性计算环境的框图。具体实施方式[0017]在本文中具体描述本发明的主题以满足法定要求。然而，描述本身不旨在限制本专利的范围。相反，发明人已经设想所要求保护的主题还可以以其他方式实施，以包括不同的步骤或与本文档中所描述的步骤类似的步骤的组合、以及其他现有的或未来的技术。此夕卜，尽管术语“步骤”和或“±夬”在这里可以被用于指示所采用的方法的不同元素，但是这些术语不应被解释为暗示这里公开的各种步骤之间的任何特定顺序，除非个别步骤的顺序被明确地描述。[0018]单个图像可以以任何数量的尺寸被显示在用户设备上。例如，移动设备可以以比显示图像的平板小的尺寸来显示图像。作为另一示例，可以在一个实例中与突出物品相关联地显示图像，从而导致更大的图像尺寸，而在一周后以较少突出显示图像，因为该物品可能不再被认为是突发新闻，从而导致较小的图像尺寸。特别地，与网站或应用相关联的相应设计通常包括各种形状和尺寸的容器。容器通常适应于观看环境例如，显示屏幕的尺寸）以提供最佳视图和交互式体验。结果，相对于被显示在膝上型设备上的网站内的相同图像，显示网站的移动设备可以在更小尺寸的容器中提供图像。[0019]由于可以经由用户设备呈现图像的可变容器尺寸，所以频繁地裁剪图像以便适合图像将被呈现在其中的适当容器。为了自动化图像裁剪使得图像适合特定容器，传统系统将图像居中于容器中，将图像定尺寸以适合容器例如，容器的高度），然后裁剪存在于容器的边界外部的图像部分。然而，这种自动裁剪可能导致呈现不期望的图像，特别是在图像中的感兴趣对象被完全或部分地从图像被裁剪的情况下。比如，裁剪图像以使得个体的面部的一部分被裁剪可能是对图像的不期望的修改。举例来说，并且简要参考图1。图1图示了从图像104裁剪感兴趣对象102面部的一部分的示例。[0020]为了避免从图像全部或部分地裁剪重要方面，一些传统系统的裁剪技术基于由发布者指定的单个位置。在这点上，发布者可以选择图像中的单个位置，然后当被显示在用户设备上时，该单个位置被排除在被裁剪之外。在保持图像的裁剪边界内的单个位置的同时，图像被简单地定尺寸以适合容器的边界例如，对图像定尺寸，从而使得图像的顶部边界和底部边界与容器相适合）。以这种方式的图像定尺寸可能导致在不期望的细节水平或图像中对于图像的观看者无意义的细节水平上显示图像。在这点上，被包含在经裁剪的图像内的细节或内容相对于放置图像的容器的尺寸和或形状没有被优化。因此，当图像适合于小容器时，图像内的感兴趣对象的尺寸可能被不期望地减小。仅作为示例，并且参考图2A和2B，假定用户202A是图像204A中感兴趣的对象。当图像被缩放以适合在容器206A内时，对象202A保持为图像的重要且可见的方面。然而，当图像204B被缩放以适合容器206B时，用户202B变成被遮蔽感兴趣对象（用户202A的细节或内容所包围的小的方面。[0021]因此，本发明的实施例针对最优图像裁剪。在这点上，图像可以被有效地或最佳地裁剪以适合在容器内，例如在响应布局设计内。响应布局设计是指具有一个或多个容器的布局（例如，在网站或应用环境内），一个或多个容器通常适应于观看环境以提供最佳视图和或交互式体验。结果，相对于在膝上型设备上被显示的网站内的相同图像，显示网站的移动设备可以在更小尺寸的容器中提供图像。容器是指可以容纳任何类型的数据或特定类型的数据的容器或者是用于任何类型的数据或特定类型的数据的占位符）。在一些情况下，容器包括属性，属性定义要在容器内保持的数据类型。例如，容器可以被指定成容纳图像。[0022]根据本文所述的本发明的方面，图像可以被最佳地裁剪以适合不同尺寸的容器。对于最佳裁剪，根据要放置图像的容器的尺寸来缩放图像。基于容器尺寸缩放图像可以导致经由用户设备向用户呈现更有意义的图像。例如，在较小容器内呈现的图像可以被相当地缩放以聚焦在特定感兴趣区域热点）上。通过聚焦在热点上，由于热点外部的全部内容不会从被指示为有意义的内容热点转移注意力，图像将可能对用户更有意义和清楚。例如，在诸如在搜索结果页面中处理和显示大量图像的情况下，降低细节的水平以聚焦在图像的感兴趣区域上可以帮助用户观看大量图像。作为另一示例，在图像以较小尺寸出现的情况下（例如，如果图像在下载期间用作占位符），则减小正在显示的细节的级别能够从感兴趣区域移除不必要的注意力分散。[0023]如所提到的，图像被缩放以适合特定容器，要将图像放置在基于该容器的尺寸的布局内。为此，放置在相对大的容器中的图像可能被最小地缩放或根本不缩放，而放置在相对较小的容器中的图像可能被相当地缩放以聚焦在特定感兴趣区域本文也称为热点）。在一些情况下，到感兴趣区域中的渐增progression量被用于确定要应用于图像的图像缩放的程度。渐增量或热点渐增量是指热点相对于容器的尺寸或比例。相较于和显示设备相关联的最大容器尺寸和最小容器尺寸，可以基于要放置图像的容器的尺寸来确定渐增量。例如，大约在最大容器尺寸和最小容器尺寸之间的一半的容器尺寸可能导致〇.5的热点渐增在0到1的数值范围上）。热点渐增量然后可以用于确定缩放的水平或程度，当缩放的水平或程度被应用时导致图像的缩放，从而使得图像热点占据容器的期望部分例如，5〇%。[0024]除了根据图像要被放置于其中的容器的尺寸来最佳地缩放图像以用于显示之外，在一些实施方式中，可以将图像定位在容器内，从而使得感兴趣区域或热点被定位在容器的边界内。比如，指定的热点可以居中于容器中以确保感兴趣区域的完全可见性。在确定图像在容器内的缩放和放置之后，可以裁剪图像以去除落在容器边界外部的图像部分。然后可以以允许最佳地观看感兴趣区域或热点的方式来显示最佳地裁剪的图像。[0025]通过示例的方式并且参考图3A和3B，假定图3A的热点3〇2A被指定为图像3〇4A内的感兴趣区域。进一步假定图像304A将被呈现在容器306A内。因为容器306A相对较大，所以图像304A被最小地缩放。现在假定图3B的热点3〇2B被指定为图像304B内的感兴趣区域，并且图像304B将被呈现在容器306B内。因为容器30册相对较小，所以图像304A被相当地缩放以聚焦在热点302B上。因此，基于容器的尺寸，图像被适当地缩放以聚焦在图像内的热点上。[0026]虽然本文关于在响应布局设计内的容器一般性地描述本发明的各方面，但是可以理解，该技术可以在其他图像裁剪环境中实现。上述概念和其他概念、包括其变型和组合被认为在本公开的范围内。[0027]现在转到图4,提供了示出可以采用本公开的一些实现的操作环境的示例的框图。应当理解，本文描述的这种和其他布置仅作为示例。除了所示的那些之外或代替所示的那些，可以使用其他布置和元件例如，机器、接口、功能、命令和功能分组等），并且为了清楚起见，一些元件可以完全省略。此外，本文描述的很多元件是可以被实现为离散或分布式部件或与其他部件结合、以及以任何合适的组合和位置实现的功能实体。本文描述为由一个或多个实体执行的各种功能可以由硬件、固件和或软件来执行。例如，一些功能可以由执行存储在存储器中的指令的处理器来实现。[0028]在未示出的其他部件中，操作环境400包括多个用户设备，诸如用户设备402a和402b至402n、发布者设备404、内容服务器406以及网络408。应当理解，如图4所示的操作环境400是一个合适的操作环境的示例。图4中所示的每个部件可以经由结合图10描述的任何类型的计算设备来实现，计算设备诸如计算设备1000中的一个或多个。这些部件可以经由网络408彼此通信，网络408可以是有线的、无线的或两者。网络408可以包括多个网络或网络的网络，但是以简单的形式示出，以免模糊本公开的方面。举例来说，网络408可以包括一个或多个广域网WAN、一个或多个局域网LAN、诸如因特网的一个或多个公共网络和或一个或多个专用网络。在网络408包括无线电信网络的情况下，诸如基站、通信塔或甚至接入点（以及其他部件）的部件可以提供无线连接。网络环境在办公室、企业范围的计算机网络、内联网和因特网中很常见。因此，没有非常详细地描述网络408。[0029]应当理解，在本公开的范围内，可以在操作环境400内采用任何数量的用户设备、发布者设备和内容服务器。每个可以包括单个设备或在分布式环境中协作的多个设备。比如，内容服务器406可以经由布置在分布式环境中共同提供本文描述的功能的多个设备来提供。另外，未示出的其他部件也可以被包括在分布式环境中。[0030]在高层，与发布者设备404相关联的发布者可以指定特定图像的丰富数据，丰富数据使能或促进图像的最佳裁剪。比如，并且如下文更详细地描述的，发布者可以指定图像内的热点或感兴趣区域，从而使得根据热点适当地缩放和裁剪图像。在生成丰富图像时，可以将丰富图像提供给内容服务器406,丰富图像即包括丰富元数据的图像。内容服务器406通常管理例如与网站或应用例如，移动应用相关联地服务或提供图像。当用户设备402提供对内容的请求时，内容服务器406可以向用户设备402提供除了别的以外的丰富图像以用于显示。使用与图像相关联的丰富数据，用户设备可以以优化图像的缩放和裁剪的方式来显示图像例如，在容器内）。[0031]首先转到发布者设备404,发布者设备404可以是能够由发布者操作的任何类型的计算设备。发布者在本文中被用于指代指示图像的丰富数据的个体或实体。在一些情况下，发布者设备可以由发布图像用于合并到内容中的实体使用。比如，将图像和丰富图像数据提供给内容服务器以服务内容，诸如由第三方提供的应用或网站。在其他情况下，发布者设备可以由发布其自己的具有一个或多个图像的应用或网站的实体使用。t〇〇32]在一些实现中，发布者设备404是本文中关于图10描述的一种类型的计算设备。作为示例而非限制，发布者设备可以被实现为个人计算机PC、膝上型计算机、移动设备、智能电话、平板计算机、智能手表、可穿戴计算机、个人数字助理PDA、MP3播放器、全球定位系统GPS或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、电器、消费电子设备、工作站、这些描述的设备的任何组合、或任何其他合适的设备。[0033]发布者设备可以包括一个或多个处理器以及一个或多个计算机可读介质。计算机可读介质可以包括由一个或多个处理器可执行的计算机可读指令。指令可以由一个或多个应用程序来呈现，诸如图4中所示的图像应用程序410。图像应用410通常可以是能够促进在发布者设备404和内容服务器406之间提供丰富图像的任何应用。尽管本文一般地描述为与内容服务器406通信，但是可以理解，发布者设备404可以直接与用户设备402和或未示出的其他部件例如，服务器或设备通信。在一些实施方式中，图像应用410包括web应用，其可以在web浏览器中运行，并且可以至少部分地在服务器侧托管。另外或替代地，图像应用可以包括专用应用。在一些情况下，应用被集成到操作系统中（例如，作为服务）。[0034]发布者可以使用图像应用410向内容服务器406提供输入。输入可以由用户经由应用410的用户界面提供，应用410可以基于客户端或服务器例如，基于浏览器）。通常，发布者可以选择或输入与图像相关联的丰富图像数据。丰富图像数据在本文中通常被称为指示与图像相关联的属性的数据或元数据，其使能或促进图像的裁剪和或缩放。丰富图像数据可以由显示或呈现设备用于将图像放置在容器内。如本文所述，丰富图像数据可以包括指示热点。热点指的是图像内的感兴趣区或区域。可以以任何数量的方式选择或指定热点。[0035]在一个实施例中，可以基于对焦点和区域的用户选择来指定热点。焦点可以是图像内的任何点或位置例如，由像素指定），诸如指示热点的中心的图像上的单个x、y位置。可以以任何方式指示热点区域以指定热点的尺寸或区域。例如，热点尺寸可以被指定为距离焦点的半径。在这种情况下，热点指的是具有围绕焦点的指定半径的感兴趣区域。在一些实施方式中，可以采用允许发布者用一个点击和拖动手势来设置热点中心和尺寸的一次点击界面。参考图5,图5示出了用于经由焦点和半径选择热点的一个示例性用户界面。如图5所示，发布者可以选择图像500内的焦点502并选择半径504以生成热点506。可以理解，可以以任何数量的方式来指定热点。比如，这样的选择可以作为两个不同的选择、针对焦点的点击和针对半径的拖动等而发生。此外，尽管被描述为基于半径的圆形热点，但是可以理解，可以使用任何形状用于指定热点。比如，用户可以围绕感兴趣的对象绘制自由形式的形状。如下文更详细描述的，当显示图像时，焦点可以用于确定在裁剪期间要保留的图像的点，并且热点区域可以用于确定图像的比例。[0036]返回图4,内容服务器4〇e是指向用户设备提供内容的服务器。内容服务器可以与搜索引擎、网站或应用相关联以提供用于在用户设备402上显示的网页或应用页面。从诸如发布者设备404的发布者设备所接收的丰富图像可以被存储，从而使得它们由内容服务器406可访问。在一个实施方式中，可以将丰富图像存储为XMP标准的一部分。比如，XMP元数据可以与图像一起存储在图像文件本身内或者存储在边车（sidecar图像filename.xmp中。当从用户设备接收到对内容的请求时，内容服务器406可以向用户设备提供内容。如所描述的，内容服务器4〇6通常提供具有丰富图像数据的丰富图像，从而使得用户设备可以基于丰富数据来修改图像。可以理解，内容服务器406可以将嵌入有元数据或者作为边车文件的丰富图像传送到请求图像的设备、应用或服务。为此，图像可以通过网络被传送到在用户设备上显示图像但不隶属于发布者的第三方例如，图像可以被上传到另一博客的博客系统wordpress站点）。因此，元数据可以对希望使用或存储数据的任何实体来说是可用的。[0037]用户设备402a到402n可以是在操作环境400的客户端侧的客户端设备，而内容服务器406可以在操作环境400的服务器侧。内容服务器406可以包括被设计成结合用户设备402a到402n上的客户端软件工作以便实现本公开中讨论的特征和功能的任何组合的服务器侧软件。这种客户端侧软件的示例是用户设备402a上的应用412。每个其他设备包括具有类似功能的类似应用。提供操作环境400的这种划分以示出合适环境的一个示例，并且注意，不要求针对每个实施方式内容系统406和用户设备402a至402n的任何组合保持为单独的实体。[0038]用户设备402a到402n可以是能够由用户操作的任何类型的计算设备。例如，在一些实现中，用户设备402a到40¾是本文中关于图1〇描述的类型的计算设备。作为示例而非限制，用户设备可以被实现为个人计算机PC、膝上型计算机、移动设备、智能电话、平板计算机、智能手表、可穿戴计算机、个人数字助理PDA、MP3播放器、全球定位系统GPS或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、电器、消费电子设备、工作站、这些描述的设备的任何组合、或任何其他合适的设备。[0039]用户设备可以包括一个或多个处理器以及一个或多个计算机可读介质。计算机可读介质可以包括由一个或多个处理器可执行的计算机可读指令。指令可以由一个或多个应用程序、诸如图1中所示的应用程序412来呈现。如上文所指出的，其他用户设备可以包括类似于应用412的一个或多个应用。应用通常可以是能够促进用户设备与内容服务器之间的信息交换的任何应用。在一些实施方式中，应用包括网络应用，其可以在网络浏览器中运行，并且可以至少部分地在服务器侧托管。另外或替代地，应用可以包括专用应用。在一些情况下，应用被集成到操作系统中（例如，作为服务）。[0040]用户可以使用应用412向内容服务器406提供输入。输入可以由用户经由与应用412相关联的用户界面来提供，应用412可以基于客户端或服务器（例如，基于浏览器）。通常，用户例如从内容服务器406发起对内容的请求。例如，用户可以发起对于网页、网站或应用的请求。这样的网页、网站或应用可以是响应式的，因为图像被放置在网站或应用内的容器中。可以经由到应用或网络浏览器中的用户输入例如，输入URL或链接的选择来发起请求。[0041]响应于对内容的请求，可以例如从内容服务器406接收内容。如所描述的，内容可以是包含用于放置图像的一个或多个容器的网页或应用的形式。提供给用户设备402的内容还可以包括包含图像和丰富图像数据的丰富图像。[0042]应用412可以利用所接收的丰富图像数据来操纵或修改图像以包括在应用布局例如，响应布局）内的特定容器中。换句话说，应用412利用所接收的丰富图像数据来确定容器内的图像的最佳或适当呈现。[0043]根据本发明的实施例，为了优化图像用于放置在特定容器内，可以相对于图像要被放置到的容器的尺寸和或形状来缩放和或裁剪图像。例如，在用于网络和移动应用的响应设计的情况下，图像可以潜在地在任何数量的形状和或尺寸的容器中显示。因此，可以在显示时间期间确定图像的缩放和或裁剪，以使图像最佳地适合响应布局。[0044]缩放通常是指对图像重新定尺寸。可以使用任何数量的技术来缩放图像。例如，缩放可以应用最近邻插值，其中每个像素简单地由相同尺寸的四个像素替换。作为另一示例，缩放可以被用于对图像执行放大或缩小操作。作为又一示例，可以使用线性或双三次缩放用于缩放以供使用。可以理解，可以使用不同的重新采样算法来基于所使用的特定设备和或平台来优化显示。[0045]可以使用缩放图像来减小与容器中显示的图像一起呈现的细节的级别。因此，缩放使得图像在各种尺寸下清楚和清晰。例如，当图像要被放置在小容器中时，可以放大图像以聚焦在被指示为热点（即，感兴趣区域）的个人的面部上。在某些情况下，为了放大，可能会创建新的像素。在其他情况下，源图像可以包括放大而不进行插值的信息。作为另一示例，在处理和显示大量图像的情况下，大量图像诸如在例如，新闻应用的）搜索结果内，降低图像内呈现的细节的水平使得能够集中在重要或有价值的部分以辅助用户处理图像列表。[0046]如本文所述，根据要放置图像的容器的尺寸来确定图像的图像缩放。图像缩放可以相对于图像要被放置到其中的容器在本文中有时被称为目的地容器的尺寸或与之成比例地确定。在这点上，相比于目的地容器是更大的尺寸，当目的地容器是较小尺寸时，可以在更大程度上缩放图像。[0047]可以采用任何数量的方法来确定相对于目的地容器缩放图像的量或程度。在一个实施例中，基于导致以相对于目的地容器的特定尺寸呈现的热点所需的缩放级别来确定要应用于图像的图像缩放。仅作为示例而非限制，假定要相对于目的地容器以其原始尺寸呈现热点。在这种情况下，应用于图像的图像缩放是0。现在假定呈现热点以占据目的地容器的大部分例如，最大宽度和或高度）。在这种情况下，可以基于热点占据几乎所有目的地容器所需的缩放量来确定要应用于图像的图像缩放例如，将热点高度或宽度与容器的边界对准）。[0048]为了确定对于目的地容器适当或成比例的图像缩放，可以确定热点渐增量。热点渐增量指的是热点相对于目的地容器的尺寸或比例。如可以理解的，热点渐增可以落入任何渐增范围内。例如，如本文所述，热点渐增可以在0到1之间。热点渐增量0指示热点的尺寸或比例不改变。热点渐增量1表示要修改热点的尺寸或比例，从而使得图像热点占据几乎所有容器。例如，热点的宽度和或高度可以与容器的边界对准。[0049]为了确定热点渐增量，可以标识目的地容器尺寸，最大容器尺寸和最小容器尺寸。目的地容器尺寸是指要放置或呈现图像的容器的尺寸。如可以理解的，可以以任何数量的方式指定图像用于在特定容器中放置。例如，与图像和或容器相关联的元数据可以用于标识要在哪个容器放置图像。然后，应用程序可以标识要将应用程序放置到其中的容器的尺寸。在一些情况下，可以基于设备的屏幕分辨率、设备的方向等来确定容器尺寸。[0050]最大容器尺寸是指可以放置或呈现图像的容器的最大或最大的潜在尺寸。最大容器尺寸可以基于显示设备或显示屏幕例如，移动设备、平板等的尺寸、被显示的网络浏览器的尺寸等。最小容器尺寸指的是其中可放置或呈现图像的容器的最小或最小的潜在尺寸。如可以理解的，最小容器尺寸可以小到1X1像素，但是可以具有被认为对于显示图像是合理的任何尺寸例如，100像素x100像素）。在一些情况下，最大和或最小容器尺寸可以是跨设备可应用的默认容器尺寸。在其他情况下，最大和或最小容器尺寸可以是针对特定显示设备、显示屏幕尺寸、网络浏览器尺寸等确定或指定的容器尺寸。在一些情况下，最大容器尺寸与热点渐增量0相关联，从而使得缩放不应用于图像，并且最小容器尺寸与热点渐增量1相关联，导致完全缩放到热点中。[0051]基于最大容器尺寸、最小容器尺寸和目的地容器尺寸，可以确定目的地容器尺寸的热点渐增量。在一个实施方式中，可以使用线性渐增来确定目的地容器尺寸的热点渐增量。为此，线性渐增可以被用于确定针对落入最大容器尺寸与最小容器尺寸之间的容器尺寸的热点渐增量。在一些情况下，可以仅考虑容器的一个方面，例如宽度。[0052]仅作为示例，并且参考图6,假定最大容器尺寸6〇2是S00像素（宽度），并且热点渐增量为0，最小容器尺寸604为100像素（宽度），并且热点渐增量为1。还假定目标容器尺寸6〇6是5〇0像素（宽度）。为了确定目的地容器尺寸6〇6的热点渐增量，可以应用线性渐增模型来确定渐增量为0.35。在这点上，期望渐增或缩放到热点中使得35%反映热点影响缩放的程度。[0053]热点渐增量然后可以被用于确定要应用于图像的图像缩放。在这点上，可以确定导致特定热点渐增所需的图像缩放的程度。在一些实现中，基于热点的尺寸来确定要应用于图像的图像缩放的量。为此，在热点较小的情况下必须更多地缩放图像以达到某一水平的热点渐增例如，0•35，与热点较大的情况下达到相同水平的热点渐增所需要的渐增相比。[0054]在一些情况下，为了确定针对要放置在目的地容器中的图像的图像缩放，可以使用用于最大容器尺寸和最小尺寸容器的图像缩放。仅作为示例，用于最大容器尺寸的图像缩放可以被标识为100%的图像缩放，即，图像不被放大以使热点在视野中。可以以多种方式确定用于最小容器尺寸的图像缩放。在一个实施方式中，用于最小容器尺寸的图像缩放可以取决于热点尺寸相对于图像尺寸以及目的地容器的尺寸形状的比率。具体地，可以根据将图像缩放使热点填充容器宽度和或高度或一些其他测量所需的量来确定图像缩放。因此，在丰富图像数据中指示的热点区域或尺寸可以被用于确定导致热点占据容器的大部分的缩放量。在一些情况下，对于最小容器尺寸，热点边界可能需要与容器的高度和或宽度对准。仅作为示例，并且参考图6,用于最大容器尺寸的图像比例尺608可以被指定为100%或lx。此外，针对填充最小容器尺寸604的热点610,可以确定图像比例612为800%或8x。可以理解，最小尺寸容器的图像缩放根据热点的尺寸相对于图像而变化。例如，如果热点较小，则图像将被更大程度地缩放以使热点变为全视图。[0055]然后可以使用为最大容器尺寸和或最小容器尺寸标识的图像缩放来确定与目的地容器相关联的图像的图像缩放。确定目的地容器的图像缩放可以以任何数量的方式来实现。在一个实施例中，针对目的地容器而应用于图像的图像缩放量基于针对目的地容器而确定的渐增量。在这点上，目的地容器的热点渐增可以乘以热点完全占据容器所需的最大图像缩放例如，线性渐增）。换句话说，可以将针对目的地容器而确定的热点渐增乘以针对最小容器尺寸而确定的图像比例。作为示例，并且参考图6,如图所示，针对目的地容器606的渐增量614为0.35,并且针对最小容器尺寸604所确定的图像缩放612为8〇0%或8x例如，图像被放大8倍，以使热点近似为与容器尺寸相同）。因此，针对目的地容器606的图像缩放可以被确定为0.35乘以8x，导致大约因子3的图像缩放616JX的图像缩放将在针对最大容器尺寸的图像缩放1与针对最小容器尺寸的图像缩放8之间的大约35%。也就是说，35%的热点渐增指示800%最大缩放的35%被应用于图像，这大约是280%放大2.8倍）。在一些情况下，为了确定针对最小容器尺寸的图像缩放量，最初将图像缩放到容器中而忽略热点渐增，这将被认为是100%或lx。此后，使用最小容器尺寸和热点尺寸，确定比例因子以使热点与容器具有相同的尺寸。[0056]除了缩放图像之外，应用412可以被配置为裁剪图像，从而使得图像适合在容器内。因此，在缩放图像之后，可以裁剪图像以去除或排除落在目标容器的边界外部的图像的部分。图像被裁剪的位置可以基于经缩放的图像如何与容器对准。因此，可以参考在丰富图像数据中指定的焦点和或热点以对准图像。在一些情况下，图像被定位在容器内，从而使得指定的焦点或热点被放置在容器内。在其他情况下，图像被定位在容器内，从而使得指定的焦点或热点居中于容器内。基于图像在容器内的放置，可以裁剪在容器外部的图像部分。[0057]在操纵或调整图像用于放置在容器中时，应用412可以使得在容器内显示图像。因此，用户设备402的显示屏幕可以在优化的缩放和或裁剪下在容器内显示图像。作为示例，并且参考图6,可以在图像的适当或最佳缩放的情况下在容器606中显示图像618以聚焦在指定的热点上，同时将热点保持在图像的中心或中心附近。[0058]现在参考图7,提供了示出用于促进图像裁剪的优化的方法700的实施例的流程图。方法700的每个方框和本文描述的其他方法包括可以使用硬件、固件和或软件的任何组合来执行的计算过程。比如，各种功能可以由执行存储在存储器中的指令的处理器来实现。这些方法还可以被实现为存储在计算机存储介质上的计算机可用指令。仅举几个例子，所述方法可以由独立应用、服务或托管服务独立的或与另一托管服务组合或者另一产品的插件来提供。[0059]最初，在框702,获取图像和图像内的感兴趣区域的指示。这样的信息可以例如由内容提供商在对内容请求的响应中提供。感兴趣区域的指示可以由图像的发布者、设计者或其他提供者来指定或选择。例如，发布者设备例如，图4的发布者设备404可以经由发布者设备的输入部件例如，图10的显示器10部件1020接收与感兴趣的图像或区域相关的输入例如，触摸输入、键盘输入等）。然后，发布者设备可以向内容提供者提供与感兴趣的图像和或区域相关的输入数据，内容提供者然后可以响应于对内容的请求向用户设备例如，图4的用户设备402提供数据。在框704,基于图像要被放置于其中的容器的尺寸来确定缩放图像的量以用于显示。为了聚焦在图像内的感兴趣区域、较小尺寸的容器缩放图像的量大于针对较大尺寸的容器缩放图像的量。在这点上，在诸如图4的用户设备402的用户设备处的应用可以确定缩放图像的量，特别地，较小尺寸的容器可以具有较大的缩放量。在框706,根据所确定的缩放图像的量来缩放图像。在框708,将经缩放的图像裁剪为适合于容器。在诸如图4的用户设备402的用户设备处的应用可以缩放和裁剪图像。[0060]现在参考图8,提供了示出用于促进图像裁剪的优化的方法800的一个实施例的流程图。最初，在框802,获取图像的感兴趣区域的指示，感兴趣区域的指示包括感兴趣区域的焦点。这样的信息可以例如由内容提供商在对内容请求的响应中提供。感兴趣区域的指示可以由图像的发布者、设计者或其他提供者指定或选择。例如，发布者设备例如，图4的发布者设备404可以经由发布者设备的输入部件例如，图10的显示器10部件1020接收与感兴趣的图像或区域相关的输入例如，触摸输入、键盘输入等）。然后，发布者设备可以向内容提供者提供与感兴趣的图像和或区域相关的输入数据，内容提供者然后可以响应于对内容的请求向用户设备例如，图4的用户设备402提供数据。在框804，标识用于呈现图像的容器。可以基于与图像和或资源例如，网页或应用相关联的元数据来标识用于呈现图像的容器。比如，诸如图4的用户设备402的用户设备可以标识要在其中呈现图像的容器。在框806,确定用于应用为相对于容器的尺寸放大图像以聚焦在的感兴趣区域上的图像缩放。在框808，根据所确定的图像缩放来缩放图像。在框810，基于感兴趣区域的焦点，将经缩放的图像居中于容器中。随后，在框812,裁剪经居中的图像以去除图像在容器的一个或多个边界外部的部分。在框814,引起经裁剪的图像的显示。在实施例中，诸如图4的用户设备402的用户设备可以确定适用的图像缩放、缩放图像、居中图像、裁剪图像、并且显示图像。[0061]现在参考图9,提供了示出用于促进图像裁剪的优化的方法9〇〇的一个实施例的流程图。最初，在框902,获取图像的感兴趣区域的指示，感兴趣区域的指示包括感兴趣区域的焦点。例如，发布者设备例如，图4的发布者设备404可以经由发布者设备的输入部件例如，图10的显示器10部件1〇2〇接收与感兴趣的图像或区域相关的输入例如，触摸输入、键盘输入等）。发布者设备然后可以向内容提供者提供与感兴趣的图像和或区域相关的输入数据，内容提供者然后可以响应于对内容的请求向用户设备例如，图4的用户设备402提供数据。在框904,基于感兴趣区域的尺寸和用于相对于显示设备的显示屏幕来呈现图像的容器尺寸，自动确定用于应用为缩放图像的图像缩放尺寸。在一些情况下，图像缩放尺寸基于针对相对于容器尺寸感兴趣区域而被确定的渐增量。在框906,向图像应用缩放尺寸以放大图像。在框908,基于感兴趣区域的焦点在容器内对准经缩放的图像。在框910,根据与容器的图像对准来裁剪经缩放的图像。在实施例中，诸如图4的用户设备402的用户设备可以确定适用的图像缩放、应用图像缩放尺寸、对准经缩放的图像、以及裁剪图像。[0062]现在转到图10。图10提供了适于在实现本公开时使用的示例性计算环境的图。计算设备1000包括直接或间接耦合以下设备的总线1010:存储器1012、一个或多个处理器1014、一个或多个呈现部件1016、输入输出（IO端口1018、输入输出部件1020、以及说明性的电源1022。总线1010表示可以是一个或多个总线诸如地址总线、数据总线或其组合）的总线。尽管图10的各个框为了清楚起见用线条示出，但实际上，描绘各种部件不是那么清楚，并且比喻地，线条将更准确地是灰色和模糊的。例如，可以将诸如显示设备的呈现部件视为IO部件。此外，处理器具有存储器。发明人认识到这是本领域的本质，并且重申图10的图仅仅是可以结合本发明的一个或多个实施例使用的示例性计算设备的说明。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等类别之间不进行区分，因为所有这些类型都被预期在图10的范围内并且参考“计算设备”。[0063]计算设备1000通常包括各种计算机可读介质。计算机可读介质可以是由计算设备1000可访问的任何可用介质，并且包括易失性和非易失性介质、可移除和不可移除介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于以1、1?01、££?如1^、闪存或其他存储器技术、00-1?观、数字通用盘©¥0或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或可以用于存储期望的信息并且可以由计算设备1000访问的任何其他介质。计算机存储介质本身不包括信号。通信介质通常在诸如载波或其它传输机制的调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“调制数据信号”意指使得其一个或多个特性以在信号中编码信息的方式而被设置或改变的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接的有线介质以及诸如声学、RF、红外和其它无线介质的无线介质。任何上述的组合也应包括在计算机可读介质的范围内。[0064]存储器1012包括易失性和或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备1000包括从诸如存储器1012或IO部件1020的各种实体读取数据的一个或多个处理器。呈现部件1016向用户或其他设备呈现数据指示。示例性呈现部件包括显示设备、扬声器、打印部件、振动部件等。[0065]IO端口1018允许计算设备1〇〇〇在逻辑上耦合到包括IO部件1020的其它设备，其中一些可以被内置。说明性部件包括麦克风、操纵杆、游戏平板、碟形卫星天线、扫描伩、打印机、无线设备等。IO部件1020可以提供自然用户界面NUI，自然用户界面NUI处理由用户产生的空中姿势、语音或其他生理输入。在一些情况下，输入可以被发送到适当的网络元件用于进一步处理。NUI可以将语音识别、触摸和触笔识别、面部识别、生物特征识别、屏幕上和临近屏幕的手势识别、空中手势、头部和眼睛跟踪以及与计算设备上的显示相关联的触摸识别的任何组合实现在计算设备1000上。计算设备1000可以配备有深度相机，诸如立体相机系统、红外相机系统、RGB相机系统、以及它们的组合，用于手势检测和识别。另外，计算设备1000可以配备有能够检测运动的加速度计或陀螺仪。加速度计或陀螺仪的输出可以被提供给计算设备1000的显示器以实施沉浸式增强现实或虚拟现实。[0066]可以理解，本公开的实现提供了促进图像裁剪的优化。已经关于特定实施例描述了本发明，这些特定实施例在所有方面都旨在是说明性的而非限制性的。在不脱离本发明范围的情况下，替代实施例对于本发明所属领域的普通技术人员将变得显而易见。

权利要求：1.一种用于优化图像裁剪的计算机实施的方法，所述方法包括：获取图像和所述图像内的感兴趣区域的指示；基于所述图像要被放置于其中的容器的尺寸来确定缩放所述图像的量以用于显示，其中为了聚焦所述图像内的所述感兴趣区域、针对具有较小尺寸的容器缩放所述图像的量大于针对具有较大尺寸的容器来缩放所述图像的量；根据所确定的缩放所述图像的量来缩放所述图像;以及将经缩放的图像裁剪为适合于所述容器。2.根据权利要求1所述的计算机实施的方法，还包括:在裁剪所述经缩放的图像之前，将所述图像内的所述感兴趣区域居中。3.根据权利要求1所述的计算机实施的方法，还包括引起经裁剪的图像在所述容器内的显示。4.根据权利要求1所述的计算机实施的方法，其中所述图像和所述图像内的感兴趣区域的所述指示从内容服务器被接收到。5.根据权利要求1所述的计算机实施的方法，其中基于所述图像要被放置于其中的容器的尺寸来确定缩放所述图像的量以用于显示包括：标识渐增量，所述渐增量指示相对于所述容器的尺寸的所述感兴趣区域的期望尺寸；以及使用所述渐增量和用于使所述感兴趣区域占据最小容器尺寸的预定部分的图像缩放因子来确定缩放所述图像的量。6.根据权利要求5所述的计算机实施的方法，其中所述渐增量基于相对于与显示所述图像的设备相关联的最大容器尺寸和所述最小容器尺寸的所述容器的所述尺寸而被确定。7.根据权利要求5所述的计算机实施的方法，其中所述最小容器尺寸的所述预定部分包括与所述容器的至少一个边界对准的所述感兴趣区域的至少一个边界。8.—种或多种计算机可读介质，所述一种或多种计算机可读介质上具有被体现在其上的多个可执行指令，所述多个可执行指令在由一个或多个处理器执行时使得所述一个或多个处理器执行方法，所述方法包括：获取图像的感兴趣区域的指示，所述感兴趣区域包括所述感兴趣区域的焦点；标识用于呈现所述图像的容器；确定用于应用为相对于所述容器的尺寸放大所述图像以聚焦所述感兴趣区域的图像缩放；根据所确定的图像缩放来缩放所述图像；基于所述感兴趣区域的所述焦点将经缩放的图像居中于所述容器中；裁剪居中后的图像以去除所述图像在所述容器的一个或多个边界之外的部分；以及引起经剪裁的图像的显示。9.根据权利要求S所述的一种或多种计算机可读介质，其中包括所述感兴趣区域的所述焦点的所述图像的所述感兴趣区域经由用户界面与所述图像相关联地被选择。10.根据权利要求8所述的一种或多种计算机可读介质，其中确定用于应用为相对于所述容器的尺寸放大所述图像以聚焦所述感兴趣区域的所述图像缩放包括：基于与最大容器尺寸相关联的渐增量和与最小容器尺寸相关联的渐增量之间的线性渐增来确定针对所述容器的尺寸的渐增量，所述渐增量指示相对于相应容器的尺寸的所述感兴趣区域的期望尺寸；以及使用所述渐增量以及用于使所述感兴趣区域占据最小容器尺寸的预定部分所需要的图像缩放因子来确定用于向所述图像应用的所述图像缩放。11.根据权利要求10所述的一种或多种计算机可读介质，其中所述最小容器尺寸的所述预定部分包括与所述容器的至少一个边界对准的所述感兴趣区域的至少一个边界。12.根据权利要求8所述的一种或多种计算机可读介质，其中确定用于应用为相对于所述容器的尺寸放大所述图像以聚焦所述感兴趣区域的所述图像缩放包括：将所述容器的尺寸与用于显示所述图像的设备的最大容器尺寸和最小容器尺寸相比较以确定所述感兴趣区域在所述容器内的聚焦程度；以及基于获取所述聚焦程度所需要的缩放量来确定用于向所述图像应用的所述图像缩放。13.根据权利要求8所述的一种或多种计算机可读介质，其中用于呈现所述图像的所述容器基于与所述图像相关联的元数据而被识别。14.根据权利要求8所述的一种或多种计算机可读介质，其中与为较大容器尺寸相比，为较小容器尺寸确定较大的图像缩放。15.根据权利要求8所述的一种或多种计算机可读介质，其中与为较大感兴趣区域相比，为较小感兴趣区域确定较大的图像缩放。16.—种计算机实施的系统，包括：一个或多个处理器和与所述一个或多个处理器耦合的存储器，所述存储器具有体现在其上的可执行指令，所述可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：获取图像的感兴趣区域的指示，所述感兴趣区域包括所述感兴趣区域的焦点；基于所述感兴趣区域的尺寸和用于相对于显示设备的显示屏幕来呈现所述图像的容器尺寸，自动确定用于应用为缩放所述图像的图像缩放尺寸；向所述图像应用所述图像缩放尺寸以放大所述图像；基于所述感兴趣区域的所述焦点在所述容器内对准经缩放的图像；以及根据与所述容器的图像对准来裁剪经缩放的图像。17.根据权利要求16所述的计算机实施的系统，其中包括所述感兴趣区域的所述焦点的所述图像的所述感兴趣区域的所述指示响应于对信息的请求而从内容服务器被接收到。18.根据权利要求16所述的计算机实施的系统，还包括引起经裁剪的图像的显示。19.根据权利要求16所述的计算机实施的系统，其中与为较大容器尺寸相比，为较小容器尺寸确定较大的图像缩放尺寸。20.根据权利要求I6所述的计算机实施的系统，其中与为较大感兴趣区域相比，为较小感兴趣区域确定较大的图像缩放尺寸。

百度查询： 奥多比公司 优化图像裁剪

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD