申请/专利权人：奥多比公司

申请日：2018-09-05

公开（公告）日：2024-04-19

公开（公告）号：CN110019878B

主分类号：G06F16/53

分类号：G06F16/53;G06F16/583

优先权：["20171023 US 15/790,455"]

专利状态码：有效-授权

法律状态：2024.04.19#授权;2020.08.28#实质审查的生效;2019.07.16#公开

摘要：一种用于在数字媒体环境中的图像搜索和取回的技术包括执行对满足给定查询的图像的搜索，经由图形用户界面GUI显示搜索查询的结果，通过经由GUI选择图像或对象来细化搜索查询的结果，基于所选择的图像或对象自动执行对满足经更新的搜索查询的图像的附加搜索，并且经由GUI显示经更新的搜索查询的结果。除了选择图像或对象之外，还可以修改对象的一种或多种属性，诸如所选择的对象在图像内的位置、所选择的对象在图像内的大小、或两者，使得经更新的搜索包含对象的经修改的属性。

主权项：1.一种在数字媒体环境中图像搜索和取回的计算机实现的方法，所述方法包括：接收初始搜索查询，所述初始搜索查询由表征第一对象的一个或多个初始查询参数定义；引起图形用户界面显示与由搜索引擎处理的所述初始搜索查询的结果相对应的所述第一对象的第一图像，所述第一图像与第一元数据相关联，所述第一元数据表示一种或多种属性，所述一种或多种属性包括所述第一对象相对于所述第一图像的框架的位置；引起所述图形用户界面显示与所述第一图像中的第二对象相对应的用户可选热点图标，其中所述热点图标在所述第一图像内的位置根据所述第一图像中的所述第二对象的一种或多种属性而被确定；经由所述图形用户界面接收从所述第一图像内的对所述第二对象的选择，其中从所述第一图像内的对所述热点图标的选择引起从所述第一图像内的对所述第二对象的所述选择；经由所述图形用户界面接收所述第一对象相对于所述第一图像的所述框架的经修改的位置；生成经更新的搜索查询，所述经更新的搜索查询由以下各项定义：a所述一个或多个初始查询参数中的至少一个初始查询参数，b表征所述第二对象的一个或多个经更新的查询参数，以及c表征所述经修改的位置的一个或多个经更新的查询参数；向所述搜索引擎发送所述经更新的搜索查询；以及引起所述图形用户界面显示第二图像，所述第二图像包括与所述经更新的搜索查询的结果相对应的所述第二对象和所述第一对象，其中所述第一对象相对于所述第二图像的框架的位置与所述第一对象相对于所述第一图像的所述框架的所述经修改的位置类似。

全文数据：使用对象属性的图像搜索和取回技术领域本公开总体上涉及数字图像处理，并且更具体地，涉及数字媒体环境中的使用图像中所出现的对象的属性的图像搜索和取回技术。背景技术自动检测过程可以用于标识图像中所出现的对象。这种检测过程在搜索满足特定标准的图像时是有用的。例如，图像搜索过程可以使用对象检测来从大的图像集中选择包含特定类型的对象的图像。图像中所出现的对象可以包括：例如，景观特征山川、湖泊、海滩、天空、结构建筑物、桥梁、纪念碑、机器汽车、工厂设备、飞机、人、动物、植物或树木、或者可以被唯一标识的任何其他事物。对象检测技术从现有图像生成数据，这些数据可以用于快速且有效地找到满足所指定的搜索条件的图像。附图说明附图并不旨在按比例被绘制。在附图中，各个图中示出的每个相同或几乎相同的组件由相同的数字表示。图1示出了根据本公开的实施例的用于图像搜索和取回的示例系统；图2是根据本公开的实施例的图像搜索和取回方法的流程图；图3是根据本公开的实施例的图像搜索和取回方法的流程图；图4是根据本公开的实施例的另一图像搜索和取回方法的流程图；图5-11示出了根据本公开的实施例的用于图像搜索和取回的示例图形用户界面GUI的不同配置。图12是表示可以用于执行本公开中以各种方式描述的技术中的任一技术的示例计算设备的框图。具体实施方式概述通过将搜索查询与关联于所存储的图像的元数据标签进行匹配来执行对数字地存储的图像库和数据库的传统搜索。在简单的示例中，响应于包括术语“摩天大楼”的查询，具有元数据标签“摩天大楼”的一个或多个图像从数据库中被取回并且被呈现给用户。通过使用各种语言识别和机器学习技术，一些更复杂的搜索算法可以潜在地取回具有与“摩天大楼”类似或相关的元数据标签诸如“城市”、“建筑物”或“塔”的更大的且更多样化的图像集合。然而，传统搜索技术中单独依赖关键字和标签可能导致不充分的结果，这些结果对用户来说不是最相关或最有用的。此外，传统的元数据标签不一定捕获关于图像的组成的信息，诸如对象在场景中的相对定位和大小，使得提供满足这些标准的结果变得困难如果不是不可能的话。在这种情况下，用户可能被迫手动剔除大量结果以定位特别感兴趣的图像。因此，需要图像搜索和取回技术来提高快速定位用户感兴趣的图像的能力。为此，并且根据本公开的实施例，提供了在数字媒体环境中使用对象属性进行图像搜索和取回的技术。示例图像搜索和取回工作流总体上包括：执行对满足给定查询的图像的搜索，经由图形用户界面GUI显示搜索查询的结果，通过经由GUI选择图像或对象来细化搜索查询的结果，基于所选择的图像或对象来自动执行对满足经更新的搜索查询的图像的附加搜索，并且经由GUI来显示经更新的搜索查询的结果。除了选择图像或对象之外，还可以修改对象的一种或多种属性，诸如所选择的对象在图像内的位置、所选择的对象在图像内的大小、或两者，使得经更新的搜索包含对象的经修改的属性。更详细地，GUI被配置为显示第一对象的第一图像。第一对象与由搜索引擎处理的搜索查询的结果相对应。例如，如果用户提交搜索茶杯图像的查询，则查询的结果可以包括一个或多个茶杯图像。第一图像与表示第一对象的一种或多种属性的第一元数据相关联。例如，使用茶杯示例，茶杯的图像可以与关键字“茶杯”、“杯子”、“饮用杯”、“马克杯”或当茶杯出现在图像中描述茶杯的其他合适的术语相关联。可以将其他信息编码到元数据中以更具体地描述对象，或者更完整地描述图像。例如，除了关键字“茶杯”之外，图像还可以与描述茶杯的属性诸如样式、图案或颜色的元数据相关联，或者与描述茶杯在图像内的位置或大小的元数据相关联，或者与进一步描述图像中其他对象诸如茶杯所在的桌子或场景中可见的任何其他对象的元数据相关联。经由GUI接收从第一图像的显示内的对第一对象的选择。例如，使用茶杯示例，用户可以通过使用鼠标或其他合适的输入设备从图像内点击茶杯来选择茶杯。备选地，用户可以更一般地选择图像中包含茶杯的任何部分。响应于接收到从第一图像的显示内的对第一图像或对象的选择，自动生成经更新的搜索查询并且将其发送到搜索引擎而无需来自用户的进一步输入。经更新的搜索查询可以包括表示第一图像或由用户选择的对象的一种或多种属性的第一元数据的至少一部分。例如，如果原始搜索查询包括关键字“茶杯”，如上所述，则经更新的搜索查询可以包括表示所选择的图像或对象的附加属性诸如茶杯的样式、图案、颜色、位置或大小的关键字或元数据，其中这样的属性与第一图像相关联。搜索引擎处理经更新的搜索查询以生成新的结果，该结果包括第二对象的第二图像。第二图像与表示第一图像或由用户选择的对象的一种或多种属性的第一元数据的一部分相关联。继续茶杯示例，第二图像可以是相同茶杯的不同图像、或者具有与第一图像中的茶杯类似的属性的不同茶杯的图像。GUI还被配置为显示与经更新的搜索查询的结果相对应的第二对象的第二图像。以这种方式，用户可以通过点击特定茶杯的图像来容易地细化茶杯图像的初始搜索的结果，以自动且快速地获取与所选择的图像中的茶杯类似的茶杯的附加图像。鉴于本公开，很多配置和变化将是很清楚的。例如，根据一些实施例，除了在第一图像中选择第一对象之外，用户还可以修改第一对象的一种或多种属性，诸如所选择的对象在图像内的位置、所选择的对象在图像中的大小、或两者。应当理解，可以相对于整个图像修改对象的位置、对象的大小或两者。例如，用户可以将对象从图像的中央移动到图像的左上角，或者用户可以放大对象以使其覆盖图像的更大部分。在这个意义上，用户相对于对象所出现的原始图像来修改对象的属性。在用户修改第一对象的属性之后，由搜索引擎自动生成和处理包括经修改的属性的经更新的搜索查询，以生成包括具有经修改的属性的对象的一个或多个附加图像的新的结果。GUI还被配置为显示与经更新的搜索查询的结果相对应的对象的附加图像。例如，在茶杯示例中，如果用户将茶杯从图像的中央移动到图像的右下角，则从经更新的搜索查询的结果生成的图像将包括出现在图像的右下角的茶杯的附加图像。系统架构图1示出了根据本公开的实施例的用于图像搜索和取回的示例系统100。系统100包括计算设备102，其具有处理器104、GUI106和图像搜索和取回接口应用108。计算设备102被配置为执行图像搜索和取回接口应用108，其包括搜索结果显示模块110、对象选择和属性修改模块112、最近查看结果模块114、或这些的任何组合。计算设备102还被配置为与搜索引擎120和图像数据库122交互。在一些实施例中，搜索引擎120、图像数据库122或两者可以在远离计算设备102并且通过网络诸如因特网或内联网与计算设备102通信的后端服务器上实施。搜索引擎120可以被配置为在图像数据库122中搜索满足指定标准的图像。图像数据库120可以包括被配置为存储数字地编码的图像数据的任何合适的数字存储设备。在一些实施例中，图像数据表示对象的图像由相机拍摄的真实对象或者是人工添加到图像的其他对象。图像可以与一种或多种属性相关联，诸如描述出现在图像中的对象类型的关键字或元数据、以及对象相对于图像框架的位置和大小。如下面关于例如图2-11进一步详细描述的，图像搜索和取回接口应用108通常被配置为执行以下功能中的一个或多个：引起与搜索查询的结果相对应的一个或多个图像经由GUI106显示给用户，接收用户经由GUI106对图像和图像内的对象的选择，与搜索引擎120交互以根据一个或多个经更新的搜索查询从图像数据库122获取附加图像，以及引起附加图像经由GUI106显示给用户。示例方法图2是根据本公开的实施例的图像搜索和取回方法200的流程图。方法200的全部或部分可以例如在图像搜索和取回接口应用108中、在搜索引擎120中或在两者的组合中来实施。方法200包括被配置为与搜索引擎交互的图像搜索和取回过程202。方法200还包括被配置为与用户输入和输出交互的图像显示、对象选择和属性修改过程204。图像搜索和取回过程202可以在图1的搜索引擎120中实施。图像显示、对象选择和属性修改过程204可以在图1的图像搜索和取回接口应用108中实施。另外，图像显示、对象选择和属性修改过程204可以被配置为接收用户输入并且经由图1的GUI106提供用户输出。图像搜索和取回过程202包括在图像数据库122或其他合适的存储设备中执行图像搜索，其中图像满足初始查询，并且自动执行对满足经更新的搜索查询的图像的附加搜索。图像显示、对象选择和属性修改过程204包括：经由GUI显示初始搜索查询的结果，通过经由GUI选择图像或对象并且相应地更新初始搜索查询来细化搜索查询的结果，并且经由GUI显示经更新的搜索查询的结果。关于图3描述过程202和204的进一步细节。图3是根据本公开的实施例的图像搜索和取回方法300的流程图。方法300的全部或部分可以例如在图像搜索和取回接口应用108中、在搜索引擎120中或在两者的组合中实施。方法300包括经由搜索引擎120搜索和取回302第一图像。搜索和取回302基于由用户提供的或基于用户输入诸如通过搜索引擎接口或图像选择接口而自动生成的搜索查询，。方法300还包括引起GUI106向用户显示304第一对象的第一图像。显示器304的引起可以在搜索结果显示模块110中实现。用于搜索和取回302以及图像显示304的示例用例参考图5来描述。图5示出了根据本公开的实施例的用于图像搜索和取回的示例GUI500的配置。GUI500被设计为使得用户能够查看所显示的图像并且与计算设备102交互。GUI500包括第一对象504的第一图像502。第一图像502对应于由搜索引擎120处理的搜索查询的结果，其经由图像搜索和取回接口应用108显示在计算设备102的GUI106上。在这个示例中，第一对象是猫，尽管图像还包括其他对象，诸如桌子。可以使用任何数目的合适的搜索查询来引起搜索引擎120生成结果。例如，搜索查询可以包括表示第一图像502中的第一对象504的一种或多种属性的关键字或其他形式的元数据。这些属性描述图像中所出现的对象的类型、以及对象相对于图像框架的位置和大小。用于选择图像中的对象和搜索包含对象的图像的合适技术的其他非限制性示例在美国专利No.7,096,423RobertMurata的“Layout-basedpagecapture”、7,716,157LubomirBourdev等人的“Searchingimageswithextractedobjects”、7,636,450LubomirBourdev的“Displayingdetectedobjectstoindicategrouping”、7,813,557LubomirBourdev的“Taggingdetectedobjects”和9,232,173AshishDuggal等人的“Methodandapparatusforprovidingengagingexperienceinanasset”中公开，这些专利中的每个通过引用并入本文。如在本公开中使用的，术语“元数据”除了其一般和普通含义之外，还指代关于数据的数据。例如，元数据包括描述由计算机可读图像数据表示的图像的视觉内容的数字形式的信息。图像的内容可以包括一个或多个对象作为照片的主题subject的真实对象、或者是由人或计算机放置在图像中的人造对象。对象形成图像的组成，并且也可以是图像的主题。例如，搜索查询可以包括术语“桌子”以生成图5所示的结果。搜索引擎120可以使用诸如关键字匹配等传统技术来处理搜索查询，并且将与结果相对应的图像返回到计算设备102以便在GUI500中显示。此外，第一图像502与表示第一对象504的一种或多种属性的第一元数据相关联。例如，在图5中，第一图像502包括猫和其他对象，诸如桌子、椅子、架子和门口。第一图像502与描述图像中的对象的一种或多种属性相关联。GUI500还可以包括第一图像集合506，其包括第一图像502在内。集合506中的一些或全部图像可以对应于搜索查询的结果或某个其他标准，即使组成和主题因图像而异。以这种方式，用户可以一次看到几个不同的图像。例如，在图5中，集合506中的每个图像具有桌子和桌面，而一些图像包括其他对象，诸如杯子、灯、树和食物盘。GUI500中显示的任何图像可以由用户选择。再次参考图3，方法300还包括接收306经由GUI106的从第一图像的显示内的对第一对象的选择。接收306可以在对象选择和属性修改模块112中实施。用于选择接收306的示例用例参考图6来描述。图6示出了根据本公开的实施例的图5的GUI500的另一种配置。图6包括第一图像502，其可以如502'所示单独显示。第一图像502'包括第一对象504'。图5所示的GUI500的配置是由于对第一图像502的选择，诸如经由用户输入鼠标、键盘、触敏屏幕、语音命令或其他合适的用户界面模态。例如，如果用户点击图像502，则GUI显示图像502'的放大版本。响应于选择第一图像502，由图像搜索和取回接口应用108自动更新由搜索引擎120用来定位和取回第一图像502的搜索查询，而不需要或不使用任何其他用户输入。然后将经更新的搜索查询发送到搜索引擎120以进行处理。搜索引擎120返回经更新的搜索查询的结果，其包括一个或多个第二图像508。GUI500被配置为显示一个或多个第二图像508，诸如图6中在题为“查找类似”的标签下所示。例如，一旦用户点击图像502，一个或多个第二图像508被自动取回并且显示在GUI500中。一个或多个第二图像508包含与所选择的图像502类似的内容例如，猫图像。注意，第二图像508中的一些或全部可以与作为在修改之前的先前搜索查询的结果的第一图像集合506中的图像不同。在一些实施例中，GUI500被配置为同时显示第一图像集合506和第二图像集合508中的图像。GUI500中显示的任何图像可以由用户选择。经更新的搜索查询基于所选择的第一图像502的一种或多种属性例如，关键字和元数据。除了或代替由搜索引擎120用来定位和取回第一图像502的原始搜索查询中的任何关键字和元数据，经更新的搜索查询可以包括与所选择的第一图像502相关联的关键字和元数据。例如，如果原始搜索查询包括关键字“桌子”，并且关键字“猫”与所选择的第一图像502相关联，则经更新的搜索查询可以包括关键字“桌子”和“猫”。作为经更新的搜索查询的结果，搜索引擎120可以返回与关键字“桌子”、“猫”或两者相关联的一个或多个第二图像508，这取决于使用逻辑“与”还是逻辑“或”执行搜索。在一些实施例中，搜索逻辑例如，“与”或“或”是用户可选择的，但是为了剔除大量图像以得到较小的一组搜索结果，可以默认使用逻辑“与”。再次参考图3，在一些实施例中，方法300还包括接收308对第一图像中所选择的对象的至少一种属性的修改。接收308可以在对象选择和属性修改模块112中实现。方法300还包括基于所选择的对象的原始属性来更新310搜索和取回第二图像，备选地，如果属性被修改，则更新所选择的对象的经修改的属性。更新310可以在搜索引擎120中实施。方法300还包括引起312GUI106向用户显示304第二对象的第二图像。显示的引起312可以在搜索结果显示模块110中实施。用于接收经修改的属性308、更新搜索310和显示第二图像312的若干示例用例参考图6、7、8、9和10来描述。更具体地，图6、图7和图8描述了一个示例用例，在该示例用例中与所选择的图像中的对象相对应的用户可选择的热点在GUI500中被显示。可以经由用户界面选择热点以选择相应的对象，这自动细化和更新搜索以取回与所选择的对象相似的对象的图像。图6和图9描述了一个示例用例，在该示例用例中可以经由用户界面重新定位所选择的对象，这自动细化和更新搜索以取回与由用户重新定位的对象处于相似位置的对象的图像。图6和图10描述了一个示例用例，其中可以经由用户界面重新调节所选择的对象的大小，这自动细化搜索以取回具有与由用户重新调节大小的对象大小相似的对象的图像。进一步详细地，图7示出了根据本公开的实施例的图5的GUI500的另一种配置。图7包括第一图像502，诸如参考图6所描述的，其可以如502'所示单独显示。放大的第一图像502'包括第一对象504'。图7所示的GUI500的配置是由于对第一图像502的选择，诸如经由用户输入鼠标、键盘、触敏屏幕、语音命令或其他合适的用户界面模态。另外，图7所示的GUI500的配置包括一个或多个用户可选择的热点510。如在本公开中使用的，术语“热点”包括可以由用户选择例如，经由输入设备，诸如指向热点的鼠标的图像中的一个或多个像素。热点还可以包括用户可视线索诸如可见点或其他形状以指示热点在图像内的位置。热点510对应于图像502'内的对象504'的位置。热点的位置根据图像502内的对象504'的属性来确定。例如，对象504'的属性可以包括与图像502'内的对象504'的位置相对应的像素坐标或像素坐标的范围。对于图像502内的其他对象诸如桌子和架子，可以在GUI500中显示其他热点，其中这样的信息是可用的。如图7所示的GUI500的图像显示区域516在用户选择热点之一例如，热点510之前是空的。图8示出了根据本公开的实施例的图5的GUI500的另一种配置。图8包括第一图像502，诸如参考图6所描述的，其可以如502'所示单独地突出显示或放大。放大的第一图像502'包括第一对象504'。图8所示的GUI500的配置是由于对第一图像502的选择，诸如经由用户输入鼠标、键盘、触敏屏幕、语音命令或其他合适的用户界面模态，并且进一步是由于对热点510的选择诸如关于图7所描述的。在这个示例中，热点510对应于图像502'内的对象504'的位置。响应于选择热点510，由搜索引擎120用来定位和取回第一图像502的搜索查询由图像搜索和取回接口应用108自动更新，而不需要或不使用任何其他用户输入。然后将经更新的搜索查询发送到搜索引擎120以进行处理。搜索引擎120返回经更新的搜索查询的结果，其包括用于填充图像显示区域516的一个或多个附加图像。诸如图8所示，GUI500被配置为在区域516中显示附加图像。注意，区域516中显示的一些或所有附加图像可以与作为在更新之前的先前搜索查询的结果的第一图像集合506中的图像不同，并且与作为在通过对图像502的初始选择如上面参考图6所述进行更新之后但是在选择热点510之前的搜索查询的结果的第二图像集合508中的图像不同。在一些实施例中，GUI500被配置为显示第一图像集合506、第二图像集合508两者中的图像以及在区域516中显示的附加图像。GUI500中显示的任何图像可以由用户选择用于进一步搜索或取回。经更新的搜索查询是基于经由热点510从第一图像502'内选择的对象504'的一种或多种属性例如，关键字和元数据。与关于图6描述的经更新的搜索查询相反，在这个示例中，除了或代替由搜索引擎120用来定位和取回第一图像502的原始搜索查询中的任何关键字和元数据，经更新的搜索查询可以包括与从第一图像502'内选择的对象504'相关联的关键字和元数据。换言之，通过经由热点510选择对象504'，可以更新搜索查询以更具体地参考第一图像502内的对象504'的属性，这与更一般地参考第一图像502'相反。例如，如果原始搜索查询包括关键字“桌子”，并且关键字“猫”与所选择的第一图像502相关联，则经更新的搜索查询可以包括关键字“猫”。作为经更新的搜索查询的结果，搜索引擎120可以返回与关键字“猫”相关联一个或多个附加图像，并且在区域516中进行显示。图9示出了根据本公开的实施例的图5的GUI500的另一种配置。图9包括第一图像502，诸如参考图6所描述的，其可以如502'所示单独地突出显示或放大。放大的第一图像502'包括第一对象504'。图9所示的GUI500的配置是由于对第一图像502的选择，诸如经由用户输入鼠标、键盘、触敏屏幕、语音命令或其他合适的用户界面模态，并且进一步是由于重新定位经由热点510从第一图像502'内选择的对象504'诸如关于图8所描述的。在这个示例中，热点510对应于图像502'内的对象504'的位置。通过比较图8和9可以看出，如图9中的518所示，用户可以将所选择的对象504'的位置从所选择的第一图像502'内的原始位置调节为不同的位置。包括热点510的所选择的对象504'可以是相对于下面的第一图像502'移动的单独图像文件。可以在第一图像502'上建立参考网格，并且可以相对于参考网格的坐标重新定位包括热点510的所选择的对象504'。例如，可以将参考网格划分为象限，并且可以相对于象限之一来标识所选择的对象504'的新的位置。响应于选择热点510并且重新定位所选择的第一对象504'，由搜索引擎120用来定位和取回第一图像502的搜索查询由图像搜索和取回接口应用108自动更新，而不需要或不使用任何其他用户输入。例如，经更新的搜索查询可以包括所选择的第一对象504'包括热点510相对于参考网格坐标或象限的新的位置。然后将经更新的搜索查询发送到搜索引擎120以进行处理。搜索引擎120返回经更新的搜索查询的结果，其包括用于填充图像显示区域520的一个或多个附加图像。诸如图9所示，GUI500被配置为显示附加图像520。注意，一些或所有附加图像520可以与作为在更新之前的先前搜索查询的结果的第一图像集合506中的图像不同，并且与作为在通过对图像502的选择如上面参考图6所述进行更新之后但是在经由热点510选择和重新定位第一对象504'之前的搜索查询的结果的第二图像集合508中的图像不同。在一些实施例中，GUI500被配置为显示第一图像集合506、第二图像集合508两者中的图像和附加图像520。GUI500中显示的任何图像可以由用户选择用于进一步搜索或取回。经更新的搜索查询基于经由热点510从第一图像502'内选择的对象504'的一种或多种属性例如，关键字和元数据。经更新的搜索查询中使用的属性响应于用户在第一图像502'内重新定位对象504'而进行修改。与关于图6描述的经更新的搜索查询相反，在这个示例中，除了或代替由搜索引擎120用来定位和取回第一图像502的原始搜索查询中的任何关键字和元数据，经更新的搜索查询可以包括与从第一图像502'内选择的对象504'相关联的关键字和元数据，包括描述在用户重新定位对象504'之后所选择的对象504'在图像502'内的新已修改位置的信息。换言之，通过选择和重新定位对象504'，可以更新搜索查询以更具体地参考第一图像502内的对象504'的属性，包括对象在图像的框架内的相对位置，这与更一般地参考未修改的第一图像502'的属性相反。例如，如果原始搜索查询包括关键字“桌子”，并且关键字“猫”与所选择的第一图像502相关联，则经更新的搜索查询可以包括关键字“猫”。经更新的搜索查询还包括表示所选择的第一对象504'在第一图像502'的框架内的新位置的元数据，诸如重新定位之后的图像518的像素坐标。作为经更新的搜索查询的结果，搜索引擎120可以返回与关键字“猫”相关联的一个或多个附加图像在区域516中显示、以及其中猫在与在用户移动所选择的第一对象504'之后出现在附加图像中的经修改的第一图像502'中的大致相同的位置处的图像。图10示出了根据本公开的实施例的图5的GUI500的另一种配置。图10包括第一图像502，诸如参考图6所描述的，其可以如502'所示单独地突出显示或放大。放大的第一图像502'包括第一对象504'。图10所示的GUI500的配置是由于对第一图像502的选择，诸如经由用户输入鼠标、键盘、触敏屏幕、语音命令或其他合适的用户界面模态，并且进一步是由于重新调节经由热点510从第一图像502'内选择的对象504'的大小诸如关于图7所描述的。在这个示例中，热点510对应于图像502'内的对象504'的位置。通过比较图8和10可以看出，如图10中的518所示，所选择的对象504'的大小可以由用户从所选择的第一图像504'内的原始大小调节为不同的大小更大或更小。响应于选择热点510并且重新调节所选择的第一对象504'的大小，由搜索引擎120用来定位和取回第一图像502的搜索查询由图像搜索和取回接口应用108自动修改，而不需要或不使用任何其他用户输入。然后将经更新的搜索查询发送到搜索引擎120以进行处理。搜索引擎120返回经更新的搜索查询的结果，其包括用于填充图像显示区域524的一个或多个附加图像。诸如图8所示，GUI500被配置为在区域524中显示附加图像。注意，区域524中显示的一些或所有附加图像可以与作为在更新之前的先前搜索查询的结果的第一图像集合506中的图像不同，并且与作为在通过对图像502的选择如上面参考图6所述进行更新之后但是在具有热点510选择第一对象504'之前的搜索查询的结果的第二图像集合508中的图像不同。在一些实施例中，GUI500被配置为显示第一图像集合506、第二图像集合508两者中的图像以及在区域524中显示的附加图像。GUI500中显示的任何图像可以由用户选择用于进一步搜索或取回。经更新的搜索查询基于经由热点510从第一图像502'内选择的对象504'的一种或多种属性例如，关键字和元数据。经更新的搜索查询中使用的属性响应于用户在第一图像502'内重新调节对象504'的大小而进行修改。与关于图6描述的经更新的搜索查询相反，在这个示例中，除了或代替由搜索引擎120用来定位和取回第一图像502的原始搜索查询中的任何关键字和元数据，经更新的搜索查询可以包括与从第一图像502'内选择的对象504'相关联的关键字和元数据，包括描述在用户移动对象504'之后所选择的对象504'在图像502'内的新的大小的信息。换言之，通过选择对象504'并且重新调节其大小，可以更新搜索查询以更具体地参考第一图像502内的对象504'的属性，包括对象在图像的框架内的相对大小，这与更一般地参考未修改的第一图像502'的属性相反。例如，如果原始搜索查询包括关键字“桌子”，并且关键字“猫”与所选择的第一图像502相关联，则经更新的搜索查询可以包括关键字“猫”。经更新的搜索查询还包括表示所选择的第一对象504'在第一图像502'的框架内的新大小的元数据。作为经更新的搜索查询的结果，搜索引擎120可以返回与关键字“猫”相关联的一个或多个附加图像在区域524中显示、以及其中猫以与在用户重新调节所选择的第一对象504'的大小之后在在附加图像内以经修改的第一图像502'中的大致相同的大小出现的图像。换言之，视情况而定，附加图像中的猫比所选择的第一图像502'中的猫更大或更小。图11示出了根据本公开的实施例的图5的GUI500的另一种配置。图11包括在526处指示的在区域中的一个或多个最近选择的图像。例如，如果用户选择图像502，则在区域526中显示图像502的副本。通过以这种方式显示最近选择的图像，用户可以在选择图像中的一个之后快速且容易地重新选择另一图像。图4是根据本公开的实施例的用于在数字媒体环境中进行图像搜索和取回的另一示例方法400的流程图。方法400的全部或部分可以例如在图像搜索和取回接口应用108中、在搜索引擎120中或在两者的组合中来实施。方法400包括生成402搜索查询并且向搜索引擎120发送搜索查询用于处理。搜索查询可以包括搜索引擎120用来从图像数据库122或另一数字编码图像源定位和取回图像的关键字或元数据。方法404还包括从搜索引擎120接收404搜索查询的结果。结果可以例如包括第一对象的第一图像。方法400还包括引起406GUI显示与由搜索引擎120处理的搜索查询的结果相对应的第一对象的第一图像。诸如上面参考图2、3和5-11所描述的，第一图像与表示第一图像中的第一对象的一种或多种属性的第一元数据相关联。方法400还包括经由GUI接收408从第一图像的显示内的对第一对象的选择。如上所述，选择可以包括例如用户点击所显示的图像内的对象的用户输入。方法400还包括响应于接收到408对第一对象的选择，生成410经更新的搜索查询，经更新的搜索查询包括与所选择的对象相关联的关键字或元数据，诸如对象的类型、对象在图像内的位置、对象在图像内的大小、或者与所选择的对象或所选择的图像相关联的任何其他属性。方法400还包括响应于接收到从第一图像的显示内的对第一对象的选择而向搜索引擎120发送412经更新的搜索查询。如上所述，经更新的搜索查询包括表示第一对象的一种或多种属性的第一元数据的至少一部分。方法400还包括从搜索引擎120接收414经更新的搜索查询的结果。结果可以例如包括第二对象的第二图像。方法400还包括引起416GUI显示与经更新的搜索查询的结果相对应的第二对象的第二图像。第二图像与表示第一对象的一种或多种属性的第一元数据的一部分相关联。在一些实施例中，方法400包括引起用户界面显示与第一图像中的对象相对应的热点图标，其中从第一图像的显示内的对热点的选择引起从第一图像的显示内的对对象的选择。在一些实施例中，方法400包括经由GUI接收对第一图像中的对象的至少一种属性的修改，其中所显示的第二图像还与表示所选择的对象的至少一种经修改的属性的第二元数据相关联。在一些实施例中，修改包括对象的大小相对于第一图像的大小的改变。在一些实施例中，修改包括对象在第一图像内的位置的改变。在一些实施例中，第二图像与第一图像不同。在一些实施例中，方法400包括引起GUI同时显示第一图像和第二图像二者。计算设备图12是表示可以用于执行本公开中以各种方式描述的技术中的任何技术的示例计算设备1200的框图。例如，图1的系统100或其任何部分、以及图2、图3和图4的方法或其任何部分可以在计算设备1200中实施。计算设备1200可以是任何计算机系统，诸如工作站、台式计算机、服务器、膝上型计算机、手持计算机、平板计算机例如，平板电脑、移动计算或通信设备例如，移动通信设备、AndroidTM移动通信设备等、VR设备或VR组件例如，耳机、手套、相机、跑步机等、或者能够进行通信并且具有足够的处理器功率和存储器容量来执行本公开中描述的操作的其他形式的计算或电信设备。可以提供包括多个这样的计算设备的分布式计算系统。计算设备1200包括一个或多个存储设备1210或非暂态计算机可读介质1220，其具有编码于其上的用于实现本公开中以各种方式描述的技术的一个或多个计算机可执行指令或软件。存储设备1210可以包括用于存储实现本公开中教导的各种实施例的数据和计算机可读指令或软件的计算机系统存储器或随机存取存储器，诸如持久磁盘存储器其可以包括任何合适的光学或磁性持久存储设备，例如RAM、ROM、闪存、USB驱动器或其他基于半导体的存储介质、硬盘驱动器、CD-ROM或其他计算机可读介质。存储设备1210也可以包括其他类型的存储器或其组合。存储设备1210可以设置在计算设备1200上，或者与计算设备1200分开地或远离地设置。非暂态计算机可读介质1220可以包括但不限于一种或多种类型的硬件存储器、非暂态有形介质例如，一个或多个磁存储盘、一个或多个光盘、一个或多个USB闪存驱动器等。计算设备1200中所包括的非暂态计算机可读介质1220可以存储用于实施各种实施例的计算机可读和计算机可执行指令或软件。计算机可读介质1220可以在计算设备1200上提供，或者与计算设备1200分开地或远离地提供。计算设备1200还包括至少一个处理器1230，其用于执行存储在存储设备1210或非暂态计算机可读介质1220中的计算机可读和计算机可执行指令或软件以及用于控制系统硬件的其他程序。可以在计算设备1200中采用虚拟化，使得可以动态地共享计算设备1200中的基础设施和资源。例如，可以提供虚拟机来处理在多个处理器上运行的进程，使得该进程看起来仅使用一个计算资源而不是多个计算资源。多个虚拟机也可以与一个处理器一起使用。用户可以通过输出设备1240诸如屏幕或监视器来与计算设备1200交互，输出设备1240可以显示根据一些实施例所提供的一个或多个用户界面。输出设备1240还可以显示与一些实施例相关联的其他方面、元素或信息或数据。计算设备1200可以包括用于从用户接收输入的其他输入设备1250，例如键盘、操纵杆、游戏控制器、指示设备例如，鼠标、用户的手指直接与触敏显示设备接口等或任何合适的用户界面，包括VR耳机。计算设备1200可以包括其他合适的传统IO外围设备。计算设备1200包括或可操作地耦合到用于执行如本公开中以各种方式描述的一个或多个方面的各种合适的设备。计算设备1200可以运行任何操作系统，诸如任何版本的操作系统、不同版本的和操作系统、用于Macintosh计算机的任何版本的任何嵌入式操作系统、任何实时操作系统、任何开源操作系统、任何专有操作系统、用于移动计算设备的任何操作系统、或能够在计算设备1200上运行并且执行本公开中描述的操作的任何其他操作系统。在一个实施例中，操作系统可以在一个或多个云计算机实例上运行。在其他实施例中，功能组件模块可以用硬件实施，诸如门级逻辑例如，FPGA或专用半导体例如，ASIC。其他实施例可以用具有用于接收和输出数据的多个输入输出端口以及用于执行本公开中描述的功能的多个嵌入式例程的微控制器来实施。在更一般的意义上，可以使用硬件、软件和固件的任何合适的组合，这是很清楚的。根据本公开内容将理解，诸如图像搜索和取回接口应用108、搜索结果显示模块110、对象选择和属性修改模块112、最近查看结果模块114、GUI106或这些的任何组合等系统的各种模块和组件以软件诸如指令集合例如，HTML、XML、C、C++、面向对象的C、BASIC等实施，这些软件编码在任何计算机可读介质或计算机程序产品例如，硬盘驱动器、服务器、盘或其他合适的非暂态存储器或存储器组上，这些软件当由一个或多个处理器执行时引起本公开中提供的各种方法被执行。应当理解，在一些实施例中，如在本公开中描述的，由用户计算系统执行的各种功能和数据变换可以由不同配置和布置的类似的处理器或数据库来执行，并且所描绘的实施例并非旨在进行限制。包括计算设备1200在内的这个示例实施例的各种组件可以集成到例如一个或多个台式或膝上型计算机、工作站、平板电脑、智能电话、游戏控制台、机顶盒或其他这样的计算设备中。诸如处理器例如，中央处理单元和协处理器、图形处理器等、输入设备例如，键盘、鼠标、触摸板、触摸屏等和操作系统等计算系统的典型的其他组件和模块没有示出但是很清楚。鉴于本公开，很多实施例将是很清楚的，并且本文中描述的特征可以以任何数目的配置进行组合。一个示例实施例包括一种在数字媒体环境中的图像搜索和取回的计算机实现的方法。该方法包括：引起图形用户界面显示与由搜索引擎处理的搜索查询的结果相对应的第一对象的第一图像，第一图像与表示第一图像中的第一对象的一种或多种属性的第一元数据相关联；经由图形用户界面接收从第一图像的显示内的对第一对象的选择；响应于接收到从第一图像的显示内的对第一对象的选择，向搜索引擎发送经更新的搜索查询，经更新的搜索查询包括表示第一对象的一种或多种属性的第一元数据的至少一部分；并且引起图形用户界面显示与经更新的搜索查询的结果相对应的第二对象的第二图像，第二图像与表示第一对象的一种或多种属性的第一元数据的一部分相关联。在一些实施例中，该方法包括引起图形用户界面显示与第一图像中的对象相对应的热点图标，其中从第一图像的显示内的对热点的选择引起从第一图像的显示内的对对象的选择。在一些实施例中，该方法包括经由图形用户界面接收对第一图像中的对象的至少一种属性的修改，其中所显示的第二图像还与第二元数据相关联，该第二元数据表示所选择的对象的经修改的属性中的至少一种。在一些这样的实施例中，修改包括对象的大小相对于第一图像的大小的改变。在一些其他这样的实施例中，修改包括对象在第一图像内的位置的改变。在一些实施例中，第二图像与第一图像不同。在一些实施例中，该方法包括引起图形用户界面同时显示第一图像和第二图像二者。另一示例实施例提供了一种编码有指令的非暂态计算机程序产品，这些指令当由一个或多个计算机处理器执行时引起一个或多个计算机处理器执行诸如本段落所述的过程。仅通过示例的方式呈现了各种实施例的前述描述和附图。这些实施例不是穷举性的，也不将本发明限制于所公开的精确形式。改变、修改和变化鉴于本公开将是很清楚的，并且旨在落入在权利要求中阐述的本发明的范围内。

权利要求：1.一种在数字媒体环境中图像搜索和取回的计算机实现的方法，所述方法包括：引起图形用户界面显示与由搜索引擎处理的搜索查询的结果相对应的第一对象的第一图像，所述第一图像与第一元数据相关联，所述第一元数据表示所述第一图像中的所述第一对象的一种或多种属性；经由所述图形用户界面接收从所述第一图像的显示内的对所述第一对象的选择；响应于接收到从所述第一图像的所述显示内的对所述第一对象的所述选择，向所述搜索引擎发送经更新的搜索查询，所述经更新的搜索查询包括表示所述第一对象的所述一种或多种属性的所述第一元数据的至少一部分；以及引起所述图形用户界面显示与所述经更新的搜索查询的结果相对应的第二对象的第二图像，所述第二图像与表示所述第一对象的所述一种或多种属性的所述第一元数据的所述部分相关联。2.根据权利要求1所述的方法，还包括：引起所述图形用户界面显示与所述第一图像中的所述对象相对应的热点图标，其中从所述第一图像的所述显示内的对所述热点的选择引起从所述第一图像的所述显示内的对所述对象的所述选择。3.根据权利要求1所述的方法，还包括：经由所述图形用户界面接收对所述第一图像中的所述对象的所述属性中的至少一种属性的修改，其中所显示的所述第二图像还与第二元数据相关联，所述第二元数据表示所选择的所述对象的经修改的所述属性中的至少一种。4.根据权利要求3所述的方法，其中所述修改包括所述对象的大小相对于所述第一图像的大小的改变。5.根据权利要求3所述的方法，其中所述修改包括所述对象在所述第一图像内的位置的改变。6.根据权利要求1所述的方法，其中所述第二图像与所述第一图像不同。7.根据权利要求1所述的方法，还包括：引起所述图形用户界面同时显示所述第一图像和所述第二图像二者。8.一种具有编码于其上的指令的非暂态计算机可读介质，所述指令当由一个或多个计算机处理器执行时引起所述一个或多个计算机处理器执行数字地修改视频的过程，所述过程包括：引起图形用户界面显示与由搜索引擎处理的搜索查询的结果相对应的第一对象的第一图像，所述第一图像与第一元数据相关联，所述第一元数据表示所述第一图像中的所述第一对象的一种或多种属性；经由所述图形用户界面接收从所述第一图像的显示内的对所述第一对象的选择；响应于接收到从所述第一图像的所述显示内的对所述第一对象的所述选择，向所述搜索引擎发送经更新的搜索查询，所述经更新的搜索查询包括表示所述第一对象的所述一种或多种属性的所述第一元数据的至少一部分；以及引起所述图形用户界面显示与所述经更新的搜索查询的结果相对应的第二对象的第二图像，所述第二图像与表示所述第一对象的所述一种或多种属性的所述第一元数据的所述部分相关联。9.根据权利要求8所述的非暂态计算机可读介质，其中所述过程包括：引起所述用户界面显示与所述第一图像中的所述对象相对应的热点图标，其中从所述第一图像的所述显示内的对所述热点的选择引起从所述第一图像的所述显示内的对所述对象的所述选择。10.根据权利要求8所述的非暂态计算机可读介质，其中所述过程包括：经由所述用户界面接收对所述第一图像中的所述对象的所述属性中的至少一种属性的修改，其中所显示的所述第二图像还与第二元数据相关联，所述第二元数据表示所选择的所述对象的经修改的所述属性中的至少一种。11.根据权利要求10所述的非暂态计算机可读介质，其中所述修改包括所述对象的大小相对于所述第一图像的大小的改变。12.根据权利要求10所述的非暂态计算机可读介质，其中所述修改包括所述对象在所述第一图像内的位置的改变。13.根据权利要求8所述的非暂态计算机可读介质，其中所述第二图像与所述第一图像不同。14.根据权利要求8所述的非暂态计算机可读介质，其中所述过程包括：引起所述图形用户界面同时显示所述第一图像和所述第二图像二者。15.一种用于数字地修改视频的系统，所述系统包括：存储装置；以及处理器，所述处理器可操作地耦合到所述存储装置，所述处理器被配置为执行存储在所述存储装置中的指令，所述指令在被执行时引起所述处理器执行过程，所述过程包括：用于引起图形用户界面显示与由搜索引擎处理的搜索查询的结果相对应的第一对象的第一图像的步骤，所述第一图像与第一元数据相关联，所述第一元数据表示所述第一图像中的所述第一对象的一种或多种属性；用于经由所述图形用户界面接收从所述第一图像的显示内的对所述第一对象的选择的步骤；用于响应于接收到从所述第一图像的所述显示内的对所述第一对象的所述选择而向所述搜索引擎发送经更新的搜索查询的步骤，所述经更新的搜索查询包括表示所述第一对象的所述一种或多种属性的所述第一元数据的至少一部分；以及用于引起所述图形用户界面显示与所述经更新的搜索查询的结果相对应的第二对象的第二图像的步骤，所述第二图像与表示所述第一对象的所述一种或多种属性的所述第一元数据的所述部分相关联。16.根据权利要求15所述的系统，其中所述过程包括：用于引起所述用户界面显示与所述第一图像中的所述对象相对应的热点图标的步骤，其中从所述第一图像的所述显示内的对所述热点的选择引起从所述第一图像的所述显示内的对所述对象的所述选择。17.根据权利要求15所述的系统，其中所述过程包括：用于经由所述用户界面接收对所述第一图像中的所述对象的所述属性中的至少一种属性的修改的步骤，其中所显示的所述第二图像还与第二元数据相关联，所述第二元数据表示所选择的所述对象的经修改的所述属性中的至少一种。18.根据权利要求17所述的系统，其中所述修改包括所述对象的大小相对于所述第一图像的大小的改变、以及所述对象在所述第一图像内的位置的改变中的至少一项。19.根据权利要求15所述的系统，其中所述第二图像与所述第一图像不同。20.根据权利要求15所述的系统，其中所述过程包括：用于引起所述图形用户界面同时显示所述第一图像和所述第二图像二者的步骤。

百度查询： 奥多比公司 使用对象属性的图像搜索和取回

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD