申请/专利权人：宝洁公司

申请日：2018-03-20

公开（公告）日：2022-07-08

公开（公告）号：CN110326034B

主分类号：G09B19/00

分类号：G09B19/00;G06Q30/02;G06Q30/06;G09B5/02

优先权：["20170321 US 15/465,166"]

专利状态码：有效-授权

法律状态：2022.07.08#授权;2019.11.05#实质审查的生效;2019.10.11#公开

摘要：本发明提供用于消费者的年龄外貌模拟的方法和系统。方法的至少一个实施方案包括接收所述消费者的图像包括所述消费者的面部，确定所述消费者的种族，确定患者的年龄，以及确定所述消费者期望的模拟年龄。然后可创建表示所述消费者的所述期望的模拟年龄的经改变图像，其中改变所述图像包括利用统计种族衰老模型来改变所述面部的形状、所述面部的颜色和所述面部的纹理中的至少一种。可提供所述改变的图像第一改变图像以用于向所述消费者显示。

主权项：1.一种用于消费者的年龄外观模拟的方法，所述方法包括：接收所述消费者的图像，其中所述图像包括所述消费者的面部；确定所述消费者的种族；确定所述消费者的年龄；确定所述消费者的第一期望模拟年龄；确定所述图像中的多个特征点；通过改变所述图像以表示所述消费者的所述第一期望模拟年龄来创建第一改变图像，其中改变所述图像包括使用统计种族形状模型来改变所述面部的形状；以及提供所述第一改变图像以便显示给用户，其中创建第一改变图像包括：使用所述统计种族形状模型来确定所述消费者的种族和年龄的一般人的多个特征点的第一预期位置，使用所述统计种族形状模型来确定所述消费者的种族和第一期望模拟年龄的一般人的多个特征点的第二预期位置，以及根据所述多个特征点的第一预期位置和第二预期位置之间的差异来改变所述面部的形状，其中所述种族由用户指定为多个种族群体的组合或比率，并且其中所述统计种族形状模型同样通过所述组合或所述比率组合。

全文数据：用于年龄外貌模拟的方法技术领域本专利申请整体涉及用于年龄外观模拟的方法，并且更具体地讲，涉及利用种族、年龄和性别输入来预测面部形状、肤色和或纹理以使用统计模型模拟个体的年龄。背景技术看起来更年轻几乎是成年人的普遍期望。因此，当今市场上存在许多产品，承诺减少衰老迹象。虽然这些产品中的许多在减少皱纹外观方面具有一定效果，但这些解决方案通常不是针对个体的需求定制的。此外，目前已开发了用于年龄预测和进展的计算系统；然而，这些程序缺乏根据多个标准精确地确定和或评估年龄外观的能力。例如，美国专利6,734,858“‘858专利”描述了用于使用计算机衰老展示产品有益效果的方法和设备。‘858专利公开了可将图像逐渐老化至预先确定的时间段，并且可确定产品对老化的影响。然而，‘858专利未解决衰老的种族差异，或缺乏解释在个体衰老时出现在个体脸部上的颜色、形状、纹理等种族依赖性变化的能力。又如，国际专利申请WO2006005917“‘917公布”描述了用于人脸的真实衰老的系统和或方法。具体来说，‘917公布公开了可使用矢量表示法识别和修改图像中的个体年龄。一些实施方案确定同一家族的世代关系。然而，‘917公布未提供与种族依赖性颜色变化、形状变化和或用于精确地执行其中所述算法的因素相关的准确性。常规的建模技术不能从开始年龄到至少一个中间年龄再到最终年龄适当地增加或减小个体的年龄，同时保持形状、颜色和最有挑战性的纹理随时间渐变的现实性。因此，需要预测基于年龄的外观变化的经改善衰老模型和预测方法。发明内容提供了用于个体的年龄外观模拟的方法。所述方法包括接收个人的图像，包括个体的脸部，确定个体的种族，以及确定个体的年龄。一些实施方案包括确定个体的期望模拟年龄和通过改变图像以表示个体的期望模拟年龄来创建改变的图像，其中改变图像包括使用种族衰老模型来改变以下中的至少一种：面部形状、面部颜色和面部纹理。在一些情况下，所述方法还包括提供第一改变图像以向用户显示。在一些情况下，该方法包括接收个体的图像，其中图像包括个体的面部，并且其中图像被配置为个体面部的三维图像。在一些情况下，创建改变图像包括使用统计种族形状模型来改变特征点，使用统计种族纹理模型改变纹理，或使用统计种族颜色模型改变颜色。本文还提供了涉及上述方法的具体实施的装置和非暂态计算机可读介质。附图说明图1示出用于年龄外观模拟的系统。图2示出用于提供衰老和或去衰老外观模拟的用户界面。图3示出用于捕获个体的图像以用于年龄外观模拟的用户界面。图4示出用于接收个体信息例如，性别、种族、年龄的用户界面。图5示出用于提供年龄外观模拟的用户界面。图6示出基于统计种族衰老模型来显示随年龄的特征点轨线即形状变化的界面。图7示出使用统计种族纹理模型基于年龄外观预测模拟来显示面部特征结构的纹理的界面。图8示出使用统计种族颜色模型将颜色变化应用于图像以用于年龄外观模拟的界面。图9示出使用统计种族形状和或颜色模型来将形状和或颜色变化应用于图像以用于年龄外观模拟的用户界面。图10示出使用统计种族纹理模型来提供用于年龄外观模拟的多个多级模型纹理的管理员界面。图11示出使用统计种族形状、颜色、纹理和或临床产品功效模型来显示图像的形状、颜色、纹理和或产品功效变化以用于年龄外观模拟的用户界面。图12示出用于购买产品的用户界面。图13示出用于提供详细产品处理方案以抵消预测衰老和进度追踪能力的影响的用户界面。图14示出年龄外观模拟的流程图。图15示出用于年龄外观预测的远程计算装置。具体实施方式“消费者”是指出于美容即，非医学目的使用本文的年龄外观预测方法和系统的人。本文中的“美容”是指在人体的区域上提供所期望的视觉效果的非医疗方法。视觉美容效果可以是临时的、半持久的、或持久的。“美容剂”意指旨在经擦涂、倾倒、喷洒、喷涂、导人或以其他方式施用于哺乳动物体或其任意部位，以提供化妆效果例如清洁、美化、提高吸引力，和或改变外观的任何物质及其任何组分。美容剂可包括美国食品和药物管理局一般认为安全的物质GRAS和食品添加剂。“美容产品”是包括美容剂例如，皮肤保湿剂、洗剂、香料、唇膏、指甲抛光剂、眼睛和面部化妆制剂、清洁洗发剂、染发制剂、剃刮准备剂和除臭剂的产品。“患者”是指出于医疗或医疗相关目的使用本文的年龄外观预测方法和系统的人。“护肤”是指调节和或改善皮肤状况。一些非限制性示例包括通过提供更光滑、更均匀的外观和或感觉来改善皮肤外观和或感觉；增加皮肤的一个或多个层的厚度；改善皮肤的弹性或回弹力；改善皮肤的紧致度；和减少皮肤的油性的、有光泽的、和或无光泽的外观、改善皮肤的水合状态或保湿状态、改善细纹和或皱纹的外观、改善皮肤剥落或脱屑、使皮肤丰满、改善皮肤阻隔性、改善皮颜色调、减少发红、粉刺、疹斑或皮肤疹斑的外观，和或改善皮肤的亮度、光彩、或半透明性。“护肤活性物质”是指当施用于皮肤时，向皮肤或通常存在于其中的细胞类型提供急性和或慢性有益效果的美容剂。护肤活性物质可调节和或改善皮肤或其相关细胞例如，改善皮肤弹性、水合、皮肤屏障功能，和或改善细胞代谢。“护肤组合物”是指包括护肤活性物质并且调节和或改善皮肤状况的组合物。“治疗”是指任何美容或医疗护肤，包括施用产品、护肤方案或皮肤手术。本文的用于年龄外观模拟的系统和方法可被配置为向用户提供衰老和或去衰老预测和或模拟体验。在一些情况下，用户提供其自身的图像以及性别、种族和或年龄信息，这些信息可与基于年龄的经验性统计性面部形状和肤色纹理和或颜色数据模型组合以在视觉上传达用户将如何衰老。了解这一点，用户可选择其护肤治疗和或手术，以提供他们所期望的皮肤外观有益效果。另外或另选地，这些模型与基于临床的功效数据组合时，可用于模拟预期结果平均响应者、最佳响应者等，从而帮助用户对合适的治疗作出明智选择。术语“模拟”包括功能在2D空间和3D空间中的预测性质，以及图像的投影诸如2D投影，如本文所述。统计种族模型可应用于至少一个面部特征结构、至少一个年龄特征和或形状以模拟个体的衰老去衰老。在治疗的模拟应用之后，可提供描述个体的新模拟外观的用户图像。此过程也可与时间流逝的模拟一起进行例如，从现在起10年后，在没有治疗的情况下某人的样貌。图1示出用于年龄外观模拟的示例性计算环境。如图1所示，网络100耦合到用户计算装置102和远程计算装置104。网络100可包括具有有线和或无线部分的任何组合的任何广域网、本地网络等。例如，网络100可包括互联网、公用交换电话网、蜂窝网络诸如3G、4G、LTE等。类似地，网络100可包括本地网络，诸如局域网、Wi-Fi、蓝牙网络、Zigbee、近场通信，这些的组合等。用户计算装置102可被配置为适于捕获图像，与远程计算装置104通信和或向用户提供一个或多个用户界面的任何计算装置。例如，用户计算装置102可以是智能电话、个人计算机、膝上型计算机、平板电脑或多媒体终端。尽管在图1中以移动装置示出，但用户计算装置102不因此受限制。例如，用户计算装置102可被配置成提供本文所述的分析和数据，以及分配产品、打印处理和或提供其他有形物品，以及接受支付以交换有形物品。用户计算装置102可包括用于捕获数字图像的图像捕获装置106。如下文更详细地描述，所捕获的图像可包括3D图像和或2D图像。因此，图像捕获装置106可包括用于捕获所需数据的一个或多个图像传感器和或镜头。远程计算装置104可被配置成经由网络100与用户计算装置102通信。因此，远程计算设备104可包括服务器、个人计算机、智能手机、膝上型计算机、笔记本电脑、多媒体终端、平板电脑、增强虚拟现实耳机等。远程计算设备104可包括存储器组件140和其他组件，例如如图1所示，所述存储器组件存储年龄模拟逻辑144a、接口逻辑144b和种族衰老模型逻辑144c。如下文更详细地描述，年龄模拟逻辑144a可被配置为分析个体的图像并执行年龄、外观或种族预测。接口逻辑144b可被配置为创建提供给用户计算装置102的一个或多个用户界面。种族衰老模型逻辑144c可被配置为运行本文所述的一个或多个种族模型。在一些情况下，年龄模拟逻辑144a、接口逻辑144b和或种族衰老模型逻辑144c可在用户计算装置自身102和或图1中未示出的另一计算装置中执行所示出的一些或全部功能。本文所述的系统和方法可用于化妆品领域中的消费者例如，用于护肤或用于医疗领域的患者。总体来讲，患者和或消费者在本文中可称为“个体”。与医疗领域相关的实施方案包括涉及治疗医学病症或医学相关的美容治疗的产品和或方法，诸如需要保健专业人员操作的产品和程序；保健专业人员在医疗诊断过程中使用的产品；用于治疗需要保健专业人员治疗的疾病或其他医学病症的产品；凭处方出售的产品；以及美容整形外科医生、皮肤科医师、普通科医生、医疗美容人员和制药公司的活动。图2示出用于提供年龄外观模拟的示例性用户界面230。如图所示，用户界面230可包括年龄预测器选项232、年龄模拟器选项234、产品选项236和治疗选项238。响应于对年龄预测器选项232的选择，模型可被配置为提供年龄外观预测，如更详细地描述。响应于对年龄模拟器选项234的选择，可提供一个或多个用户界面以模拟个体的衰老。响应于对产品选项236的选择，可向用户推荐适针对个体的一个或多个产品。响应于对治疗选项238的选择，可向用户推荐针对个体的一种或多种治疗。在一些情况下，用户界面230可包括种族预测选项未示出，其允许用户选择种族外观预测。应理解，本文所述的方法可包括捕获个体的图像，提供个体的年龄模拟以及与用户交互。因此，个体可包括捕获图像和或执行衰老模拟的任何人。用户可包括用户计算装置102的任何用户。在一些情况下，个体和用户是同一个人，但不必是同一个人。图3示出用于显示个体的图像以用于年龄外观模拟的示例性用户界面330。如图所示，用户可捕获和或接收可在用户界面330中显示的个体的图像。可提供图像选项332来利用图像进行年龄模拟、年龄预测和或种族预测。图像可经由图像捕获装置106图1捕获和或可经由电通信等下载、接收。在一些情况下，图像可被配置为个体脸部的3D图像。例如，个体的图像可利用三维系统其可能是或可能不是用户计算装置102的一部分捕获。用户计算装置102、远程计算装置104和或其他装置可根据需要对所捕获的图像执行预处理。预处理2D或3D图像可包括从捕获的图像移除无关对象；重新定向所述图像，使得所述面部特征结构与预定模型对准；标记所述图像的面部特征结构；以及调整所述特征点使其对于多名个体在基本上一致的位置上。在一些情况下，可例如通过将三维图像的一个或多个特征点从前视图和或侧视图投影到二维上来将个体的3D图像转换为二维图示。一旦将图像转换为或捕获为2D图像和或以其他方式预处理图像，就可在面部的一个或多个区域中分析图像的皱纹区域和其他年龄特征。例如，可根据尺寸确定和分类面部的眶周区中的皱纹。还可分析图像的其他年龄特征，诸如图像的标准和或交叉偏振版本上的可见斑点。同样，可使用平行偏振或其他成像方式来检测其他特征孔、纹理颜色、痤疮、红斑等。图4示出示例性用户界面430，其包括种族选项432、性别选项434和当前年龄选项436。应理解，用户可输入更少或更多的标准。响应于对种族选项432的选择，用户可输入个体的种族。在一些情况下，界面430可允许用户将种族输入为各种不同种族的百分比。在这种情况下，由统计衰老模型针对每个种族群体产生的预期变化下文所述的形状、颜色和或纹理将使用与输人种族成比例的加权平均进行组合。随后可将此多种族预期变化用于输入图像的模拟。响应于对性别选项434的选择，用户可输入个体的性别。响应于对当前年龄选项436的选择，用户可输入个体的当前年龄。在一些情况下，系统可根据过去的用户操作、图像分析等自动确定用户输入的一个或多个选项。图5示出用于提供年龄预测和年龄外观预测模拟的示例性用户界面530。如图所示，用户界面530可提供个体的模拟衰老去衰老。具体地讲，可使用统计种族模型例如，统计种族形状模型、统计种族纹理模型和或统计种族颜色模型使个体的图像进行衰老和或去衰老，此操作可由远程计算装置104和或用户计算装置102执行。用户界面530可包括产品选项532、治疗选项534和或主页选项536。响应于对产品选项532的选择，可提供用于处理预期的衰老变化的一种或多种产品。响应于对治疗选项534的选择，可提供一个或多个治疗方案。响应于对主页选项536的选择，界面可返回至用户界面230以开始新的捕获和分析。用户界面530还可基于对图像的分析来显示个体的预测年龄或表观年龄。例如，可围绕图像上的中心竖直轴线对对应的左侧和右侧特征点诸如眼睛、耳朵、脸颊等进行平均化在此实例中，假设个体具有显著的面部对称性。继续此实例，可确定和收集年龄特征诸如皱纹和斑点、面部特征结构之间的距离、与距离相关的比率等，以确定个体的表观年龄。在一些情况下，可测量特征点上每对点之间的竖直距离和或水平距离以及计算距离之间的比率。基于所选择的年龄特征、个体的比率、距离和种族，远程计算装置104和或用户计算装置102可确定表观年龄。随着人们年龄的增加，他们的脸部发生了形状变化，并创建了年龄特征，其中至少有一些是其种族独特的特征。例如，面部特征结构诸如眼睛、脸颊和耳朵之间的距离，面部特征结构的尺寸等可按照个体的种族指示个体的年龄。通过将比率和距离与在多个不同年龄时该种族的平均人员进行比较，远程计算装置104和或用户计算装置102可确定表观年龄。另外，可利用所检测到的年龄特征来进一步确定表观年龄。可将斑点分析得分、皱纹分析得分、特征点距离、特征点比率和绝对特征点坐标组合以形成代表个体面部的完整特征组，以用于一个或多个年龄预测模拟模型例如，形状和纹理颜色模型。基于其在种族群体中的最大值和最小值，可以将每个特征归一化，例如在[0，1]之间进行归一化。为了构建合适的年龄预测模型，可减少模型的特征输入数量以简化模型和或避免过度拟合。在一些情况下，在所有可能的皱纹评分之中，只有单个与年龄相关性最高的皱纹特征可保留。另外，可消除相关性小于预定阈值的任何特征。在一些情况下，可将阈值选择为约0.5。在某些情况下，一个或多个种族群体可能具有不同的阈值，例如，非洲种族群体为约0.4。此外，可将剩余特征输入到基于相关性的特征选择CFS算法以查找与年龄高度相关但彼此不相关的特征。这些步骤根据种族群体将特征数减少到8或9，同时仍保持与年龄的良好相关性。可将所选择的最佳特征子集输入到线性回归分类器中以开发年龄的线性预测模型，诸如以下形式：其中n为模型中的特征数，wi和fi分别为模型重量和第i特征的特征值，并且c是常数。为了预测任何新个体即，先前不是模型一部分的人的年龄，可计算特征的相关子集，然后将其输入到以上公式中以计算预测年龄。本文的预测模型不必仅限于简单的线性回归模型，而可以是更高级的模型，其能够更好地代表一系列年龄范围内的特征轨线，诸如多项式模型、其他非线性模型平滑样条、多变量自适应回归样条MARS等、神经网络等。类似地，可建立类似的测量和预测模型以确定个体的种族，从而获得单个种族群体预测或多个种族群体的某种混合。图6示出用于测绘在捕获的图像中检测到的面部特征点并提供个体面部特征的预测轨线的示例性界面630。在图6中所示的示例中，箭头指示面部特征点随着个体衰老而预期的移动。可基于同一种族的其他个体群体的统计分析由种族形状模型来确定每个箭头的方向和大小。例如，对应于个体下巴区域的箭头632指示个体的下巴区域随时间推移的预期移动。在此实例中，箭头632的尾部指示在第一年龄时下巴区域的位置，并且箭头632的头部指示根据相同年龄和种族的一般人的形状衰老模型，预计下巴区域在预定的年数之后所在的位置。类似地，箭头634和636说明如由模型所预测，个体随着时间推移所预期的下颚线移动。在此示例中，箭头640和642说明如由模型所预测的个体耳朵的预期移动。箭头638说明如由模型所预测的个体前额的预期移动。应理解，箭头632、634、636、640和642对应于各种面部特征点，其中预期年龄改变这些面部特征的位置。箭头说明预期移动的大小和方向。因此，前额箭头638例如看起来相对较短，因为对于所示出的种族模型，预期年龄不会显著影响此面部部分。远程计算装置104可比较面部特征之间的距离、比率和或个体面部特征的位置，并将该数据与该种族的分布进行比较。基于该比较，可确定个体的表观年龄和或种族。另外，远程计算装置104可通过使用统计种族形状、纹理和或颜色模型改变个体面部的形状并进行本文所述的其他调节以基本上匹配该种族的一般人的特征，从而将图像改变为期望的模拟年龄。识别3D和或2D空间中个体的常见点的面部特征点可以例如通过选择图像上的适当位置而手动放置在捕获的图像上。另外或另选地，面部特征点可通过已知方法自动检测，诸如活动形状模型ASM、约束局部模型CLM、级联分类器、模板匹配等。可通过允许用户交互式地将特征点移动到其期望位置的界面来进一步手动调节自动检测到的特征点。应理解，图6的界面630以及图7-图10的界面730、830、930和或1030可能或可能不提供给用户。在一些情况下，这些界面可能仅提供给管理员以进行维护和或故障排除。在一些情况下，界面630、730、830、930和或1030不可供用户访问。因此，本文提供这些管理员界面以说明可用于提供所述功能的过程。图7示出用于根据年龄外观模拟模型来施加面部特征的形状变化的示例性界面730。如图所示，界面730可提供基于期望的模拟年龄和统计种族形状模型进行形状修改的个体的图像的描述。具体地讲，利用图6中示出的示例性特征点位置变化，可修改图6中的图像以产生图7中的结果。例如，界面730中修改过的衰老图像具有更宽的嘴部、下沉的眼睛和更宽的鼻子；其程度由模型确定。在一些情况下，可创建多个模型，诸如形状模型、颜色模型和纹理模型。在一些情况下，形状模型可表示如下方式：其中特征点点根据年龄移动，代表诸如体重增加、皮肤下垂或其他面部特征结构等变化。在一些情况下，颜色模型可表示如下方式：其中每个像素的强度值根据年龄平均变化，代表诸如黑眼圈、整体色素沉着变化、眼睛颜色变化等的效果。在一些情况下，纹理模型可表示如下方式：每个像素的强度值相对于皮肤相对细腻的纹理细节变化，诸如皱纹和细纹、色素增加和色素减退斑点和晒伤。形状、颜色和纹理模型针对预先确定的年龄分别返回预期的特征点位置和像素值。在一些情况下，诸如当所捕获的图像是3D图像时，这些形状、颜色和纹理模型表示3D变化；例如，3D形状模型可指示面部形状或拓扑发生3D变化的方式。3D颜色或纹理模型可指示颜色或纹理相对于3D三角形网格中每个三角形的变化方式。在一些情况下，形状模型可通过针对特征点点的线性回归来构建，已经对所述特征点点进行对称平均并通过广义普氏分析GPA对齐。可以对不同种族群体中的特征点进行对齐，以说明各个体之间的旋转和或偏移。在一些情况下，可基于眼睛的竖直位置进一步对齐图像，使得平均竖直眼坐标在个体和模型之间相同。可检测诸如前额顶部或颈部底部的其他特征点，以将另外的特征点添加到群体和图像中。对于每个X和Y特征点坐标，线性回归线可以采用以下形式利用年龄作为自变量拟合：P＝Msh*年龄+Bsh其中P表示给定年龄的预测点，且Msh和Bsh是回归模型权重和系数。自然地，此形状模型不必限于线性回归模型，但可以使用许多其他线性和或非线性预测模型诸如多项式模型、平滑样条、MARS、神经网络等来实现。此外，就3D图像捕获而言，可以使用3D空间中的特征点坐标即X、Y和Z坐标构建此形状模型。在一些情况下，可通过对图像像素色值执行线性回归来构建颜色模型。然而，可对齐用于构建模型的群体图像。这包括确定群体平均脸部。可将GPA对齐的特征点一起取平均值，以产生群体的平均特征点位置。然后，对于每个个体的图像，可使用薄板样条TPS变形通过使用特征点位置作为锚定点并将它们从其初始位置移动到群体平均值的位置来使图像变形。TPS变形是一种非刚性变换技术，其使用径向基函数将中间点内插到锚定点，然后将这些中间点映射到像素色值。一旦所有个体的所有图像均被变形为平均面部形状，就可计算每个像素的线性回归模型，因为像素可对齐。此纹理回归模型可具有以下形式：I＝Mtx*年龄+Btx其中图像I和回归参数Mtx和Btx为等于3通道RGB图像的尺寸宽度×高度×3的尺寸的矩阵。此颜色模型预测构成给定年龄的面部图像的像素值。为了模拟新图像的衰老或去衰老，形状和颜色模型均可应用于现实性。应理解，已相对于群体的平均特征点位置即“平均面部形状”构建了颜色模型。因此，对于衰老去衰老个体，由颜色模型预测的图像可从群体平均特征点点变形到期望特征点点。应用形状模型的一种方法是计算期望年龄时的预期特征点坐标与个体实际年龄时的预期特征点坐标两者均根据形状模型之间的Δ，且然后将此Δ添加到个体的实际特征点坐标，因此生成个体在期望年龄时的预测特征点坐标。另外，可使用TPS通过将实际坐标移动到预测坐标的位置来使个体的图像变形。应理解，还可使用除了TPS之外的其他图像变形方法，包括但不限于仿射或透视变换、弹性变形或其他参数或非参数方法。类似地，可使用期望年龄时的预期颜色与个体实际年龄时的预期颜色之间的颜色模型来计算Δ。同样可将此Δ添加至图像以产生预测图像。应当理解，在添加Δ之前，必须使Δ图像变形到预测特征点点，以便与来自形状模型的个体图像的变形一致。图8示出用于查看要应用于用于年龄外观模拟的捕获图像的颜色模型的示例性界面830。如图8所示，界面830可表示对于所需模拟年龄所确定的种族的普通人的平均颜色。因此，可将该颜色的映射应用于图7的图像以用于进一步修改。图9示出用于查看用于年龄外观模拟的图像的颜色变化的示例性界面930。如图所示，可将图8的颜色标测图应用于图7中的图像，以提供结合面部特征的形状变化和面部的颜色变化的进一步修改的图像。如上所述，可使图像中的像素与平均人的图像中的像素进行比较。基于像素的比较，可改变图像中的像素以基本上匹配来自图8的图像的至少一部分。例如，一些实施方案可仅比较所关注区域的颜色，诸如经历形状变化的那些区域和或预定的特征点区域。在一些情况下，本文的衰老或去衰老模拟可经由小波域中更复杂的纹理模型来改善，以增强除颜色模型方法可能的纹理特征之外的纹理特征。例如，可使个体的图像变形并分解成平滑小波金字塔。然后可针对每个小波金字塔水平中的多个像素在群体中执行线性回归，以构建模型以预测相对于个体年龄的小波强度。可以使用小波金字塔回归模型来预测所需模拟年龄的小波金字塔。可利用所期望模拟年龄的预测的小波金字塔来增强所期望的模拟年龄的纹理。可使用形状回归模型查找初始年龄和期望的模拟年龄之间的预期Δ形状变化。可将此Δ添加到图像中个体面部的实际形状以查找个体衰老的形状。可使个体图像和根据该图像修改的其他图像变形以基本上匹配衰老形状的图像。同样，可将原始年龄和期望的模拟年龄之间的色差添加至变形图像以产生具有颜色变化的衰老图像。可使用预测的小波金字塔来增强颜色变化图像的纹理。图10示出用于在小波域中提供用于年龄外观模拟的多个多级模型纹理的示例性界面1030。如图10所示，界面1030可被配置为在图像1032、1034、1036中提供纹理变化，以说明特定种族的平均个人在各种年龄的变化。此特征可用于模拟皱纹和其他年龄特征。图11示出用于对图像进行纹理改变以用于年龄外观模拟的示例性用户界面1130。响应于对图2中模拟选项234的选择，可提供界面1130。如图所示，用户界面1130可呈现给用户，并且可提供个体在预先确定的未来年龄的模拟图像。用户界面1130中提供的图像可以是对图9中的图像施加纹理变化以及形状变化和或颜色变化的结果。用户界面1130可包括产品选项1132和或治疗选项1134。如下文更详细地描述，响应于对产品选项1132的选择，可推荐一种或多种产品以用于处理预期的衰老变化。响应于对治疗选项1134的选择，可推荐一种或多种治疗方案。图12示出用于购买产品以帮助改善衰老皮肤外观的示例性用户界面1230。响应于对图11中产品选项1132和或图2中产品选项236的选择，可提供用户界面1230。基于种族、当前年龄外观、预期衰老和或其他标准，可向用户推荐一个或多个产品。还提供了购买选项1232、1234、1236用以购买一个或多个推荐产品。在一些情况下，用户界面1230可包括以单个选择购买所有推荐产品的选项例如，“全部购买”选项。图13示出示例性用户界面1330，其用于提供治疗，诸如推荐的产品施用或医疗程序的建议，从而抵消预测衰老的影响。响应于对图11中治疗选项1134和或图2中治疗选项238的选择，可提供用户界面1330。基于个体的实际年龄、年龄进展和或其他因素，可向用户推荐一种或多种治疗。还提供了追踪进度选项1332、模拟治疗选项1334和主页选项1336。响应于对追踪进度选项1332的选择，用户可捕获个体的附加图像以追踪年龄特征和年龄外观随时间推移的进度。这可向用户展示治疗效果。响应于对模拟治疗选项1334的选择，用户计算装置102可模拟对个体使用所选择治疗随时间推移的结果。在一些情况下，这可以通过使用仅限已使用或已被提供所选择治疗例如，临床试验环境内的产品或程序的个体的群体来构建特定形状、颜色和或纹理衰老模型来实现。然后可使用这些治疗衰老模型创建展示治疗效果的年龄模拟图像。还可使用标准群体模型来创建不使用该治疗的年龄模拟图像。用户可比较这两个图像，以查看在治疗和没有治疗的情况下衰老的模拟。在另一种情况下，可构建单组形状、颜色和或纹理模型，其中包括治疗持续时间或类似的产品使用频率测量作为年龄的附加自变量。通过这种方式，模型内在地表示与年龄和治疗用法有关的视觉变化。可使用具有或不具有治疗，或甚至具有不同治疗水平的此类模型来创建模拟图像，以供用户比较。应理解，本文的系统和方法可用于模拟内在和外在的衰老去衰老。例如，本发明的系统和模型可用于模拟与某种用户行为诸如吸烟、体重增加、体重减轻等相关的外在衰老效果。随着将衰老和或去衰老模拟应用到在预定范围内的多年，所得图像集合例如个体的原始捕获图像、代表第一期望模拟年龄的第一改变图像、代表第二期望模拟年龄的第二改变图像等可组合为动画。这可用作幻灯片或视频以展示对个体衰老和或去衰老的预测。为了获得渡过多个年龄的平滑动画，可能期望根据本文的统计种族模型生成多个中间年龄。本发明的系统和方法建立形状、颜色和纹理的平滑连续模型，这使得能够创建连续模拟，从而使个体从起始年龄到最终年龄经过任何和全部中间年龄平滑地衰老去衰老，无论在任何年龄都需要分辨率即，视频动画的后续帧之间的年龄增量。还应当理解，可在没有平滑连续纹理模型的情况下施加衰老纹理。例如，可使用形状模型查找初始年龄和期望的模拟年龄之间的预期变化。可将此添加到个体面部的真实形状以找到目标面部形状。可选择其年龄特征将被提取并添加到来源个体的示例性目标个体。可提取目标个体的高频组分。另外，可使这些组分变形为目标形状并将其施加到变形图像以产生衰老的模拟图像。图14示出用于示例性年龄外观模拟的流程图。如方框1450所示，可接收个体的图像，其中图像包括个体的面部。在方框1452中，可确定个体的种族。在方框1454中，可确定个体的年龄。应当理解，确定年龄、种族和或其他特征可包括处理来自图像的数据以估计年龄或“表观年龄”或其他特征。在一些情况下，确定年龄、种族和或其他特征可包括接收来自用户的输入以识别对应的数据，诸如从用户接收个体的实际年龄。在方框1456中，可诸如通过经由用户输入接收所需的模拟年龄来确定个体的期望模拟年龄。在方框1458中，可通过改变来自方框1450的个体图像来创建改变的图像，以表示个体的期望模拟年龄。改变图像可包括以下中的至少一种：改变面部形状、改变面部颜色，以及改变面部纹理。在方框1460中，可提供改变的图像以向用户显示。图15示出用于年龄外观模拟的远程计算装置104。如图所示，远程计算装置104包括处理器1530、输入输出硬件1532、网络接口硬件1534、数据存储组件1536其储存用户数据1538a、衰老数据1538b和或其他数据、和存储器组件140。存储器组件140可被配置成易失性和或非易失性存储器，并且同样可包括随机存取存储器包括SRAM、DRAM、和或其他类型的RAM、闪存存储器、安全数字SD存储器、寄存器、光盘CD、数字通用盘DVD、和或其他类型的非暂态计算机可读介质。取决于特定实施方案，这些非暂态计算机可读介质可驻留在远程计算装置104内，和或驻留在远程计算装置104的外部。存储器组件140可储存操作逻辑1542、年龄模拟逻辑144a、接口逻辑144b和种族衰老模型逻辑144c。年龄模拟逻辑144a、接口逻辑144b和种族衰老模型逻辑144c可各自包括多个不同的逻辑块，其中每一个逻辑块可被实施为例如计算机程序、固件、和或硬件的形式。图15中还包括本地接口1546，并且该本地接口可被实施为总线或其他通信接口以促进在远程计算装置104的组件之间进行通信。处理器1530可包括能够操作以接收并且执行指令诸如来自数据存储组件1536和或存储器组件140的指令的任何处理组件。输入输出硬件1532可包括和或被配置为与麦克风、扬声器、显示器和或其他硬件交互。网络接口硬件1534可包括和或被配置成用于与任何有线或无线联网硬件进行通信，包括天线、调制解调器、LAN端口、无线保真Wi-Fi卡、WiMax卡、蓝牙芯片、移动通信硬件和或其他用于与其他网络和或装置通信的硬件。通过此连接，可促进在远程计算装置104与其他计算装置诸如用户计算装置102之间进行通信。操作逻辑1542可包括操作系统和或用于管理远程计算装置104的组件的其他软件。还如上所述，年龄模拟逻辑144a可驻留在存储器组件140中，并且可被配置为使得处理器1530确定个体的年龄外观和或年龄进展模拟。类似地，接口逻辑144b可用于提供如本文所述的用户界面。种族衰老模型逻辑144c可用于提供本文所述的一个或多个种族衰老模型。应当理解，虽然图15中的组件被示出为驻留在远程计算装置104内，但是这仅仅是一个示例。在一些情况下，一个或多个组件可驻留在远程计算装置104的外部。还应当理解，虽然远程计算装置104被示出为单一装置，但是这也仅仅是一个示例。在一些情况下，年龄模拟逻辑144a、接口逻辑144b和种族衰老模型逻辑144c可驻留在不同计算装置上。作为示例，本文描述的一个或多个功能和或组件可由远程计算装置104和或经由网络100耦合到远程计算装置104的用户计算装置102来提供。另外，虽然远程计算装置104被说明为具有作为单独逻辑组件的年龄模拟逻辑144a、接口逻辑144b和种族衰老模型逻辑144c，但是这也是示例。在一些情况下，单个逻辑块可促使远程计算装置104提供所述功能。在一些情况下，本发明的方法可经由增强或虚拟现实体验，例如利用增强或虚拟现实头戴耳机例如，MicrosoftTMHoloLensTM、OculusRiftTM等来实现。在增强或虚拟现实体验中，个体可查看在衰老去衰老模拟之后自己的虚拟3D模型并与其进行交互。例如，可捕获个体的3D图像，然后可应用本文的形状、颜色和或纹理模型以模拟衰老或去衰老所需的年数。同样可单独地或结合衰老模拟应用产品功效模型。最后，可将个体的模拟3D图像投影到3D增强或虚拟空间中以供个体观察和或交互。以类似的方式，可以实时地将衰老去衰老模拟应用到个体的视频内容，然后将其以类似镜像的方式显示回给个体。捕获的视频将用于构建个体的虚拟3D模型，然后对其模拟并以某种显示方式投影回给个体。通过这种方式，个体可四处移动以检查其自身的模拟型式，就像在镜子中观察一样。组合实施例A.一种用于消费者的年龄外观模拟的方法，所述方法包括：i接收所述消费者的图像，其中所述图像包括所述消费者的面部；ii确定所述消费者的种族；iii确定所述消费者的表观年龄；iv确定所述消费者的第一期望模拟年龄；v改变所述图像以表示所述消费者的所述第一模拟年龄，其中改变所述图像包括使用储存在计算装置的存储器组件上的种族衰老模型逻辑来改变所述面部的形状、所述面部的颜色和所述面部的纹理中的至少一种以创建第一改变图像；以及vi在接口装置上显示所述第一改变图像。B.根据段落A所述的方法，所述方法还包括使用面部特征点确定所述图像中的形状，其中改变所述图像包括使用储存在所述计算装置的所述存储器组件上的统计种族形状模型逻辑来改变至少一个面部特征点的位置。C.根据段落B所述的方法，其中改变所述面部特征点的所述位置包括基于对与所述消费者具有相同种族的个体群体的统计分析来改变所述面部特征点的方向和大小中的至少一种。D.根据前述段落中任一项所述的方法，所述方法还包括确定所述图像中的纹理，其中创建所述第一改变图像包括使用统计种族纹理模型来改变皮肤运动、皱纹存在和所述皱纹的程度中的至少一种。E.根据前述段落中任一项所述的方法，所述方法还包括确定所述图像的颜色，其中创建所述第一改变图像包括使用统计种族颜色模型来改变以下中的至少一种：所述面部的颜色、头发颜色、眉毛颜色、眼睛颜色、黑眼圈的暗化、可见斑点的存在，和可见斑点的程度。F.根据前述段落中任一项所述的方法，所述方法还包括确定所述消费者的第二期望模拟年龄；使用统计种族模型来创建第二改变图像，所述第二改变图像表示所述消费者的所述第二期望模拟年龄；以及使用所述第一改变图像和所述第二改变图像来创建表示所述消费者的衰老或去衰老的动画。G.根据段落F所述的方法，其中所述动画以视频形式呈现，所述视频包括所述第一期望模拟年龄和所述第二期望模拟年龄之间的中间年龄，所述视频平滑地表示形状、颜色和或纹理的变化。H.根据前述段落中任一项所述的方法，所述方法还包括确定所述消费者要经历的治疗以影响所述消费者确定的年龄；以及改变所述图像以表示经历所述治疗的所述消费者的结果。I.根据前述段落中任一项所述的方法，其中所述种族由用户指定为多个种族群体的组合或比率，并且其中统计种族模型同样通过所述组合或所述比率组合。J.根据前述段落中任一项所述的方法，所述方法还包括储存所述图像和所述第一改变图像以提高未来预测的准确度。K.根据前述段落中任一项所述的方法，其中将所述第一改变图像作为增强现实体验或虚拟现实体验提供给用户，使得所述用户可在所述增强空间或虚拟现实空间中实时观察所述用户的衰老版本和与所述用户的衰老版本交互。L.根据前述段落中任一项所述的方法，其中确定所述消费者的所述表观年龄包含使用储存在所述计算装置上的逻辑来确定面部特征点与所述图像上的另一位置的距离以及与面部特征点与所述图像上的另一位置的距离相关的比率中的至少一种，以及将所述距离或比率和与所述消费者种族相同的人的平均值进行比较。M.根据前述段落中任一项所述的方法，其中所述消费者的所述图像通过耦接至所述计算装置的图像捕获装置捕获。N.根据段落M所述的方法，其中所述计算装置、所述接口装置和所述图像捕获装置是一体装置的一部分。O.根据前述段落中任一项所述的方法，其中预处理所述图像以移除无关对象。P.根据前述段落中任一项所述的方法，其中所述种族衰老模型逻辑基于对与所述消费者性别相同的个体的统计分析。Q.根据权利要求1所述的方法，所述方法还包括将三维图像转换为所述三维图像的二维投影以提供所述消费者的所述图像。R.根据段落A至M或O至Q中任一项所述的方法，其中所述计算装置和所述接口装置彼此远离地定位。虽然本文的某些示例和实施方案可能已结合面部特征结构和特征点进行了描述，但应当理解，此类模型和技术也可扩展到在整个身体的其余部分诸如屑部、肘部、手、手指、膝盖、脚等上的其他特征点。以此类方式，可以将形状、颜色和或纹理变化应用到整个身体以进行全身模拟，如在一些增强或虚拟现实实施方案中所期望的那样。本文所述的所有数值范围是包括端值在内的较窄的范围；所描述的范围上限和下限是可互换的，以进一步形成没有明确描述的范围。本文所述的实施方案可包含本文所描述的基本组分以及任选成分，本文所述的实施方案基本上由或由本文所描述的基本组分以及任选成分组成。如说明书和所附权利要求书中所用，除非上下文另外清楚地指明，否则单数形式“一个”、“一种”和“该所述”旨在也包括复数形式。本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。除非明确排除或以其它方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并人本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并人的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。虽然已举例说明和描述了本发明的具体实施方案，但是对于本领域技术人员来说显而易见的是，在不脱离本发明的实质和范围的情况下可作出多个其它变化和修改。因此，本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类变化和修改。

权利要求：1.一种用于消费者的年龄外观模拟的方法，所述方法包括：i接收所述消费者的图像，其中所述图像包括所述消费者的面部；ii确定所述消费者的种族；iii确定所述消费者的表观年龄；iv确定所述消费者的第一期望模拟年龄；v改变所述图像以表示所述消费者的所述第一模拟年龄，其中改变所述图像包括使用储存在计算装置的存储器组件上的种族衰老模型逻辑来改变所述面部的形状、所述面部的颜色和所述面部的纹理中的至少一种以创建第一改变图像；以及vi在接口装置上显示所述第一改变图像。2.根据权利要求1所述的方法，所述方法还包括使用面部特征点确定所述图像中的形状，其中改变所述图像包括使用储存在所述计算装置的所述存储器组件上的统计种族形状模型逻辑来改变至少一个面部特征点的位置。3.根据前述权利要求中任一项所述的方法，所述方法还包括确定所述图像中的纹理，其中创建所述第一改变图像包括使用统计种族纹理模型来改变皮肤运动、皱纹存在和所述皱纹的程度中的至少一种。4.根据前述权利要求中任一项所述的方法，所述方法还包括确定所述图像的颜色，其中创建所述第一改变图像包括使用统计种族颜色模型来改变以下中的至少一种：所述面部的颜色、头发颜色、眉毛颜色、眼睛颜色、黑眼圈的暗化、可见斑点的存在，和可见斑点的程度。5.根据前述权利要求中任一项所述的方法，所述方法还包括确定所述消费者的第二期望模拟年龄；使用统计种族模型来创建第二改变图像，所述第二改变图像表示所述消费者的所述第二期望模拟年龄；以及使用所述第一改变图像和所述第二改变图像来创建表示所述消费者的衰老或去衰老的动画。6.根据权利要求5所述的方法，其中所述动画以视频形式呈现，所述视频包括所述第一期望模拟年龄和所述第二期望模拟年龄之间的中间年龄，所述视频平滑地表示形状、颜色和或纹理的变化。7.根据前述权利要求中任一项所述的方法，所述方法还包括确定所述消费者要经历的治疗以影响所述消费者确定的年龄；以及改变所述图像以表示经历所述治疗的所述消费者的结果。8.根据前述权利要求中任一项所述的方法，其中所述种族由用户指定为多个种族群体的组合或比率，并且其中统计种族模型同样通过所述组合或所述比率组合。9.根据前述权利要求中任一项所述的方法，所述方法还包括储存所述图像和所述第一改变图像以提高未来预测的准确度。10.根据前述权利要求中任一项所述的方法，其中将所述第一改变图像作为增强现实体验或虚拟现实体验提供给用户，使得所述用户可在所述增强空间或虚拟现实空间中实时观察所述用户的衰老版本和与所述用户的衰老版本交互。11.根据前述权利要求中任一项所述的方法，其中确定所述消费者的所述表观年龄包含使用储存在所述计算装置上的逻辑来确定面部特征点与所述图像上的另一位置的距离以及与面部特征点与所述图像上的另一位置的距离相关的比率中的至少一种，以及将所述距离或比率和与所述消费者种族相同的人的平均值进行比较。12.根据前述权利要求中任一项所述的方法，其中所述消费者的所述图像通过耦接至所述计算装置的图像捕获装置捕获。13.根据前述权利要求中任一项所述的方法，其中预处理所述图像以移除无关对象。14.根据前述权利要求中任一项所述的方法，其中所述种族衰老模型逻辑基于对与所述消费者性别相同的个体的统计分析。15.根据前述权利要求中任一项所述的方法，所述方法还包括将三维图像转换为所述三维图像的二维投影以提供所述消费者的所述图像。

百度查询： 宝洁公司 用于年龄外貌模拟的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD