申请/专利权人：快图有限公司

申请日：2015-11-17

公开（公告）日：2020-06-23

公开（公告）号：CN107005655B

主分类号：H04N5/232(20060101)

分类号：H04N5/232(20060101)

优先权：["20141209 US 62/089,369"]

专利状态码：有效-授权

法律状态：2020.06.23#授权;2017.12.15#实质审查的生效;2017.08.01#公开

摘要：本发明涉及一种处理图像的方法，包括：采集包括对象的场景图像，所述对象具有可识别的特征结构。确定镜头致动器设置和对应于镜头致动器设置的镜头位移，所述镜头致动器设置为包括所述对象的所述图像区域提供最大清晰度。基于所述镜头位移计算距所述对象的距离。确定所述特征结构的作为距所述对象的距离的函数的尺寸、所述成像对象大小以及采集所述图像的镜头组件的焦距。采用所述特征结构的确定的尺寸，代替所述特征结构的假设尺寸，以用于包括所述对象的所述场景的图像的后续处理。

主权项：1.一种处理图像的方法：a采集包括对象的场景图像，所述对象具有可识别的特征结构，所述特征结构具有假设的尺寸；b在所采集的图像中使用所述可识别的特征结构来检测200对象区域；c检查212用于采集所述图像的镜头致动器设置是否提供了对于包括所述对象的所述图像的所述区域的最大的清晰度；以及响应于所述清晰度不是最大值：d确定204镜头致动器设置，所述镜头致动器设置为包括所述对象的所述图像的所述区域提供最大清晰度；e确定对应于所述镜头致动器设置的镜头位移；f基于所述镜头位移计算距所述对象的距离；g确定206，208所述特征结构的作为距所述对象的所述距离的函数的尺寸、成像对象大小以及采集所述图像的镜头组件的焦距；以及h在后续的所述场景图像中追踪209所述对象，包括采用所述特征结构的所述确定的尺寸来自动对焦所述对象；以及响应于所述清晰度是最大值，在后续的所述场景图像中追踪209所述对象，包括采用所述特征结构的所述确定的尺寸来自动对焦所述对象。

全文数据：图像处理方法技术领域[0001]本发明涉及处理图像的方法。背景技术[0002]人脸检测和跟踪是图像处理中熟知的，例如如欧洲专利No.EP2052347参考文献：FN-143中所述。这些技术允许被成像的场景内的一个或多个人脸区域易于描绘，并且允许基于该信息进行后续的图像处理。此类图像处理可包括人脸识别，所述人脸识别尝试辨识被成像的个人;通过使检测的和或选择的人脸区域聚焦来进行自动聚焦;或人脸区域的缺陷检测和或校正。[0003]人体测量信息可用于处理人脸区域是熟知的。例如，预期的人脸大小的知识可用于人脸检测或过滤，例如用于红眼候选者的错误分析，如EP1654865参考文献:FN-101-CIP中所述。[0004]然而，如果被成像的场景包括任何不符合通用人体测量规则的人脸，则可出现问题。例如，如果场景包括具有很大人脸的告示牌，则基于通用人体测量规则的处理可指示比告示牌更靠近相机的真实主体。这可以例如指示相机应以更短的距离聚焦，如果仍然这样，将广生失焦图像。[0005]相应地，如果场景包括小孩，则其人脸的检测可指示比小孩更远离相机的主体。这可以例如指示相机应以更长的距离聚焦，如果仍然这样，将产生失焦图像。[0006]出于本公开的目的，术语“假人脸”将用于指示包括不符合正常人体测量规则的检测人脸的图像区域。[0007]在一些情况下，不能识别所检测的假人脸可导致以不正确的聚焦获得隔离图像，并且在摄像机中，捕获场景的图像流，可能的是相机可丧失其正确聚焦的能力。[0008]然而，应当理解，如果试图对任何错误检测的对象进行基础图像处理，则上述问题同样可能出现。例如，一些图像处理可基于与汽车尺寸有关的规则，并且可捕获假汽车的例如显示在告示牌上的清晰图像，这可能导致问题。发明内容[0009]根据本发明，提供了根据权利要求1所述的图像处理方法。[0010]在另一个方面，提供了被布置为执行根据权利要求1所述的方法的图像处理装置。[0011]在又一个方面，提供了包括计算机可读取指令的计算机程序产品，所述计算机可读取指令在图像处理装置中执行时被布置为执行根据权利要求1所述的方法。[0012]本发明的实施例提供了基于检测的人脸，但不受假人脸的不利影响并且实际上能够正确地聚焦在此类假人脸上的快速自动聚焦。[0013]可供选择的实施例提供了基于任何所关注的可检测对象的自动聚焦，所述对象具有带有已知尺寸的特征结构。附图说明[0014]现在将结合附图以举例的方式描述本发明的实施例，在附图中：[0015]图1示出了人体测量数据在聚焦系统中的使用;并且[0016]图2是流程图，其示出了根据本发明的实施例的处理图像的方法。具体实施方式[0017]现在参见图1，为了聚焦在无穷远位置通常大于3米处的任何对象上，镜头12和图像传感器14之间的距离被设定为恰好等于镜头的焦距f。[0018]当人脸在镜头的超焦范围内，距主体有给定的距离ds时，为了获得聚焦图像，镜头应偏移距离Id，使得镜头和图像传感器之间的距离为f+ld。[0019]因此，距主体的距离与镜头位移通过下式相连：1^=1扣+1八€+11，如图1图示地示出。[0020]当确定所需的镜头位移Id时，相机可选择所需的数模转换DAC代码，以根据需要使包括镜头的镜头组件移位，以正确地保持聚焦在人脸上。[0021]使用检测的人脸帮助聚焦的图像处理系统可如下所述操作：[0022]1.例如使用诸如EP2052347参考文献:FN-143中公开的技术来检测人脸；[0023]2.计算检测的人脸区域内的以像素为单位的目距edp;[0024]3.以厘米呈现目距[0025]4.使用相机焦距f和像素大小ps，如下计算距主体的距离ds:[0027]5.使用以下关系计算该距离ds的镜头位移Id:[0029]6.已知镜头位移，基于图1所示的校准数据计算焦点位置的对应的DAC代码。[0030]考虑例如在上述步骤1处是否事实上检测到目距ed=2cm的假人脸小脸）。使用ed=7cm的聚焦算法将小脸视为非常远，从而确定距主体的距离ds非常大（可能接近无穷大和对应的DAC代码。这将导致高度离焦图像。[0031]现在参见图2,在本发明的实施例中，采取多个附加步骤来避免导致图像采集问题的假人脸：[0032]首先，在步骤200处，人脸在所采集图像的人脸区域内检测到；[0033]在检测人脸时，进行焦点位置扫描，以确定为人脸区域提供最大清晰度的DAC代码-DAC_Code_Sweep，步骤204。该扫描可在许多预览图像上进行;或在其中可能获取比显示更新速率更快的图像的一些系统中，可以毫秒间隔进行扫描，诸如WO2014124787参考文献FN-387中所讨论；[0034]I一旦DAC_Code_Sweep是已知的，即可倒转上述步骤4-6,步骤206:[0035]因此，从图1所示的校准数据计算对应于DAC_Code_Sweep的镜头位移（ld_sweep；[0036]再次使用上述步骤5的关系从ld_sweep计算距主体的距离ds_sweep;[0037]现在已知“dS_SWeep”、“edp”和“f”，可计算以厘米为单位的真实目距，并且在这种情况下，将得到ed_sweep=2cm〇[0038]现在只要跟踪到该特定人脸，即可将人脸特定目距（ed=2cm暂时设定为新检测的人脸区域的目距，而不是使用通用目距ed=7cm，步骤208。[0039]只要跟踪到假人脸，便应当只保持标准目距的这种覆盖。一旦人脸丢失，步骤210，则将通用目距ed=7cm再次用于新检测的人脸。[0040]否则，对于每个待采集的新图像，基于计算的目距来计算所需的DAC代码，步骤209〇[0041]应当理解，并非每次新人脸检测都需要完全扫描，并且例如可进行改进扫描，以确定检测的人脸是否为假的，步骤212。因此，例如对于采集包括新检测的人脸的图像处的镜头位移，镜头可偏移到图像采集镜头位移的任一侧的镜头位移位置。[0042]如果在图像采集镜头位移处人脸区域的清晰度相对于邻近的镜头位移位置的清晰度为最大值，则估算视为良好。在这种情况下，在步骤209处继续图像处理，以基于假设的目距ed=7cm来确定每个新图像所需的DAC代码，在该新图像中继续检测人脸区域。[0043]然而，如果人脸区域的清晰度不为最大值，则指示新检测的人脸区域内的人脸为假的，因此触发完全扫描，步骤204,以如上所述确定ed_sweep。[0044]应当理解，对于检测的对象，步骤204至208只需要执行一次;然而，响应于人脸区域的清晰度下降至低于给定的阈值，也可重复步骤。[0045]本发明可在图像处理依赖于检测具有带有已知尺寸的特征结构的对象的任何地方采用，从而允许暂时而非假设的尺寸集用于被跟踪时的对象，并且允许在跟踪对象时保持聚焦。[0046]可以看出，除自动聚焦之外，本发明还可用于图像处理，并且例如可用于暂时覆盖假设的对象尺寸，以用于处理包含此类对象的虚假型式的图像的目的。

权利要求：1.一种处理图像的方法：a采集包括对象的场景图像，所述对象具有可识别的特征结构；b确定镜头致动器设置，所述镜头致动器设置为包括所述对象的所述图像区域提供最大清晰度；c确定对应于所述镜头致动器设置的镜头位移；d基于所述镜头位移计算距所述对象的距离；e确定所述特征结构的作为距所述对象的所述距离的函数的尺寸、所述成像对象大小以及采集所述图像的镜头组件的焦距；以及f采用所述特征结构的所述确定的尺寸，代替所述特征结构的假设尺寸，以用于包括所述对象的所述场景的图像的后续处理。2.根据权利要求1所述的方法，其中所述对象是人脸，所述特征结构是眼睛，并且所述尺寸是所述眼睛之间的距离。3.根据权利要求1所述的方法，包括对于新检测的对象，只执行一次步骤b至e。4.根据权利要求1所述的方法，包括响应于包括所述对象的所述图像的所述区域的清晰度下降至低于给定的阈值，来执行步骤b至e。5.根据权利要求1所述的方法，还包括在步骤b之前的步骤;检查用于采集所述图像的所述镜头致动器设置是否为包括所述对象的所述图像的所述区域提供最大清晰度，并且响应于所述清晰度不为最大值，来执行步骤b至e。6.根据权利要求1所述的方法，其中所述采用包括基于所述确定的尺寸执行自动聚焦。7.—种被布置为执行根据权利要求1所述的方法的图像处理装置。8.—种包括计算机可读取指令的计算机程序产品，所述计算机可读取指令在图像处理装置中执行时被布置为执行根据权利要求1所述的方法。

百度查询： 快图有限公司 图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD