申请/专利权人：谷歌有限责任公司

申请日：2016-12-23

公开（公告）日：2020-10-13

公开（公告）号：CN107085843B

主分类号：G06T7/00(20170101)

分类号：G06T7/00(20170101);G06T7/13(20170101)

优先权：["20160212 US 62/294,786","20161011 US 15/290,313"]

专利状态码：有效-授权

法律状态：2020.10.13#授权;2018.02.02#著录事项变更;2017.09.19#实质审查的生效;2017.08.22#公开

摘要：本发明公开了用于估计光学系统中的调制传递函数的系统和方法。一种针对图像确定调制传递函数MTF的方法包括：接收通过光学系统捕获的图像；对图像中的列或行执行边缘检测以计算多个边缘点；计算拟合于所计算的边缘点的多个多项式，多个多项式中的每个在次数上是变化的；从多个多项式中选择用于表示所检测的边缘的多项式；以及基于所选择的多项式估计所述MTF。

主权项：1.一种基于通过光学系统捕获的图像来确定所述光学系统的调制传递函数MTF的方法，所述方法包括：接收通过所述光学系统捕获的图像；对所述图像中的列或行执行边缘检测以计算多个边缘点；计算拟合于所计算的多个边缘点的多个多项式，所述多个多项式中的每一个在多项式次数上是变化的；通过以下操作来从所述多个多项式中选择用于表示所检测的边缘的多项式：针对所述多个多项式中的每一个，确定残差值；确定在所述多个多项式中的每一个之间的残差值的差；以及在所述多个多项式当中选择导致所述残差值的降低小于阈值量的最高次数的多项式；基于所选择的多项式来估计所述MTF；以及基于所估计的MTF来配置所述光学系统的配置。

全文数据：用于估计光学系统中的调制传递函数的系统和方法背景技术[0001]在光学系统的技术领域中，光学设计师通常基于称为系统的调制传递函数MTF的测量结果而在系统之间比较性能。MTF是适用于量化系统在分辨率和对比度方面的总体成像性能的最佳工具之一，并且被广泛使用于评估像球面单透镜那样简单的光学组件以及像多元远心成像透镜组那样复杂的光学组件。IS012233标准是用于确定光学系统的MTF的最常用方法。然而，IS012233无法在各种不同条件下进行准确的MTF估计，例如，当被应用于高度失真的图像时。发明内容[0002]根据所公开主题的实施例，一种针对图像确定调制传递函数MTF的新方法，包括:对图像中的行进行边缘检测以计算多个边缘点；计算拟合于所计算的边缘点的多个多项式，多个多项式中的每个在次数上有所变化;从多个多项式中选择多项式以表示检测到的边缘;以及基于选择的多项式来估计MTF。[0003]根据所公开主题的另一个实施例，一种系统包括存储器，其存储指令;处理器，其被配置成基于指令而对由光学系统所捕捉的数字图像执行过程，过程包括以下的操作:对图像中的列或者行进行边缘检测以计算多个边缘点;计算拟合所计算的边缘点的多个多项式，多个多项式中的每个在多项式次数上有所变化;从多个多项式中选择表示所检测到的边缘的多项式；以及基于所选择的多项式来所述MTF。[0004]根据所公开主题的实施例，一种用于针对图像确定调制传递函数MTF的方法，包括:对图像中的行进行边缘检测以计算多个边缘点；计算拟合所计算的边缘点的多个多项式，多个多项式中的每个在次数上有所变化;从多个多项式中选择表示所检测到的边缘的多项式；以及基于所选择的多项式来估计MTF。[0005]所公开主题的附加特征、优点以及实施例可以考虑以下详细描述、附图以及权利要求来加以阐明。此外，将理解的是，前述发明内容以及以下详细说明是说明性的并且旨在提供进一步解释，而并不限制权利要求的范围。附图说明[0006]被包括以提供对所公开主题的进一步理解的附图，被结合并构成本说明书的一部分。附图还图示出所公开主题的实施例并且与详细描述一起用以阐释所公开主题的实施例的原理。并未意欲示出比所公开主题的基本理解以及可以实践其的各种方式所必需的更详细的结构细节。[0007]图1示出合成地生成的圆形边缘。[0008]图2示出根据所公开主题的实施例的对图1的突出部分的MTF计算和根据ISOl2233算法的其他MTF计算以及校正MTF曲线（SINC，其是已知的，因为图1中的边缘是完美的边缘。[0009]图3示出从数字单镜头反光DSLR相机所采集的图像。[0010]图4示出根据所公开主题的实施例的对图3的突出部分的MTF计算和根据ISOI2233标准的MTF计算。[0011]图5示出从数字单镜头反光DSLR相机所采集的图像。[0012]图6示出根据所公开主题的实施例的对图5的突出部分的MTF计算和根据IS012233标准的MTF计算。[0013]图7示出从数字单镜头反光DSLR相机所采集的图像。[0014]图8示出根据所公开主题的实施例的对图7的突出部分的MTF计算和根据IS012233标准的MTF计算。[0015]图9示出从数字单镜头反光DSLR相机所采集的图像。[0016]图10示出根据所公开主题的实施例的对图9的突出部分的MTF计算。[0017]图11示出根据所公开主题的实施例的计算设备。[0018]图12示出根据所公开主题的实施例的用于确定MTF的流程图过程。具体实施方式[0019]将参照附图对本公开的各个方面或特征予以描述，其中通篇中使用相似的附图标记来表示相似的元素。在本说明书中，阐明诸多细节，以便提供对本公开的全面理解。然而，应理解的是，所公开主题的某些方面可以在没有这些具体细节的情况下或者采用其他方法、组件、材料等来实践。在其他实例中，以框图的形式示出公知的结构和设备，以便于描述本主题公开。[0020]调制传递函数MTF是用于测量图像质量的最重要参数之一。光学设计师和工程师经常引用MTF数据，特别是在成败视对特定对象进行成像的准确性而定的应用中。IS012233标准在几种重要的成像条件下不能为光学系统提供准确的MTF结果，并且在一些实例中，完全不能产生任何结果。例如，在基于高度失真的图像来测量MTF中，该标准并不准确。例如，通过宽视场WFOV相机，时常捕捉到这种类型的图像。在WFOV相机中，由镜头所致的桶形失真使物面中的直边缘在像面中变得弯曲。失真的图像对主要依赖于像面中的直边缘来估计MTF的IS012233标准是有问题的。如下所示，图像失真可能导致并发的问题严重到无法使用IS012233标准。[0021]有可能直接从检查和分析光学系统来测量MTF，然而，在许多实例中，光学系统不可用于检查，仅可访问由光学系统所摄取的图像。当图像过于失真而不能使用IS012233时，一种常规的技术是使用计算机通过数字方式使图像去失真，并且将IS012233应用于改变的图像。然而，数字方式的去失真引入赝像并且导致测量出加工的图像而非原始图像的MTF，这降低了计算的准确性。另一种常规技术是尝试捕捉某物的图像，使其在图像的桶形失真中所呈现的自然曲线相反的方向上弯曲，以便获得直边缘。然而，该方法耗费时间的并且需要反复试错。[0022]所公开的发明通过提供一种基于先前常规方法使用非常有问题的图像来确定光学系统的高度准确的MTF的方法，提供用于光学系统技术领域的显著改进。本文中所公开的实施例提供了一种改进的新方法来确定MTF，甚至从失真的图像来确定MTF。创建每个多项式具有不同的多项式次数的多项式的集合来估计在图像中所检测到的边缘。从该集合当中，选择多项式并且将其使用于估计MTF，产生比常规技术更加准确的图形。[0023]本文中所公开的技术将被称为自由形态FF型MTF算法。图12示出FF型MTF算法的示例流程图1200。在操作100中，对图像的每个行进行边缘检测，例如，使用诸如Canny边缘检测的技术或者修改的复杂度更低的Canny边缘检测技术。在修改的Canny边缘检测中，独立地对每个图像行运行边缘检测。对每个行求微分，X’（i=xi+l-xi。结果数据是沿图像行的梯度。再用Gaussian低通滤波器使微分数据平滑。再用自适应噪声电平对数据设定阈值将小于某个值的任何值均设定成〇。再将该设定阈值的数据归一化到〇至1。针对计算MTF的感兴趣区域中的所有行，计算该Canny型边缘轮廓在以上步骤中）。能够对图像列计算边缘，例如，以确定垂直的MTF。[0024]在操作200,使用在操作100所估计的边缘点以生成一个或多个多项式，这些多项式被使用于提高边缘位置的准确性。在操作300,算法从一个或多个多项式的集合中选择多项式。这能够通过分析每个多项式拟合中的残差来完成。随着拟合边缘的多项式次数增加，残差减少。当将残差绘制为多项式次数的函数时，其迅速下降，然后趋于平缓，最终降至0。通过尝试选择没有过拟合的次数最高的多项式，选出用于估计边缘的多项式。这通过经由测量相继的多项式拟合的残差之差而估计何时发生过拟合来完成。当该值小于阈值量时，所述算法确定已经发生过拟合。所选择的多项式能够具有至少高于二次的次数。[0025]应指出的是，针对第N行（以及隐含第N个点），N-I次多项式会完美地拟合全部点，残差为零。然而，完美拟合因数据的过拟合而不利于计算准确的MTF。为了避免选择过拟合的多项式，能够针对每个多项式计算MTF曲线，以确定过拟合的不利影响的程度。[0026]在操作400,将每个行移位由多项式所确定的量，以创建超采样的边缘扩展函数。该超采样的边缘扩展函数能够与IS012233标准兼容。在操作500,基于边缘的位置，合并bin并平均边缘。能够合并数据，使得超采样的线扩展函数具有高于图像中的原始行数据的分辨率。例如，分辨率能够是原始行数据的分辨率的至少四倍。在操作600,对超采样的线扩展函数求微分，通过Hamming滤波器对其进行加窗，最后对其进行Fourier变换和标准化，以确定MTF。在操作700,能够基于MTF来调整光学系统的配置。[0027]下面在算法1中示出所公开的算法的伪代码的示例实施例。所公开的算法的计算复杂性是〇numcolumns*numrows2,其中，numcolumns是图像中的列号，并且numrows是图像中的行号：[0028][0029][0030]算法I[0031]图1示出合成地生成的圆形边缘，并且图2示出所公开的FF算法的结果、其与IS012233相比如何以及其与理论上预期的MTF值sinexfx=sinJixfxArxfx相比如何。应指出，fx是空间频率并且X是像素采样距离。如图可见，IS012233标准基于圆形边缘产生不准确的结果，而所公开的FF算法对IS012233标准提供显著改进，其测量结果非常接近地反映理论值。[0032]图3示出从DSLR相机所采集的图像。该图像中的灰色框示出用于计算图4中所示的MTF的倾斜的直边缘。在此情形下，IS012233标准因图像中存在直边缘而可行。IS012233标准以及所公开的FF算法产生相同的测量结果。[0033]图5示出从相同的DSLR所采集的另一个图像。该图像中的灰色框示出表示失真直边缘的凸形边缘。在图6中示出从该边缘算出的MTF。在此，边缘的略微失真导致IS012233标准对光学系统的MTF计算与所公开的FF算法的计算之间的差异。[0034]图7示出从相同的佳能CanonDSLR所采集的另一个图像。该图像中的灰色框示出表示失真直边缘的凹形边缘。在图8中示出从该边缘算出的MTF。如图可见，ISO12233标准不适于基于凹形边缘而做出MTF判定，而与之相反，所公开的FF算法产生一致并且更加准确的结果。[0035]图9示出从相同的DSLR相机所采集的另一个图像。该图像中的灰色框示出表示失真直边缘的多项式边缘。在图10中示出由FF算法所算出的该边缘的MTF。应指出，所公开的FF算法提供了一种用于评估光学系统的解决方案，尽管常规的IS012233标准完全没有产生该边缘的结果。[0036]在本文中，将“MTF50”灵敏度定义为在MTF等于0.5情况下的空间频率，并且将灵敏度定义为标准偏差除以正在测量的统计数值的均值。在图1中，计算的对边缘选择的MTF50灵敏度，即如果将虚线框上移或下移几十行，针对所公开的FF算法以及IS012233标准均约为5%。然而，IS012233标准低估MTF50约6倍的数量级。[0037]在图3、5、7和9中，即用使用高端鱼眼镜头的DSLR相机所捕捉的图像的表现，针对所公开的FF算法，对边缘选择的灵敏度小于5%，而针对常规的ISOl2233标准，变化则大于51%。此外，IS012233标准低估MTF50约1.6倍的数量级。针对许多边缘，IS012233没有产生结果。通过所公开的FF算法的改进克服IS012233标准对于在这种类型的图像中产生一致的准确的结果的有问题的失败。[0038]所公开的FF算法能够被使用于估计系统的MTF，即使针对包括任意平滑边缘的复杂失真的图像亦然。这允许跨视场表征光学系统的MTF。另外，所公开的算法跨直线且失真的样本图像是一致的，获得与IS012233标准对直边缘的相同的结果。[0039]与IS012233标准相比，所公开的FF算法对于低亮度的，即低信噪比（SNR的图像更具鲁棒性。与IS012233相比，所公开的FF算法对图像中的噪点也更具鲁棒性。通过使用Canny型边缘估计算法或者降低图像中噪点数量并且减少图像数据集的其他边缘检测算法能够在处理噪点时改进该算法。[0040]因为MTF是适用于量化光学系统的成像性能的最佳工具之一，了解系统内的每个镜头和传感器的MTF允许设计师例如在针对特定分辨率进行优化时做出适当的选择。宽视场WFOV系统的设计师现在能够在各种配置中使用所公开的FF算法来确定MTF并且准确地选择提供所需结果的组合。[0041]本发明所公开主题的实施例可以通过并且使用多种组件和网络架构来实施。图11是适用于实施本发明所公开主题的实施例的示例计算设备20。设备20可以是例如桌面型计算机或膝上型计算机或者诸如智能电话、平板型计算机等移动计算设备。设备20可以包括总线21，其使计算机20的主要组件互连，诸如中央处理器24,诸如随机存取存储器RAM、只读存储器R0M、闪存RAM等的存储器27,诸如显示屏的用户显示器22,可以包括一个或多个控制器以及诸如键盘、鼠标、触摸屏等的相关用户输入设备的用户输入接口26,诸如硬盘驱动器、闪存等的固定存储器23,可操作成控制和接收光盘、闪存驱动器等的可移动介质组件25以及可操作成经由合适的网络连接与一个或多个远程设备通信的网络接口29。[0042]总线21允许中央处理器24与一个或多个存储器组件之间的通信，如前所述，一个或多个存储器组件可以包括RAM、R0M以及其他存储器。典型地，RAM是向其中加载指令、操作系统以及应用程序的主存储器。ROM或闪存存储器组件除代码之外还能够包含基本输入输出系统BIOS，其控制诸如与外围组件的交互的基本的硬件操作。与计算机20同驻的应用通常被存储在诸如硬盘驱动器例如固定储存器23、光驱、软盘或者其他存储介质的计算机可读介质上或者经由该计算机可读介质来访问。中央处理器24能够执行存储在一个或多个存储器组件上的指令。指令能够包括上述关于所公开的FF型MTF算法的操作。[0043]固定储存器23可以与计算机20集成为一体或者可以是单独的并且通过其他接口来接入。网络接口29可以经由有线或无线连接而提供到远程服务器的直接连接。网络接口29可以使用本领域技术人员容易理解的任何合适的技术和协议来提供这样的连接，包括数字蜂窝电话、WiFi、蓝牙R、近场等。例如，网络接口29可以允许计算机经由一个或多个局域、广域或其他通信网络与其他计算机通信，如下更加详细地描述。[0044]许多其他设备或组件未示出）可以通过类似的方式来连接例如，文档扫描仪、数码相机等等）。反之，在图11中所示的全部组件对于实施本公开而言不是必须存在的。组件能够通过不同于所示的方式互连。本领域技术人员容易理解诸如图11中所示的计算机的操作，在本申请中不再赘述。用于实施本公开的代码能够被存储在诸如存储器27、固定储存器23、可移动介质25中的一个或多个的计算机可读存储介质中，或者存储在远程储存位置上。[0045]更一般地，本发明所公开主题的各种实施例可以包括或实现为计算机实施的过程的形式以及用于实践那些过程的装置。这些实施例还可以通过计算机程序产品的形式来实现，该计算机程序产品具有包含在诸如软盘、CD-ROM、硬盘驱动器、USB通用串行总线驱动器或者任何其他的机器可读存储介质的非暂时性和或有形介质中实现的指令的计算机程序代码，所述非暂时性和或有形介质，使得当将该计算机程序代码加载至计算机中并由该计算机执行时，该计算机成为用于实践所公开主题的实施例的装置。这些实施例也可以通过计算机程序代码的形式来实现，计算机程序代码例如或者被存储在存储介质中、加载至计算机中和或由该计算机执行，或者通过光纤或者经由电磁辐射经诸如电线或电缆的一些传送介质来传送，使得当计算机程序代码被加载至计算机中并且由该计算机执行时，计算机成为用于实践所公开主题的实施例的装置。当在通用微处理器上实施时，计算机程序代码段配置微处理器以创建特定的逻辑电路。[0046]在一些配置中，存储在计算机可读存储介质上的计算机可读的指令集可以由通用处理器来实施，该指令集可以将通用处理器或者包含通用处理器的设备转换成配置用于实施或实行指令的专用设备。这些实施例可以使用硬件来实施，该硬件可以包括处理器，诸如通用微处理器和或专用集成电路ASIC，其在硬件和或固件中实现根据所公开主题的实施例的全部或部分技术。处理器可以被耦合至诸如RAM、R0M、快闪存储器、硬盘或者能够存储电子信息的任何其他设备的存储器。存储器可以存储适于由处理器执行以进行根据所公开主题的实施例的技术的指令。[0047]为了解释目的，参照具体实施例来描述前述内容。然而，以上说明性讨论并非旨在穷举或者将所公开主题的实施例限定成所公开的确定形式。鉴于以上教导，可能有许多修改和变型。已对多个实施例加以选择和描述，以便阐释所公开主题的实施例的原理及其实际应用，由此使得本领域技术人员能够充分利用那些实施例以及可能适于特定用途的具有各种修改的各种实施例。

权利要求：1.一种基于通过光学系统捕获的图像来确定所述光学系统的调制传递函数MTF的方法，所述方法包括：接收通过所述光学系统捕获的图像；对所述图像中的列或行执行边缘检测以计算多个边缘点；计算拟合于所计算的多个边缘点的多个多项式，所述多个多项式中的每一个在多项式次数上是变化的；从所述多个多项式中选择用于表示所检测的边缘的多项式；以及基于所选择的多项式来估计所述MTF。2.根据权利要求1所述的方法，进一步包括基于所估计的MTF来配置光学系统配置。3.根据权利要求1所述的方法，其中，选择所述多项式包括：针对所述多个多项式中的每一个，确定残差值；以及确定在所述多个多项式中的每一个之间的残差值的差；确定所述多个多项式当中的、导致所述残差值的降低小于阈值量的最高次数的多项式。4.根据权利要求2所述的方法，其中，所选择的多项式具有高于二次的次数。5.根据权利要求1所述的方法，其中，估计所述MTF包括：基于所选择的多项式来创建线扩展函数；以及合并所述线扩展函数的边缘点数据。6.根据权利要求5所述的方法，进一步包括:合并所述边缘点数据，使得所述线扩展函数具有是来自所述图像的原始数据至少四倍高的分辨率。7.根据权利要求1所述的方法，其中，所述边缘是凹形边缘。8.根据权利要求1所述的方法，其中，所述边缘是圆形边缘。9.根据权利要求1所述的方法，其中，所述边缘是任意平滑边缘。10.—种系统，包括：存储器，所述存储器存储指令；处理器，所述处理器被配置成基于所述指令来对由光学系统捕获的数字图像执行过程，所述过程包括操作：接收通过所述光学系统捕获的图像；对所述图像中的列或行执行边缘检测以计算多个边缘点；计算拟合于所计算的多个边缘点的多个多项式，所述多个多项式中的每一个在多项式次数上是变化的；从所述多个多项式中选择用于表示所检测的边缘的多项式；以及基于所选择的多项式估计MTF。11.根据权利要求10所述的系统，其中，选择所述多项式的操作包括：针对所述多个多项式中的每一个，确定残差值；以及确定在所述多个多项式中的每一个之间的残差值的差；确定所述多个多项式当中的、导致所述残差值的降低小于阈值量的最高次数的多项式。12.根据权利要求11所述的系统，其中，所选择的多项式具有高于二次的次数。13.根据权利要求10所述的系统，其中，估计所述MTF的操作包括：基于所选择的多项式来创建线扩展函数；以及合并所述线扩展函数的边缘点数据。14.根据权利要求13所述的系统，所述过程进一步包括合并所述边缘点数据，使得所述线扩展函数具有是来自所述图像的原始数据的至少高四倍高的分辨率。15.根据权利要求10所述的系统，其中，所述边缘是凹形边缘。16.根据权利要求10所述的系统，其中，所述边缘是凸形边缘。17.根据权利要求10所述的系统，其中，所述边缘是圆形边缘。18.根据权利要求10所述的系统，其中，所述边缘是任意平滑边缘。

百度查询： 谷歌有限责任公司 用于估计光学系统中的调制传递函数的系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD