申请/专利权人：富士胶片株式会社

申请日：2017-02-21

公开（公告）日：2021-04-09

公开（公告）号：CN108605095B

主分类号：H04N5/232(20060101)

分类号：H04N5/232(20060101);G06T5/00(20060101);H04N1/407(20060101)

优先权：["20160226 JP 2016-036197"]

专利状态码：有效-授权

法律状态：2021.04.09#授权;2018.10.26#实质审查的生效;2018.09.28#公开

摘要：本发明提供一种能够获取所希望的画质的摄像图像的图像处理装置、摄像装置以及图像处理方法。作为图像处理装置发挥作用的图像处理部35具备：点像复原处理部51，针对通过使用具有包含透镜16的透镜单元12和成像元件26的摄像部拍摄被摄体而从成像元件26获取的图像数据，使用基于透镜单元12的点扩散函数的复原滤波器进行点像复原处理；以及判别部53，基于根据摄像条件变动的透镜16的球面像差，判别是否进行由点像复原处理部51进行的点像复原处理，点像复原处理部51仅在判别部53判别为进行点像复原处理时进行点像复原处理。

主权项：1.一种图像处理装置，其具备：点像复原处理部，针对通过使用具有摄像光学系统和成像元件的摄像部拍摄被摄体而从所述成像元件获取的图像数据，使用基于所述摄像光学系统的点扩散函数的复原滤波器进行点像复原处理；以及判别部，基于根据摄像条件变动的所述摄像光学系统的球面像差，判别是否进行由所述点像复原处理部进行的点像复原处理，所述点像复原处理部仅在所述判别部判别为进行点像复原处理时进行所述点像复原处理，当根据所述摄像条件变动的所述摄像光学系统的第2球面像差与构成所述摄像光学系统的光圈为开放光圈时的所述摄像光学系统的第1球面像差之比超过第2阈值时，所述判别部判别为进行由所述点像复原处理部进行的点像复原处理，所述摄像条件为构成所述摄像光学系统的光圈的光圈值，或者为对所述被摄体进行照明的光源的种类或所述光源的波长。

全文数据：图像处理装置、摄像装置以及图像处理方法技术领域[0001]本发明涉及一种图像处理装置、摄像装置以及图像处理方法，尤其涉及一种基于摄像光学系统的点扩散函数对通过摄像光学系统拍摄的图像进行复原处理的技术。背景技术[0002]通过摄像光学系统拍摄的被摄体像中，由于摄像光学系统所引起的像差和衍射等的影响，有时会发现点被摄体具有微小的扩展的点扩散现象。表示摄像光学系统对点光源的应答的函数被称为点扩散函数PSF:PointSpreadFunction，并且已知为左右摄像图像的解析度劣化模糊的特性。[0003]针对由于点扩散现象而画质劣化的摄像图像，基于PSF进行点像复原处理，由此能够复原恢复劣化的摄像图像的画质。该点像复原处理为如下处理，即，预先求出摄像光学系统透镜和光圈）的像差等所引起的劣化特性点像特性），并且通过使用与该点像特性对应的复原滤波器进行的图像处理而消除或减少摄像图像的点扩散的处理。[0004]以往，作为进行这种点像复原处理的摄像装置，有专利文献1中记载的摄像装置。[0005]专利文献1中记载有如下趣旨：关于由摄像装置得到的摄像图像，即使在高精度地校正了摄像光学系统的球面像差、彗形像差、像面弯曲、像散等各像差的情况下，也会由于取决于光圈值F数的衍射现象而发生劣化，并且，虽然像差能够通过提高摄像光学系统的成像性能而得到改善，但由于无法避免的物理现象即衍射，因此对由衍射导致的图像的劣化进行校正是重要课题。[0006]并且，专利文献1中记载有如下趣旨：F16以上的F数中，通过光圈减少像差，并且衍射的影响成为主导。[0007]因此，专利文献1中记载的摄像装置中，仅将光圈值为规定值以上小光圈）时产生的衍射所谓的小光圈模糊作为点像复原处理的对象，当拍摄摄像图像时的光圈值为规定值以上时，使用与该光圈值对应的一个复原滤波器进行摄像图像的点像复原处理。[0008]并且，小光圈模糊取决于光圈值和光的波长而不取决于像高（图像的位置），因此能够对一个图像内使用一个复原滤波器来减少小光圈模糊，由此能够减少数据量和运算量。[0009]以往技术文献[0010]专利文献[0011]专利文献1:日本特开2014-150423号公报发明内容[0012]发明要解决的技术课题[0013]专利文献1中记载的摄像装置中，由于仅将小光圈模糊作为点像复原处理的对象，因此无法恢复摄像光学系统的球面像差，尤其是通过瞳孔外缘附近的光线所具有的大球面像差所引起的画质的劣化。因此，专利文献1中记载的摄像装置中适用的摄像光学系统需要使用球面像差所引起的画质的劣化少的摄像光学系统，并且存在摄像光学系统昂贵的问题。[0014]本发明是鉴于这种情况而完成的，其目的在于提供一种能够获取所希望的画质的摄像图像的图像处理装置、摄像装置以及图像处理方法。[0015]用于解决技术课题的手段[0016]为了实现上述目的，本发明的一种方式所涉及的图像处理装置具备：点像复原处理部，针对通过使用具有摄像光学系统和成像元件的摄像部拍摄被摄体而从成像元件获取的图像数据，使用基于摄像光学系统的点扩散函数的复原滤波器进行点像复原处理；以及判别部，基于根据摄像条件变动的摄像光学系统的球面像差，判别是否进行由点像复原处理部进行的点像复原处理，点像复原处理部仅在判别部判别为进行点像复原处理时进行点像复原处理。[0017]所拍摄的图像的画质主要由摄像光学系统的球面像差引起，而摄像光学系统的球面像差会根据摄像条件发生变动。判别部基于根据摄像条件变动的摄像光学系统的球面像差，判别是否进行由点像复原处理部进行的点像复原处理。而且，点像复原处理部仅在判别部判别为进行点像复原处理时进行点像复原处理，因此能够将劣化的摄像图像复原恢复）成所希望的画质的摄像图像。并且，点像复原处理部仅在判别部判别为进行点像复原处理时进行点像复原处理，因此能够减少点像复原处理中使用的复原滤波器等的数据量和点像复原处理的运算成本。[0018]在本发明的另一方式所涉及的图像处理装置中，摄像条件为构成摄像光学系统的光圈的光圈值。摄像光学系统的球面像差根据光圈的光圈值发生变化。因此，光圈的光圈值是改变球面像差的摄像条件之一。[0019]在本发明的又一方式所涉及的图像处理装置中优选为，判别部根据光圈的光圈值来判别是否进行由点像复原处理部进行的点像复原处理。判别部根据改变球面像差的参数之一的光圈的光圈值，间接地判别是否进行由点像复原处理部进行的点像复原处理。[0020]在本发明的又一方式所涉及的图像处理装置中优选为，当根据摄像条件变动的摄像光学系统的球面像差为第1阈值以上时，判别部判别为进行由点像复原处理部进行的点像复原处理。[0021]在本发明的又一方式所涉及的图像处理装置中优选为，当将确定球面像差的波长设为λ时，第1阈值为〇.6λ。[0022]在本发明的又一方式所涉及的图像处理装置中优选为，当根据摄像条件变动的摄像光学系统的第2球面像差与构成摄像光学系统的光圈为开放光圈时的摄像光学系统的第1球面像差之比超过第2阈值时，判别部判别为进行由点像复原处理部进行的点像复原处理。[0023]在本发明的又一方式所涉及的图像处理装置中优选为，第2阈值为0.5。[0024]在本发明的又一方式所涉及的图像处理装置中，摄像条件为对被摄体进行照明的光源的种类或光源的波长。摄像光学系统的球面像差根据波长发生变动，因此对被摄体进行照明的光源的种类等是改变球面像差的摄像条件之一。[0025]在本发明的又一方式所涉及的图像处理装置中优选为，作为根据摄像条件变动的摄像光学系统的球面像差，判别部使用与对被摄体进行照明的光源的种类或光源的波长对应的球面像差。这是因为，光源的波长指定为光源的种类的光源的波长是改变球面像差的参数之一。[0026]在本发明的又一方式所涉及的图像处理装置中优选为，摄像光学系统具有当构成摄像光学系统的光圈至少为开放光圈时由判别部判别为进行点像复原处理的球面像差。作为摄像光学系统，通过采用具有当光圈为开放光圈时需要进行点像复原的球面像差的摄像光学系统，与以即使在光圈为开放光圈的情况下也无需进行点像复原的方式进行了光学设计的摄像光学系统相比，能够设为光学设计的自由度高且廉价的摄像光学系统。[0027]本发明的又一方式所涉及的摄像装置具备上述任一方式中所述的图像处理装置以及摄像部。[0028]本发明的又一方式所涉及的摄像装置优选用作工业相机。[0029]本发明的又一方式所涉及的图像处理方法包括如下步骤:针对通过使用具有摄像光学系统和成像元件的摄像部拍摄被摄体而从成像元件获取的图像数据，使用基于摄像光学系统的点扩散函数的复原滤波器进行点像复原处理的步骤；以及基于根据摄像条件变动的摄像光学系统的球面像差，判别是否进行点像复原处理的步骤，进行点像复原处理的步骤中，仅在进行判别的步骤中判别为进行点像复原处理时使用复原滤波器进行点像复原处理。[0030]在本发明的又一方式所涉及的图像处理方法中优选为，摄像条件为构成摄像光学系统的光圈的光圈值。[0031]在本发明的又一方式所涉及的图像处理方法中优选为，进行判别的步骤中，根据光圈的光圈值来判别是否进行点像复原处理。[0032]在本发明的又一方式所涉及的图像处理方法中优选为，进行判别的步骤中，当根据摄像条件变动的摄像光学系统的球面像差为第1阈值以上时，判别为进行点像复原处理。[0033]在本发明的又一方式所涉及的图像处理方法中优选为，当将确定球面像差的波长设为λ时，第1阈值为〇.6λ。[0034]在本发明的又一方式所涉及的图像处理方法中优选为，进行判别的步骤中，当根据摄像条件变动的摄像光学系统的第2球面像差与构成摄像光学系统的光圈为开放光圈时的摄像光学系统的第1球面像差之比超过第2阈值时，判别为进行点像复原处理。[0035]在本发明的又一方式所涉及的图像处理方法中优选为，第2阈值为0.5。[0036]发明效果[0037]根据本发明，基于根据摄像条件变动的摄像光学系统的球面像差来判别是否应进行点像复原处理，并且仅在判别为进行点像复原处理时进行点像复原处理，因此能够将劣化的摄像图像复原恢复成所希望的画质的摄像图像，并且，当判别为不进行点像复原处理时设为已获取所希望的画质的摄像图像而不进行点像复原处理，因此能够减少点像复原处理中使用的复原滤波器等的数据量和点像复原处理的运算成本。附图说明[0038]图1是表示与计算机连接的摄像装置的功能结构例的框图[0039]图2是表示图1中示出的相机控制器的结构例的框图[0040]图3是表示图2中示出的相机控制器内的图像处理部的第1实施方式的框图[0041]图4是表示针对球面像差与F值的每个组合计算出的MTF的一例的图表[0042]图5是表示示出针对球面像差与F值的每个组合计算出的MTF的另一例的图表[0043]图6是表示透镜的球面像差的纵像差图[0044]图7是表示对图4中示出的球面像差不同的各透镜计算出的、球面像差比的计算结果等的图表[0045]图8是表示图2中示出的相机控制器内的图像处理部的第2实施方式的框图[0046]图9是表示图像处理方法的第1实施方式的流程图[0047]图10是表示图像处理方法的第2实施方式的流程图[0048]图11是表示图像处理方法的第3实施方式的流程图具体实施方式[0049]以下，根据附图对本发明所涉及的图像处理装置、摄像装置以及图像处理方法的实施方式进行说明。以下实施方式中，作为一例，对用于机器视觉系统的摄像装置中适用本发明的情况进行说明。[0050]图1是表示与计算机PC:PersonalComputer个人计算机）连接的摄像装置10的功能结构例的框图。[0051]对于工业相机，要求加宽景深，同时尽可能减小光圈的光圈值F值），由此高速获取对象范围的聚集图像，并且使用会产生如通常的相机透镜那种小光圈模糊的F值的机会很少。[0052]图1所示的摄像装置10为机器视觉系统中使用的工业相机，主要由构成摄像部的透镜单元12和成像元件26、相机控制器28、输入输出接口32以及照明装置40构成。[0053]透镜单元12具备由透镜16和光圈18构成的摄像光学系统以及控制该摄像光学系统的光学系统操作部20。光学系统操作部20包括调整透镜16的对焦位置的手动操作部以及通过从相机控制器28添加的控制信号来驱动光圈18的光圈驱动部。[0054]对于机器视觉系统中使用的摄像装置的透镜，重要的是解析度、亮度等透镜性能是面内均匀的。作为用于实现这种性能的设计方法，有限制光圈的光圈值F值）的方法，而作为透镜规格，还需要透镜的亮度。[0055]另一方面，对于机器视觉系统中使用的摄像装置而言，从景深的必要性考虑，针对实用上使用的光圈的范围，通常使用中频带的光圈（大于开放光圈的F值且小于产生小光圈模糊的小光圈的F值的F值范围的光圈）。[0056]因此，该摄像装置10的透镜16是在规定的摄像条件下包含实用上使用的光圈的F值）以能够拍摄产品的检查、测量或定位等中要求的所希望的画质的摄像图像的方式重点化而进行了透镜设计的透镜。对于使用该透镜16而拍摄的摄像图像而言，在除了规定的摄像条件以外的摄像条件下画质劣化且不能满足所希望的画质成为劣化的摄像图像），但劣化的摄像图像能够通过后述点像复原处理而复原恢复）。并且，对于本例的透镜16的焦距f而言，f=16mm。[0057]光圈18由多个光圈叶片构成，并且将光圈从Fl.4开放F值至F22以IAVAperturevalue光圈值）的增量进行10级控制。[0058]成像元件26由CMOSComplementaryMetal-OxideSemiconductor互补金属氧化物半导体）型的影像传感器构成。另外，成像元件26并不限于CMOS型，也可以是XY地址型或CCDChargeCoupledDevice电荷親合器件）型的影像传感器。并且，本例的成像元件26的采样频率fs为90根mm。[0059]照明装置40是对基于摄像装置10的摄像区域的被摄体进行照明的装置，例如具备汞灯、红外线光源以及红R、绿G、蓝⑶的RGB光源等多个光源，通过选择发光光源的种类，从而通过所希望的波长的照明光对被摄体进行照明。本例中，照明装置40能够适当选择如下光来进行发光，即，通过打开汞灯而将e射线光谱波长λ=546.070ηπι作为峰值波长的光或者通过打开红外线光源而将e射线的两倍的波长1092.14nm作为峰值波长的红外光。并且，通过从RGB光源选择一个光源或以适当组合打开光源，也能够发出具有所希望的峰值波长的光。[0060]如图2所示，相机控制器28具有:综合控制摄像装置10的各部的作为设备控制部34的功能；以及对从成像元件26发送来的图像数据进行图像处理的作为图像处理部（图像处理装置35的功能，对于详细内容在之后进行说明。[0061]通过相机控制器28进行了图像处理的图像数据通过输入输出接口32发送至计算机60等中。从相机控制器28输出的图像数据的格式并没有特别限定，为动态图像时，可以设为MPEGMovingPictureExpertsGroup运动图像专家组）、Η·264等格式，为静态图像时，可以设为JPEGQointPhotographicExpertsGroup联合图像专家组）、TIFFTaggedImageFileFormat标记图像文件格式）等格式。并且，可以输出不进行基于图像处理部35的图像处理的原始数据（RAW数据）。而且，如所谓的ExifExchangeableImageFileFormat可交换图像文件格式）那样，相机控制器28也可以将标题信息摄像日期时间、型号、像素数、F值、光源的种类等）、主图像数据以及缩略图像数据等多个相关数据彼此建立对应关系而构成为一个图像文件，并输出该图像文件。[0062]计算机60是构成对各种产品进行检查等的机器视觉系统的一部分的部分，其通过摄像装置10的输入输出接口32和计算机输入输出部62与摄像装置10连接，并接收从摄像装置10发送来的图像数据等数据类。计算机控制器64综合控制计算机60,对来自摄像装置10的图像数据进行图像处理，并对所拍摄的产品进行检查等，并且，对其与通过网络连接的工业机器人等各种装置未图示之间的通信进行控制。[0063]计算机60具有显示器66,计算机控制器64中的处理内容和检查结果等根据需要而显示在显示器66中。用户一边确认显示器66的显示一边操作键盘等输入装置（省略图示），从而能够将数据和命令输入到计算机控制器64中。由此，用户能够对计算机60和与计算机60连接的摄像装置10进行控制。[0064]各控制器相机控制器28、计算机控制器64具有控制处理所需的电路类，例如具备中央处理器CPUCentralProcessingUnit等）和存储器等。[0065][图像处理装置][0066][0067]图3是表示图2中示出的相机控制器28内的图像处理部35的第1实施方式的框图。[0068]图3所示的图像处理部35主要由点像复原处理部51、判别部53以及切换部切换开关54构成。另外，图像处理部35除了点像复原处理部51以外，还具备偏移处理、灰度校正处理以及轮廓强调处理等各种处理部，图3中进行了省略。[0069]从成像元件26图1读取且轮换成数字信号的图像数据被添加到切换开关54的第1输入54A以及点像复原处理部51复原滤波器处理部51A。[0070]点像复原处理部51主要由复原滤波器处理部51A、复原滤波器存储部51B以及复原滤波器选择部51C构成。[0071]复原滤波器处理部51A的一侧的输入中添加了复原处理前的图像数据且由于透镜16的球面像差等而画质劣化的摄像图像的图像数据，另一侧的输入中添加了从存储于复原滤波器存储部51B的多个复原滤波器通过复原滤波器选择部51C而适当选择的复原滤波器。[0072]复原滤波器处理部51A针对所输入的图像数据，使用从复原滤波器选择部51C添加的复原滤波器进行点像复原处理，并计算已进行点像复原处理的图像数据。即，复原滤波器处理部51A进行所输入的图像数据中以处理对象像素为中心的规定核尺寸是与复原滤波器相同的核尺寸，例如7X7等的图像数据与复原滤波器的卷积运算，并计算已进行点像复原处理的图像数据。[0073]通过复原滤波器处理部51A进行了点像复原处理的图像数据添加到切换开关54的第2输入54B中。[0074]判别部53是判别是否需要对所输入的图像数据进行由点像复原处理部51进行的点像复原处理的部分，若判别为需要进行点像复原处理，则输出将切换开关54的可动接片54C切换成第2输入54B的切换信号例如，高电平信号），并且是判别是否需要进行由点像复原处理部51进行的点像复原处理的的部分，若判别为不需要进行点像复原处理，则输出将切换开关54的可动接片54C切换成第1输入54A的切换信号（例如，低电平信号）。另外，对于判别部53的详细内容在之后进行说明。[0075][复原滤波器][0076]接着，对存储于复原滤波器存储部51B的复原滤波器进行说明。[0077]通常，在基于表示摄像光学系统透镜16、光圈18对点光源的应答的点扩散函数PSF进行的模糊图像的复原中能够利用卷积型维纳Wiener滤波器。参考将PSFx，y进行了傅立叶变换的光学传递函数（OTF:OpticalTransferFunction和信噪比（SNR:SignaltoNoiseRatio的信息，能够通过下式计算复原滤波器的频率特性1ωχ，ωγ。[0078][数式1][0079][0080]其中，Ηωχ，coy表示〇TF，H*cox，coy表示其复共辄。并且，SNRcox，coy表示信噪比。[0081]复原滤波器的滤波器系数的设计是选择系数值以使滤波器的频率特性最接近所希望的维纳频率特性的优化问题，能够通过任意公知的方法适当地计算滤波器系数。[0082]另外，PSF根据F值、照明光的波长峰值波长）、像高以及焦距等摄像条件发生变动，因此复原滤波器需要使用根据摄像条件变动的PSF来进行计算。并且，也可以使用表示OTF的振幅成分的调制传递函数MTF:ModulationTransferFunction来计算复原滤波器，以代替0TF。[0083]复原滤波器存储部51B中与摄像条件相关联地存储有根据与多个摄像条件对应的PSF计算出的多个复原滤波器。本例的复原滤波器存储部51B中存储有与光圈18的F值以及照明装置40的光源的种类或光源的波长峰值波长对应的复原滤波器，但并不限于此，也可以进一步生成并存储与像高对应的复原滤波器。[0084]复原滤波器选择部51C中从相机控制器28图1添加有表示光圈18的当前的光圈值F值）的信息F值信息）以及由照明装置40使用的多个光源中表示拍摄时使用的光源的种类的信息光源信息），复原滤波器选择部51C根据从相机控制器28输入的F值信息和光源信息，从复原滤波器存储部51B读取与这些信息对应的复原滤波器，并将已读取的复原滤波器输出至复原滤波器处理部51A。另外，光源信息并不限于表示拍摄时使用的光源的种类的信息，也可以是表示拍摄时使用的光源的波长峰值波长的信息。[0085]判别部53中从相机控制器28添加有F值信息和光源信息，判别部53判别是否需要对根据F值信息和光源信息输入的图像数据进行由点像复原处理部51进行的点像复原处理，并如上述那样将与判别结果对应的切换信号输出至切换开关54。[0086]接着，对是否需要对所拍摄的图像数据进行点像复原处理的具体判别方法进行说明。[0087]摄像图像的解析度劣化模糊被透镜的点扩散函数PSF所左右，并且，PSF主要取决于透镜的球面像差。[0088]作为近似摄像光学系统的波面像差的多项式，利用了使用极坐标的泽尼克Zernike多项式，泽尼克多项式弗里茨泽尼克多项式的第9项表示球面像差。[0089]现今，对于使用焦距f为16mm的透镜、将以e射线光谱波长λ=546.070ηπι为峰值波长的汞灯作为照明光源且球面像差不同的各种透镜，针对每一由弗里茨泽尼克多项式的第9项表示的球面像差和F值，计算出MTF。[0090]其中，基于成像元件26的采样频率fS为90根mm，MTF为0.25fS至0.3fS的范围内的规定的空间频率本例中，0.25fs下的值。另外，将0.25fs至0.3fs的范围内的空间频率下的MTF作为评价对象的理由在于，该范围内的空间频率下的MTF适合对画质进行评价，并且是点像复原处理有助于画质的空间频率区域。[0091]图4是表示针对球面像差与F值的每一组合计算出的MTF的一例的图表。[0092]图4中示出球面像差为〇λ、〇.2λ、……、5λ的10种透镜与Fl.4〜F22的10级F值的每个组合的MTF。[0093]在此，图4所示的MTF是光轴上的规定的空间频率0.25fs下的值，并且是成像元件26的摄像画面上的规定区域中的MTF，但也可以是除此以外的区域。[0094]规定区域的MTF能够设为摄像画面上的像高为50%将摄像画面的中心至摄像画面的四角的距离设为1〇〇%时的50%以上的区域的MTF。这是因为，通常像高越高时MTF越低，并优选采用降低区域的MTF。[0095]而且，作为规定区域的MTF的其他例，可以采用摄像画面的画面整体的MTF，并且也可以采用摄像画面的任意多个点的MTF。[0096]此外，作为规定区域的MTF，使用规定区域的MTF的代表值例如，平均值、中央值或最频值等）。[0097]如图4所示，Fl.4为开放F值，随着F值从开放F值增大光圈开口减小），MTF增大，若F值成为F5.6以上，则MTF逐渐减小。若F值成为F5.6以上则MTF逐渐减小是因为，小光圈模糊比球面像差占主导地位。另外，F22中，由于MTF过低而无法正确地进行计算，因此将MTF设为0〇[0098]图5是表示示出针对球面像差与F值的每个组合计算出的MTF的另一例的图表。另夕卜，图5所示的MTF仅在光源的种类上与图4中示出的一例不同，作为照明光的光源，示出了有关使用将图4中示出的e射线的两倍的波长1092.14nm作为峰值波长的红外线光源的情况。[0099]若光源的波长不同，则透镜中的折射率不同，其结果，MTF也不同。从图4中示出的MTF与图5中示出的MTF的比较可知，作为拍摄时的光源，若使用具有e射线的两倍的波长的红外光，则与使用将以汞灯为光源的e射线作为峰值波长的光的情况相比，MTF降低。即，球面像差根据确定球面像差的波长而不同，波长越长，球面像差越大。[0100]从景深的必要性考虑，机器视觉系统中使用的摄像装置10将实用上使用的光圈的范围作为中频带的光圈，对于透镜16而言，以即使在中频带的光圈中不进行点像复原处理，也能够拍摄产品的检查等中要求的所希望的画质的摄像图像的方式重点化而进行了透镜设计。[0101]另一方面，作为透镜规格，还需要透镜的亮度，因此例如，即使开放光圈，也需要能够获取产品的检查等中要求的所希望的画质的摄像图像，此时，通过点像复原处理来恢复劣化的摄像图像。[0102]另外，本例的透镜16以球面像差成为2λ的方式进行了透镜设计，但并不限定于此。并且，球面像差越大的透镜，透镜设计越容易，透镜也越便宜。[0103]判别部53基于根据摄像条件F值、光源的波长变动的摄像光学系统的球面像差，判别是否进行由点像复原处理部51进行的点像复原处理。这是因为，PSF取决于球面像差，表示将PSF进行了傅立叶变换的OTF的振幅成分的MTF也取决于球面像差，因此能够根据球面像差来判别摄像图像的解析度劣化模糊）。[0104]图6是表示某一透镜的球面像差的纵像差图，是将光线与光轴相交的位置设为横轴且将光线入射于摄像光学系统中的高度设为纵轴的曲线图。并且，曲线图的原点〇设为相对于确定球面像差的波长的近轴像点，横轴的符号将远离透镜的一侧设为正。[0105]并且，本例中，透镜的球面像差是根据从近轴的像面位置相当于光圈直径0的位置到通过开放光圈的开口的最边缘侧的光线的像面位置为止的差来定义的量，该球面像差根据图6中的正方向的最大偏差像差量与负方向的最大偏差像差量的总和来进行评价。图6中，由A表示F值为Fl.4开放F值时的球面像差像差量），相同地，分别由BI、Β2、Β3表示Fl.8、F2以及F2.8时的球面像差像差量）。即，球面像差在Fl.4开放F值时成为最大，并随着F值从开放F值增大而减小。[0106]当根据所使用的F值等而变动的球面像差为第1阈值本例中，当将确定球面像差的波长设为λ时，为0.6λ以上时，判别部53判别为进行由点像复原处理部51进行的点像复原处理。将第1阈值设定为〇.6λ的理由在于，假设由弗里茨泽尼克多项式的第9项表示的球面像差，如图4所示将基于成像元件26的采样频率fs设为90根mm，并且作为照明光源使用将e射线光谱波长λ=546.070nm作为峰值波长的汞灯来对MTF进行评价时，Fl.4的透镜在开放侧低于MTF50%的条件为0.6λ以上的球面像差。另外，MTF50%是图像数据是否满足产品的检查等中要求的所希望的画质的阈值。[0107]如图4所示，当球面像差为开放F值FI.4下的2λ的透镜16,并且从照明装置40发出的照明光为将e射线光谱作为峰值波长的光时，如果将光圈18的F值设为F2，则球面像差小于0.6λ且满足MTF50%。[0108]并且，由于在上述条件的情况下，光圈18的F值为F2以上时球面像差小于0.6λ且满足MTF50%基于小光圈的衍射引起的MTF的下降除外），因此当F值为F2以上时，判别部53判别为不进行点像复原处理。[0109]S卩，判别部53能够替换成F值来进行判别，以代替基于根据摄像条件F值、光源的波长变动的球面像差来判别是否进行由点像复原处理部51进行的点像复原处理，本例中，当F值为F2.0以上时，判别为不进行点像复原处理，当F值小于F2.0时，判别为进行点像复原处理。另外，图4所示的例子中，Fl1以上且MTF小于50%是由于小光圈模糊引起的而非球面像差引起的，因此本次判别中不对此进行考虑。[0110]并且，若根据摄像条件变动的摄像光学系统的球面像差第2球面像差）与光圈18为开放光圈（Fl.4时的摄像光学系统的球面像差第1球面像差）之比（球面像差比）超过0.5,则判别部53也可以判别为进行由点像复原处理部51进行的点像复原处理。[0111]如图6所示，如果将开放光圈F1.4时的摄像光学系统的第1球面像差设为Α，将与拍摄时使用的F值Fl.8、F2、F2.8、……）对应的第2球面像差设为BI、B2、B3、……，则球面像差比能够由B1A、B2A、B3A、……来表示。[0112]如果能够通过拍摄时使用的F值求出的球面像差比超过阈值第2阈值本例中为0.5，则MTF小于50%，判别部53能够判别为进行由点像复原处理部51进行的点像复原处理。[0113]接着，对成为MTF是否小于50%的判别基准的球面像差比的第2阈值进行说明。[0114]表示球面像差的泽尼克多项式弗里茨泽尼克多项式的第9项由下式来表示。[0115][数式2][0116]Rp，0=6p4-6p2+1[0117]另外，[数式2]式中，P表示半径，Θ表示旋转角。[0118]球面像差能够以波面像差的微分来近似，因此能够将f设为焦距并由下式来表示。[0119][数式3][0120]ZdpP=f24p3-12p[0121]并且，如果将光圈的开放时的F值设为Fo、将拍摄时的F值设为F，则开放时的瞳孔直径Lo能够由Lo=fFo来表示，拍摄时的瞳孔直径L能够由L=fF来表示。[0122]而且，如果将瞳孔直径之比设为T，则瞳孔直径之比T能够由下式来表示。[0123][数式4][0124][0125]现今，如果将c设为焦距相关常数来近似[数式3]式，则球面像差能够由下式来表不。[0126][数式5][0127]Zdpp^cXp3[0128]因此，通过[数式4]式和[数式5]，下式成立。[0129][数式6][0130]T=FoF3[0131]或[0132][0133]也就是说，以泽尼克多项式的第9项的球面像差之比（球面像差比）进行的规定和以F值进行的规定是等价的。[0134]针对以上情况，对图4中示出的球面像差不同的各透镜计算了如MTF小于50%的T开放F值时的球面像差与拍摄时的F值时的球面像差之比即球面像差比）。另外，对各透镜计算了MTF小于50%的球面像差比中最小的球面像差比。并且，将基于小光圈的衍射引起的MTF下降、MTF小于50%的F值除外而进行了计算。[0135]图7是表示对图4中示出的球面像差不同的各透镜进行了计算的、表示球面像差比的计算结果等的图表。[0136]如图7所示，将基于成像元件26的采样频率fs设为90根mm，并且作为照明光源使用将e射线光谱波长λ=546.070nm作为峰值波长的汞灯对MTF进行评价时，开放F值下的球面像差为2λ的透镜的、MTF小于50%时的球面像差比为0.47。[0137]因此，作为成为MTF是否小于50%的判别基准的球面像差比的第2阈值，采用了将〇.47的小数点后第2位进行了四舍五入而得的0.5。[0138]在以球面像差成为2λ的方式进行了透镜设计的本例的透镜16的情况下，若使用将e射线作为峰值波长的光源，并将F值减小为F2，则MTF成为阈值50%以上，而若使用发出具有e射线的两倍的波长的红外光的红外线光源，则即使将F值减小为F2，MTF也不会成为阈值50%以上，需要减小为F2.8以上。[0139]因此，当判别部53基于根据摄像条件变动的摄像光学系统的球面像差以及第1阈值来判别是否进行点像复原处理时、或者基于开放光圈时的球面像差第1球面像差与根据摄像条件变动的摄像光学系统的球面像差第2球面像差）的球面像差比以及第2阈值来判别是否进行点像复原处理时，优选使用根据确定球面像差的波长（即，从照明装置40发出的照明光的光源的种类或光源的波长）而设定的第1阈值或第2阈值。并且，根据拍摄时的F值来判别是否进行点像复原处理时，也优选根据确定球面像差的波长来设定成为判别基准的F值阈值）。[0140][0141]图8是表示图2中示出的相机控制器28内的图像处理部35的第2实施方式的框图。另外，对与图3中示出的第1实施方式相同的部分标注相同符号，并省略其详细说明。[0142]图8所示的第2实施方式的图像处理部35主要由点像复原处理部52、判别部53以及切换开关54构成。[0143]点像复原处理部52具备点扩散函数存储部52B和复原滤波器生成部52C来代替点像复原处理部51的复原滤波器存储部51B和复原滤波器选择部51C，在这一方面与第1实施方式的图像处理部35的点像复原处理部51不同。[0144]点像复原处理部51的复原滤波器存储部51B存储与F值等摄像条件对应的多个复原滤波器，相对于此，点扩散函数存储部52B存储用于生成多个复原滤波器的来源的、表示摄像光学系统透镜16、光圈18对点光源的应答的点扩散函数PSF。另外，复原滤波器存储部51B仅在应进行点像复原处理的摄像条件下存储与该摄像条件对应的PSF即可，由此能够减少应存储的PSF的数据量。[0145]复原滤波器生成部52C中从相机控制器28图1添加有表示光圈18的当前的F值的F值信息以及由照明装置40使用的多个光源中表示拍摄时使用的光源的种类的光源信息，复原滤波器生成部52C根据从相机控制器28输入的F值信息和光源信息，从点扩散函数存储部52B读取与这些信息对应的PSF，并根据已读取的PSF生成复原滤波器。[0146]S卩，复原滤波器生成部52C根据将已读取的PSF进行了傅立叶变换的OTF和预先设定的SNR，求出例如如[数式1]式中示出的复原滤波器的频率特性dcox，ωγ，并将其进行傅立叶逆变换而生成卷积型维纳滤波器复原滤波器）。[0147]这样制作出的复原滤波器添加到复原滤波器处理部52Α，在此进行图像数据与复原滤波器的卷积运算。[0148]另外，点扩散函数存储部52Β存储有PSF，但也可以存储将PSF进行了傅立叶变换的OTF或表示OTF的振幅成分的MTF来代替PSF。[0149][图像处理方法][0150][0151]接着，根据图9中示出的流程图对本发明所涉及的图像处理方法的第1实施方式进行说明。[0152]图9中，图像处理部35的判别部53图3、图8从相机控制器28获取摄像条件表示光圈18的当前的F值的F值信息以及照明装置40的多个光源中表示拍摄时使用的光源的种类的光源信息）（步骤S10。[0153]接着，判别部53获取与已获取的摄像条件对应的摄像光学系统透镜16、光圈18的球面像差步骤Sl2。例如，判别部53具有存储部，该存储部存储图4和图5中示出的拍摄时使用的光源的每个种类波长λ=546.070nm、λ=1092.14nm以及与本例的透镜16的球面像差2λ对应的每个F值的球面像差，通过从该存储部读取与当前摄像条件对应的球面像差来获取球面像差。[0154]判别部53判别如上述那样获取的球面像差是否为第1阈值0.6λ以上，当为〇.6λ以上时（“是”的情况），判别为进行由点像复原处理部51或52图3、图8进行的点像复原处理，并过渡到步骤S16步骤S14。即，若判别部53判别为进行点像复原处理，则能够使点像复原处理部51或52工作，并且输出将切换开关54的可动接片54C切换成第2输入54B的切换信号。[0155]在步骤S16中，点像复原处理部51或52仅在判别部53判别为进行点像复原处理时进行点像复原处理，并将已进行点像复原处理的图像数据输出至切换开关54的第2输入54B。由此，通过切换开关54输出已进行点像复原处理的图像数据。[0156]另一方面，当已获取的球面像差小于第1阈值0.6λ时（“否”的情况），判别部53判别为不进行由点像复原处理部51或52进行的点像复原处理，并结束本处理（步骤S14。此时，判别部53输出将切换开关54的可动接片54C切换成第1输入54Α的切换信号，并通过切换开关54输出输入到第1输入54Α的未进行点像复原处理的未处理的图像数据。并且，若判别部53判别为不进行点像复原处理，则优选使点像复原处理部51或52不能工作，从而产生运算成本。[0157][0158]图10是表示本发明所涉及的图像处理方法的第2实施方式的流程图。另外，图10中，对与图9中示出的第1实施方式相同的步骤标注相同的步骤号，并省略其详细说明。[0159]第1实施方式中根据球面像差的大小判别了是否进行点像复原处理，但图10所示的第2实施方式中，根据在步骤SlO中获取的F值来代替球面像差而判别是否进行点像复原处理，这一点不同。[0160]S卩，第2实施方式的判别部53判别在步骤SlO中获取的F值是否为F2以上，当为F2以上时（“是”的情况），判别为不进行点像复原处理，并结束本处理步骤S20。[0161]另一方面，当在步骤SlO中获取的F值小于F2时（“否”的情况），判别部53判别为进行点像复原处理，并过渡到步骤S16步骤S20。[0162]另外，在步骤S20中判别的F值是光源的种类与汞灯波长λ=546.070ηπι对应的值参考与图4的2λ的球面像差对应的F值），而当光源的种类为红外线光源（波长λ=1092.14nm时，作为步骤S20中的阈值，使用F2.8来代替F2参考与图5的2λ的球面像差对应的F值。[0163][0164]图11是表示本发明所涉及的图像处理方法的第3实施方式的流程图。另外，图11中，对与图9中示出的第1实施方式相同的步骤标注相同的步骤号，并省略其详细说明。[0165]图11中，第3实施方式的判别部53获取拍摄时的摄像光学系统的第2球面像差（由在步骤SlO中获取的F值和光源的种类波长来确定与光圈为开放光圈（开放F值时的摄像光学系统的第1球面像差（由在步骤SlO中获取的光源的种类波长来确定之比即球面像差比（步骤S22。[0166]接着，判别部53判别在步骤S22中获取的球面像差比是否超过第2阈值0.5，当超过0.5时（“是”的情况），判别为进行点像复原处理，并过渡到步骤S16步骤S24。这是因为，当球面像差比超过0.5时，在开放时具有2λ的球面像差的透镜16的情况下MTF小于50%，从而图像数据不满足产品的检查等中要求的所希望的画质。[0167]另一方面，当在步骤S22中获取的球面像差比为0.5以下时（“否”的情况），判别部53判别为不进行点像复原处理，并结束本处理步骤S24。当球面像差比为0.5以下时，在开放时具有2λ的球面像差的透镜16的情况下MTF为50%以上，图像数据满足所希望的画质，因此无需进行点像复原处理。[0168][其他][0169]本实施方式中，对机器视觉系统中使用的摄像装置10进行了说明，但摄像装置10的用途并不限定于机器视觉用途。并且，也能够适用于一般的数码相机、数码摄像机、监控摄像机等中，而且在不发生小光圈模糊的F值的范围内经常使用的相机中容易得到效果。[0170]并且，本实施方式中，摄像装置10的相机控制器28内的图像处理部35图2、图3、图8作为本发明所涉及的图像处理装置发挥作用，但并不限于此，当从摄像装置10向计算机60发送RAW数据时，也可以以使计算机60的图像处理部（图像处理装置发挥与相机控制器28内的图像处理部35相同功能的方式构成计算机60的图像处理部。此时，当计算机60不通过相机控制器28控制摄像条件时，相机控制器28需要将拍摄时的F值等摄像条件与RAW数据一同发送至计算机60的图像处理部。[0171]而且，本实施方式的点像复原处理中，作为复原滤波器使用了卷积型维纳滤波器，但并不限于此，例如也可以使用[数式1]式中示出的空间频率区域的复原滤波器。此时，需要对所输入的图像数据进行傅立叶变换，将已进行傅立叶变换的空间频率区域的图像数据与空间频率区域的复原滤波器相乘，并将相乘结果进行傅立叶逆变换。[0172]并且，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，当然能够进行各种变形。[0173]符号说明[0174]10-摄像装置，12-透镜单元，16-透镜，18-光圈，20-光学系统操作部，26-成像元件，28-相机控制器，32-输入输出接口，34-设备控制部，35-图像处理部，40-照明装置，51、52-点像复原处理部，51A、52A-复原滤波器处理部，5IB-复原滤波器存储部，5IC-复原滤波器选择部，52B-点扩散函数存储部，52C-复原滤波器生成部，53-判别部，54-切换开关，54A-第1输入，54B-第2输入，54C-可动接片，60-计算机，62-计算机输入输出部，64-计算机控制器，66-显示器，SlO〜S24-步骤，f-焦距，λ-波长，Fo-开放F值，F-拍摄时的F值，Lo-开放时的瞳孔直径，L-拍摄时的瞳孔直径，T-瞳孔直径之比。

权利要求：1.一种图像处理装置，其具备：点像复原处理部，针对通过使用具有摄像光学系统和成像元件的摄像部拍摄被摄体而从所述成像元件获取的图像数据，使用基于所述摄像光学系统的点扩散函数的复原滤波器进行点像复原处理；以及判别部，基于根据摄像条件变动的所述摄像光学系统的球面像差，判别是否进行由所述点像复原处理部进行的点像复原处理，所述点像复原处理部仅在所述判别部判别为进行点像复原处理时进行所述点像复原处理。2.根据权利要求1所述的图像处理装置，其中，所述摄像条件为构成所述摄像光学系统的光圈的光圈值。3.根据权利要求2所述的图像处理装置，其中，所述判别部根据所述光圈的光圈值来判别是否进行由所述点像复原处理部进行的点像复原处理。4.根据权利要求1或2所述的图像处理装置，其中，当根据所述摄像条件变动的所述摄像光学系统的球面像差为第1阈值以上时，所述判别部判别为进行由所述点像复原处理部进行的点像复原处理。5.根据权利要求4所述的图像处理装置，其中，当将确定球面像差的波长设为λ时，所述第1阈值为0.6λ。6.根据权利要求1或2所述的图像处理装置，其中，当根据所述摄像条件变动的所述摄像光学系统的第2球面像差与构成所述摄像光学系统的光圈为开放光圈时的所述摄像光学系统的第1球面像差之比超过第2阈值时，所述判别部判别为进行由所述点像复原处理部进行的点像复原处理。7.根据权利要求6所述的图像处理装置，其中，所述第2阈值为0.5。8.根据权利要求1至7中任一项所述的图像处理装置，其中，所述摄像条件为对所述被摄体进行照明的光源的种类或所述光源的波长。9.根据权利要求8所述的图像处理装置，其中，作为根据所述摄像条件变动的所述摄像光学系统的球面像差，所述判别部使用与对所述被摄体进行照明的光源的种类或所述光源的波长对应的所述球面像差。10.根据权利要求1至9中任一项所述的图像处理装置，其中，所述摄像光学系统具有当构成所述摄像光学系统的光圈至少为开放光圈时由所述判别部判别为进行所述点像复原处理的所述球面像差。11.一种摄像装置，其具备权利要求1至10中任一项所述的图像处理装置以及所述摄像部。12.根据将权利要求11所述的摄像装置，其用作工业相机。13.—种图像处理方法，其包括如下步骤：针对通过使用具有摄像光学系统和成像元件的摄像部拍摄被摄体而从所述成像元件获取的图像数据，使用基于所述摄像光学系统的点扩散函数的复原滤波器进行点像复原处理的步骤；以及基于根据摄像条件变动的所述摄像光学系统的球面像差，判别是否进行所述点像复原处理的步骤，进行所述点像复原处理的步骤中，仅在所述进行判别的步骤中判别为进行所述点像复原处理时使用所述复原滤波器进行点像复原处理。14.根据权利要求13所述的图像处理方法，其中，所述摄像条件为构成所述摄像光学系统的光圈的光圈值。15.根据权利要求14所述的图像处理方法，其中，所述进行判别的步骤中，根据所述光圈的光圈值来判别是否进行所述点像复原处理。16.根据权利要求13或14所述的图像处理方法，其中，所述进行判别的步骤中，当根据所述摄像条件变动的所述摄像光学系统的球面像差为第1阈值以上时，判别为进行所述点像复原处理。17.根据权利要求16所述的图像处理方法，其中，当将确定球面像差的波长设为λ时，所述第1阈值为0.6λ。18.根据权利要求13或14所述的图像处理方法，其中，所述进行判别的步骤中，当根据所述摄像条件变动的所述摄像光学系统的第2球面像差与构成所述摄像光学系统的光圈为开放光圈时的所述摄像光学系统的第1球面像差之比超过第2阈值时，判别为进行所述点像复原处理。19.根据权利要求18所述的图像处理方法，其中，所述第2阈值为0.5。

百度查询： 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD