申请/专利权人：普里露尼库斯日本股份有限公司

申请日：2016-12-26

公开（公告）日：2020-11-24

公开（公告）号：CN108432238B

主分类号：H04N5/355(20060101)

分类号：H04N5/355(20060101);H04N5/232(20060101)

优先权：["20151225 JP 2015-253286"]

专利状态码：有效-授权

法律状态：2020.11.24#授权;2018.09.14#实质审查的生效;2018.08.21#公开

摘要：固体摄像装置10能将多个读出信号合成来扩大动态范围，具有信号处理部710，其在进行多个读出信号的合成时，根据多个读出信号当中至少一个读出信号高增益信号HCG、低增益信号LCG与阈值JointThresh的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，信号处理部能动态地变更阈值。根据该结构，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。

主权项：1.一种固体摄像装置，能将多个读出信号合成来扩大动态范围，所述固体摄像装置的特征在于，具有：信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与能动态地变更的阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述多个读出信号包含以不同的入射光量饱和的第1信号和第2信号，所述信号处理部在所述第1信号快要饱和之前的保持了直线性的非饱和区域，通过所述合成处理将所述第1信号和所述第2信号合成，在该合成时，在所述非饱和区域的中心部位置设定预先设定的基准阈值来作为中心阈值，设定从设定有所述中心阈值的中心部位置向第1信号最端部以及第2信号最端部的至少一方逐渐变大的、与所设定出的应结合的结合位置对应的步值，通过对作为所述基准阈值的所述中心阈值和设定的步值进行比较运算来设定为对应的结合位置的新的阈值，将该新的阈值应用为所述结合位置的阈值，根据所述结合位置的阈值与所述第1信号或所述第2信号的比较结果来进行所述合成处理。

全文数据：固体摄像装置、固体摄像装置的驱动方法以及电子设备技术领域[0001]本发明涉及固体摄像装置、固体摄像装置的驱动方法以及电子设备。背景技术[0002]作为利用了检测到光而产生电荷的光电变换元件的固体摄像装置（图像传感器），有CMOSComplementaryMetalOxideSemiconductor，互补金属氧化物半导体）图像传感器以供实用。[0003]CMOS图像传感器作为数字摄像机、视频摄像机、监视摄像机、医疗用内窥镜、个人计算机PC、便携电话等便携终端装置移动设备等各种电子设备的一部分而被广泛应用。[0004]CMOS图像传感器的主流是列并列输出型，其中，使每个像素具备具有光电二极管光电变换元件）以及浮动扩散层FD:FloatingDiffusion，浮动扩散）的FD放大器，其读出方式是，选择像素阵列当中的某一行，并将它们同时向列column方向读出。[0005]但是，为了特性提升，提出有各种实现具有高动态范围（HDR:HighDynamicRange的高画质的固体摄像装置CMOS图像传感器的方法。[0006]过去，在固体摄像装置中，作为提高扩大动态范围的方法，例如已知如下等方法:从图像传感器的同一像素读出积蓄时间不同的两个种类的信号，将这两个种类的信号组合来使动态范围扩大；以及将高灵敏度的像素中动态范围小的信号和在低灵敏度下扩大了动态范围的信号组合来扩大动态范围。[0007]例如在专利文献1中，公开了分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术。[0008]另外，在专利文献1中，公开了使浮动扩散的电容可变的高动态范围化技术。[0009]另外，在专利文献2中公开了如下技术:在光电二极管PD连接高灵敏度低照度侧的小电容C1的浮动扩散和低灵敏度高照度侧的大电容C2的浮动扩散，并分别输出低照度侧的输出0UT1和高照度侧输出0UT2,由此进行高动态范围化。[0010]这些信号的合成方法若在时间上看，存在跨多个帧的方式和在1帧内输出多个种类的动态范围不同的信号的方式等。[0011]现有技术文献[0012]专利文献[0013]专利文献1:JP专利第3984814号公报[0014]专利文献2:JP专利第3592106号公报发明内容[0015]发明要解决的课题[0016]然而，不管在哪种方法中，对于要组合的（要合成的）多个信号来说，在进行组合信号的切换的信号值的附近，相对于入射光量照度的输出电压的直线性都需要分别大致保持成同等。[0017]由于各个信号为了扩大动态范围D范围）而被设计成使相对于光量照度的增益不同，因此主要在由模拟数字转换器ADC进行了数字变换后的数字信号处理电路中对增益进行补正，从而保持相同的直线性或倾斜度）。[0018]但是，由于存在固体摄像装置的个体单位中的偏差、或一个个体当中的像素间的偏差等，因此即使用以偏差的中心值的参数为基础进行了补正的数值来切换各个信号，有时也不一定能保证该电平的附近的直线性linearity。[0019]在这样补正精度低有偏差）的情况下，存在如下不利:不能进行平滑的切换，该不连续点会成为噪声，从而成为所谓的色调跳变等图像劣化的主要原因。[0020]本发明提供固体摄像装置、固体摄像装置的驱动方法以及电子设备，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。[0021]用于解决课题的手段[0022]本发明的第1观点是能将多个读出信号合成来扩大动态范围的固体摄像装置，具有信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部能动态地变更所述阈值。[0023]本发明的第2观点是能将多个读出信号合成来扩大动态范围的固体摄像装置的驱动方法，具有:比较步骤，在进行所述多个读出信号的合成时，对所述多个读出信号当中至少一个读出信号和阈值进行比较;选择步骤，根据比较结果选择至少一个合成所需的信号；和生成步骤，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，动态地变更所述阈值来进行所述比较步骤、所述选择步骤、以及所述生成步骤的处理。[0024]本发明的第3观点的电子设备具有：能将多个读出信号合成来扩大动态范围的固体摄像装置;和在所述固体摄像装置成像被摄体像的光学系统，所述固体摄像装置包含信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部能动态地变更所述阈值。[0025]发明效果[0026]根据本发明，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。附图说明[0027]图1是表示本发明的第1实施方式所涉及的固体摄像装置的信号处理系统的整体的结构例的框图。[0028]图2是表示本第1实施方式所涉及的像素阵列部中的能生成低增益信号和高增益信号的像素pixel的结构例的图。[0029]图3是表示本发明的第1实施方式所涉及的信号处理部的结构例的图。[0030]图4是用于具体说明将高增益信号和低增益信号合成来做出高动态范围信号的合成方法的图。[0031]图5是示意地表示将低增益信号和高增益信号以4步分阶段地平滑地合成的情况下的信号电平、中心阈值、各结合位置点）、被动态地设定的阈值的关系的图。[0032]图6是用于说明本第1实施方式所涉及的信号处理部中的合成处理的一例的流程图。[0033]图7是表示本发明的第2实施方式所涉及的信号处理部的结构例的图。[0034]图8是表示图7的随机数产生部的具体的结构例的图。[0035]图9是用于说明将高增益信号、中增益信号、和低增益信号这三个信号以倾斜度相等的方式进行合成的处理的图。[0036]图10是表示分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术的一例的图。[0037]图11是用于说明以帧为单位提高动态范围的示例的图。[0038]图12是表示应用本发明的实施方式所涉及的固体摄像装置的电子设备的构成的一例的图。[0039]附图标记的说明[0040]10固体摄像装置[0041]20寄存器控制器[0042]30定时控制器[0043]40像素pixel阵列部[0044]50模拟增益部[0045]60模拟数字转换器ADC[0046]70数字信号处理器DSP[0047]710、710A信号处理部[0048]711、712乘法运算器[0049]713、713A合成处理部[0050]714随机数产生部[0051]80可扩展低电压信号传输SLVS接口部[0052]90时钟发生器[0053]100电子设备[0054]110CMOS图像传感器[0055]120光学系统[0056]130信号处理电路PRC具体实施方式[0057]以下与附图建立关联来说明本发明的实施方式。[0058]第1实施方式）[0059]图1是表示本发明的第i实施方式所涉及的固体摄像装置的信号处理系统的整体的结构例的框图。[^060]、在本实敗方式中，固体摄像装置10构成为能将从像素pixel读出的多个两个或二个以上的读出信号合成来扩大动态范围，例如*CM0S图像传感器构成。[0061]图1的固体摄像装置10具有以下各部分作为主构成要素:寄存器控制器RegisterController20、定时控制器TimingController30、像素pixel阵列（PixelArray部40、模拟增益AnalogGain部50、模拟数字转换器ADC:AnalogDigitalConverter部60、包含作为信号处理部的功能的数字信号处理器DSP:DigitalSignalProcessor部70、可扩展低电压信号传输SLVS:ScalableLowVoltageSignaling接口部80、以及时钟发生器（ClockGenerator90。[0062]在固体摄像装置10中，寄存器控制器20、定时控制器30、模拟增益部5〇、ADC部60、DSP部70、以及SLVS接口部80通过用于进行信号的授受的总线BS连接。[0063]另外，由时钟发生器90生成的系统时钟CLK被提供给寄存器控制器20、定时控制器30、模拟增益部50、ADC部60、DSP部70以及SLVS接口部80。[0064]寄存器控制器20与未图示的CPU、DSP等外部控制装置通信，作为将动作模式的设定、各种控制参数写入的存储部发挥功能。[0065]定时控制器30配合各种动作模式生成读出像素pixel数据的控制脉冲S30,进行像素阵列部40的读出控制。[0066]像素阵列部40将包含光电二极管光电变换元件和像素内放大器的多个像素排列成N行XM列的二维的矩阵状matrix状）。[0067]按照基于定时控制器30的控制脉冲S30从包含像素阵列部40的光电变换元件的像素群读出的读出信号被模拟增益部50以给定的增益放大，由ADC部60变换成数字信号后输入到如之后详述那样的作为信号处理部发挥功能的DSP部70。[0068]另外，在ADC部60的输出级例如配置列存储器ColumnMemory。[0069]在DSP部70中，在对所输入的数字信号实施相关双采样CDS:CorrelatedDoubleSampling、黑补正、数字增益等图像信号处理后，在SLVS接口部80以适合输出型式（图1中是SLVS的方式输出。[0070]在本实施方式中，从包含像素阵列部40的光电变换元件的像素群读出的读出信号如图1所示那样是读出光电变换增益不同的多个种类本例中是两个种类）的高增益信号HCG:Highconversiongain和低增益信号（LCG:Lowconversiongain这两个系统的fg号。[0071]并且，在DSP部70的信号处理部710将两个信号合成来生成扩大了动态范围的高动态范围信号。[0072]另外，读出信号虽然存在两个系统，但是如之后说明的那样，能将与信号的读出相关的部分例如信号线作为一个系统以时分方式进行处理。[0073]高增益信号HCG是来自光电变换元件部的高增益输出信号，与该程度的低增益信号LCG相比以较少的入射光量饱和。低增益信号LCG由于是低增益输出信号，因此达到饱和的入射光量有富余，与高增益信号HCG相比较大。[0074]因此，在DSP部70的信号处理部710中，使低增益信号LCG和高增益信号HCG的倾斜度相等，并且在高增益信号HCG快要饱和之前即在保持了直线性的区域非饱和区域），将这两个种类的信号合成，由此取得提高了动态范围的信号即合成信号。[0075]进行该高增益信号HCG与低增益信号LCG的合成处理的DSP部70的信号处理部710基本具有以下所示的特征性的结构、功能。关于具体的合成处理，之后详述。[0076]本实施方式的信号处理部710构成为能将多个读出信号在该示例中是高增益信号HCG和低增益信号LCG合成来扩大动态范围。[0077]信号处理部710使应合成的多个读出信号例如高增益信号HCG和低增益信号LCG的倾斜度相等。[0078]信号处理部710在进行多个读出信号的合成时，根据多个读出信号当中至少一个读出信号（高增益信号HCG、低增益信号LCG与阈值JointThresh的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号。[0079]并且，本实施方式的信号处理部710构成为能动态变更阈值。[0080]作为阈值，信号处理部710将预先设定的基准阈值（中心阈值JointThresh以下称作J_Thresh、和通过对基准阈值J_Thresh和给定的步值stepaa是自然数进行比较运算例如加法运算、减法运算而决定的新的阈值J_Thresh土stepa应用在合成处理中。[00S1]另外，预先设定的基准阈值中心阈值J_Thresh例如以能改写的方式被写入到作为存储部的寄存器REG。[0082]信号处理部710例如具有加权处理部，其根据多个读出信号当中设为基准的读出[目号例如尚增益彳目号HCG和对应的阈值J_Thresh、J_Thresh土stepa的比较结果对合成对象的多个读出信号高增益信号HCG以及低增益信号LCG进行加权处理。[0083]加权处理部在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将加权平均值作为该区域的合成信号来输出。[0084]另外，信号处理部710的加权处理部包含对多个读出信号进行相加取平均的相加取平均处理功能。[0085]相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。[0086]以下在说明能生成低增益信号LCG和高增益信号HCG的像素PXL的结构例后，说明DSP部70的信号处理部710中的结构例以及低增益信号LCG和高增益信号HCG的具体的合成处理。[0087]像素阵列部40中的像素PXL的结构例）[0088]图2是表示本第1实施方式所涉及的像素阵列部40中的能生成低增益信号LCG和高增益信号HCG的像素PXL的结构例的图。[0089]图2的像素PXL具有光电二极管PD、与光电二极管PD的阴极侧连接的由寄生电容或附加电容形成的电容C11、和将光电二极管PD以及电容C11〜C13重置的重置晶体管RST-Tr。[0090]光电二极管PD产生、积蓄与入射光量相应的量的信号电荷在此为电子。[0091]以下说明信号电荷是电子且各晶体管是n型晶体管的情况，但也可以信号电荷是空穴，各晶体管是P型晶体管。[0092]像素PXL具有与电容C11连接的作为传送开关的传送晶体管TGll-Tr、积蓄从光电二极管PD以及电容C11传送的电荷的电容C12、作为选择开关的选择晶体管SELll-Tr、以及栅极与电容C12连接的源极跟随器晶体管SF11-Tr。[0093]另外，像素PXL具有与电容Cl1连接的作为传送开关的传送晶体管TG12-Tr、积蓄从光电二极管PD以及电容C11传送的电荷的电容C13、作为选择开关的选择晶体管SEL12-Tr、以及栅极与电容C13连接的源极跟随器晶体管SF12-Tr。[0094]另外，对像素PXL的重置晶体管RST-Tr、传送晶体管TG11-Tr、TG12-Tr、选择晶体管SELll-Tr、SEL12-Tr的栅极分别提供由定时控制器30生成的控制脉冲S30,来进行接通、断开控制。[0095]如此，图2的像素PXL构成为积蓄在光电二极管ro以及电容C11的电荷经由两个系统的输出系统outl、out2输出。[0096]在图2的示例中，对输出系统outl输出低增益信号LCG，对输出系统〇ut2输出高增益信号HCG。[0097]并且，在图2的结构中，例如输出系统outl和输出系统out2被线或wired-〇R，在各列column中，两个系统的高增益信号HCG和低增益信号LCG以时分方式输出到公共的信号线垂直信号线LSGN。[0098]接下来说明图2的像素PXL的动作。[0099]光电二极管TO、由寄生电容或附加电容形成的电容Cl1的电位被重置晶体管RST_Tr重置成重置电位Vr图2的示例中为VDD。[0100]若在积蓄期间光入射到光电二极管PD，则产生的光电荷积蓄在光电二极管PD以及电容C11。[0101]在该状态下，通过将作为传送开关的传送晶体管TGll-Tr或作为传送开关的传送晶体管TG12-Tr接通，从而电容C12或电容C13的电位对应于产生的光电荷而变化。[0102]在此，电容C12以及电容C13分别是源极跟随器晶体管SF11-Tr、SF12-Tr的栅极电极的寄生电容处于支配地位。[0103]选择晶体管SELll-Tr、SEL12-Tr是行选择开关，是用于选择二维阵列状排列的像素PXL的某行的开关。选择晶体管SEL11-Tr、SEL12-Tr与电源VDD连接。[0104]输出系统out1和输出系统〇ut2经由信号线LSGN与未图示的恒电流源连接，同源极跟随器晶体管SFll-Tr、SF12-Tr—起形成源极跟随器放大器。[0105]选择晶体管SELll-Tr、SEL12-Tr也与源极跟随器晶体管SF11-Tr、SF12-Tr同样地和恒电流源形成源极跟随器放大器，能通过选择晶体管TGll-Tr和晶体管SELll-Tr、或选择晶体管TGI2-Tr和晶体管SEL12-Tr来选择任意的源极跟随器放大器。[0106]由此，两个系统的高增益信号HCG和低增益信号LCG以时分方式输出到公共的信号线垂直信号线LSGN。[0107]根据场合选择读出的电容C12、C13的优点在于，能根据摄影条件选择动态范围DR:D_range〇[0108]DSP部70中的低增益信号LCG与高增益信号HCG的具体的合成处理）[0109]接下来，说明DSP部70的信号处理部710中的结构例以及低增益信号LCG与高增益信号HCG的具体的合成处理。[0110]在以下的说明中，从包含光电变换元件的像素PXL读出的多个读出信号包含至少一组的低增益信号LCG、和与低增益信号LCG相比以较少入射光量饱和的高增益信号HCG。[0111]图3是表示本发明的第1实施方式所涉及的信号处理部的结构例的图。[0112]图3的信号处理部710具有乘法运算器711、712、以及具有作为加权处理部的功能的合成处理部713。[0113]乘法运算器711为了使在饱和之前有直线性的低增益信号LCG的倾斜度与同样在饱和之前有直线性的高增益信号HCG的倾斜度相等，将所输入的低增益信号LCG与增益比K=HCGLCG相乘，将其结果提供给合成处理部713。[0114]乘法运算器712为了对高增益信号HCG的倾斜度进行微调整而将所输入的高增益信号HCG与增益比1.〇相乘，将其结果提供给合成处理部713。[0115]另外，乘法运算器712为了微调整而配置，不一定是必需的，可以没有。[0116]合成处理部713接收为了使倾斜度相等而进行了调整的低增益信号LCG和高增益信号HCG，在高增益信号HCG快要饱和之前的保持了直线性的非饱和区域ANSAT，通过合成处理将低增益信号LCG和高增益信号HCG合成。[0117]合成处理部713作为加权处理部发挥功能，例如根据多个低增益信号LCG和高增益信号HCG当中设为基准的高增益信号HCG与对应的阈值J_Thresh、J_Thresh土stepa的比较结果来对合成对象的高增益信号HCG以及低增益信号LCG进行加权处理。[0118]合成处理部713作为加权处理部具有如下功能:在被阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将加权平均值作为该区域的合成信号来输出。[0119]另外，合成处理部713作为加权处理部，包含对低增益信号LCG和高增益信号HCG进行相加取平均的相加取平均处理功能。[0120]相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。[0121]具有以上的结构的信号处理部no与像素阵列部40的矩阵排列的各列column对应地配置多个。[0122]以上说明了本实施方式所涉及的信号处理部710的基本的方块构成。[0123]接下来，更具体地图解说明由本实施方式所涉及的信号处理部710将两个特性不同的高增益信号HCG和低增益信号LCG合成来做出高动态范围信号的合成方法。[0124]图4A〜C是用于具体说明将高增益信号HCG和低增益信号LCG合成来做出高动态范围信号的合成方法的图。[0125]图4A示出将高增益信号HCG和低增益信号LCG的倾斜度调整成相同的处理概要。[0126]图4⑻示出在高增益信号HCG快要饱和之前的保持了直线性的非饱和区域ANSAT通过合成处理将高增益信号HCG和低增益信号LCG以4步分阶段地平滑地进行合成。[0127]图4⑹示意地图解示出将高增益信号HCG和低增益信号LCG以4步分阶段地平滑地进行合成的情况下的中心阈值J_Thresh、各结合位置点）jp〇〜jp3、被动态设定的阈值J_Thresh-step2、（J_Thresh-stepl、（J—Thresh+stepl、（J_Thresh+step2、加权值的关系。[0128]图5示意地示出将高增益信号HCG和低增益信号LCG以4步分阶段地平滑地进行合成的情况下的信号电平、中心阈值J_Thresh、各结合位置点）jp〇〜jp3、被动态设定的阈值J_Thresh-step2、（J—Thresh-stepl、（J_Thresh+stepl、（J_Thresh+step2、阈值间的区域的关系。[0129]在图4中，高增益信号HCG和低增益信号LCG相当于前述的两个系统的信号。在此，如图2所示那样，高增益信号HCG和低增益信号LCG都是数字信号。[0130]如前述那样，高增益信号HCG是来自光电变换元件部的高增益输出信号，与该程度的低增益信号LCG相比以较少的入射光量饱和。低增益信号LCG由于是低增益输出信号，因此在达到饱和的入射光量中有富余，与高增益信号HCG相比较大。因此，在DSP部70的信号处理部710中，使低增益信号LCG和高增益信号HCG的倾斜度相等，并且在高增益信号HCG快要饱和之前即在保持了直线性的非饱和区域ANSAT，将这两个种类的信号合成，由此得到提高了动态范围DR的信号。[0132]信号处理部710的合成处理部713例如能以高增益信号HCG为基准进行合成处理。[0133]合成处理部713例如如图4C以及图5所示那样，在非饱和区域ANSAT的中心部位置JCJointCenter设定基准阈值来作为中心阈值J_Thresh。[0134]合成处理部713例如如图4⑹以及图5所示那样，从设定中心阈值J_Thresh的中心部位置JC起，在应将合成信号与高增益信号HCG结合的高增益信号最端部侧结合位置jpjointpoint0之间，设定包含高增益信号最端部侧结合位置jp〇在内的两个高增益侧结合位置jp〇、jpl，并且设定从中心部位置JC向高增益信号最端部逐渐变大的、与所设定出的筒增益侧结合位置jpl、jpO对应的尚增益侧步值㈠stepl、㈠step2step2stepl。[0135]合成处理部713例如如图4⑹以及图5所示那样，从设定中心阈值J_Thresh的中心部位置JC起，在应将合成信号与低增益信号LCG结合的低增益信号最端部侧结合位置jP3之间，设定包含低增益信号最端部侧结合位置jp3在内的两个低增益侧结合位置jp3、jp2,并且设定从中心部位置JC向低增益信号最端部逐渐变大的、与所设定出的低增益侧结合位置jp2、jp3对应的低增益侧步值stepl、step2step2stepl。[0136]并且，合成处理部713例如如图4⑹以及图5所示那样，从中心阈值JJThresh中减去所设定出的高增益侧步值step2、stepl来设定为对应的高增益侧结合位置jp〇、jpl的新的阈值J_Thresh-step2、（J_Thresh-stepl。合成处理部713应用新的阈值并根据高增益侧结合位置jp〇、jpl处的阈值J_Thresh-step2、（J_Thresh-stepl与高增益信号HCG的比较结果来进行合成处理。[0137]同样地，合成处理部713例如如图4C以及图5所示那样，在中心阈值J_Thresh上加上所设定出的低增益侧步值stepl、step2来设定为对应的低增益侧结合位置jp2、jp3的新的阈值J_Thresh+stepl、G_Thresh+step2。合成处理部713应用新的阈值并根据低增益侧结合位置jp2、jp3处的阈值J_Thresh+stepl、（J_Thresh+step2与高增益信号HCG的比较结果来进行合成处理。[0138]合成处理部713在合成处理所涉及的比较处理中，在被通过将高增益侧结合位置jpO、jpl的阈值J_Thresh-step2、（J_Thresh-stepl或低增益侧结合位置jp2、jp3的阈值J_ThreSh+Stepl、（J_Thresh+st印2与高增益信号HCG的比较而选择出的值相夹的区域八01、412423的信号电平中，按照分配给区域々01412^23的加权值醫01、'^12、'^23来算出加权平均值△¥1014¥112、4¥123，将加权平均值々釋01、々¥112^¥123作为该区域的合成信号合成数据data_dhdr输出。[0139]例如在被高增益侧结合位置jp〇的阈值J_ThreSh-step2和相邻的高增益侧结合位置jpl的阈值JJThresh-stepl相夹的区域A01中，分配对于低增益信号LCG是“1”且对于高增益信号HCG是“3”的加权值LCG:HCG=1:3ffVO1。[0140]在被高增益侧结合位置jpl的阈值J_Thresh-stepl和相邻的低增益侧结合位置jp2的阈值J_Thresh+stepl相夹的区域A12中，分配对于低增益彳曰号LCG是1且对于1¾增益信号HCG是“1”的加权值LCG:HCG=1:1WV12。[0141]在被低增益侧结合位置jp2的阈值J_Thresh+stepl和相邻的低增益侧结合位置jp3的阈值J_Thresh+st印2相夹的区域A23中，分配对于低增益信号LCG是“3”且对于高增益信号HCG是T’的加权值LCG:HCG=3:1WV23。[0142]在高增益信号最端部侧结合位置jpO的阈值JJThresh-step2与高增益信号HCGdata_hcg的比较的结果是高增益信号HCG的电平小于阈值J_Thresh-st印2的情况下，合成处理部713将高增益信号HCGdata_hcg作为合成信号合成数据data_dhdr来应用。[0143]在低增益信号最端部侧结合位置jp3的阈值JJThreSh+SteP2与高增益信号HCGdata_hcg的比较的结果是高增益信号HCG的电平大于阈值J_ThreSh+Step2的情况下，合成处理部713将低增益信号LCGdata_lcg作为合成信号合成数据data_dhdr来应用。[0144]以上说明了信号处理部710中的合成处理部713的结构以及功能。[0145]在此说明合成处理部713中的高增益信号HCG与低增益信号LCG的具体的合成处理的一例。[0146]图6是用于说明本实施方式所涉及的信号处理部710中的合成处理的一例的流程图。[0147]现在若考虑以高增益信号HCG为基准进行合成的情况，则能如下述那样表现。[0148]数学式1[0149]data_hcg=data—hcg—in+hcg—offset[0150]低增益信号LCG为了与高增益信号HCG倾斜度相同而乘以数字增益进行变换的情况能如下那样表现。[0151]数学式2[0152]data_lcg=data_lcg_in+lcg_offsetXK[0153]在此K表示HCGLCG的增益比。[0154]每当合成这两个信号时就按照如下的条件设定来进行运算。[0155]数学式3[0156]ifdata_hcgj—thresh+step2[0165]data—dhdr=data—1eg;[0166]对该合成处理部713的合成所涉及的运算处理与图6建立关联来进行说明。[0167]合成处理部713例如首先对高增益信号最端部侧结合位置jp〇的阈值J_Thresh-step2和高增益信号HCGdata_hcg进行比较步骤PR1，判定高增益信号HCG的电平是否小于阈值J_Thresh_step2步骤PR2。[0168]合成处理部713若在步骤中判定为高增益信号HCGdata_hcg的电平小于阈值J_Thresh-step2，就将高增益信号HCGdata_hcg作为合成信号合成数据data_dhdr来应用步骤PR3。[0169]合成处理部713若在步骤PR2中判定为高增益信号HCGdata_hcg的电平大于阈值J_Thresh-Step2，就对高增益侧结合位置jpl的阈值J_Thresh-St印1和高增益信号HCGdata_hcg进行比较步骤PR4，判定高增益信号HCGdata_hcg的电平是否小于阈值J_Thresh-stepl步骤PR5。[0170]合成处理部713若在步骤PR5中判定为高增益信号HCGdata_hcg的电平小于阈值J_Thresh_stepl，就进行如下的处理步骤PR6、PR7。[0171]合成处理部713按照分配给被高增益侧结合位置」〇的阈值〇1_1111^心-#6?2和相邻的高增益侧结合位置jpl的阈值J_Thresh-stepl相夹的区域A01的加权值LCG:HCG=1:3WV01通过下式来算出高增益信号HCG与低增益信号LCG的加权平均值AVW01步骤PR6，将加权平均值AVffOl作为该区域的合成信号合成数据data_dhdr来应用步骤PR7。[0172]数学式4[0173]AVffOl=data_hcgX3+data_lcg4[0174]合成处理部713若在步骤PR5中判定为高增益信号HCGdata_hcg的电平大于阈值J_Thresh-stepl，就对低增益侧结合位置jp2的阈值J_Thresh+stepl和高增益信号HCGdata_hcg进行比较步骤PR8，判定高增益信号HCGdata_hcg的电平是否小于阈值J_Thresh+stepl步骤PR9。[0175]合成处理部713若在步骤PR9中判定为高增益信号HCGdata_hcg的电平小于阈值J_Thresh+st印1，就进行如下的处理（步骤PR10、PR11。[0176]合成处理部713按照分配给被高增益侧结合位置jpl的阈值J_ThreSh-Stepl和相邻的低增益侧结合位置jp2的阈值J_Thresh+stepl相夹的区域A12的加权值LCG:HCG=1:1WV12通过下式来算出高增益信号HCG与低增益信号LCG的加权平均值AVW12步骤1^10，将加权平均值AVW12作为该区域的合成信号（合成数据）data_dhdr来应用（步骤PR11〇[0177]数学式5[0178]AVffl2=data_hcg+data_lcg2[0179]合成处理部713若在步骤PR9中判定为高增益信号HCGdata_hcg的电平大于阈值J_Thresh+stepl，就对低增益信号最端部侧结合位置jp3的阈值J_Thresh+step2和髙增益信号HCGdata_hcg进行比较步骤PR12，判定高增益信号HCGdata_hcg的电平是否小于阈值J_Thresh+step2步骤PR13。[0180]合成处理部713若在步骤PR13中判定为高增益信号HCGdata_hcg的电平小于阈值J_Thresh+step2，就进行如下的处理步骤PR14、PR15。[0181]合成处理部713按照分配给被低增益侧结合位置jp2的阈值JJThresh+stepl和相邻的低增益侧结合位置jp3的阈值J_Thresh+step2相夹的区域A23的加权值LCG:HCG=3:1WV23通过下式来算出高增益信号HCG与低增益信号LCG的加权平均值AVW23步骤PR14，将加权平均值AVW23作为该区域的合成信号（合成数据）data_dhdr来应用（步骤HU5〇[0182]傲学式6[0183]AV¥23=data_hcg+data_lcgX34[0184]合成处理部713若在步骤PR13中判定为高增益信号HCGdata_hcg的电平不是小于而是大于阈值J_Thresh+step2步骤PR16，就将低增益信号LCGdata_lcg作为合成信号合成数据data_dhdr来应用步骤PR17。[0185]如以上说明的那样，本第1实施方式的固体摄像装置10的信号处理部710构成为能将多个读出信号例如高增益信号HCG和低增益信号LCG合成来扩大动态范围。[0186]信号处理部710使应合成的多个读出信号例如低增益信号LCG和高增益信号HCG的倾斜度相等。[0187]信号处理部710在进行多个读出信号的合成时，根据多个读出信号当中至少一个读出信号（尚增益信号HCG、低增益信号LCG与阈值JointThresh的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号。[0188]并且，本第1实施方式的信号处理部710构成为能动态地变更阈值，作为阈值，将预先设定的基准阈值（中心阈值J_Thresh、和通过对基准阈值J_Thresh和给定的步值stepaa是自然数进行比较运算例如加法运算、减法运算而决定的新的阈值J_Thresh土stepa应用到合成处理中。[0189]因此，根据本第1实施方式，在存在固体摄像装置的个体单位中的偏差、或一个个体中的像素pixel间的偏差等的情况下，也能进行要组合的（要合成的）多个信号的平滑的切换，能削减不连续点，进而能削减噪声，从而能生成噪声少的高品质且高动态的图像信号。[0190]另外，由于能吸收个体偏差，因此能提升产品的成品率。[0191]即，根据本第1实施方式，能与个体偏差等无关地进行要组合的多个信号的平滑的切换，能在抑制图像劣化的同时实现高动态范围化，进而能实现高画质化。[0192]另外，本第1实施方式的信号处理部710例如具有包含作为加权处理部的功能的合成处理部713,根据多个读出信号当中设为基准的读出信号例如高增益信号HCG与对应的阈值J_ThreSh、J_ThreSh±Stepc〇的比较结果，对合成对象的多个读出信号（高增益信号HCG以及低增益信号LCG进行加权处理。[0193]包含加权处理部的合成处理部713在被阚值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，并将加权平均值作为该区域的合成信号来输出。[0194]另外，加权处理部包含对多个读出信号进行相加取平均的相加取平均处理功能。[0195]相加取平均处理功能使处于被阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。[0196]因此，根据本第1实施方式，能进行要组合的（要合成的）多个信号的更平滑的切换，能确实地削减不连续点，进而能削减噪声，进一步地能生成噪声少的高品质且高动态的图像信号。[0197]第2实施方式）[0198]图7是表示本发明的第2实施方式所涉及的信号处理部的结构例的图。[0199]图8是表示图7的随机数产生部的具体的结构例的图。[0200]本第2实施方式所涉及的图7的信号处理部710A与第1实施方式所涉及的图3的信号处理部710的不同点在于，设有随机数产生部714,合成处理部713A将随机数rndelk与阈值J_Thresh相加或相减来设定阈值。[0201]在此，elk是与像素pixel数据的传送时钟相同的频率，随机数以像素pixel为单位进行变化。[0202]合成处理部713A例如能将多个阈值的平均值设置为与基准阈值J_Thresh相当的中心阈值，中心阈值将在初始的中心阈值J_Thresh上加上由随机数产生部714产生的随机数rndelk而新算出的值作为第2中心阈值JJThresh+rndelk，以第2中心阈值J_Thresh+rndelk为基础来进行合成所需的信号的选择处理。[0203]随机数产生部714例如如图8所示那样由包含异或栅极EX0R1〜EX0R3的线性反馈移位寄存器LFSR形成。图8示出16比特的情况的一例。[0204]每当由第2实施方式的合成处理部713A对与第1实施方式的数学式3对应的两个信号进行合成时，就按照以下的条件设定进行运算。[0205]数学式7[0206]ifdata—hcgj_thresh+rndelk+step2[0215]data—dhdr=data—leg;[0216]即，该运算处理除了将在初始的中心阈值J_Thresh上加上由随机数产生部714产生的随机数rndelk而新算出的值作为第2中心阈值J_Thresh+rndelk来应用以外，进行与上述数学式3以及图6的处理同样的处理。[0217]因此，这里省略详细的说明。[0218]根据本第2实施方式，能得到与上述的第1实施方式同样的效果。[0219]即，根据本第2实施方式，在存在固体摄像装置的个体单位中的偏差、或者一个个体中的像素间的偏差等的情况下，也能进行要组合的（要合成的）多个信号的平滑的切换，能削减不连续点，进而能削减噪声，从而能生成噪声少的高品质且高动态的图像信号。[0220]另外，由于能吸收个体偏差，因此能提升产品的成品率。[0221]应用例）[0222]在上述的实施方式中，作为多个读出信号的示例，说明了将两个高增益信号HCG和低增益信号LCG合成来扩大动态范围的情况，但本发明也可以应用在将三个或四个以上的特性不同的信号以倾斜度相等的方式进行合成的情况中。[0223]图9是用于说明将高增益信号HCG、中增益信号MCG、和低增益信号LCG这三个信号以倾斜度相等的方式进行合成的处理的图。[0224]图9的示例在合成对象中追加了高增益与低增益的中间的中增益信号MCG。[0225]在该情况下，在高增益信号HCG快要饱和之前的保持了直线性的非饱和区域ANSAT1，通过与前述的实施方式的合成处理同样的处理将中增益信号MCG和高增益信号HCG分阶段地平滑地合成。用于调整这时的倾斜度的增益比是HCGMCG。[0226]在非饱和区域ANSAT1中的合成处理中，中增益信号MCG被作为与前述的实施方式的合成处理的低增益信号同样的信号来对待。[0227]同样地，在中增益信号MCG快要饱和之前的保持了直线性的非饱和区域ANSAT2,通过与前述的实施方式的合成处理同样的处理将中增益信号MCG和低增益信号LCG分阶段地平滑地合成。用于调整这时的倾斜度的增益比是MCGLCG。[0228]在非饱和区域ANSAT2中的合成处理中，中增益信号MCG被作为与前述的实施方式的合成处理的高增益信号同样地信号来对待。[0229]在该情况下也能得到与上述的第1以及第2实施方式同样的效果。[0230]变形例）[0231]图10是表示分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术的一例的图。[0232]在上述的实施方式中，在像素PXL的结构本身设置两个系统的选择晶体管SEL-Tr以及源极跟随器晶体管SF-Tr，生成多个读出信号即两个高增益信号HCG和低增益信号LCG，说明了如此构成的情况的示例，但本发明并不限定于这样的结构。[0233]例如在像素PXL的结构本身仅设置一个系统的选择晶体管SEL-Tr以及源极跟随器晶体管SF-Tr，如图10所示那样，采用分割成短的曝光时间下与高照度侧对应的摄像和长的曝光时间下与低照度对应的摄像这样不同的两次以上的曝光时间的高动态范围化技术。[0234]在像素pixel的读出动作中，在定时控制器等的控制下，如图10所示那样进行快门扫描SSCN，之后进行读出扫描RSCN，图10的示例是，进行快门扫描SSCN，之后设置两个到进行读出扫描RSCN为止的曝光期间TintO、Tintl，使得在时间上具有差。[0235]在该情况下也能得到与上述的第1以及第2实施方式同样的效果。[0236]图11是用于说明以巾贞为单位提局动态犯围的不例的图。[0237]另外，在上述的实施方式中说明了以像素为单位提高动态范围的示例，但本发明还能如图11所示那样应用到以帧为单位提高动态范围的情况中。[0238]在该情况下也能得到与上述的第1以及第2实施方式同样的效果。[0239]以上说明的固体摄像装置10能作为摄像器件应用于数字摄像机、视频摄像机、便携终端或者监视用摄像机、医疗用内窥镜用摄像机等电子设备中。[0240]图12是表示搭载了应用本发明的实施方式所涉及的固体摄像装置的摄像机系统的电子设备的构成的一例的图。t〇241]本电子设备1〇〇如图12所示那样具有本实施方式所涉及的固体摄像装置10能应用的CMOS图像传感器110。[0242]进而，电子设备100具有将入射光引导到该CMOS图像传感器110的像素区域成像被摄体像的光学系统镜头等120。[0243]电子设备100具有对CMOS图像传感器110的输出信号进行处理的信号处理电路PRC130〇[0244]信号处理电路130对CMOS图像传感器110的输出信号实施给定的信号处理。[0245]由信号处理电路130处理过的图像信号作为动态图像在由液晶显示器等构成的监视器上映出，或者还能输出到打印机，另外还能直接记录于存储卡等记录介质等，能实现如这样的各种方式。[0246]如上述那样，通过作为CMOS图像传感器110而搭载前述的固体摄像装置10,能提供高性能、小型、低成本的摄像机系统。[〇247^并且，能实现在摄像机的设置要件中存在安装尺寸、能连接线缆根数、线缆长度、设置高度等制约的用途中使用的例如监视用摄像机、医疗用内窥镜用摄像机等电子设备。

权利要求：1.一种固体摄像装置，能将多个读出信号合成来扩大动态范围，所述固体摄像装置的特征在于，具有：信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部能动态地变更所述阈值。2.根据权利要求1所述的固体摄像装置，其中，作为所述阈值，所述信号处理部将预先设定的基准阈值、和通过对所述基准阈值和给定的步值进行比较运算而决定的新的阈值应用到所述合成处理中。3.根据权利要求1所述的固体摄像装置，其中，所述信号处理部包含对所述多个读出信号进行加权处理的加权处理部，且具有用于进行加权的进一步的新的阈值，所述加权处理部在被所述阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将该加权平均值作为该区域的合成信号输出。4.根据权利要求3所述的固体摄像装置，其中，所述固体摄像装置具有多个阈值，所述加权处理部包含对所述多个读出信号进行相加取平均的相加取平均处理功能，所述相加取平均处理功能使处于被所述阈值相夹的区域的信号电平的各个信号具有相加取平均后得到的值而成为一个输出。5.根据权利要求2所述的固体摄像装置，其中，所述信号处理部包含随机数产生部，能将多个阈值的平均值设置为与所述基准阈值相当的中心阈值，所述中心阈值将在初始的中心阈值上加上由所述随机数产生部产生的随机数而新算出的值作为第2中心阈值，以该第2中心阈值为基础来进行所述合成所需的信号的选择处理。6.根据权利要求1所述的固体摄像装置，其中，所述固体摄像装置包含能改写的存储部，所述基准阈值被写入所述存储部。7.根据权利要求1所述的固体摄像装置，其中，所述固体摄像装置具有多个所述信号处理部。8.根据权利要求1所述的固体摄像装置，其中，从包含光电变换元件的像素读出的所述多个读出信号包含至少一组低增益信号、和与该低增益信号相比以较少的入射光量饱和的高增益信号，所述信号处理部使所述低增益信号和所述局增益信号的倾斜度相等，并且在所述_增益信号快要饱和之前的保持了直线性的非饱和区域，通过所述合成处理将所述低增益信号和所述高增益信号合成。9.根据权利要求8所述的固体摄像装置，其中，所述信号处理部以所述低增益信号和所述高增益信号中的至少一方为基准来进行所述合成处理。10.根据权利要求8所述的固体摄像装置，其中，所述信号处理部，以所述高增益信号为基准进行所述合成处理，作为所述阈值，能将预先设定的基准阈值、和通过对所述基准阈值和给定的步值进行比较运算而决定的至少一个新的阈值应用在所述合成处理中，在所述非饱和区域的中心部位置设定所述基准阈值来作为中心阈值，从所述中心阈值的设定位置起，在应将合成信号与所述高增益信号结合的高增益信号最端部侧结合位置之间，设定包含该高增益信号最端部侧结合位置在内的至少两个高增益侧结合位置，并且设定从中心部位置向高增益信号最端部逐渐变大的、与所设定出的所述高增益侧结合位置对应的高增益侧步值，从所述中心阈值中减去所设定出的所述高增益侧步值来设定为对应的所述高增益侧结合位置的新的阈值，应用该新的阈值并根据所述高增益侧结合位置处的阈值与所述高增益信号的比较结果来进行所述合成处理。11.根据权利要求8所述的固体摄像装置，其中，所述信号处理部，以所述高增益信号为基准进行所述合成处理，作为所述阈值，能将预先设定的基准阈值、和通过对所述基准阈值和给定的步值进行比较运算而决定的至少一个新的阈值应用到所述合成处理中，在所述非饱和区域的中心部位置设定所述基准阈值来作为中心阈值，从所述中心阈值的设定位置起，在应将合成信号与所述低增益信号结合的低增益信号最端部侧结合位置之间，设定包含该低增益信号最端部侧结合位置在内的至少两个低增益侧结合位置，并且设定从中心部位置向低增益信号最端部逐渐变大的、与所设定出的所述低增益侧结合位置对应的低增益侧步值，在所述中心阈值上加上所设定出的所述低增益侧步值来设定为对应的所述低增益侧结合位置的新的阈值，应用该新的阈值并根据所述低增益侧结合位置处的阈值与所述高增益信号的比较结果来进行所述合成处理。12.根据权利要求8所述的固体摄像装置，其中，所述信号处理部，以所述高增益信号为基准来进行所述合成处理，作为所述阈值，能将预先设定的基准阈值、和通过对所述基准阈值和给定的步值进行比较运算而决定的至少一个新的阈值应用到所述合成处理中，在所述非饱和区域的中心部位置设定所述基准阈值来作为中心阈值，从所述中心阈值的设定位置起，在应将合成信号与所述高增益信号结合的高增益信号最端部侧结合位置之间，设定包含该高增益信号最端部侧结合位置在内的至少两个高增益侧结合位置，并且设定从中心部位置向高增益信号最端部逐渐变大的、与所设定出的所述高增益侧结合位置对应的高增益侧步值，从所述中心阈值的设定位置起，在应将合成信号与所述低增益信号结合的低增益信号最端部侧结合位置之间，设定包含该低增益信号最端部侧结合位置在内的至少两个低增益侧结合位置，并且设定从中心部位置向低增益信号最端部逐渐变大的、与所设定出的所述低增益侧结合位置对应的低增益侧步值，从所述中心阈值中减去所设定出的所述高增益侧步值来设定为对应的所述高增益侧结合位置的新的阈值，应用该新的阈值并根据所述高增益侧结合位置处的阈值与所述高增益信号的比较结果来进行所述合成处理，在所述中心阈值上加上所设定出的所述低增益侧步值来设定为对应的所述低增益侧结合位置的新的阈值，应用该新的阈值并根据所述低增益侧结合位置处的阈值与所述高增益信号的比较结果来进行所述合成处理。13.根据权利要求12所述的固体摄像装置，其中，所述信号处理部在被通过所述高增益侧结合位置或低增益侧结合位置的阈值与所述高增益信号的比较而选择出的所述阈值相夹的区域的信号电平中，按照分配给该区域的加权值来算出加权平均值，将该加权平均值作为该区域的合成信号输出。14.根据权利要求12所述的固体摄像装置，其中，所述信号处理部，在所述高增益信号最端部侧结合位置的阈值与所述高增益信号的比较的结果是阈值较大的情况下，将所述高增益信号作为合成信号来应用，在所述低增益信号最端部侧结合位置的阈值与所述高增益信号的比较的结果是阈值较小的情况下，将所述低增益信号作为合成信号来应用。15.—种固体摄像装置的驱动方法，是能将多个读出信号合成来扩大动态范围的固体摄像装置的驱动方法，所述固体摄像装置的驱动方法的特征在于，具有：比较步骤，在进行所述多个读出信号的合成时，对所述多个读出信号当中至少一个读出信号和阈值进行比较；选择步骤，根据比较结果选择至少一个合成所需的信号;和生成步骤，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，动态地变更所述阈值来进行所述比较步骤、所述选择步骤、以及所述生成步骤的处理。16.一种电子设备，具有：能将多个读出信号合成来扩大动态范围的固体摄像装置;和在所述固体摄像装置成像被摄体像的光学系统，所述固体摄像装置包含：信号处理部，其在进行所述多个读出信号的合成时，根据所述多个读出信号当中至少一个读出信号与阈值的比较结果来选择至少一个合成所需的信号，在合成处理中应用所选择出的信号来生成扩大了动态范围的合成信号，所述信号处理部能动态地变更所述阈值。

百度查询： 普里露尼库斯日本股份有限公司 固体摄像装置、固体摄像装置的驱动方法以及电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD