买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】用于撷取混合的结构光图像和正规图像的单一图像传感器_卡普索影像公司_201680059418.7 

申请/专利权人:卡普索影像公司

申请日:2016-09-22

公开(公告)日:2020-09-18

公开(公告)号:CN108139207B

主分类号:G01B11/25(20060101)

分类号:G01B11/25(20060101);G02B23/24(20060101);H04N5/355(20110101);H04N5/378(20110101);H04N9/04(20060101);H04N13/254(20180101);H04N13/271(20180101)

优先权:["20151016 US 14/884,788"]

专利状态码:有效-授权

法律状态:2020.09.18#授权;2018.07.03#实质审查的生效;2018.06.08#公开

摘要:公开一种使用集成图像传感器以撷取混合的结构光图像与正规图像的方法和设备,其中,该结构光图像使用短于该正规图像的帧期间加以撷取。为了实现该结构光图像的较短帧期间,该结构光图像可以对应于以降低的动态范围、降低的空间分辨率、或其组合所撷取的图像。该撷取过程包括施加复位信号至像素阵列以复位该像素阵列的行像素、从该像素阵列的该行像素读出模拟信号、以及使用一个或多个模拟‑数字转换器转换该像素阵列的该行像素的该模拟信号成为该图像的数字输出。

主权项:1.一种使用包括图像传感器的照相机以撷取场景的图像的方法,该方法包括:经由结构光源投射第一结构光至该图像传感器的视野中的场景;在第一帧期间,经由施加第一复位信号至该图像传感器以复位该图像传感器的行像素、曝露该图像传感器的该行像素至结构光以形成来自该行像素的第一模拟信号、以及使用一个或多个模拟-数字转换器转换来自该图像传感器的该行像素的该第一模拟信号成为第一数字输出以形成第一结构光图像,而由该图像传感器撷取形成在共图像平面上的该第一结构光图像;在第二帧期间,经由施加第二复位信号至该图像传感器以复位该图像传感器的该行像素、曝露该图像传感器的该行像素至非结构光以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为第二数字输出以形成正规图像,而由该图像传感器撷取形成在与该共图像平面相同的图像平面上的该正规图像;以及其中,该第一帧期间比该第二帧期间短,以及其中,该第一结构光图像在该正规图像之前或之后撷取以衍生出该正规图像的深度或形状信息。

全文数据:用于撷取混合的结构光图像和正规图像的单一图像传感器[0001]相关申请案对照参考[0002]本发明是关于2015年10月26日提出申请的美国专利申请案第14884,788号。特此将该美国专利申请案的全部内容引用含括于本文。技术领域[0003]本发明涉及一种能够撷取结构光图像和正规regular图像的单一图像传感器,其中,该结构光图像将用于衍生出对应的正规图像的深度或形状等相关信息。背景技术[0004]用于身体内体腔或通道的成像装置是本领域己知的,包括内视镜和自主式胶囊相机。内视镜是柔性或刚性的管状物,经由孔口或外科开口进入体内,典型地是经口进入食道或是经直肠到结肠。在前端使用透镜,经由透镜中继系统或是同调光纤束,传送到人体外的远程形成图像。概念上类似的仪器可在远程记录电子图像,例如使用CCD或CMOS阵列,并且将图像数据作为电子信号通过电缆传送到近端。内视镜允许医师控制视野(fieldofview,是被广泛接受的诊断工具。[0005]胶囊内视镜是在近年发展来替代体内内视镜的。胶囊内视镜是在一个吞服型的胶囊内容纳摄影机以及一个用于发送数据主要包括:数字相机记录图像到身体之外的基地台接收机或收发信机和数据记录器的无线电发射机。该胶囊还可以包括一个无线电接收机,用于从基地台发射器接收指令或其他数据。也可以使用较低频率的电磁信号,以代替射频传输。能源可以从外部电感感应地供给胶囊内部电感,或由胶囊内的电池供应。[0006]一个自主胶囊相机系统与机载数据存储,披露在US7,983,458,题为〃InVivoautonomouscamerawithon-boarddatastorageordigitalwirelesstransmissioninregulatoryapprovedband〃于2011年7月19日获准专利。胶囊相机的机载储存器将撷取的图像存储在机载的非易失性储存器中。胶囊相机从人体中退出取回。经胶囊相机输出端存取,存储在胶囊相机里非易失性储存器中的图像。[0007]虽然经内视镜撷取的二维图像已经有助于诊断,理想的是,能够撷取胃肠gastrointestinal;GI道的图像与深度信息(g卩,三维⑶图像),以提高诊断精度或舒解诊断过程。在三维成像的领域中,针对场景中的结构(texture信息,三维图像可以使用普通相机撷取,而针对视野的深度信息,三维图像可以使用分立的(separate深度摄影机例如,时差测距Timeofflight摄影机撷取。三维图像也可以使用多个摄影机,其中多个摄影机通常采用平面设置,以撷取不同视角的场景。然后,点对应地建立多个三维的三角视图。然而,因为空间是非常有限的,这些多摄影机系统可能不容易适于胃肠道环境。在过去的二十年中,结构光的技术已经发展到使用单个相机来衍生出场景中目标的深度或形状。在结构光系统,光源通常是用投射仪投射已知的几何图案到场景中的目标。一个正规相机可用于撷取图像不论其是否具有投射图案。以结构光撷取的图像可以被用于衍生出与场景中的目标关联的形状。深度或形状信息使用正规图像,这是以非结构化泛光灯光撷取,用于创建目标的三维结构模型。结构光的技术已是公知的领域。例如,在〃结构光三维表面成像教程〃(Geng,inAdvancesinOpticsandPhotonics,Vol_3,Issue2,pp.l28-160,March31,2011,对结构光技术使用各种结构光图案的描述和相应的性能进行了比较。在另一个例子中,不同的设计,标定和实施问题,描述于〃使用结构光的三维计算机视觉:设计,标定和实施问题"(DePieroetal.,AdvancesinComputers,Volume43,January1,1996,pages243-278。因此,结构光的技术细节,这里不再重复。[0008]尽管结构光的技术可能比其他技术更适合胃肠道的三维成像,但应用于胃肠道仍有其预期的问题。例如,大多数的结构光应用旨在用于固定物体。因此,在撷取的结构光图像和正规图像之间目标没有移动。然而,在对胃肠道成像的胶囊相机应用中,无论是胶囊相机和胃肠GI部分例如小肠和结肠是可以移动的。因此,当它们连续撷取该结构光图像和正规图像时,其间会有相对运动。此外,胶囊相机是应用于对功率非常敏感的环境。除了撷取正规图像外,使用结构光会消耗系统能源。此外,如果获取每个正规图像后再取结构光图像,有用的帧速率将下降一半。如果维持正规图像相同的帧速率,该系统将以两倍帧速率来撷取图像,和消耗两倍的功率在图像撷取。因此,理想的是开发用于在胃肠道中,可以克服这里提到了这些问题的结构光应用。发明内容[0009]揭露一种使用集成图像传感器以撷取混合的结构光图像与正规图像的方法及装置,其中,该结构光图像是使用短于该正规图像的帧期间加以撷取。为了实现该结构光图像的更短帧期间,该结构光图像可对应于以降低的动态范围、降低的空间分辨率、或其组合所擷取的图像。该撷取过程包括施加复位信号至像素阵列以复位该像素阵列里的行像素rowsofpixels、从该像素阵列的行像素读出模拟信号、以及使用一个或多个模拟-数字转换器analog-to-digitalconverterMDC转换该像素阵列的该行像素的该模拟信号成为该图像的数字输出。[0010]降低的动态范围可对应于模拟-数字转换器的降低的分辨率。降低的动态范围也可对应于斜坡基准电压的降低的斜坡期间,其中,该斜坡基准电压被该一个或多个模拟-数字转换器用来与输入模拟电压进行比较。当使用逐次逼近successivea卯roximationADC时,该降低的动态范围可对应于逐次逼近的降低的数量,用于改善供应给该逐次逼近ADC以与输入模拟电压进行比较的基准电压。该降低的动态范围也可以对应于该图像传感器的降低的积累时间(integrationtime,以积累电荷。在这种情况下,来自该图像传感器的该行像素的该第一模拟信号的模拟增益对于该结构光图像是增加的。[0011]该方法可以更包括在结构光图像帧期间的该积累时间投射具有第一强度的结构光、以及在该第一正规图像帧期间的积累时间投射具有第二强度的非结构光到该场景。可以使用具有至少两种不同的颜色或图案的多个光源来产生该结构光。在一个实施例中,与该多个光源之一者或该多个光源的组合相关的光频谱,实质上是不同于与环境光或由该非结构光照射的预期场景相关的第二频谱。该图像传感器可以对应于彩色图像传感器,至少包括用于排列成马赛克图案的第一颜色的第一像素和第二颜色的第二像素,并且该第一频谱集中在与该第一像素相关联的第一颜色。[0012]该非结构光可以使用窄带照明或荧光激发产生。该第一强度实质上高于该第二强度。在另一种1¼况下,该第一强度的期间可实质上短于人类视觉暂留时间[0013]在一个实施例中,用于该结构光图像的该图像传感器的该行像素之间的最小行复位时间resettime实质上短于用于该正规图像的该图像传感器的该行像素之间的最小行复位时间。[0014]该方法可以更包括产生第一控制信号以形成被触发以撷取该结构光图像的结构光的步骤。该结构光可在该结构光图像的积累期间施加。该结构光可在第一行积累结束前和最后一行积累开始后施加。该方法可以更包括产生第二控制信号,以形成被触发以撷取该第二正规图像的第二光的步骤。[0015]该方法可以更包括提供该结构光图像以衍生出该正规图像的深度或形状信息的步骤。施加该第一复位信号、读出第一模拟信号、以及转换第一模拟信号的步骤,只施加到像素阵列的选定行,以降低结构光图像期间。因此,与该正规图像相比,该结构光图像具有降低的垂直分辨率。上面提到的结构光图像期间等于包括用于撷取该结构光图像的该第一复位时间」该第一积累时间和该第一读出时间的总和。该像素阵列的选定行可对应于像素阵列每N行的其中一行,其中,N是大于1的整数。经由对每一个选择行施加次抽样,可以进一步减少结构光图像的期间。在一个实施例中,可重复撷取包含结构光图像和正规图像的串接tandem图像的过程,以获得结构光图像序列及正规图像序列,其中,该结构光图像序列被用于衍生出深度或形状信息,而正规图像序列是用于观看。[0016]在另一个实施例中,不论是否使用较低的动态范围,都可以降低结构光图像的空间分辨率。换句话说,该结构光图像也可以在正规的动态范围撷取,但具有较低的空间分辨率。^列如,图像传感器可以被设置为只输出被选择的行。替代地,图像传感器可以被设置为每行输出次抽样的像素。此外,图像传感器可经设置只输出被选择行的次抽样像素。在另一个实施例中,相比于正规图像,第一结构光图像能够在垂直方向、水平方向或两者的较小的图像区域被擷取。[0017]在一个实施例中,集成图像传感器是在一个密封的胶囊外壳里,为人体胃肠道取像,该方法更包括,产生第一控制信号,以在该密封的胶囊外壳内形成被触发以撷取结构光图像的第一光,并产生第二控制信号,以在该密封的胶囊外壳内形成被触发以撷取正规图像的第二光。[0018]在另一个实施例中,第一结构光图像可对应于多个结构光图像,经由产生序列控制信号而形成序列结构光并撷取该多个结构光图像。该结构光可来自相对于该场景中的目标的位于不同方向的不同光源、来自从相同投射机但具有不同图案、或是图案和位置两者的组合。[0019]相比于单一结构光图像,多个结构光图像可以衍生更多的三维点。因此,在本发明的一个实施例中,可以连续地撷取多个结构光图像。[002°]在另一个实施例中,该方法经由擷取有结构光图像在其间的第一正规图像和第二正规图像,而产生组合正规图像。接着组合该第一和第二正规图像,以产生该组合正规图像。该结构光图像的帧期间短于该第一正规图像的帧期间和该第二正规图像的帧期间的总和。该第一正规图像的第一积累时间可长于或短于该第二正规图像的第二积累时间,以使该第一正规图像在该组合正规图像中分别具有高于或低于该第二正规图像的加权weighting。例如,该第一积累时间可以是该第二积累时间的长度的三倍。该组合的图像具有对应于该第一正规图像的34和该第二正规图像的14的加权总和的效果。该第一正规图像和该第二正规图像也可以具有相同的积累时间,以在该组合正规图像形成相同的加权。[0021]在又一个实施例中,揭露一种针对单一传感器的双重曝光控制,以撷取结构光图像和正规图像。该系统经由施加第一曝光控制至图像传感器以调整用于一个或多个结构光图像结构光源、与该图像传感器相关的第一增益或第一积累时间、或其组合,而在来自结构光源的结构光下的该图像传感器的视野中,擷取该一个或多个结构光图像。该系统也经由施加第二曝光控制至该图像传感器,以调整用于一个或多个正规图像的结构光、与该图像传感器相关的第二增益或第二积累时间、或其组合,而在该图像传感器的视野里,撷取该一个或多个正规图像。该正规图像与该结构光图像是以交织的方式撷取。该第一曝光控制可以基于该第二曝光控制来确定、或该第二曝光控制可基于该第一曝光控制来确定。该第二曝光控制还可以包括调整用于该正规图像的非结构光源。附图说明[0022]图1标出示例性的8位的动态范围的模拟-数字转换器。[0023]图2A-2B示出作为用于模拟-数字转换器的基准信号的斜坡ramp电压波形,在此示出的波形是9位图2A和6位图2B的动态分辨率。[0024]图3示出根据本发明的一个实施例用于撷取串接的结构光图像与正规图像的像素阵列的示例性方块图。[0025]图4A示出用于撷取两个正规图像的示例性时序图。[0026]图4B示出根据本发明的一个实施例串接结构光图像和正规图像的一个例子。[0027]图5示出根据本发明的一个实施例对应于图4B的示例性时序,用来施加结构光以撷取结构光图像,其中,明确示出该结构光的持续时间,并为了明确说明而删除一些符号。[0028]图6示出根据本发明的一个实施例施加结构光用于撷取结构光图像和正规图像的另一视图。[0029]图7A示出用于根据本发明的一个实施例擷取两时段two-session图像的示例性时序图,其中,第一正规次图像sub-image在该第一时段被撷取,而由结构光图像和第二正规次图像组成的混合图像在第二时段被撷取,最终输出为此正规图像的组合,而第一时段的积累期间是大致与第二时段的积累期间相同。[0030]图7B示出类似于图7A的示例性时序图,其中,第一时段的积累期间大约是第二时段的积累期间的三倍。[0031]图S示出根据本发明的一个实施例用于撷取串接的结构光图像与正规图像,其中,该结构光图像具有比正规图像较低的动态范围的示例性流程图。[0032]图9示出根据本发明的另一个实施例用于撷取串接的结构光图像与正规图像,其中,该结构光图像具有比正规图像较低的动态范围的示例性流程图。具体实施方式[0033]将容易理解,本发明的部件,如通常所述和附图中示出本发明,可以配置和设计成各种不同的结构。因此,本系统和本发明的方法的实施例的以下更详细的说明,如在图中表示的,并非意在限制本发明的范围,如所请求的,但仅仅是代表性选择的本发明的实施例的。贯穿本说明书中对“一个实施例”,“一个实施例”或类似语言意味着一个特定特征,结构,或与该实施例描述的特征可以被包括在至少一个本发明的实施例。因此,“在一个实施例中”的短语的出现或“在实施例中”在各个地方整个说明书不一定都指同一实施例。[0034]此外,描述的特征,结构或特性可以以任何合适的方式在一个或多个实施例相结合。本领域的有关技术人员然而将认识到,本发明可以在没有一个的或多个具体细节的情况下实践,或利用其它方法,组件等。在其它实例中,公知的结构或操作未示出或详细描述,以避免模糊本发明的态样。本发明的说明的实施例将通过参考附图最好地理解,其中相同的部件由相同的数字始终指定。下面的描述旨在仅通过例子的方式,并简单地示出的装置和方法是与根据本文权利要求书所述发明一致的某些选定的实施例。[0035]内视镜通常通过自然开口插入人体,例如口或肛门。因此,内视镜最好是小尺寸以使侵入最小化。当用内视镜撷取胃肠道的及时图像或视频来取得或衍生出深度或形状信息时,关键的是要保持小尺寸的外形。此外,除小尺寸,并连同对应的图像或视频撷取深度信息的能力外,此相机还发现它在其它应用中需要紧凑的尺寸,例如一个可佩戴的装置。[0036]—种撷取深度信息的技术,是使用通带passband相当窄的彩色滤光器,其放置在选定的传感器像素的前端,同时采集的颜色信息和深度信息。具有在滤波器通带的光谱的环境光源投射在传感器的能量可忽略。使用RGB像素的情况下,可添加第四类型的像素,来撷取照射在这些像素的前端,经滤波器的通带的光谱的光。然后,将具有实质上在通带的光谱的结构光投射到场景。然而,使用该方法会令这样的图像传感器撷取的图像或视频的空间分辨率降低。[0037]另一种技术是通过投射于RGB传感器可见的结构光图案,来获得深度信息以及三维布局(topology。然而,及时图像及或视频会被迭加在其上的结构光混淆。本发明描述的方法,利用单个照相机使用结构光,来撷取图像或及时视频取得深度的信息。[0038]正如前面提到的,传统结构光配合单个相机的方式会有几个缺点。例如,可以使用帧速率每秒30帧的相机。一种传统的方法采取及时视频,其中交错图像对应于有和没有结构光的图像。一个问题是,深度信息是以130秒远离对应的要观看的图像。如果在场景中有任何运动,则深度信息可能不能准确地表示在130秒远离对应的图像的三维布局。此外,在这个例子,该要观看的视频的有效帧速率降至每秒15帧。[0039]在一些视频应用中,帧速率是对于预期应用是至关重要的。例如,撷取快速移动的视频目标,如行进中的子弹,需要一个高帧速率的摄影机,有每秒1〇〇或更高的帧速率。在这种情况下,使用结构光将削减帧速率到一半,并可能妨碍预期的应用。对于胶囊相机,胃肠GI道中的视频通常是每秒几帧,而相机可以以两倍于原始帧速率操作,以补偿由于撷取结构光图像所致的有效帧速率降低。然而,这将导致两倍功率消耗,这是胶囊中功率有限的环境所不希望的。[0040]每个帧速率有一个相应的帧期间。在帧期间,传感器将花费帧期间的子集subset,用于累积电荷以响应发射到传感器上的入射光。该积累时间必须足够小,使得图像实质上是静止,以避免任何运动令所撷取的图像模糊。[0041]图1标出的ADC模拟-数字转换器),是可用于图像传感器的一个例子。该ADC包括比较器(110比较输入的模拟信号(120与基准信号(130。来自连接到像素的模拟电路的模拟信号(120是耦合到比较器的一个端子以与斜坡电压进行比较。在一个实施例中,可以使用数字逻辑电路的时脉clock来产生斜坡电压,使得斜坡电压根据每个驱动时脉而逐步升高。图2A和2B示出分别对应于9位(S卩512级和6位(即64级斜坡电压的两个例子。用来产生斜坡电压的相同时脉也由计数器(140计数。当斜坡电压水平达到连接到像素的像素模拟读出电路的模拟信号(120时,比较器输出将切换例如,从高到低或低到高来指示该事件。同时,比较器输出信号将触发寄存器150以便锁存一计数器值,其计数指示斜坡电压值越过模拟信号(120的时脉的数目。来自像素的输出经常使用相关双抽样correlateddoublesampling;⑶S技术来测量两次,这是众所周知的,用来克服由于像素的制造误差导致的固定模式噪声。可以使用模拟电路(例如,相关双抽样)或数字电路来移除偏移offset复位信号。对于数字实施例,在积累期间之后,在复位之后的数字计数器读数可以从像素的数字计数器读数减去。[0042]有几个因素决定该像素能多快地积累电荷和信号能多快地被读出。另外,如图1的例子,来自连接到每个像素的模拟电路的模拟输出信号(120与基准信号(g卩,电压斜坡进行比较。取决于期望的数字像素分辨率如,9位对比6位),可产生相应的斜坡信号。读出速度将取决于计数器、比较器及其他相关电路的速度。对应于更高的数字分辨率(即,更高的动态范围)的斜坡信号,需要更长的时间来产生。实施6位的动态范围如图2B,会比实施9位的动态范围如图2A快8倍。[0043]执行ADC还有其它的变型,如逐次逼近ADCsuccessiveapproximationADC。就逐次逼近ADC而言,基准电压以粗略等级开始。取决于输入电压是否高于或低于基准电压,基准电压的改善refine是以先前电压区间的一半,来增加或减少先前的基准电压。改善的基准电压被用来作为当前的基准电压来逐次比较。达到所希望的分辨率时结束处理。在每一轮逐次逼近,一个位被用于指示该输入电压是比基准电压高或低。因此,ADC的分辨率与逐次逼近ADC的逐次逼近次数有关。在一般情况下,动态范围越高,读出会越长。不仅需要更多的比较,而且,因为斜坡电压或基准电压的精度要求变高,电压将需要更长的时间来稳定。该传感器阵列具有一个固定的大RC常数,这需要一定的时间来解决,以符合精度的基本要求。在高动态范围的情况下,承载基准电压即,斜坡基准信号)的导线需要更多的时间稳定,由于导线的电感,连同R电阻和C电容)。传感器阵列的导线长度通常在千微米咖的等级,这可能导致周围的电感约为几耐米亨利nH。不像电阻,电感不会按导体截面比例成反比缩小。图像视频能为场景中的目标提供一种详细的色调,高动态范围为此质量的一个重要因素。另一方面,结构光图案的图像,基于己知的模式,如网格的几何信息,主要用于衍生出深度形状信息。此衍生出的重要信息与网网格线的位置有关。因此,在动态范围的要求,实质上低于由人肉眼观看的正规图像。[0044]由于结构光图像需要的动态范围,比正规图像少得多,因此本发明采取不同动态围要求的优势’以缩短结构光图像的巾贞期间。图3标出一个集成图像传感器结合本发明实施例的简化系统方块图。集成图像传感器包括一个像素阵列31〇,该像素阵列反应于由该像素阵列所接收到的光能量以产生信号数据,该信号数据的电压水平取决于接收到的该光能量;输出电路32〇耦合到该像素阵列,以存取由像素阵列所产生的信号数据.一个或多个模拟-数字转换器ADC,330具有第一动态范围及第二动态范围;以及时序;控制电路340a和340b。像素阵列可以包括多个单色像素或彩色像素。像素阵列可以基于〇|[03技术或CCD技术。在时序控制电路的控制下,输出电路被耦合到像素阵列。例如,在时序控制电路的控制下,像素阵列输出可以逐行地被传输到输出电路。输出电路还可以包括放大器和CDS电路,其中,CDS电路是用来处理复位后各个像素的偏移。而时序控制电路(340a和340b被示为两个单独的区块,它们也可以被实施为一个统一的区块。[0045]该ADC电路是能够在第一动态范围和第二动态范围内操作的。第一动态范围比该第二动态范围小。例如,第一动态范围可以是6位,而第二动态范围可以是9位。单一ADC可以有不同的动态范围。由于是以串行代替平行来撷取结构光图像和正规图像,因此可以使用具有可调整动态范围的单一ADC。例如,可自动调整的ADC公开在US8,369,458,2013年2月5日授予Wong等人。时序控制电路可以包括行扫描电路和列扫描电路。时序控制电路还负责产生各种控制信号,如复位信号。在后面中,提供了关于设置该图像传感器,来撷取结构光图像和正规图像的优选实施例。[0046]图4A示出了时序用于正规图像传感器的例子,其中该行时序在水平方向逐帧示出,在垂直方向上从第一行顶部到最后一行底部)。在一个典型的图像传感器中,该图像像素逐行读出。每行的操作分为若干阶段,包括行复位、积累(integration和读出。通常是逐行交错操作,如图4A所示。然而,对于一个当前行的读出操作必须等待,直到前一个行的读出完成。对于正规图像传感器,相同的帧时间,同样的时序模式逐帧重复使用。所有图像有相同的期间时间。图4A标出用于典型图像传感器的一般时序图。时序图可以不按比例绘制。[0047]图4B示出根据本发明的一个实施例用于撷取混合结构光图像和正规图像的时序例子,其中,该结构光使用较小动态范围。结构光图像的巾贞持续时间frameduration比随后的正规图像的帧持续时间短得多,如图4B所示。图4B的时序图不按比例绘制,特别是结构光的部分。结构光的部分已经为了说明详情而放大。如图4B所示,与结构光图像相关联的时序信号以粗体-斜体显示。较小的动态范围是可以实现的,例如,减少与基准电压的比较,其通过具有较大级距st印的斜坡上升电压所产生,如图2A和2B所示。或者,基准电压可以在起始电压和结束电压之间的较小的斜坡范围产生。因为结构光图像的读出速度比正规图像更快,因此结构光图像可以被挤压在正规图像的复位时序的期间内。由于该结构光图像不需要像正规图像一样的高动态范围,因此结构光图像的复位不需要像正规图像那样的彻底。因此,结构光可用较短的复位时间。因此,在一个实施例中,结构光图像的图像传感器中的行像素之间的最小行复位时间,可以比正规图像的图像传感器中的行像素之间的最小行复位时间短得多。[0048]图5与图4B相同,除去一些符号,方便演示时序的设置。指示结构光的持续时间。结构光的持续时间实质上可以接近第一行积累阶段结束的时候。另一方面,结构光的持续时间必须在结构光图像的最后一行的积分阶段内。理想的结构光脉冲持续时间是从最后一行开始积累到第一行开始读出。为了加快撷取结构光图像,以及降低其它光源例如环境光)的能量影响,当场景进入照相机时,结构光的持续时间被设定的很短。如果积累需要比所期望更长的时间,则可以经由增加强度或持续时间来增加结构光脉冲能量。在一个优选的实施例中,与正规光源或环境光的光强度相比,结构光的强度实质上更强。然而,结构光可用于比人的视觉暂留时间实质上还要短的期间,由相对较弱的非结构光和信噪比很强的结构光来曝光场景的图像。非结构光可以对应于宽带、窄带或者荧光的光。结构光脉冲的能量可以由系统功率来限制,或由不会扰人、分散或是暴露于结构光场景的人眼睛不会受损的前提来限制。另一种能量的限制可能会是医疗成像应用时的组织光能量损伤门坎。可以增加传感器的模拟增益,使得从结构光照射而产生的像素亮度,远高于背景噪声和来自其它光源的亮度,而结构光的能量是在可接受的低水平。增加的增益会导致较大的噪声放大和缩小传感器的动态范围。[0049]当主要预期应用是用在胃肠道时,使用持续时间短的和高强度的结构光,也可以令非胃肠应用程序受益。例如,本发明也可以适用于传统摄影在自然场景撷取混合的正规图像和结构光图像,和从结构化图像中获得的深度或形状信息的场景三维图像。为了从结构光图像获得更多可靠的深度或形状信息,希望选择一种结构光源,其光谱与基本场景的环境光彩色频谱或一个多个非结构光非常不同。[0050]虽然有读出的方案可能在积累期间开始更高(S卩,最显著)的位,但具有较大的动态范围的读出将需要更长的时间来完成。这是因为更多的比较及需要较长的基准电压稳定时间。因此,降低结构光图像的动态范围,将能够减少行的处理时间。这也适用于在全局快门模式globalshuttermode下操作的图像传感器。因此,与提供给该ADC来与输入的模拟电压进行比较的基准电压有关的稳定时间,在第一结构光图像比正规图像来的短。由于需要的精度较小,因此复位信号并不需要被保持到像素及或相关电路复位到理想水平那么久。[0051]如图5所示,优选的结构光适用在特定的时间,以使持续时间短,但短的持续时间至少占所有行像素积累时间的一部分。从该帧信号和时脉可衍生出触发该结构光的控制信号。然而,结构光的控制信号也可能来自于集成传感器的其他模块。在另一实施例中,一个来自传感器的控制信号的固定或可编程的延迟,可被用来调整时序以适合系统优化设计。[0052]在一个实施例中,结构光使用多个光源生成,其中至少有两种不同的颜色或图案。通过使用多种颜色,可以选择颜色或颜色组合,以使所选择的颜色光谱,实质上不同于预期的场景中正规图像被照射的非结构光或环境光线的光谱。结构光相关的光谱与预期场景中正规图像相关的光谱实质上是不同的。图像传感器可以对应于彩色图像传感器,包括安排成镶肷图案的至少第一'和弟一像素,而结构光的相关的光谱,实质上集中在第一或第二色彩像素的光谱上。第一或第二像素的光谱实质上对应于该结构光频谱,通过读出选定的数字输出,结构光图像可以在降低空间分辨率的条件下被擷取。[0053]在胶囊的应用中,集成图像传感器是密封在胶囊外壳的里面,在人体的胃肠道取像。由于在胃肠道没有环境光,因此胶囊装置必需为正规图像提供结构光及一般照明。在这种情况下,上述结构光图像的结构光源和正规图像的照明光源可以被密封在外壳中。[0054]图6示出对应于图5时序图的另一视角。其中的结构化图像与正规图像的图像读数显著使用不同的填充图案(fill-pattern。结构光图像相关的时序信号示于图6,在此,s1i_复位对应于结构光图像的复位;s1i-积累期间对应于结构光图像的积累期间;以及sli-读出对应于结构光图像的读出。结构光的持续时间也示于图6,其中该结构光在sli一积累期间施加。撷取结构光图像的整个期间,可以发生在正规图像复位的复位期间内。如图6所示的例子,相比于正规图像的复位期间,结构光图像复位是非常短的。如图6时序图所示,示出用于撷取结构光与正规图像的串接图像的循环,其中用于正规图像的时序被修改。特别是,撷取正规图像的复位期间实质上降低,来容纳结构光图像的撷取。因此,结合本发明实施例的图6所示时序图,可以被认为是两个分开的图像或是结构光图像和修改时序的正规图像的组合。[0055]另外,在上述公开的实施例中,撷取结构光图像在时间上接近到正规图像,从而为相关正规图像提供更准确的深度形状信息。在另一个实施例中,公开一个两时段撷取的方法,其中,正规图像被分成两个次图像,其间撷取结构光图像。正规图像的正规积累时间在两个次图像之间被分割。两个正规次图像的数字输出被组合形成一个正规的图像输出。这种方法具有几个优点。首先,每个次图像是使用一个用于正规图像的ADC转换成数字输出。因此,每个次图像与单一时段方法中的正规图像,具有相同的动态范围。当组合两个次图像的数字输出时,最终的正规图像仍然保留全动态范围。假设一个像素的完全积累时间将获得的模拟信号被数字化为128,每个时段使用一半的积累时间,像素将获得一半的模拟信号量,从而将被数字化到64。半积累时间是重要的,因为积累时间是总期间的重要组件。因此,每个时段仅使用一半的积累时间,将导致总时间比其它的来得短。[0056]图7A示出根据本发明的实施例的例子一个两时段的方法。在第一时段,撷取使用正规时序的正规图像。在第二时段,撷取混合图像,其包括结构光图像和一个修改时序的正规图像。结构光图像在两个时段读出之间被撷取。第一时段的读出可被暂时存储在图像传感器内部或是外部的储存器或缓冲器中。当第二时段的读出完成后,从两个时段的两个读出值组合在一起。由于结构光图像在一个正规场景图像的两幅次图像之间撷取的,该结构光图像应该非常接近所撷取的正规场景图像时间。因此,结构光图像应密切地关联到正规场景图像。从两个时段相关的两个次图像的读出,组合成一个正规图像。在一个实施例中,一组交织的正规次图像和结构光图像被连续撷取。例如,奇数的图像是正规图像,而偶数图像是结构光图像。图像1和3是两个次图像,可以被组合成正规图像以对应于图像2,一个结构光图像。同样,图像3和5是两个次图像,可以被组合成正规图像以对应于图像4,一个结构光图像。图像5和7可以被组合成正规图像以对应于图像6,一个结构光图像。这个过程可以持续使用每一正规次图像,在一般都使用两次。在这种情况下,图像1、3、5、7...的加权系数,可以是50505050...,或者它可以是6040604060.。两个组合的加权原则是100%的目标targeted积累时间。[0057]如图7A所示,两个次图像的积累时间大致相同。然而,这两个积累时间也可以是不同的。例如,第一次图像的积累时间可以是第二次图像积累时间(本发明中也称为积累期间)的三倍,如图7B所示。在这种情况下,当从两个次图像的数字输出被组合时,组合图像具有的第一次图像(即34和第二次图像(14的加权效果。没有必要在不同的积累时间执行加权,因为加权将反映在各个积累期间中累积的电荷。较长积累期间导致更多的积累电荷,从而导致较高的模拟信号。因此,两个数字读数的总和表示两个次图像加权总和,其中加权因子对应于积累期间。[0058]在结构光图像的另一应用中,相比于一个或多个相关正规图像的单个结构光图像,多个结构光影像图像用来获得更多的三维点(3Dpoints。例如,在横贯人体的胃肠GI道时,可以连续地由胶囊相机撷取多个结构光图像。可以在多个结构光图像之间、之前或之后撷取正规图像。所撷取的结构光图像可以用于推衍出胃肠道的三维模型。此三维胃肠道模型用于检查相关的胃肠道正规图像是有用的。[0059]对于两时段正规图像与居间撷取结构光图像,为如上述用于降低结构光图像的帧期间。例如,该结构光图像可以被图像传感器,以相对于第一正规图像和第二正规图像降低的动态范围来擷取。结构光图像也可以在比第一正规图像和第二正规图像较低的空间分辨率被撷取。此外,相比于第一正规图像和第二正规图像,可以在垂直、水平或两个方向上的缩小图像区域来撷取结构光图像。[0060]在某些情况下,只对选择的图像区域的深度或形状信息有兴趣。在这些情况下,可以仅对所选择的图像区域撷取结构光图像。因此,提供一种替代方法,以减少结构光图像的帧期间。相比于正规图像,缩小图像区域可以对应于一个在垂直、水平或两个方向缩小的图像区域。该方法也可以与其他方法组合,如减少动态范围或降低空间分辨率,来降低结构光图像的帧期间。[0061]降低空间分辨率本身可以用作一种技术,以减少对结构光图像的帧期间。例如,保留所选行像素并跳过图像传感器其余的行像素,得以较低的垂直分辨率来擷取该结构光图像。[0062]对于内视镜应用,包括一个胶囊内视镜的应用,不存在环境光,上述内视镜的照明是唯一的光源。因此,每行的积累时间不需要相同,只要对每一行的曝光持续时间是相同的。对于内视镜的环境,结构光图像比正规图像有较低动态范围,也受益于结构光图像和正规图像之间时间接近度。因此,根据本发明,结构光图像应该承担与正规图像相关的更准确地深度或形状信息。[0063]对于能量敏感的应用,如胶囊内视镜和可穿戴的设备,其较小的动态范围也节省了能源,因为较少比较操作和更短的积累时间,它需要较少的结构光能量。另一方面,由于结构光图像的信噪比不是很重要,因此它的增益可以被设置为非常地高,以进一步节省能源。[0064]一种照相机系统通常包括曝光控制功能,以控制图像传感器的操作参数,以便撷取的图像其整体强度是在一定范围内,有正确的水平以利于观看。图像强度是从像素强度而得。详细的控制往往是受摄影系统设计者的偏好。例如,图像强度被图像的中心部分的像素强度的平均值来确定。在另一实例中,中心部分的像素强度的平均值被用作该图像强度。在另一实例中,以图像的多个区域来代替中央部分。如果强度被发现是太高,则该增益或积累时间可以减少。如果强度太低,那么增益或积累时间可以增加。此外,从一个图像到下一个的调整量,可以根据有多少的强度从该优选标准或范围偏离。[0065]—种照相机系统还可以提供照明,以增加环境光。从相机系统的照明也可以是唯一的照明源,如一个正规的内视镜或胶囊内视镜。对于用于管道检查或深海勘探的照相机,照相机的照明也唯一照明光源。在这样的系统中,曝光控制将控制增益、积累时间、照明强度、及或能量或是它们的组合。如果图像强度太强,则增益X积累时间X光能量的值将降低以用于随后的图像或图像。另一方面,如果图像强度太弱,则(增益X积累时间X光能量的值将增加以用于后续图像或图像。从一个图像到下一个的调整量,可能取决于有多少的强度从优选标准或范围偏离。[0066]本发明的一个实施例,提出使用单一图像传感器,撷取结构光图像和正规图像的双重曝光控制。根据本实施例,同一图像传感器有两个曝光控制回路,一个用于结构光图像和另一个用于正规图像。在该正规图像照明实质上依赖于由照相机系统控制光源的情况下例如,可忽略的或没有环境光),其曝光条件是非常类似于结构光与正规光,两者离现场的距离实际上相同。因此,可使用一个曝光的控制回路,而另一曝光控制则取决于第一曝光控制回路。例如,结构光的增益X积累时间X光能量可线性地依赖于正规光图像的增益X积累时间X光能量),反之亦然。在另一个实施例中,使用其他的依赖方式。例如,也可以使用y型依赖gamma-typedependence或强度分布依赖。[0067]在存在环境光的情况下,结构光需要足够强,以使结构光图像中的结构光图案更易辨别以便分析。在这种情况下,光的强度在上述分析是由环境光线和光或光线投射到场景,是由相机系统的曝光控制来控制的。在这种情况下,如果环境光线是足够的,则正规图像有可能不需要由摄影机控制光线投射。然而,结构光有另一限制,即投射结构光必须足够强,以显示其在结构光图像的图案及或颜色。如果结构光的光谱实质上集中在图像传感器的一个特定的颜色光谱,要考虑结构光图像特定颜色的强度及或总强度。在一个实施例中,如果结构光源能够产生多种颜色,那么要考虑在正规图像中的每个彩色分量的强度。选择结构光源颜色相应于正规图像中更弱的颜色,以使该结构颜色突出或具有统计学上比背景更高的信号比,以令分析更加简单。[0068]图8示出,根据本发明的实施例,用于撷取混合结构光图像和正规图像的示例性流程图。步骤810,在第一帧期间,使用图像传感器擷取第一结构光图像。步骤820,在第二巾贞期间,使用图像传感器撷取正规图像,其中,第一帧期间比第二帧期间短,且第一结构光图像是在正规图像之前或之后撷取的。[0069]图9示出,根据本发明的实施例,用于撷取串接的结构光图像和正规图像的示例性流程图,其中,该结构光图像具有比正规图像较低动态范围。步骤910,施加第一复位信号到像素阵列来复位像素阵列的行像素。步骤920,暴露图像传感器的行像素至结构光,以形成来自该行像素的第一模拟信号。步骤930,利用一个或多个模拟—数字转换器,转换来自图像传感器的行像素的第一模拟信号成为用于第一结构光图像的第一数字输出。步骤94〇,施加第二复位信号到该像素阵列,以复位该像素阵列的行像素。步骤95〇,暴露行像素至非结构光,以形成来自该行像素的第二模拟信号。步骤960,利用一个或多个模拟-数字转换器,转换来自行像素的第二模拟信号,成为用于正规图像的第二数字输出。在步骤96〇,第一结构光图像是在正规图像之前或之后擷取的,其中,第一动态范围比该第二动态范围来得小。[0070]本发明可以以其他特定形式体现而不背离其精神或本质特征。所描述的实施例在所有方面都仅是说明性的而f是限制性加以考虑。因此,本发明的范围是由所附的权利要求书而不是由前面的描述指不。所有改变的含义和权利要求书的等效的范围内的是在其范围之内。

权利要求:1.一种使用包括图像传感器的照相机以撷取场景的图像的方法,该方法包括:在第一帧期间使用该图像传感器撷取第一结构光图像,其中,所述撷取该第一结构光图像包括:施加第一复位信号至该图像传感器,以复位该图像传感器的行像素;曝露该图像传感器的该行像素至结构光,以形成来自该行像素的第一模拟信号;使用一个或多个模拟-数字转换器,转换来自该图像传感器的该行像素的该第一模拟信号成为用于该第一结构光图像的第一数字输出;在第二帧期间使用该图像传感器撷取正规影像图像,其中,该第一帧期间比该第二帧期间短,且所述撷取该正规图像包括:施加第二复位信号至该图像传感器,以复位该图像传感器的该行像素;曝露该图像传感器的该行像素至非结构光,以形成来自该行像素的第二模拟信号;以及使用该一个或多个模拟-数字转换器,转换来自该行像素的该第二模拟信号成为用于该正规图像的第二数字输出;以及其中,该第一结构光图像在该正规图像之前或之后撷取。2.根据权利要求1所述的方法,其中,相比于该正规图像,该第一结构光图像是以该图像传感器的降低的动态范围撷取。3.根据权利要求2所述的方法,其中,该降低的动态范对应于该一个或多个模拟-数字转换器的降低的分辨率。4.根据权利要求2所述的方法,其中,该降低的动态范围对应于用于产生斜坡基准电压的降低的斜坡期间,其中,该一个或多个模拟-数字转换器使用该斜坡基准电压与输入模拟电压进行比较。5.根据权利要求2所述的方法,其中,该一个或多个模拟-数字转换器对应于一个或多个逐次逼近模拟-数字转换器,而该降低的动态范围对应于用来改善基准电压的逐次逼近的减少的数量,该基准电压供应至该一个或多个逐次逼近模拟-数字转换器以与输入模拟电压进行比较。6.根据权利要求2所述的方法,其中,该降低的动态范围对应于该图像传感器用来积累电荷的降低的积累时间。7.根据权利要求6所述的方法,其中,来自该图像传感器的该行像素的该第一模拟信号的增益对于该第一结构光图像是增加的。8.根据权利要求1所述的方法,更包括在该第一帧期间的第一积累时间,投射具有第一强度的该结构光到该场景。9.根据权利要求8所述的方法,其中,该第一强度的期间实质上短于人类视觉暂留时间。10.根据权利要求8所述的方法,其中,该结构光使用具有至少两种不同颜色或图案的多个光源来产生。11.根据权利要求1〇所述的方法,更包括当使用两个不同的结构光源产生该结构光时,从该图像传感器产生不同的第一控制信号,以针对该两个不同的结构光源触发所述投射该结构光。12.根据权利要求8所述的方法,其中,与该结构光相关联的第一光谱实质上不同于与预期场景的第二正规图像相关联的第二光谱。13.根据权利要求12所述的方法,其中,该图像传感器对应于彩色图像传感器,该彩色图像传感器至少包括排列成马赛克图案的用于第一颜色的第一像素和用于第二颜色的第二像素,并且该第一光谱实质上集中在一种颜色。14.根据权利要求13所述的方法,其中,经由仅读出与实质上相应于该第一光谱的该种颜色的像素关联的选择的数字输出,以降低的空间分辨率撷取该第一结构光图像。15.根据权利要求8所述的方法,更包括在该第二帧期间的第二积累时间,投射具有第二强度的非结构光到该场景。16.根据权利要求15所述的方法,更包括从该图像传感器产生第一控制信号以触发所述投射该结构光,以及产生第二控制信号以触发所述投射该非结构光。17.根据权利要求15所述的方法,其中,该非结构光对应于宽带。18.根据权利要求15所述的方法,其中,使用窄带照明或荧光激发,产生该非结构光。19.根据权利要求15所述的方法,其中,该结构光的该第一强度实质上高于该非结构光的该第二强度。20.根据权利要求1所述的方法,其中,该第一结构光图像的第一积累时间实质上短于该正规图像的第二积累时间。21.根据权利要求1所述的方法,其中,用于该第一结构光图像的该图像传感器的该行像素之间的第一最小行复位时间实质上短于用于该正规图像的该图像传感器的该行像素之间的第二最小行复位时间。22.根据权利要求1所述的方法,其中,与提供给该一个或多个模拟-数字转换器来与输入的模拟电压进行比较的基准电压有关的稳定时间,用于该第一结构光图像比用于该正规图像来的短。23.根据权利要求1所述的方法,其中,该结构光在用于该第一结构光图像的该图像传感器的积累期间施加,并且该结构光与最后一行积累时间的开始实质上同时开始,并且与第一行读出期间的开始实质上同时结束。24.根据权利要求1所述的方法,更包括提供该第一结构光图像以衍生出该正规图像的深度或形状信息。25.根据权利要求1所述的方法,其中,相比于该正规图像,该第一结构光影像是以较低的空间分辨率撷取。26.根据权利要求25所述的方法,其中,经由只保留选择的行像素并跳过该图像传感器的其余行像素,以降低的垂直分辨率来撷取该第一结构光图像。27.根据权利要求1所述的方法,其中,相比于该正规图像,该第一结构光图像是以在垂直方向、水平方向或两者上的降低的图像区域来撷取。28.根据权利要求1所述的方法,其中,重复地产生及提供后续第一结构光图像和后续正规图像,以形成第一结构光图像序列及正规图像序列,其中,该第一结构光图像序列被用于衍生出用于观看的正规图像序列的深度或形状信息。29.根据权利要求1所述的方法,更包括:在第三帧期间撷取第二结构光图像,其中,该第三帧期间短于该第二帧期间,并且所述侧耿该果一珀恂尤囹傢包括:施加第弓复位信号至该图像传感器,以复位该图像传感器的该行像素;曝露该行像素至非结构光,以形成来自该行像素的第三模拟信号;、、使用该一个或多个模拟-数字转换器,转换来自该行像素的该第三模拟信号成为用于该第二结构光图像的第三数字输出;以及其中,该正规图像在该第一结构光图像和该第二结构光图像之间、之前或之后撷取。30.根据权利要求1所述的方法,其中,重复所述撷取该第一结构光图像,以产生多个第一结构光图像。31.—种使用包括图像传感器的照相机以撷取场景的图像的方法,该方法包括:在第一帧期间使用该图像传感器撷取结构光图像,其中,所述撷取该结构光图像包括:施加第一复位信号至该像传感器,以复位该图像传感器的行像素;曝露该图像传感器的该行像素至结构光,以形成来自该行像素的第一模拟信号;使用一个或多个模拟-数字转换器,转换来自该图像传感器的该行像素的该第一模拟信号成为用于该结构光图像的第一数字输出;在第二帧期间使用该图像传感器擷取一组第一正规图像,其中,撷取一个第一正规图像包括:施加第〒复位信号至该图像传感器,以复位该图像传感器的该行像素;曝露该行像素至非结构光,以形成来自该行像素的第二模拟信号;以及使用该一个或多个模拟-数字转换器,转换来自该图像传感器的该行像素的第二模拟信号成为用于一个第一正规图像的第二数字输出;以及在第三帧期间撷取一组第二正规图像,其中,撷取一个第二正规图像包括:施加第三复位信号至该图像传感器,以复位该图像传感器的该行像素;曝露该行像素至该非结构光,以形成来自该行像素的第三模拟信号;以及使用该一个或多个模拟-数字转换器,转换来自该图像传感器的该行像素的第三模拟信号成为用于一个第二正规图像的第三数字输出;以及组合该组第一正规图像和该组第二正规图像,以形成组合正规图像;以及其中,该结构光图像是在该组第一正规图像和该组第二正规图像之间撷取,并且该第一帧期间短于该第二帧期间与第三帧期间的总和。32.根据权利要求31所述的方法,其中,该组第一正规图像组由M个第一正规图像组成,而该组第二正规图像组由N个第二正规图像组成,并且其中,m和N为正整数。33.根据权利要求32所述的方法,其中,M和N等于1,并且该第一正规图像的第一积累时间长于或短于该第二正规图像的第二积累时间,以使该第一正规图像在该组合正规图像中的加权分别高于或低于该第二正规图像。34.根据权利要求32所述的方法,其中,M和N等于1,并且该第一正规图像的第一积累时间近似于该第二正规图像的第二积累时间,以使该第一正规图像与该第二正规图像在该组合正规图像中具有相同的加权。35.根据权利要求32所述的方法,其中,该组第一正规图像和该组第二正规图像的组合是使用该组第一正规图像和该组第二正规图像的加权总和,以形成该组合正规图像,并且其中,该组第一正规图像和该组第二正规图像的总加权等于100%。36.根据权利要求32所述的方法,其中,M和N等于1,具有图像索引i的该第一正规图像与具有图像索引(i+2的该第二正规图像被组合成一个组合正规图像,用于具有图像索引i+1的该结构光图像,并且,以及具有图像索引(i+2的该第一正规图像与具有图像索引i+4的该第二正规图像被组合成一个组合正规图像,用于具有图像索引(i+3的该结构光图像,其中,i是正整数。37.根据权利要求31所述的方法,更包括暂时存储该组第一正规图像或该组第二正规图像在整合于该照相机内的缓冲器中,以形成该组合正规图像。38.根据权利要求31所述的方法,其中,相比于该第一正规图像和该第二正规图像,该结构光图像是以该图像传感器的降低的动态范围撷取。39.根据权利要求31所述的方法,其中,相比于该第一正规图像和该第二正规图像,该结构光图像是以较低的空间分辨率撷取。40.根据权利要求31所述的方法,其中,相比于该第一正规图像和该第二正规图像,该结构光图像是以在垂直方向、水平方向或两者的降低的图像区域撷取。41.一种集成图像传感器,包括:像素阵列,反应于由该像素阵列所接收到的光能量,以产生像素信号,该像素信号的电压水平取决于接收到的该光能量;一个或多个输出电路,耦合到该像素阵列,以存取由该像素阵列产生的该像素信号;一个或多个模拟-数字转换器,具有第一动态范围和第二动态范围;一个或多个时序和控制电路,配置为:在第一帧期间,经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至结构光以形成来自该行像素的第一模拟信号、以及使用一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出,而撷取该结构光图像;以及在比该第一帧期间还长的第二帧期间,经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至非结构光以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于正规图像的第二数字输出,而撷取该正规图像。42.根据权利要求41所述的集成图像传感器,其中,该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器,以提供该第一动态范围和该第二动态范围两者。43.根据权利要求41所述的集成图像传感器,其中,该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器,以提供该第一动态范围和该第二动态范围两者。44.根据权利要求41所述的集成图像传感器,其中,该一个或多个时序和控制电路更配置为相比于该正规图像,该结构光图像是以较低的空间分辨率撷取。45.—种胶囊相机系统,包括:像素阵列,反应于由该像素阵列所接收到的光能量,以产生像素信号,该像素信号的电压水平取决于接收到的该光能量;结构光源;非结构光源;一个或多个fsy出电路,耦合到该像素阵列,以存取由该像素阵列所产生的该像素信号;一个或多个模拟-数字转换器,具有第一动态范围及第二动态范围;一个或多个时序和控制电路,其中,该一个或多个时序和控制电路被配置为:在第一帧期间,经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出,而擷取该结构光图像;以及在比该第贞期间还长的^二帧期间,经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于正规图像的第二数字输出,而撷取该正规图像。46.根据权利要求45所述的胶囊相机系统,更包括适于吞服的胶囊外壳,其中,该像素阵列、该结构光源、该非结构光源、该一个或多个输出电路、以及该一个或多个时序和控制电路均被封装及密封在该胶囊外壳里。47.根据权利要求4f5所述的胶囊相机系统,其中,该一个或多个模拟-数字转换器对应于可配置的模拟-数字转换器,以提供该第一动态范围和该第二动态范围两者。48.根据权利要求45所述的胶囊相机系统,其中,该一个或多个模拟-数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器,以提供该第一动态范围和该第二动态范围两者。49.根据权利要求45所述的胶囊相机系统,其中,相比于该正规图像,该结构光图像是以较低的空间分辨率撷取。50.—种相机系统,包括:像素阵列,反应于由该像素阵列所接收到的光能量,以产生像素信号,该像素信号的电压水平取决于接收到的该光能量;结构光源;非结构光源;一个或多个输出电路,耦合到该像素阵列,以存取由该像素阵列所产生的像素信号;一个或多个模拟-数字转换器,具有第一动态范围及第二动态范围;一个或多个时序和控制电路,其中,该一个或多个时序和控制电路被配置为:、在第一帧期间,经由施加第一复位信号到该像素阵列以复位该阵列像素的行像素、暴像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟^号、1以及使用该一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出,而撷取该结构光图像;=_在5一帧期间,经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于第一正规图像的第二数字输出,而撷取该第一正规图像;以及曰@在^二帧期间,经由施加第三复位信号至该像素阵列以复位该阵列像素的该行像素、暴路该行像素至来自该非结构光源的该第二照射以形成来自该行像素的第三模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第三模拟信号成为用于第二正规图像的第三数字输出,而撷取该第二正规图像;组合该第二数字输出和该第三数字输出,以形成组合正规图像;以及其中,该结构光图像是在该第一正规图像和该第二正规图像之间撷取,并且该第一帧期间短于该第二帧期间及该第三帧期间的总和。51.根据权利要求50所述的相机系统,其中,相比于该第一正规图像和该第二正规图像,该结构光图像以较低的空间分辨率撷取。52.根据权利要求50所述的相机系统,其中,该一个或多个模拟—数字转换器对应于可配置的模拟-数字转换器,以提供该第一动态范围和第二动态范围两者。53.根据权利要求50所述的相机系统,其中,该一个或多个模拟_数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器,以提供该第一动态范围和第二动态范围两者。54.—种用于体内观察的胶囊内视镜,包括:适于被吞服的胶囊外壳;像素阵列,反应于由该像素阵列所接收到的光能量,以产生像素信号,该像素信号的电压水平取决于接收到的该光能量;结构光源;非结构光源;一个或多个输出电路,耦合到该像素阵列,以存取由该像素阵列所产生的该像素信号;一个或多个模拟-数字转换器,具有第一动态范围及第二动态范围;一个或多个时序和控制电路,其中,该一个或多个时序和控制电路被配置为:在第一帧期间,经由施加第一复位信号至该像素阵列以复位该阵列像素的行像素、暴露该像素阵列的该行像素至来自该结构光源的第一照射以形成来自该行像素的第一模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该像素阵列的该行像素的该第一模拟信号成为用于结构光图像的第一数字输出,而擷取该结构光图像;在第二帧期间,经由施加第二复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至环境光或来自该非结构光源的第二照射以形成来自该行像素的第二模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第二模拟信号成为用于第一正规图像的第二数字输出,而撷取该第一正规图像;以及在第二帧期间,经由施加第三复位信号至该像素阵列以复位该阵列像素的该行像素、暴露该行像素至该环境光或来自该非结构光源的该第二照射以形成来自该行像素的第三模拟信号、以及使用该一个或多个模拟-数字转换器转换来自该行像素的该第三模拟信号成为用于第二正规图像的第三数字输出,而撷取该第二正规图像;以及组合该第二数字输出和该第三数字输出,以形成组合正规图像;以及其中,该结构光图像在该第一正规图像和该第二正规图像之间撷取,并且该第一帧期间短于该第二帧期间及该第三帧期间的总和;以及其中,该像素阵列、该结构光源、该非结构光源、该一个或多个输出电路、以及该一个或多个时序和控制电路均被封装及密封在该胶囊外壳里。~55.根据权利要求54所述的胶囊内视镜,其中,相比于该第一正规图像和该第二正规图像,该结构光图像以较低的空间分辨率撷取。56.根据权利要求54所述的胶囊内视镜,其中,该一个或多个模拟—数字转换器对应于可配置的模拟-数字转换器,以提供该第一动态范围和第二动态范围两者。57.根据权利要求54所述的胶囊内视镜,其中,该一个或多个模拟_数字转换器对应于具有两种不同分辨率的两个模拟-数字转换器,以提供该第一动态麵和第二动态范围两者。58.—种使用单一图像传感器撷取图像序列的方法,该方法包括:经由施加第一曝光控制以调整用于一个或多个结构光图像的结构光源、与该图像传感器相关的第一增益或第一积累时间、或其组合,而在来自结构光源的结构光下,使用该图像传感器撷取该一个或多个结构光图像;以及经由施加第二曝光控制至该图像传感器以调整用于一个或多个正规图像的与该图像传感器相关的第二增益或第二积累时间、或其组合,而使用该图像传感器擷取该一个或多个正规图像,其中,以交织的方式擷取该一个或多个正规图像与该一个或多个结构光图像。59.根据权利要求58所述的方法,其中,该第一曝光控制是基于该第二曝光控制来确定,或该第二曝光控制是基于该第一曝光控制来确定。60.根据权利要求58所述的方法,其中,该第二曝光控制更包括调整用于该一个或多个正规图像的非结构光源。

百度查询: 卡普索影像公司 用于撷取混合的结构光图像和正规图像的单一图像传感器

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。