买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】热影像处理系统及方法_纬创资通股份有限公司_201711393663.4 

申请/专利权人:纬创资通股份有限公司

申请日:2017-12-21

公开(公告)日:2020-11-24

公开(公告)号:CN109916517B

主分类号:G01J5/00(20060101)

分类号:G01J5/00(20060101)

优先权:["20171212 TW 106143451"]

专利状态码:有效-授权

法律状态:2020.11.24#授权;2019.07.16#实质审查的生效;2019.06.21#公开

摘要:一种热影像处理系统及方法,包含撷取待测主体的视觉影像及热影像;融合视觉影像及热影像以产生融合影像,并决定融合影像当中待测主体的面积,据以得到待测主体的主体温度。

主权项:1.一种热影像处理系统,包含:一影像撷取装置,用以撷取至少一待测主体的视觉影像及热影像;及一处理器,融合该视觉影像及该热影像以产生一融合影像,并决定该融合影像当中该待测主体的面积,据以得到该待测主体的主体温度,其中该处理器包含:一影像处理器,用以决定该融合影像的一个热像素当中的主体面积与背景面积,其中该主体面积相应于该待测主体的区域且该背景面积相应于该待测主体以外的区域;及一运算单元,根据该主体面积、该背景面积及背景温度,以补偿该热像素相应的热像素温度,因而得到该主体温度。

全文数据:热影像处理系统及方法技术领域本发明是有关一种影像处理,特别涉及一种热影像处理系统及方法。背景技术相机是智能手机的基本备配之一,然而一般的相机只能感测可见光的波长范围,例如400~700纳米。为了增加感测的范围,将红外线感测器配置于智能手机内,因而可以感测到红外线的波长范围,例如700纳米至1000微米,使得智能手机的应用领域更为扩展。一般来说,物体的温度愈高,则会发射愈多的红外线。使用配置有红外线相机的智能手机时,检测到的温度会随着检测距离增加而降低,因而与被检测物的实际温度之间的温度误差愈大。图1例示检测温度与检测距离的关系曲线。目前智能手机内设置的红外线相机,其红外线感测器的像素数目通常很小例如数千个像素,远低于一般可见光相机的像素数目例如百万个或甚至千万个像素。由于红外线相机的分辨率极低,当检测距离较远时,单一像素的温度检测范围除了涵盖被检测物,也可能同时涵盖到背景。因此,该像素会将被检测物温度与背景温度予以平均,因而更降低了检测温度,以及增加温度误差。图2A例示使用3x3个像素的红外线感测器以检测较近主体的示意图,图2B例示使用相同的3x3个像素的红外线感测器以检测较远主体的示意图。如图所示,当检测主体较近时图2A,红外线感测器的像素仅涵盖被检测主体。然而,当检测主体较远时图2B,许多红外线感测器的像素也同时涵盖了背景,因而造成检测温度的降低,以及温度误差的增加。因此,亟需提出一种新颖的红外线相机,用以改善传统智能手机的红外线相机的诸多缺点。发明内容鉴于上述,本发明实施例的目的之一在于提出一种热影像处理系统及方法,不需增加红外线感测器的像素数目而能有效改善热影像的量测误差,以提升热影像的准确度。根据本发明实施例,热影像处理系统包含影像撷取装置及处理器。影像撷取装置撷取待测主体的视觉影像及热影像。处理器融合视觉影像及热影像以产生融合影像,并决定融合影像当中待测主体的面积,据以得到待测主体的主体温度。附图说明图1例示检测温度与检测距离的关系曲线。图2A例示使用3x3个像素的红外线感测器以检测较近主体的示意图。图2B例示使用相同的3x3个像素的红外线感测器以检测较远主体的示意图。图3显示本发明实施例的热影像处理系统的方块图。图4显示本发明实施例的热影像处理方法的流程图。图5A例示一张高分辨率的视觉影像。图5B例示一张低分辨率的热影像。图6A显示热影像与视觉影像融合的概念示意图。图6B显示热影像与视觉影像融合的例子。图6C显示热影像与视觉影像融合的例子。图7A例示一张含有二个待测主体的视觉影像。图7B例示相应于图7A的一张热影像。图8例示一张含有二个待测主体的视觉影像与热影像融合的例子。附图标记说明:100热影像处理系统10处理器11影像撷取装置111视觉影像感测器112热影像感测器12影像处理器121轮廓决定单元122面积决定单元13运算单元131背景温度估测单元132温度补偿单元200热影像处理方法21撷取视觉影像及热影像22决定待测主体的轮廓23将热影像融合于视觉影像24决定主体面积与背景面积25得到背景温度26补偿以得到主体温度71主体72主体81主体82主体A1热像素A2热像素A3热像素B2热像素B1背景面积B3背景面积O1主体面积O3主体面积OA1主体面积OB1主体面积G1背景面积T热像素温度TB1背景温度TB3背景温度TO1主体温度TO3主体温度TG1背景温度TOA1主体温度TOB1主体温度具体实施方式图3显示本发明实施例的热影像处理系统100的方块图,图4显示本发明实施例的热影像处理方法200的流程图。图3所示的各个方块可使用硬件、软件或其组合来实施。本实施例可适用于移动装置例如智能移动电话,可有效改善热影像的量测误差,以提升热影像的准确度。在本实施例中,热影像处理系统100包含影像撷取装置imagecapturedevice11,其可包含视觉影像感测器visualimagesensor111及热影像感测器thermalimagesensor112,用以分别撷取至少一待测主体的视觉影像及热影像步骤21。在一实施例中,视觉影像感测器111与热影像感测器112可分别为单独的装置。在另一实施例中,视觉影像感测器111与热影像感测器112可整合在一起,例如将热影像感测器112的像素内嵌于视觉影像感测器111的像素当中。在本实施例中,视觉影像的分辨率远大于热影像的分辨率。例如,视觉影像感测器111例如彩色相机包含五百万=2560x1920个视觉像素,而热影像感测器112例如红外线相机包含2400=60x40个热像素。图5A例示一张高分辨率的视觉影像,而图5B例示一张低分辨率的热影像,两者具有相同的待测主体例如人。在本说明书中,“高”分辨率与“低”分辨率是用以指称视觉影像与热影像两者相对的分辨率。在本实施例中,热影像处理系统100包含处理器10,其接收并处理视觉影像及热影像。本实施例的处理器10包含影像处理器imageprocessor12及运算单元operationunit13,其中影像处理器12可包含轮廓决定单元121,用以决定视觉影像当中待测主体的轮廓步骤22,因而得到视觉影像当中待测主体相应的的主体轮廓。影像处理器12还可包含面积决定单元122,首先于步骤23,使用影像融合imagefusion技术将热影像融合于含有主体轮廓的视觉影像,因而产生融合影像。所产生的融合影像不但包含有视觉影像信息,同时还包含有相应的温度信息。由于视觉影像的分辨率远大于热影像的分辨率,因此于融合影像当中,每一个热像素会相应于多个视觉像素。图6A显示热影像与视觉影像融合的概念示意图。图6B显示热影像与含有主体轮廓的视觉影像融合的例子,其中A1与A2例示热影像的其中二个热像素。如图6B所示的例子中,热影像的热像素A1融合于视觉影像当中相应的54x41个视觉像素。一般来说,于进行热影像与视觉影像的融合时,首先找出热影像与视觉影像的共同参考点,再依热影像与视觉影像的个别拍摄视角决定两者的缩放比。因此,使得热影像与视觉影像互相融合。于本发明的相关技术领域中,“像素pixel”一词可用以指称视觉热影像感测器当中的一个感测单位,也可用以指称视觉热影像当中的一个影像点。在本实施例中,影像感测器的一个像素可对应至影像当中的一个像素。接着,于步骤24,面积决定单元122根据融合影像及主体轮廓,以决定其中一热像素当中待测主体相应的主体面积与非待测主体相应的背景面积,例如图6B所例示的主体面积O1与背景面积B1。在本实施例中,由主体轮廓定义出主体区域,其区域内的视觉像素的数目计为主体面积。主体区域外的区域定义为背景区域,其区域内的视觉像素的数目计为背景面积。在本实施例中,运算单元13可包含背景温度估测单元131,用以得到背景温度步骤25。在一例子中,使用热影像感测器112撷取一张不含待测主体的热影像,以其中一个热像素相应的温度或多个热像素的相应温度的平均值作为背景温度。在本说明书中,热像素的相应温度是指该热像素所量测或检测得到的温度。在另一例子中,使用前述含有待侧主体的热影像,以其中一个未涵盖有主体的热像素例如图6B当中的热像素A2的相应温度作为背景温度TB1。值得注意的是,运算单元13不一定包含有背景温度估测单元131。背景温度也可由热影像处理系统100或热影像处理方法200以外的装置或方法来提供。本实施例的运算单元13还可包含温度补偿单元132,其根据面积决定单元122所产生的主体面积O1、背景面积B1以及背景温度TB1,以补偿热像素例如热像素A1的相应温度T,因而得到相应于主体的主体温度TO1步骤26。根据热影像感测器112的特性,热像素的相应温度是与像素面积成正比。更明确来说,主体温度-T-O1与背景温度TB1会根据个别所占面积的比例而对热像素的相应温度T作出贡献。亦即,以主体温度-T-O1与背景温度TB1个别所占面积的比例作为加权值,所得到的加权和weightedsum等于热像素的相应温度T,可表示如式1或式2:T=B1*TB1+O1*TO1B1+O11TO1=T*B1+O1–B1*TB1O12一般来说,热像素A的主体温度TO可表示如式3:TO=T*B+O–B*TBO3其中T代表热像素的相应温度,B代表背景面积,O代表主体面积,TB代表背景温度。举例而言,如果热像素A1图6B的相应温度T为40度。经融合后,每个热像素对应于2214个视觉像素,其中热像素A1的主体面积O1含有886个视觉像素,背景面积B1含有1328个视觉像素。假设估算得到背景温度TB1为25度,则根据上述式2可得到主体温度TO1为:TO1=40*1328+886–1328*25886=62.483再举另一个例子,如图6C所示,如果热像素A3的相应温度T为30度。经融合后,每个热像素对应于2214个视觉像素,其中热像素A3的主体面积O3含有295个视觉像素,背景面积B3含有1919个视觉像素。假设估算得到背景温度TB3为25度,则根据上述式2可得到主体温度TO3为:TO3=30*1919+295–1919*25295=62.525本实施例将原本所测得的热像素A1的相应温度T例如40度经补偿而得到真正代表主体的主体温度TO1亦即62.483度,其修正比例大于56%=62.483-4040。因此可以得知,本实施例可有效改善热影像的量测误差,以提升热影像的准确度。上述方法可应用以补偿每一个热像素的相应温度,特别是部分涵盖有主体的热像素。上述实施例可适用于当视觉影像当中含有多个待测主体的情形。图7A例示一张含有二个待测主体的视觉影像,左侧的主体71距离影像撷取装置11较近,而右侧的主体72距离影像撷取装置11较远。图7B例示相应于图7A的一张热影像,仅显示涵盖有主体7172的热像素的相应温度。由于左侧主体71距离影像撷取装置11较近,因此被较多个例如十个热像素所涵盖。反之,右侧主体72距离影像撷取装置11较远,因此被较少个例如二个热像素所涵盖。此外,右侧主体72的热像素涵盖有背景,因此造成热像素温度的降低。经使用上述实施例的影像处理及式3,可以分别补偿得到主体71与主体72的主体温度。再者,如果主体71与主体72的实际温度相同的话,经上述实施例的影像处理后,可以得到相同的主体温度,不会因为主体距离影像撷取装置11的远近而有影响。上述实施例可适用于当视觉影像当中含有多个待测主体且实际温度不同的情形。图8例示一张含有二个待测主体的视觉影像与热影像融合的例子。左侧的主体81距离影像撷取装置11较远,而右侧的主体82距离影像撷取装置11较近,且二个主体的实际温度不同。在此例子中,左侧主体81的实际温度例如62度大于右侧主体82的实际温度例如50度。经使用上述实施例的影像处理及式3,可以分别补偿得到主体81与主体82的主体温度。举例而言,于热像素A1当中,左侧主体81的主体面积OA1含有898个视觉像素,右侧主体82的主体面积OB1含有442个视觉像素,背景面积G1含有874个视觉像素。若考量温度分布具有连续性且为降低检测误差,因此将二个主体面积OA1、OB1当中较小的一个在此例子中为O-B1,将该主体温度TOB1设为仅涵盖相同主体的相邻热像素例如B2的主体温度TB2。因此,上述式1可推演得到以下式4:T=G1*TG1+OA1*TOA1+OB1*TOB1OA1+OB1+G14将上述数值带入式4,可得到以下等式,据以得到左侧主体81的主体温度TOA1为62度:45=874*25+898*T-OA1+442*50898+874+442以上所述仅为本发明的较佳实施例而已,并非用以限定本发明的权利要求;凡其它未脱离发明所公开的精神下所完成的等效改变或修饰,均应包含在所附的权利要求内。

权利要求:1.一种热影像处理系统,包含:一影像撷取装置,用以撷取至少一待测主体的视觉影像及热影像;及一处理器,融合该视觉影像及该热影像以产生一融合影像,并决定该融合影像当中该待测主体的面积,据以得到该待测主体的主体温度。2.根据权利要求1所述的热影像处理系统,其中该影像撷取装置包含一视觉影像感测器及一热影像感测器,用以分别撷取该视觉影像及该热影像。3.根据权利要求1所述的热影像处理系统,其中该处理器包含:一影像处理器,用以决定该融合影像的一个热像素当中的主体面积与背景面积,其中该主体面积相应于该待测主体的区域且该背景面积相应于该待测主体以外的区域;及一运算单元,根据该主体面积、该背景面积及背景温度,以补偿该热像素相应的热像素温度,因而得到该主体温度。4.根据权利要求3所述的热影像处理系统,其中该影像处理器包含:一轮廓决定单元,用以得到该视觉影像当中相应于该待测主体的主体轮廓;及一面积决定单元,其融合该热影像与该视觉影像,并根据该主体轮廓以决定热像素当中的该主体面积与该背景面积。5.根据权利要求3所述的热影像处理系统,其中该运算单元包含:一背景温度估测单元,用以得到该背景温度;及一温度补偿单元,根据该主体面积、该背景面积及该背景温度,以得到该主体温度。6.根据权利要求5所述的热影像处理系统,其中该背景温度估测单元根据不含待测主体的一张额外撷取的热影像,以其中一个热像素相应的温度或多个热像素的相应温度的平均值作为该背景温度。7.根据权利要求5所述的热影像处理系统,其中该背景温度估测单元根据所撷取的该热影像,以其中一个未涵盖有待测主体的热像素的相应温度作为该背景温度。8.根据权利要求3所述的热影像处理系统,其中以该主体温度-与该背景温度个别所占面积的比例作为加权值,所得到的加权和相等于该热像素温度。9.根据权利要求3所述的热影像处理系统,其中该主体温度TO表示为:TO=T*B+O–B*TBO其中T代表该热像素温度,B代表该背景面积,O代表该主体面积,TB代表该背景温度。10.根据权利要求3所述的热影像处理系统,其中该热影像当中的一热像素涵盖有第一待测主体与第二待测主体,其中该第二待测主体相应的第二主体面积OB1小于该第一待测主体相应的第一主体面积OA1,且将该第二待测主体相应的第二主体温度TOB1设为仅涵盖该第二待测主体的相邻热像素的主体温度,具有以下关系:T=G1*TG1+OA1*TOA1+OB1*TOB1OA1+OB1+G1其中TOA1代表该第一待测主体相应的第一主体温度,T代表该热像素温度,G1代表该背景面积,TG1代表该背景温度。11.一种热影像处理方法,包含:a撷取至少一待测主体的视觉影像及热影像;及b融合该视觉影像及该热影像以产生一融合影像,并决定该融合影像当中该待测主体的面积,据以得到该待测主体的主体温度。12.根据权利要求11所述的热影像处理方法,其中该步骤b包含:b1决定该融合影像的一个热像素当中的主体面积与背景面积,其中该主体面积相应于该待测主体的区域且该背景面积相应于该待测主体以外的区域;及b2根据该主体面积、该背景面积及背景温度,以补偿该热像素相应的热像素温度,因而得到该主体温度。13.根据权利要求12所述的热影像处理方法,其中该步骤b1包含:得到该视觉影像当中相应于该待测主体的主体轮廓;融合该热影像与该视觉影像;及根据该主体轮廓以决定热像素当中的该主体面积与该背景面积。14.根据权利要求12所述的热影像处理方法,其中于得到该主体温度之前,还包含:估测以得到该背景温度。15.根据权利要求14所述的热影像处理方法,其中该估测以得到背景温度的步骤包含:根据不含待测主体的一张额外撷取的热影像,以其中一个热像素相应的温度或多个热像素的相应温度的平均值作为该背景温度。16.根据权利要求14所述的热影像处理方法,其中该估测以得到背景温度的步骤包含:根据所撷取的该热影像,以其中一个未涵盖有待测主体的热像素的相应温度作为该背景温度。17.根据权利要求12所述的热影像处理方法,其中以该主体温度与该背景温度个别所占面积的比例作为加权值,所得到的加权和相等于该热像素温度。18.根据权利要求12所述的热影像处理方法,其中该主体温度TO表示为:TO=T*B+O–B*TBO其中T代表该热像素温度,B代表该背景面积,O代表该主体面积,TB代表该背景温度。19.根据权利要求12所述的热影像处理方法,其中该热影像当中的一热像素涵盖有第一待测主体与第二待测主体,其中该第二待测主体相应的第二主体面积OB1小于该第一待测主体相应的第一主体面积OA1,且将该第二待测主体相应的第二主体温度TOB1设为仅涵盖该第二待测主体的相邻热像素的主体温度,具有以下关系:T=G1*TG1+OA1*TOA1+OB1*TOB1OA1+OB1+G1其中TOA1代表该第一待测主体相应的第一主体温度,T代表该热像素温度,G1代表该背景面积,TG1代表该背景温度。

百度查询: 纬创资通股份有限公司 热影像处理系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。