申请/专利权人：浙江舜宇智能光学技术有限公司

申请日：2017-01-05

公开（公告）日：2020-09-15

公开（公告）号：CN108282606B

主分类号：H04N5/232(20060101)

分类号：H04N5/232(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.09.15#授权;2018.08.07#实质审查的生效;2018.07.13#公开

摘要：一全景拼接设备，包括四个摄像模组，和一数据处理模块，其中每两个所述摄像模组之间的角度都相同，每个摄像模组均与所述数据处理模块可通电地相连接，以接收和处理来自所述摄像模组的成像信号，从而通过每个所述摄像模组分别取出一图像，且将每张所述图像进行一次坐标转换后形成一展开图，并将四张所述展开图依比例重迭合成一长方形全景图片。

主权项：1.一全景拼接设备，其特征在于，包括：四个摄像模组，和一数据处理模块，其中每两个所述摄像模组之间的角度都相同，每个摄像模组均与所述数据处理模块可通电地相连接，以接收和处理来自所述摄像模组的成像信号，从而通过每个所述摄像模组分别取出一图像，且将每张所述图像进行一次坐标转换后形成一展开图，并将四张所述展开图依比例重迭合成一长方形全景图片;其中取其一所述摄像模组作为基准，设定为一第一摄像模组，其中取出一第一图像，并展开形成一第一图像展开图;其中所述第一图像展开图展开后的数据坐标点设为ix,iy，其中所述第一图像的数据坐标点设为x,y，其中关系为：x=R+R*siniy*πW2*sinix*πW2；y=R+R*siniy*πW2*cosix*πW2；其中分别设定其它三个所述摄像模组为一第二摄像模组，一第三摄像模组，一第四摄像模组，并且分别取出一第二图像，并展开形成一第二图像展开图,一第三图像，并展开形成一第三图像展开图,一第四图像，并展开形成一第四图像展开图；其中所述第二图像展开图展开后的数据坐标点设为ix,iy，其中所述第二图像的有效数据坐标点设为x1,y1，其对应的球体坐标设为x,y,z，其中关系为：x=R*siniy+H*70.13°-β180°-70.13°-β*PIW2*cosix-W2360°120°+δ*PIW2;y=R*siniy+H*70.13°-β180°-70.13°-β*PIW2*sinix-W2360°120°+δ*PIW2;z=R*cosiy+H*70.13°-β180°-70.13°-β*PIW2；x1=R+z*sin-180°-70.13°-β*π180°+x*cos-180°-70.13°-β*π180°；y1=R+y;其中δ和β均为矫正参数，其中R是标定后的鱼眼图像的半径，其中W和H分别为所述长方形全景图片的宽和高。

全文数据：全景拼接方法及其设备技术领域[0001]本发明涉及一拼接方法，尤其涉及一全景拼接方法及其设备，以经过一次坐标转换就可以完成拼接，进而有效地提高全景拼接效率和缩短坐标转换算法耗时。背景技术[0002]人们的生活习惯随着科技的发展逐渐地改变，例如，以前用相机拍照，现在用手机拍照，以前人们只在特殊的节日中才利用传统相机去记录特别的事情，而现今人们随时随地的使用摄像装置，像是数位相机、智慧型手机、摄影机等，去拍摄去记录任何时刻并上传至互联网与远方亲朋好友连系，甚至可分享给陌生人。科技发展到现今，人们的生活几乎无法脱离各种的摄像装置和可携智慧装置。特别是，摄像装置或相机会根据本身的镜头、镜片、焦距、光圈的不同会拍摄出不同效果的影片或相片。值得一提的是，根据一些特殊的场合或需求而需要取得全景照片，然而在早期是无法直接经由相机取得全景照片的，都是相机以单一视角进行拍摄，再把多张照片拼接合成的单张长条静态照片，但是这样的方式除了制作复杂浪费时间外，还不是每个人都可以容易的进行或取得。特别地，通过这样的方式并无法用来录制全景影片。[0003]另外，现今常用的全景图片拼接方法，是根据二维鱼眼图片建立三维球面坐标，再将其投射到柱面坐标以消减鱼眼图片的扭曲现象，然后对投射变换过的图片使用相位相关度方法，求取相邻图像的偏移量，根据求去的偏移量即可确定图像间的对应点。但是这种常用方法存在的一些的缺陷:像是对摄像头标定要求较高，摄像头的轻微移动会影响拼接效果。还有图片坐标映射需要经过两次坐标转换。以及运算量过大导致处理速度较慢。[0004]另外，近年虚拟实境英语:virtualreality，缩写为VR不断的发展，作为虚拟实境VI?的内容输入的全景摄像机更是不断的被开发和改良，但是现今的全景摄像机在成像是有都一严重的问题点，即在成像是会产生严重畸变，也就是所谓的“桶形畸变”。强烈的畸变使画面四周直线都被弯曲成弧形，而且越靠近边缘畸变越明显，镜头而中心部位畸变则明显减弱，这也是全景摄像机成像的标志性特点之一。发明内容[0005]本发明的一个目的在于提供一全景拼接方法及其设备，其以用于解决摄像头标定要求高的缺陷，在拼接时扩大有效范围的选取，这样即使在使用中摄像头产生轻微的位移也不会影响拼接效果。[0006]本发明的另一目的在于提供一全景拼接方法及其设备，其中包括四个摄像头模组，其中经由四个所述摄像头模组分别取出四幅标定图片，在经由所述全景拼接方法得到所述全景图片。特别地，所述四幅标定图片在取得后经过一次坐标转换就可以完成拼接，如此可降低软件开发成本、提高全景拼接效率以及缩短坐标转换算法耗时。[0007]本发明的另一目的在于提供一全景拼接方法及其设备，其中四个所述摄像头模组分别取得较大范围的图片，以扩大有效范围的选取，进一步地降低图像拼接时的标定难度。[0008]本发明的另一目的在于提供一全景拼接方法及其设备，其中突破现存之正四面体之全景相机结构，通过合理的分析各摄像头的光路及成像重合范围，调整摄像头位置及方向，以取得更宽广的全景范围和降低摄像头装配的难度。[0009]本发明的另一目的在于提供一全景拼接方法及其设备，其中配合一演算法使全景拼接设备达到灵活的全景拼接效果。[0010]本发明的另一目的在于提供一全景拼接方法及其设备，其中包括四个摄像头模组，其中每两个摄像头之间的角度都相同，每个摄像头的方向为正四面体中心到正四面体顶点的方向，通过本发明的所述全景拼接方法用于拼接设备从而得到的四幅经过标定图片，以提高拼接效率，也就是说采用本发法的拼接有效范围选取演算法，只经过一次坐标转换就可以完成拼接。[0011]本发明的另一目的在于提供一全景拼接方法及其设备，其中基于鱼眼透镜模组的校正准确度进行发展，使得所述全景拼接设备可以效减除径向桶形畸变，减少最终成像畸变。[0012]通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。[0013]为了达到以上至少一目的，本发明提供一全景拼接设备，包括：[0014]四个摄像模组，和一数据处理模块，其中每两个所述摄像模组之间的角度都相同，每个摄像模组均与所述数据处理模块可通电地相连接，以接收和处理来自所述摄像模组的成像信号，从而通过每个所述摄像模组分别取出一图像，且将每张所述图像进行一次坐标转换后形成一展开图，并将四张所述展开图依比例重迭合成一长方形全景图片。[0015]根据本发明的一个实施例，其中每两个所述摄像头模组之间的角度是109.47度。[0016]根据本发明的一个实施例，其中每个所述摄像模组的组成方向为从正四面体中心到正四面体顶点的方向。[0017]根据本发明的一个实施例，其中包括可拆地连接支撑四个所述摄像头模组的一支架。[0018]根据本发明的一个实施例，其中每个所述摄像模组实施为鱼眼摄像模组。[0019]根据本发明的一个实施例，其中所述长方形全景图片宽为W，高为H，宽高比为2:1。[0020]根据本发明的一个实施例，其中取其一所述摄像模组作为基准，设定为一第一摄像模组，其中取出一第一图像，并展开形成一第一图像展开图。[0021]根据本发明的一个实施例，其中所述第一图像具有一有效数据区域和一重迭区域，其中从所述第一摄像模组中心到70.53°的区域为所述有效数据区域，其中所述重迭区域为矫正参数α。[0022]根据本发明的一个实施例，其中所述第一图像展开图的高度为Hx70.53+α180。[0023]根据本发明的一个实施例，其中所述第一图像展开图展开后的数据坐标点设为ix，iy，其中所述第一图像的数据坐标点设为x，y，其中关系为：[0026]根据本发明的一个实施例，其中分别设定其它三个所述摄像模组为一第二摄像头模组，一第三摄像头模组，一第二摄像头模组，并且分别取出一第二图像，并展开形成一第二图像展开图，一第三图像，并展开形成一第三图像展开图，一第四图像，并展开形成一第四图像展开图。[0027]根据本发明的一个实施例，其中所述第二图像展开图的宽为Ι*36〇ν120°+δ，其中S为矫正参数，为向右重叠区域。[0028]根据本发明的一个实施例，其中所述第二图像展开图的高为Η*70.13°_β180°-70.13°-β，其中β为矫正参数，向上重叠区域。[0029]1、根据本发明的一个实施例，其中第二图像展开图展开后的数据坐标点设为ix，iy，其中所述第二图像的有效数据坐标点设为xl，yl，其对应的球体坐标设为x，y，z，其中关系为：[0037]根据本发明的一个实施例，其中所述第三图像展开图的宽为W*360V120°+δ，其中δ为矫正参数，为向左右重叠区域。[0038]根据本发明的一个实施例，其中所述第三图像展开图的高为Η*70.13°_β180°-70.13°-β，其中β为矫正参数，向上重叠区域。[0039]2、根据本发明的一个实施例，其中第三图像展开图展开后的数据坐标点设为ix，iy，其中所述第三图像的有效数据坐标点设为XI，y1，其对应的球体坐标设为X，y，z，其中关系为：[0046]根据本发明的一个实施例，其中所述第四图像展开图的宽为W*3607120°+δ，其中S为矫正参数，为向左重叠区域。[0047]根据本发明的一个实施例，其中所述第四图像展开图的高为Η*70.13°_β180°-70.13°-β，其中β为矫正参数，向上重叠区域。[0048]3、根据本发明的一个实施例，其中第四图像展开图展开后的数据坐标点设为ix，iy，其中所述第四图像的有效数据坐标点设为xl，yl，其对应的球体坐标设为x，y，z，其中关系为：[0056]为了达到上述目的，本发明还提供一全景拼接方法，其特征在于，包括如下步骤：[0057]a设定四个所述摄像头模组的其中一摄像头模组为一第一摄像头模组；[0058]⑹根据所述第一摄像头模组的位置，取出一第一图像，其中对所述第一图像的有效部份进行坐标转换，并展开形成一第一图像展开图；[0059]c设定四个所述摄像头模组的一个模组为一第二摄像头模组；[0060]⑹根据所述第二摄像头模组的位置，取出一第二图像，其中对所述第二图像的有效部份进行坐标转换，并展开形成一第二图像展开图；[0061]e设定四个所述摄像头模组的一个模组为一第三摄像头模组；[0062]f根据所述第三摄像头模组的位置，取出一第三图像，其中对所述第三图像的有效部份进行坐标转换，并展开形成一第三图像展开图；[0063]g设定四个所述摄像头模组的一个模组为一第四摄像头模组；[0064]⑹根据所述第四摄像头模组的位置，取出一第四图像，其中对所述第四图像的有效部份进行坐标转换，并展开形成一第四图像展开图；以及[0065]i转换所述第一图像展开图、所述第二图像展开图、所述第三图像展开图以及所述第四图像展开图在边缘位置重合的区域，并使重合部分基于SIFT特征进行图像边缘融合，组成宽为W，高为HW:H=2:1的一长方形全景图片。[0066]根据本发明的一个实施例，所述全景拼接方法，其中所述第一图像展开图的底部分别重迭所述第二图像展开图、所述第三图像展开图以及所述第四图像展开图的顶部。[0067]根据本发明的一个实施例，所述全景拼接方法，其中所述第二图像展开图的右侧重迭所述第三图像展开图的左侧，和所述第二图像展开图局部重迭至所述第四图像展开图右侧。[0068]根据本发明的一个实施例，所述全景拼接方法，其中所述第四图像展开图的左侧重迭所述第三图像展开图的右侧，和所述第四图像展开图局部重迭至所述第二图像展开图。[0069]根据本发明的一个实施例，所述全景拼接方法，其中所述第三图像展开图的左右侧则分别重迭所述第二图像展开图和所述第四图像展开图。[0070]根据本发明的一个实施例，所述全景拼接方法，其中步骤⑹坐标转换公式如下：[0073]其中ix和iy是坐标点在所述第一图像展开图上的坐标，X和y是所述第一图像的坐标，R是标定后的鱼眼图像的半径。[0074]根据本发明的一个实施例，所述全景拼接方法，其中步骤d坐标转换公式如下：[0079]y=R+yl,[0080]其中ix和iy是坐标点在所述第一图像展开图上的坐标，X和y是第二图像的坐标。[0081]根据本发明的一个实施例，所述全景拼接方法，其中所述第二图像展开图中每个像素的具体内容包括如下公式：[0082]所述第二图像展开图中iy*W*3+ix*3位置的内容为所述第二图像中xl*R*3+yl*3的内容；[0083]所述第二图像展开图中iy*W*3+ix*3+l位置的内容为第二图像中xl*R*3+yl*3+l的内容；[0084]所述第二图像展开图中iy*W*3+ix*3+2位置的内容为第二图像中xl*R*3+yl*3+2的内容。[0085]根据本发明的一个实施例，所述全景拼接方法，其中步骤f坐标转换公式如下：[0090]y=R+yl,[0091]其中ix和iy是坐标点在所述第一图像展开图上的坐标，X和y是第三图像的坐标。[0092]根据本发明的一个实施例，所述全景拼接方法，其中步骤⑹坐标转换公式如下：[0098]其中ix和iy是坐标点在所述第一图像展开图上的坐标，X和y是第四图像的坐标。[0099]通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。[0100]本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。附图说明[0101]图1是根据本发明的一个优选实施例的全景拼接设备的透视图。[0102]图2是根据本发明的一个优选实施例的全景拼接设备的摄像模组空间组成示意图。[0103]图3是根据本发明的一个优选实施例的全景拼接设备的第一摄像模组取出的图像，为第一图像为al。[0104]图4是根据本发明的一个优选实施例的全景拼接设备的第一图像al展开的图像，为第一图像展开图al’。[0105]图5是根据本发明的一个优选实施例的全景拼接设备的四个摄像头模组取出的图像，其中第一图像为al，第二图像为bl，第三图像为b2,第二图像为b3。[0106]图6是根据本发明的一个优选实施例的全景拼接设备的一长方形全景图片拼接示意图。[0107]图7A至图7D是根据图3的分解说明，图7A表不第一图像al展开形成一第一图像展开图al’，其中虚线部分为重迭部份。图7B表示第二图像bl展开形成一第二图像展开图bl’，其中虚线部分为重迭部份。图7C表示第三图像b2展开形成一第三图像展开图b2’，其中虚线部分为重迭部份。图7D表示第四图像b3展开形成一第四图像展开图b3’，其中虚线部分为重迭部份。具体实施方式[0108]以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。[0109]本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内'“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。[oho]可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。[0111]如图1到图7D所示，是根据本发明的一优选实施例的一全景拼接方法及其设备，其中经由所述全景拼接设备获取图片后并直接以所述全景拼接方法取得一全景图片，这样同时解决之前摄像头标定难度和图片需要经过多次坐标转换的问题，还可降低软件开发成本和提高全景拼接效率。另外，本发明还是基于鱼眼透镜模组的校正准确度Accuracyoffish-eyelensmodels进行发展，这样以使所述全景拼接设备可以有效减除径向桶形畸变，减少最终成像畸变。值得一提的，所述全景拼接设备及其方法可应用于市面各种摄像装置，像是虚拟实境VR摄影机、空拍机等，以改善现有的问题点，并有效快速且直接地提供360度的全景图片。[0112]根据本发明的这个实施例，所述全景拼接设备包括四个摄像模组10,和一数据处理模块。每个所述摄像模组10实施为鱼眼摄像模组。每个摄像模组10均与所述数据处理模块可通电地相连接，以接收和处理来自所述摄像模组10的成像信号。另外，每两个所述摄像模组10之间的角度都相同，每个所述摄像模组10的方向为正四面体中心到正四面体顶点的方向，且经由四个所述摄像模组10分别取出四幅图像，如图5,且将每张所述图像进行坐标转换后形成展开图，再直接将四张所述展开图合成一长方形全景图片，其中宽高比为2:1，如图6。值得一提的是，每两个所述摄像头模组之间的角度是:109.47度。[0113]进一步地说，本发明是由四个所述摄像模组10共心所成的所述全景拼接设备，如2图示，分别以別2,01]2，^2,052的方向放置四个摄像模组10，其中¥2，1]2，了2,52组成正四面体，0为该正四面体的中心，则每个所述摄像模组10之间的角度为109.47°。另外，四个摄像模组10的覆盖面积需要满足，能够完整覆盖该正四面体的外界球，覆盖区域可以重叠。这样通过四个所述摄像模组10—次取得四幅标定图片，再经由本发明的所述全景拼接方法经过一次坐标转换就可以完成拼接，因此本发明还可降低软件开发成本、提高全景拼接效率以及缩短坐标转换算法耗时。[0114]另外，所述摄像模组若为定焦模组时，其中包括一镜座，一柔性线路板，一感光芯片，一滤光片以及成像镜头，其中所述成像镜头设置于所述镜座且位于所述感光芯片的感光路径，从而在所述摄像模组10用于采集物体的影像时，被物体反射的光线能够在藉由所述成像镜头的处理之后进一步被所述感光芯片接受以适于进行光电转化。所述滤光片设置于所述成像镜头的光行经路径和所述感光芯片之间，并且所述感光芯片电连接于所述柔性线路板上。[0115]另外，所述摄像模组若具有自动对焦功能时，所述摄像模组还包括一音圈马达。换言之，具有自动对焦功能的所述摄像模组的所述成像镜头设置所述音圈马达。在将所述音圈马达设置于所述镜座，以利用所述音圈马达进行自动对焦。[0116]根据本发明的这个实施例，所述全景拼接设备还包括一支架20，其中所述支架20连接于四个所述摄像模组10,以使得生产过程统一并简单化。也就是说，四个所述摄像模组10可以单独地被拆卸，并可独立运作，以适于工业生产中标准制定的方便和产品质量的管控，也可以使所述全景拼接设备适用于更多不同应用。进一步地说，为了保持四个所述摄像模组10的平稳，所述全景拼接设备的结构下方透过所述支架20连接四个所述摄像模组10，所述全景拼接设备的结构上方之所述摄像模组10则与下方所述支架10进行连接，也就是说，每个所述摄像模组10分别与所述支架20连接，即所述支架20位于四个所述摄像头模组的下方，且所述支架20连接于每个所述摄像模组10以支撑固定四个所述摄像头模组10。另夕卜，经由所述支架20将四个所述摄像模组10是分别维持一固定角度与所述支架20连接，以确保最终成像效果。更进一步地说，四个所述摄像模组10是按照正四面体中心点到顶点方向组成设备，也就是说依正四面体中心点到顶点方向将四个所述摄像模组10组装于所述支架。[0117]根据本发明的这个实施例，每个所述摄像头模组包括一支撑单元，其具有一个支撑面和至少两个接合孔。所述支架20包括一连接单元，其具有至少四个连接面，且每个所述连接面具有至少两个连接孔。这样每个所述摄像头模组10的所述支撑单元的所述支撑面可连接于所述支架20的所述连接单元的所述连接面，且每个所述摄像头模组10的所述支撑单元的两个所述接合孔则分别对照所述支架20的所述连接单元的每个所述连接面的两个所述连接孔，并且可利用多个连接元件同时分别贯穿每个所述接合孔和每个所述连接孔，以将每个所述摄像头模组10连接固定于所述支架20上。[0118]根据本发明的这个实施例，在所述全景拼接设备进行作用时，各每个所述摄像头模组的连接点间会维持一定比例，使维持投影球面上Z轴与投影球体上的函数变化可以维持恒定。也就是说，在使用所述全景拼接设备时，所述摄像头模组会依据使用情况而改变或调整角度或位置，但不管如何每个所述摄像头模组之间的角度或位置会维持一定比例。进一步地说，如图2所示，在安装时选取其中一个所述摄像模组10方向与地面垂直（图中选取0V2，由于所述摄像模组对准天空位置细节较少，以所述摄像模组10作为基准，设定为一第一摄像模组0V2其中取出一第一图像al，并展开形成一第一图像展开图al’，如图5和图6所示。值得一提的，所述第一摄像模组取得的所述第一图像al在拼接判定中，分为一有效数据区域和一重迭区域，如图所示，虚图内的数据为所述有效数据区域。值得一提的是，所述第一摄像模组的所述有效数据区域的选取方法，其中所述第一摄像模组实施为鱼眼相机，假设整幅图像拍摄的角度是180°，V2R圆形所述第一图像al的直径即为鱼眼相机拍摄角度，半径V2R则表示90°，由于各所述摄像模组之间的夹角为109.47°，则需要选取180°-109.47°=70.53°+α，其中70.53°为虚圆内的数据即为所述有效数据区域，α则为所述重迭区域，即为矫正参数，如图3所示。[0119]另外，对于第一图像展开图al的展开方法，其中假设每个所述鱼眼相机拍摄到的图片为所述第一图像al，其中半径为R，圆点为V2,有效数据的半径为为0,且由于最终目标为全景图片需要宽高比为2:1。因此，假设最终的所述全景图片宽为W，高为H。将展开后的所述第一图像展开图al’中的V2V2’的长度设为W，0V2长度则为Hx70.53+α180，其中所述圆心V2点（图3对应所述第一图像展开图al’的上边V2V2’，其条边所有点数值相同，其中V2R圆形（图3外边界视角360°对应00’，其条边一一对应，因此从所述圆心V2图3到虚线外边界的对应的视角为70.53°+α，展开过程为从所述圆心V2画同心圆间隔为1°0°到70.13°+α其对应:v2v2’到00’，即为所述第一图像展开图al’，如图4所示。值得一提的是，所述第一图像展开图al’展开后的数据坐标点为ix,iy其中ix的范围为W,iy的范围为Hx70.13+α180，其中展开后坐标与虚线圆内的坐标点x，y关系为：[0122]接着分别设定其它三个所述摄像模组10为一第二摄像头模组0U2,一第三摄像头模组0T2,一第二摄像头模组0S2,并且分别取出一第二图像bl，并展开形成一第二图像展开图bl’，一第三图像b2,并展开形成一第三图像展开图b2’，一第四图像b3,并展开形成一第四图像展开图b3’。本发明以第二图像bl的作为说明，其他两个图像的计算方俞相同。在本实施例中，所述第二摄像模组0U2取得的所述第二图像Bl在拼接判定中，分为一有效数据区域和一重迭区域，其中所述有效数据区域选取方法，其中在正四面体外切球上，每个鱼眼摄像模组都和另外三个相交并形成交点和交线，其中所述交点为鱼眼圆形图片，即所述第二图像bl，的三等分点，所述交线为球体的表面相邻交点的一条弧线，如图5所示。这样在所述交线内的即为所述有效数据区域。[0123]进一步地，对于第二图像展开图bl的展开方法，其中假设每个所述鱼眼相机拍摄到的图片为所述第二图像bl，其中半为R，且由于最终目标为全景图片需要宽高比为2:1，因此，假设最终的所述全景图片宽为W，高为H。[0124]然后将展开后的所述第二图像展开图bl’的宽对应全景图片视角的360V120°+S，则宽为Ι*36〇7120°+δ，其中δ为矫正参数，为向右重叠区域。[0125]展开后的所述第二图像展开图bl’的高对应全景图片视角的180°-70.13°_β，则高为Η*70.13°-βΛ180°-70.13°-β，其中β为矫正参数，向上重叠区域。接着在根据球体坐标公式，可以得到有效数据对应的球体坐标X，y，ζ和展开后所述第二图像展开图bl’坐标ix，iy的对应关系，如下：[0132]最后，将转换后的所述第一图像展开图al’、所述第二图像展开图bl’、所述第三图像展开图b2’以及第四图像展开图b3’在边缘位置有重合（图中重叠区域），针对边缘重合部分基于SIFT特征进行图像边缘融合，组成宽为W，高为HW:H=2:1的长方形所述全景图片。[0133]另外，值得一是的是，本发明的所述全景拼接设备主要是为突破现存正四面体结构之全景相机，其主要运行方式仍配合实际算法进行落实。[0134]因此，如图5到图7D，本发明另外提到一全景拼接方法，包括如下步骤：[0135]a设定四个所述摄像头模组的其中一摄像头模组为一第一摄像头模组，标记为Al;[0136]⑹根据所述第一摄像头模组Al的位置，取出一第一图像al，其中对所述第一图像al的有效部份，即虚线内，进行坐标转换，并展开形成一第一图像展开图al’；[0137]c设定四个所述摄像头模组的一个模组为一第二摄像头模组，标记为BI;[0138]⑹根据所述第二摄像头模组Bl的位置，取出一第二图像bl，其中对所述第二图像bl的有效部份，即虚线内，进行坐标转换，并展开形成一第二图像展开图bl’；[0139]e设定四个所述摄像头模组的一个模组为一第三摄像头模组，标记为B2;[0140]f根据所述第三摄像头模组B2的位置，取出一第三图像b2,其中对所述第三图像b2的有效部份，即虚线内，进行坐标转换，并展开形成一第三图像展开图b2’；[0141]g设定四个所述摄像头模组的一个模组为一第四摄像头模组，标记为B3;[0142]⑹根据所述第四摄像头模组B3的位置，取出一第四图像b3,其中对所述第四图像b3的有效部份，即虚线内，进行坐标转换，并展开形成一第四图像展开图b3’；以及[0143]i转换所述第一图像展开图al’、所述第二图像展开图bl’、所述第三图像展开图b2’以及所述第四图像展开图b3’在边缘位置重合的区域，并使重合部分基于SIFT特征进行图像边缘融合，组成宽为W，高为HW:H=2:1的一长方形全景图片。[0144]值得一提的是，所述第一图像展开图al’的底部分别重迭所述第二图像展开图bl’、所述第三图像展开图b2’以及所述第四图像展开图b3’的顶部。所述第二图像展开图bl’的右侧重迭所述第三图像展开图b2’的左侧，和所述第二图像展开图bl’局部重迭至所述第四图像展开图b3’右侧。所述第四图像展开图b3’的左侧重迭所述第三图像展开图b2’的右侧，和所述第四图像展开图b3’局部重迭至所述第二图像展开图bl’。另外，所述第三图像展开图b2’的左右侧则分别重迭所述第二图像展开图bl’和所述第四图像展开图b3’。如图3至图7D，其中虚线的部份表是重迭区域，实线部份则是重迭后的实际显示区域。[0145]值得一提的，上述步骤a、（c、（e、（g的先后顺序并无限制，只是步骤a相对步骤b，（c相对步骤⑹，（e相对步骤f，（g相对步骤⑹的顺序是一致的。可以理解的所述全景拼接方法，即是分别定义四个所述摄像头模组和其取得和展开的图面并经SIFT特征进行图像边缘融合已完成全景图片。[0146]其中上述步骤⑹坐标转换公式如下：[0149]其中ix和iy是坐标点在所述第一图像展开图al’上的坐标，X和y是所述第一图像a1的坐标，R是标定后的鱼眼图像的半径。[0150]其中上述步骤d坐标转换公式如下：[0156]其中ix和iy是坐标点在所述第一图像展开图al’上的坐标，X和y是第二图像bl的坐标。[0157]其中所述第二图像展开图bl’中每个像素的具体内容可以根据以下公式确定：[0158]所述第二图像展开图bl’中iy*W*3+ix*3位置的内容为所述第二图像bl中xl*R*3+yl*3的内容。[0159]所述第二图像展开图bl’中iy*W*3+ix*3+l位置的内容为第二图像bl中xl*R*3+yl*3+l的内容。[0160]所述第二图像展开图bl’中iy*W*3+ix*3+2位置的内容为第二图像bl中xl*R*3+yl*3+2的内容。[0161]其中上述步骤f坐标转换公式如下：[0167]其中ix和iy是坐标点在所述第一图像展开图al’上的坐标，X和y是第三图像b2的坐标。[0168]其中上述步骤⑹坐标转换公式如下：[0174]其中ix和iy是坐标点在所述第一图像展开图al’上的坐标，X和y是第四图像b3的坐标。[0175]进一步地说，根据步骤i，所述第一图像展开图al’、所述第二图像展开图bl’、所述第三图像展开图b2’以及第四图像展开图b3’在相互接合处的边缘位置皆有重合的区域。[0176]另外，四个所述摄像头模组的组合位置不限制为一种，只要是光轴不过心，且使各个所述摄像头模组在运行角度之间维持固定角度即可，这不为本发明的限制。[0177]本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

权利要求：1.一全景拼接设备，其特征在于，包括：四个摄像模组，和一数据处理模块，其中每两个所述摄像模组之间的角度都相同，每个摄像模组均与所述数据处理模块可通电地相连接，以接收和处理来自所述摄像模组的成像信号，从而通过每个所述摄像模组分别取出一图像，且将每张所述图像进行一次坐标转换后形成一展开图，并将四张所述展开图依比例重迭合成一长方形全景图片。2.根据权利要求1所述全景拼接设备，其中每两个所述摄像头模组之间的角度是109.47度。3.根据权利要求1所述全景拼接设备，其中每个所述摄像模组的组成方向为从正四面体中心到正四面体顶点的方向。4.根据权利要求1所述全景拼接设备，其中包括可拆地连接支撑四个所述摄像模组的一支架。5.根据权利要求1所述全景拼接设备，其中每个所述摄像模组实施为鱼眼摄像模组。6.根据权利要求1所述全景拼接设备，其中所述长方形全景图片宽为W，高为H，宽高比为2:1〇7.根据权利要求6所述全景拼接设备，其中取其一所述摄像模组作为基准，设定为一第一摄像模组，其中取出一第一图像，并展开形成一第一图像展开图。8.根据权利要求7所述全景拼接设备，其中所述第一图像具有一有效数据区域和一重迭区域，其中从所述第一摄像模组中心到70.53°的区域为所述有效数据区域，其中所述重迭区域为矫正参数α。9.根据权利要求8所述全景拼接设备，其中所述第一图像展开图的高度为Hx70.53+α180。10.根据权利要求8所述全景拼接设备，其中所述第一图像展开图展开后的数据坐标点设为ix，iy，其中所述第一图像的数据坐标点设为x，y，其中关系为：11.根据权利要求10所述全景拼接设备，其中分别设定其它三个所述摄像模组为一第二摄像头模组，一第三摄像头模组，一第二摄像头模组，并且分别取出一第二图像，并展开形成一第二图像展开图，一第三图像，并展开形成一第三图像展开图，一第四图像，并展开形成一第四图像展开图。12.根据权利要求11所述全景拼接设备，其中所述第二图像展开图的宽为W*360°120°+δ，其中δ为矫正参数，为向右重叠区域。13.根据权利要求12所述全景拼接设备，其中所述第二图像展开图的高为!1*70.13°-β八180°_70.13°-β，其中β为矫正参数，向上重叠区域。14.根据权利要求13所述全景拼接设备，其中第二图像展开图展开后的数据坐标点设为ix，iy，其中所述第二图像的有效数据坐标点设为xl，yl，其对应的球体坐标设为x，y，z，其中关系为：15.根据权利要求14所述全景拼接设备，其中所述第三图像展开图的宽为W*360°120°+δ，其中δ为矫正参数，为向左右重叠区域。16.根据权利要求15所述全景拼接设备，其中所述第三图像展开图的高为册70.13°_β八180°_70.13°-β，其中β为矫正参数，向上重叠区域。17.根据权利要求16所述全景拼接设备，其中第三图像展开图展开后的数据坐标点设为ix，iy，其中所述第三图像的有效数据坐标点设为XI，y1，其对应的球体坐标设为X，y，ζ，其中关系为：18.根据权利要求11所述全景拼接设备，其中所述第四图像展开图的宽为W*360°120°+δ，其中δ为矫正参数，为向左重叠区域。19.根据权利要求12所述全景拼接设备，其中所述第四图像展开图的高为!1*70.13°-β八180°_70.13°-β，其中β为矫正参数，向上重叠区域。20.根据权利要求13所述全景拼接设备，其中第四图像展开图展开后的数据坐标点设为ix，iy，其中所述第四图像的有效数据坐标点设为xl，yl，其对应的球体坐标设为x，y，z，其中关系为：21.—全景拼接方法，其特征在于，包括如下步骤：a设定四个所述摄像头模组的其中一摄像头模组为一第一摄像头模组；⑹根据所述第一摄像头模组的位置，取出一第一图像，其中对所述第一图像的有效部份进行坐标转换，并展开形成一第一图像展开图；c设定四个所述摄像头模组的一个模组为一第二摄像头模组；⑹根据所述第二摄像头模组的位置，取出一第二图像，其中对所述第二图像的有效部份进行坐标转换，并展开形成一第二图像展开图；e设定四个所述摄像头模组的一个模组为一第三摄像头模组；f根据所述第三摄像头模组的位置，取出一第三图像，其中对所述第三图像的有效部份进行坐标转换，并展开形成一第三图像展开图；g设定四个所述摄像头模组的一个模组为一第四摄像头模组；⑹根据所述第四摄像头模组的位置，取出一第四图像，其中对所述第四图像的有效部份进行坐标转换，并展开形成一第四图像展开图；以及i转换所述第一图像展开图、所述第二图像展开图、所述第三图像展开图以及所述第四图像展开图在边缘位置重合的区域，并使重合部分基于SIFT特征进行图像边缘融合，组成宽为W，高为HW:H=2:1的一长方形全景图片。22.根据权利要求21所述全景拼接方法，其中所述第一图像展开图的底部分别重迭所述第二图像展开图、所述第三图像展开图以及所述第四图像展开图的顶部。23.根据权利要求21所述全景拼接方法，其中所述第二图像展开图的右侧重迭所述第三图像展开图的左侧，和所述第二图像展开图局部重迭至所述第四图像展开图右侧。24.根据权利要求21所述全景拼接方法，其中所述第四图像展开图的左侧重迭所述第三图像展开图的右侧，和所述第四图像展开图局部重迭至所述第二图像展开图。25.根据权利要求21所述全景拼接方法，其中所述第三图像展开图的左右侧则分别重迭所述第二图像展开图和所述第四图像展开图。26.根据权利要求21所述全景拼接方法，其中步骤⑹坐标转换公式如下：其中ix和iy是坐标点在所述第一图像展开图上的坐标，X和y是所述第一图像的坐标，R是标定后的鱼眼图像的半径。27.根据权利要求21所述全景拼接方法，其中步骤d坐标转换公式如下：其中iX和iy是坐标点在所述第一图像展开图上的坐标，X和y是第二图像的坐标。28.根据权利要求27所述全景拼接方法，其中所述第二图像展开图中每个像素的具体内容包括如下公式：所述第二图像展开图中iy*W*3+ix*3位置的内容为所述第二图像中xl*R*3+yl*3的内容；所述第二图像展开图中iy*W*3+ix*3+l位置的内容为第二图像中xl*R*3+yl*3+l的内容；所述第二图像展开图中iy*W*3+ix*3+2位置的内容为第二图像中xl*R*3+yl*3+2的内容。29.根据权利要求21所述全景拼接方法，其中步骤f坐标转换公式如下：其中iX和iy是坐标点在所述第一图像展开图上的坐标，X和y是第三图像的坐标。30.根据权利要求21所述全景拼接方法，其中步骤⑹坐标转换公式如下：其中iX和iy是坐标点在所述第一图像展开图上的坐标，X和y是第四图像的坐标。

百度查询： 浙江舜宇智能光学技术有限公司 全景拼接方法及其设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD