申请/专利权人：西安邮电大学

申请日：2017-05-17

公开（公告）日：2021-05-07

公开（公告）号：CN107426491B

主分类号：H04N5/232(20060101)

分类号：H04N5/232(20060101);H04N5/265(20060101);G06T3/40(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.05.07#授权;2017.12.26#实质审查的生效;2017.12.01#公开

摘要：本发明公开了一种360度全景视频的实现方法，它涉及视频处理技术领域。它使用现有的视频压缩标准来压缩和并行传输每个相机采集的视频内容，单个相机拍摄的视频是二维平面视频，适合使用现存的是视频压缩标准，在并视频码流中记录相机的标记信息，在接收端，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，将其拼接融合并显示。本发明视频数据处理高效，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度。

主权项：1.一种360度全景视频的实现方法，其特征在于，其步骤为：1采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容；所有相机拍摄时的光轴交于一点，总视野为水平360度，垂直180度；2每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准对每个相机采集的视频内容进行压缩编码和并行传输，再将相机的编号、位置记录在压缩视频码流中，用于解码端的视频拼接；在所述编码过程中，相机数量较少时，相邻相机间的重叠内容也较少，每个相机的视频内容独立压缩编码；相机数量较多时，相邻相机间的重叠内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码；3在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果；在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求，选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示。

全文数据：一种360度全景视频的实现方法[0001]技术领域[0002]本发明涉及的是视频处理技术领域，具体涉及一种360度全景视频的并行编码以及解码端拼接显示的数据处理流程。背景技术[0003]在虚拟现实VR应用中，360度全景视频是以人眼为中心点，围绕上下180度、水平36〇度无缝衔接的视频影像，影像通过全景播放器用户可以通过点击鼠标、触摸屏幕、陀螺仪等方式实现上下、左右、放大、缩小无死角浏览或者通过虚拟现实头盔观看的视频模式。通过多个相机同时拍摄不同角度的视频，后期通过专用的软件输出，或者通过专门的视频拼接软件进行同步、拼接、调整、输出，最后得到2:1比例的全景视频文件，为一个球面视频。拼接后的360度视频图像可以表示在一个球体表面上，但不适于存储、传输和压缩等处理。而目前的视频编码方法都是针对平面矩形区域，所以需要将球面视频投影变换到二维平面上。目前有多种投影方式，常用的有球面投影，立方体投影，正方棱台投影等。[0004]球面投影是把每条经线展开成一条直线段，并沿赤道线绕一圈形成一个圆柱体，然后展开为一个矩形，该方法被广泛地应用于全景视频编码过程中，其优点是矩形有利于用既有的视频压缩标准来进行压缩，但是在变换过程中，两极区域拉伸过大，出现变形失真。[0005]立方体投影是将球面内容投射到外切正方体的六个面上，这样像素分布均匀，画面没有几何失真，变换后文件大小比原球面减少了25%，但由于是向球的外切正方体映射，像素密度减少，带来了图像出现模糊的问题。[0006]正方棱台投影是将球面内容投射到内嵌立方体中的正方棱台中，投射出的平面面积比球面小，与源文件相比减少了80%的内存，但由于球面上的单位面积投射到正方棱台平面上的面积，因位置而不同，造成缩放较为明显，这样会导致一定程度的原始图像信息损失和显不失真。[0007]综上所述，目前球面视频无论经何种投影变换，都存在一定的不足，而且投影变换后的360度视频相比传统的平面视频，分辨率更大，需求的码率更多，面临带宽有限问题，基于此，改变原有传输处理360度视频的方法，设计一种360度全景视频的实现方法尤为必要。发明内容[0008]针对现有技术上存在的不足，本发明目的是在于提供一种360度全景视频的实现方法，视频数据处理高效，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度，易于推广使用。[0009]为了实现上述目的，本发明是通过如下的技术方案来实现:一种360度全景视频的实现方法，其步骤为：1采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容。[0010]2每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码和并行传输每个相机采集的视频内容，将相机的编号、位置等标记信息记录在压缩视频码流如HEVC中的SEI信息段）中，用于解码端的视频拼接。[0011]3在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示;随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。[0012]作为优选，所述步骤1中所有相机拍摄时的光轴交于一点，总视野为水平360度，垂直180度。[0013]作为优选，所述步骤2压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码;相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码。所述编码步骤为:将相机1的内容全部编码后，以相机1编码图像的重建帧为参考倾，对相机2的视频图像做帧内、i|i贞间混合编码；同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码;依次类推，压缩编码全部相机的视频内容。[0014]作为优选，所述步骤3在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求例如拼接速度、拼接精度等），选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示;在显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者36〇度全景的体验。所述解码步骤为:先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频;依次类推，以至解码出全部相机的视频内容。[0015]本发明的有益效果:本方法在现有处理器性能、储存和传输带宽有限的条件下，能高效处理360度视频数据流程，将拼接工作从编码端转移到解码端，无需编码前的视频拼接和投影变换过程，降低360度视频编码复杂度，提高编码速度。附图说明[0016]下面结合附图和具体实施方式来详细说明本发明；图1为本发明36〇度全景视频的并行编码以及解码端拼接显示的数据处理流程图；图2为本发明360度全景视频的并行编码方法示意图。[0017]具体实施方式[0018]为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。[0019]参照图1-2,本具体实施方式采用以下技术方案:一种360度全景视频的实现方法，其步骤为：1采集视频，使用多台相机阵列同时拍摄，拍摄时，所有相机的光轴交于一点，总视野为水平360度，垂直180度，能达到较好的效果，且所有相机一起开启延时拍摄采集视频内容。[0020]2每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码，在并视频码流中记录相机的标记信息，并将相机的编号、位置等标记信息记录在压缩视频码流如HEVC中的SEI信息段）中，用于解码端的视频拼接;压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码;相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码。[0021]例如，将相机1的内容全部编码后，以相机1编码图像的重建帧为参考帧，对相机2的视频图像做帧内、帧间混合编码；同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码;依次类推，压缩编码全部相机的视频内容。[0022]保存视频内容的同时，记录其对应相机的编号，为下一步解码做准备。[0023]3在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。[0024]值得注意的是，解码时，首先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频;依次类推，以至解码出全部相机的视频内容。[0025]在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求例如拼接速度、拼接精度等），选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显示；显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者360度全景的体验。[0026]本具体实施方式使用现有的视频压缩标准来压缩和并行传输每个相机采集的视频内容，单个相机拍摄的视频是二维平面视频，适合使用现存的是视频压缩标准，在并视频码流中记录相机的标记彳目息，将视频内容与其拍摄的相机信息进行标记绑定，压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，当相机数量较多时，相机间的重复内容也较多，利用相邻相机的视频图像做预测编码，可减少内容冗余，大大提高处理效率，降低复杂度，该方法切实可行，可靠实用，具有广阔的市场应用前景。[0027]以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

权利要求：1.一种360度全景视频的实现方法，其特征在于，其步骤为：_1采集视频，使用多台相机阵列同时拍摄，所有相机一起开启延时拍摄采集视频内容；一2每个相机拍摄的视频是二维平面视频，使用现有的视频压缩标准独立完成编码和并行传输每个相机采集的视频内容，并将相机的编号、位置等标记信息记录在压缩视频码流中，用于解码端的视频拼接；3在接收端，根据显示视区范围的要求，既可以解码显示全部视频，也可以根据观看者的视区，利用相机标记信息，选择对应的相机拍摄的视频，解码显示对应相机的视频内容，将其拼接融合并显示，随着视区的移动，不断的匹配视频，解码拼接，保证360度全景的效果。2.根据权利要求1所述的一种360度全景视频的实现方法，其特征在于，所述步骤（1中所有相机拍摄时的光轴交于一点，总视野为水平360度，垂直180度。3.根据权利要求1所述的一种360度全景视频的实现方法，其特征在于，所述步骤2压缩编码时可利用相邻相机间的图像内容为参考帧做预测编码，相机数量较少时，相邻相机间的重复内容也较少，每个相机的视频内容独立压缩编码;相机数量较多时，相邻相机间的重复内容较多，以相邻相机编码图像的重建帧作为参考帧进行预测编码。4.根据权利要求1所述的一种36〇度全景视频的实现方法，其特征在于，所述步骤3在拼接时，利用相机标记信息，选择对应的相机拍摄的视频，根据显示效果的技术要求例如拼接速度、拼接精度），选择使用不同的拼接方法将多个图像融合在一起，实现全景拼接显7Jn〇5.根据权利要求1所述的一种360度全景视频的实现方法，其特征在于，所述步骤3在显示时，既可以对全部视频内容解码和显示，也可以部分显示，即只针对人眼当前视觉区域，匹配对应相机的视频内容进行解码和显示，呈现给观看者360度全景的体验。6.根据权利要求3所述的一种360度全景视频的实现方法，其特征在于，所述编码步骤为:将相机1的内容全部编码后，以相机1编码图像的重建帧为参考帧，对相机2的视频图像做帧内、帧间混合编码;同理，相机3以相机2的编码图像重建帧为参考帧，做帧内、帧间混合编码;依次类推，压缩编码全部相机的视频内容。7.根据权利要求5所述的一种360度全景视频的实现方法，其特征在于，所述解码步骤为:先解码相机1的视频，以相机1的视频帧为参考，解码相机2的视频，再以相机2的视频帧为参考，解码相机3的视频;依次类推，以至解码出全部相机的视频内容。

百度查询： 西安邮电大学 一种360度全景视频的实现方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD