申请/专利权人：北京睿呈时代信息科技有限公司

申请日：2024-01-12

公开（公告）日：2024-04-16

公开（公告）号：CN117560578B

主分类号：H04N23/95

分类号：H04N23/95;H04N23/951;H04N5/265;G06T7/50;G06T7/70

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.03.01#实质审查的生效;2024.02.13#公开

摘要：本申请公开了一种基于三维场景渲染且视点无关的多路视频融合方法及系统，包括：根据输入的三维模型数据源进行三维模型渲染；以及对接入的多路视频流进行解码，以获取多路视频流同一时间点的帧画面；基于各路摄像头相关信息，构建各路摄像头的透视投影视锥体，并计算所述透视投影视锥体的视图矩阵和投影矩阵；根据各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息；基于构建的深度图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合。本申请能够解决不同视角下视频帧画面融合效果形变的问题。

主权项：1.一种基于三维场景渲染且视点无关的多路视频融合方法，其特征在于，包括如下步骤：根据输入的三维模型数据源进行三维模型渲染；以及对接入的多路视频流进行解码，以获取多路视频流同一时间点的帧画面；基于各路摄像头相关信息，构建各路摄像头的透视投影视锥体；基于各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息，其中所述深度图信息包括各路摄像头的位置和其投影视锥体平面各个像素构建的射线和场景相交的点距离和位置，所述法线图信息包括每个像素点法线信息；基于构建的深度图信息和法线图信息，将渲染的三维模型与多路视频流同一时间点的帧画面进行融合；根据屏幕显示分辨率，以及所述透视投影视锥体在世界坐标系下的视图矩阵和投影矩阵，构建深度图信息包括：根据屏幕显示分辨率，构建从各路摄像头的位置和其投影视锥体平面各个像素点，并将各像素坐标转换到世界坐标系下；将各像素坐标转换到世界坐标系下包括：基于屏幕坐标、世界矩阵、所述视图矩阵以及所述投影矩阵计算出转换矩阵，将屏幕坐标系转换到NDC空间坐标系；基于所述转换矩阵、逆投影矩阵、逆视图矩阵，将NDC空间坐标系转换到世界坐标系；基于各路摄像头和投影视锥体平面各个像素构建的射线和场景相交的位置，逐像素构建各路摄像头的深度图信息和法线图信息还包括：根据统一的世界坐标系，对摄像头位置指向各像素的位置方向构建一条射线，以计算与所述三维模型渲染中第一个模型相交位置的距离和位置信息；根据各像素计算的距离和位置信息取周围临近点构成的两个相交的线段，以计算各像素的法线信息。

全文数据：

权利要求：

百度查询： 北京睿呈时代信息科技有限公司 基于三维场景渲染且视点无关的多路视频融合方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD