申请/专利权人：吉林动画学院;吉林吉动盘古网络科技股份有限公司

申请日：2021-02-01

公开（公告）日：2024-04-16

公开（公告）号：CN112968950B

主分类号：H04L67/10

分类号：H04L67/10;H04L67/104;H04L67/1095;H04N21/44;G06T15/50;G06T15/00

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.10.15#实质审查的生效;2021.06.15#公开

摘要：本发明公开了一种轻量级GPU云烘培Web3D实时全局光照渲染管线，用于增强Web3D照明效果，提升用户感官体验。本渲染管线由负责全局光照的云端渲染系统和负责直接光照的前端系统构成，云端与前端使用WebSocket与WebRTC通讯，其特征在于，包括以下步骤：1云端场景属性与前端同步；2云端网络通讯延迟补偿；3云端使用实时全局光照算法计算屏幕空间全局光照贴图；4云端光照贴图增量式更新；5光照贴图编解码、流式传输；6前端直接光照渲染，利用光照贴图进行实时全局光照渲染。与现有技术相比，本发明具有传输量小以及最终Web3D画面伪像少、效果好等特点。

主权项：1.一种轻量级GPU云烘培Web3D实时全局光照渲染管线，应用于全局光照协作式渲染系统，所述渲染系统由负责全局光照的云端和负责直接光照的前端构成，所述云端与前端之间通过WebSocket与WebRTC通信连接，其特征在于，所述渲染管线的实现方法包括以下步骤：S1，保持云端场景属性与前端同步，同时前端与相同场景的其余前端点对点连接；S2，云端基于GPU加速Lightmap烘培，对全局光照进行处理，具体包括：S201，基于动态预测的方法，得到扩大的FOV数值，实现网络通讯延迟补偿，具体包括：基于场景帧画面数据、Lightmap全局光照辐照度数据、场景模型网络数据，使用关注度算法计算出当前帧、上一帧、上上帧关注点位置；输入当前帧、上一帧、上上帧关注点位置，使用DeadReckoning算法计算出下一帧关注点位置，以此为中心建立相机平截头体，计算出相机方向D′i+1、位置信息F′i+1；输入当前帧、上一帧、上上帧相机方向、位置信息，使用DeadReckoning算法计算出下一帧相机方向D″i+1、位置信息F″i+1，与上一步计算数据混合，得到最终的下一帧相机方向、位置信息：Di+1＝a·D′i+1+b·D″i+11Fi+1＝a·F′i+1+b·F″i+12其中，a、b为权重系数，取值为a，b∈[0.0，1.0]且a+b＝1.0，权重比例根据相应的DeadReckoning以及关注度算法手动调节；以相机当前帧、下一帧方向与位置数据建立平截头体，计算当前帧、下一帧相机远平面右上角的点Pi与Pi+1的位置；根据以下公式计算得到扩大的FOV数值： 其中，α为初始FOV大小，默认值为60°，v1＝Pi-Fi、v2＝Pi+1-Fi，Fi为当前帧相机位置，FOV的范围限制的[60°，120°]内；S202，使用实时全局光照算法计算屏幕空间全局光照贴图，具体包括：基于当前帧相机方向、位置信息以及扩大后的FOV进行实时全局光照的计算；使用基于GPU加速的实时全局光照算法烘培屏幕空间全局光照贴图；实时全局光照最终输出的屏幕空间全局光照贴图格式包含三个或四个通道，其中三个通道存放全局光照漫反射辐照度数据，第四个通道存放全局光照镜面反射辐照度亮度数据；对得到的屏幕空间全局光照贴图数据进行线性化处理；S203，通过UV映射方式，结合插值后处理，增量式更新光照帖图，具体包括：场景所有模型需预先UV参数化，将所有UV坐标数据合并成图集，并缩放、拉伸至u≥0，v≤1范围内，存储于模型第二套UV通道中；计算第二套UV的屏幕空间贴图，其分辨率需与实时全局光照计算的屏幕空间全局光照贴图长宽比例一致；对每一个像素，采样第二套UV屏幕空间贴图得到UV数据，采样屏幕空间全局光照贴图得到辐照度数据，将辐照度数据存入上一帧光照贴图中以UV数据为索引的像素中；第二套UV的屏幕空间贴图、屏幕空间全局光照贴图、光照贴图存储内容均为线性数据；定义1：RGBA值为0，0，0，0的像素为非法像素；定义2：除非法像素以外的像素为合法像素；对光照贴图使用Pull-Push方法插值，为仅插值光照贴图中的非法像素；在Pull阶段建立一个自下而上的图像金字塔，上一层的图像尺寸为下一层的一半，每一个合法像素的颜色值为上一层周围四个合法像素的平均值；在Push阶段从上往下逐层对每个非法像素进行填充，每个非法像素的颜色值是当前层级的Pull图像和上一层级Push图像中该非法像素周围的颜色值进行加权平均；对光照贴图使用高斯模糊后处理，减轻闪烁问题；S204，将光照贴图编码后使用WebRTC技术流式传输至前端；S3，前端直接光照渲染，利用光照贴图进行实时全局光照渲染。

全文数据：

权利要求：

百度查询： 吉林动画学院;吉林吉动盘古网络科技股份有限公司 一种轻量级GPU云烘培Web3D实时全局光照渲染管线

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD