申请/专利权人：安徽大学

申请日：2024-03-04

公开（公告）日：2024-04-09

公开（公告）号：CN117853645A

主分类号：G06T15/20

分类号：G06T15/20;G06N3/0464;G06N3/082;G06T7/529;G06V10/42;G06V10/44;G06V10/74;G06V10/774;G06V10/778;G06V10/80;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本发明公开一种基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，利用轻量型捆绑特征提取模块计算多尺度捆绑卷积特征；利用混合交叉感知机制细化卷积特征，聚合跨视图交互信息并及时补充上下文特征信息，然后，进行相似性嵌入体渲染，将几何先验条件的余旋相似度作为显示匹配嵌入线索，为预测颜色密度场捕捉相似匹配信息；再后，最小化颜色与内容一致性损失，添加相同时间戳内的渲染视图与真实瞬时视图对数的绝对值差异，解决场景跨度大和特征信息匮乏情况下的伪影和模糊纹理问题。

主权项：1.一种基于跨视图捆绑交叉感知神经辐射场的图像渲染方法，其特征在于，包括以下步骤：S1、构建捆绑特征提取模块BUF提取视图特征，具体方法为：对于视图数据集的各个视图，先使用轻量级特征金字塔梯度网络FPN提取原图或者分辨率下的粗粒度全局特征；之后使用二维卷积神经网络CNN提取原图和分辨率下的细粒度局部特征，采用由粗到细的增量化方式分别提取个视图数据集在、和分辨率下的采样卷积特征集合，将简称为；其中，表示视图数据集的视图数量，表示原图分辨率的比率，表示视图的序号，表示第个视图在分辨率下的卷积特征；S2、利用混合交叉感知机制SCC处理视图数据集中的个匹配对，聚合跨视图交互信息，具体过程如下：对依赖于视图的特征和不依赖于单个视图的跨视图交互特征进行聚合处理，得到混合特征；由于每个视图与其可能的偏移视图都进行配对，并不指定配对视图，即得到了个视图匹配对和特征向量；其中，是指将经过混合交叉感知机制进一步特征增强和处理过后的图像卷积特征数据；j是视图的序号，表示计算各视图之间的余旋相似性所使用的特征向量，为视角方向；S3、构建多维级联混合交叉注意力模块来计算上下文特征信息，实现各级联模块之间的多粒度卷积特征馈送，每个级联模块将自身的粗细粒度采样卷积特征馈送给下一级联，为后期计算高分辨率特征及时补充上下文特征信息；S4、相似性嵌入体渲染，将几何先验条件的余旋相似度作为显示匹配嵌入线索，嵌入到神经辐射场体渲染时使用的5D几何信息中，进而为预测颜色密度场捕捉相似性信息；表示三维坐标；S5、计算最小化颜色与内容一致性损失，利用新正则化基线进行模型端到端的训练，不断优化模型参数，无需额外的外部地面参数数据或者额外的训练资源： （1）其中，是计算常数，为颜色交叉熵损失，为内容循环一致性损失；S6、对于输入的任意视角图像，利用训练好的捆绑交叉感知神经辐射场和预测的场景颜色密度场渲染出具有高保真视觉效果的新图像。

全文数据：

权利要求：

百度查询： 安徽大学 基于跨视图捆绑交叉感知神经辐射场的图像渲染方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD