申请/专利权人：中国海洋大学

申请日：2021-10-19

公开（公告）日：2024-05-17

公开（公告）号：CN113989460B

主分类号：G06T19/00

分类号：G06T19/00;G06T19/20;G06T3/40;G06T7/10;G06V10/764;G06N3/0455;G06N3/048;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：本发明公开了用于增强现实场景的实时天空替换特效控制方法及装置，所述方法包括：利用移动设备摄像头获取视频帧图像；利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图；利用惯性传感器数据和每帧图像对天空区域掩码图进行细化和稳定；使用抠图算法为掩码图增加alpha值；利用最终的掩码图将虚拟场景与原视频帧图像进行混合，输出带有虚拟天空和其他虚拟三维物体的增强现实效果。通过本发明解决了在移动设备上无法实现高效实时的天空替换的问题，实现了增强现实中对天空替换效果的控制。

主权项：1.用于增强现实场景的实时天空替换特效控制方法，其特征在于，包括以下步骤：步骤101、利用移动设备摄像头获取视频帧图像；步骤102、将视频帧图像降采样缩小图像大小，利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图；步骤102中利用深度学习对每帧图像进行二值语义分割，得到粗略的天空区域掩码图，具体包括以下步骤：步骤201、设计深度学习网络模型，该模型包含编码器和解码器，编码器减小特征图大小，解码器接收不同分辨率的特征并将它们融合在一起，最后采用softmax层进行语义分割结果的预测；步骤202、采用小批量随机梯度下降法来优化网络，并设置参数；步骤203、使用ADE20K和SkyFinder两个数据集进行网络模型的训练；在训练过程中，对数据集进行三个增强操作，包括随机翻转、随机选择和随机亮度，使网络模型能够更好地适应空间位置和亮度变化的天空特征；步骤204、在PC平台上构建和训练上述网络模型，使用第三方推理引擎将网络模型部署到移动端设备中；步骤103、利用惯性传感器数据和每帧图像对粗略的天空区域掩码图进行细化和稳定；步骤103的具体步骤如下：步骤301、从网络模型中获取粗略的天空区域分割结果；步骤302、设计基于时间一致性的约束，通过惯性传感器数据在视频的前一帧和当前帧之间进行像素级的对应，以优化天空区域中的错误分割结果；步骤302设计基于时间一致性的约束t表示帧的序号，i表示像素的序号；使用单应矩阵HΔt来获得第t-1帧和第t帧之间天空区域的像素级对应，公式如下： 其中K是相机投影或内在矩阵，Rt表示第t帧的旋转矩阵，表示第t-1帧的旋转矩阵的逆，单应矩阵HΔt能够将第t-1帧像素重新投影，使其与第t帧的像素对齐；最后，计算约束的时间一致性：在第t帧，每个像素的计算方法如下： 其中下标为t-1的变量代表在第t-1帧中计算的值，并通过HΔt进行重投影到第t帧；εtemp是误差系数；I为移动设备的相机帧彩色图像，代表从步骤301获得的网络模型输出的第i个像素的分割值，这个值表示一个像素是否为天空区域的概率，所有的组成了一个向量fseg，通过使用阈值0.5将fseg进行二值分类，得到Pseg，Pseg是一个二维向量阵列，组成一张黑白图，即初步的天空分割掩码图；步骤303、设计基于位置一致性的约束，通过惯性传感器数据识别地平线在设备取景框中的位置，消除那些在地平线以下误被识别为天空区域的错误像素；步骤303设计基于位置一致性的约束该约束利用下列公式获得： UVi是帧的二维索引的UV坐标，UVi.y表示帧的垂直方向；上述公式3表示通过KRtK-1转换UV坐标的y方向后，天空区域不允许出现在下部；smoothx∈[0,1]是平滑过渡函数；步骤304、设计自适应的颜色一致性约束，利用天空区域的色彩特征和局部色彩特征来优化具有复杂边界的物体和靠近天空区域但与天空颜色明显不同的物体；步骤304设计自适应的颜色一致性约束时，用Isky表示从I中复制的彩色图像，但只包含天空区域的像素，图像其他部分的颜色总是被设置为黑色；用N表示I、fseg、Pseg和Isky中所有像素的个数，用Nsky来表示属于天空区域的像素个数；首先，需计算出天空区域的平均颜色csky＝R,G,B：使用一个具有k×k内核的像素均值滤波对图像进行降采样，得到均值，Isky的均值与Pseg的均值为： 这两个值通过进行logkN次均值滤波降采样获得，其总时间复杂度为OklogkN；将上述等式7、8代入csky的计算方程中，得到： 该等式的计算复杂度同样为OklogkN；然后，设计自适应的颜色一致性约束颜色一致性约束的任务是评估一个像素是否更接近于天空的平均色csky，还是更接近于该像素邻近像素的平均色即这里R是用来选取周围像素的正方形区域ω的边长，引入变量来表示像素的二值分类结果，和表示如下： 使用HSV空间来计算颜色距离函数D，εcol是一个阈值，表示颜色一致性约束的有效范围；步骤305、将上述三个约束统一到表达式中，从而并行地实现像素级优化，提升计算效率；设最终输出的区域分类结果为Pi,t，则基于单个像素的约束表达式如下： 其中Pi,t和Pi,t-1分别表示最终优化后的像素二值分类结果；为时间一致性约束，为位置一致性约束，与为自适应的颜色一致性约束；表示第t帧的像素二值分类结果，所有的Pi,t组成了最终优化后的第t帧的天空区域掩码图Pt；步骤104、使用快速抠图算法为掩码图增加alpha值；步骤105、将最终的掩码图上采样到原始视频帧图像大小，然后将虚拟场景与原视频帧图像进行混合，输出带有虚拟天空和其他虚拟三维物体的增强现实效果。

全文数据：

权利要求：

百度查询： 中国海洋大学 用于增强现实场景的实时天空替换特效控制方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD