买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：松立控股集团股份有限公司

摘要：本发明属于图像处理技术领域，涉及一种基于全局结构编码的全景图像修复方法，先构建全景图像修复数据集，对全景图像分别进行视觉特征和结构特征编码，再进行视觉结构特征交互后过滤噪声，然后对全景全局特征引入编码层并进行全景特征缺失区域相似性约束，最后特征精细化输出以及网络训练和测试；通过引入全局结构编码，更全面地理解全景图像的整体语境，在修复过程中提供更准确、更自然的结果，全局结构信息的有效利用有助于恢复缺失区域，使修复的图像更贴近原始的全景场景。

主权项：1.一种基于全局结构编码的全景图像修复方法，其特征在于，具体包括如下步骤：（1）收集并整理包含全景图像构建全景图像修复数据集；（2）将全景图像修复数据集中的全景图像作为输入图像，采用ViT方式将输入图像分割成小块并通过线性层进行特征嵌入得到视觉特征，在特征嵌入过程中，将输入特征划分为像素级的卷积输入；（3）对全景图像进行角点检测和边缘检测，将角点检测和边缘检测的结构输入深度学习网络提取全景图像结构特征分别得到角点特征和边缘特征，并将角点特征和边缘特征进行拼接融合得到结构特征；（4）采用结合深度特征的奇异值分解方式进行视觉特征和结构特征之间的交互得到增强后的视觉特征；具体过程表示为： ， ，其中为线性层，对于每对特征和，计算他们之间的余弦相似度，其中k为特征V和S的维度，然后将余弦相似度值填入相似度矩阵M的对应位置，，重复这个过程，到填满整个相似度矩阵，增强后的视觉特征为，其中i表示特征V的维度索引，j表示特征S的维度索引，在增强后的视觉特征Vi′中，每个原始特征Vij被相似性矩阵M中对应位置的元素加权；（5）采用全局池化层对步骤（2）得到的视觉特征进行操作，将其转化为一个高维度的向量，得到全局特征，并从全局特征中提取高维度语义信息得到高维度的全局特征；全局特征为，GlobalPooling表示全局池化操作；高维度的全局特征为，SemanticInfo表示从全局特征中提取高维度语义信息的操作；（6）将全局特征进行修复，得到增强后的特征；增强后的特征为，其中，α为权重系数，用于平衡对相似性的影响， ，β为权重系数，用于平衡与的相似性和与的相似性，表示与之间的余弦相似性，表示与之间的余弦相似性；（7）对步骤（6）得到的增强后的特征，通过对当前局部区域与其他区域之间的相似性进行约束得到经过约束处理后的特征；经过约束处理后的特征为： ， 为步骤（6）增强后的特征，Wq,Wk,Wv是分别用于查询、键、值的权重矩阵，Softmax是Softmax激活函数，是dk的平方根，其中dk是查询键向量的维度；（8）对经过约束处理后的特征进行精细化处理后输出，输出结果为：，其中：是经过约束处理后的特征，Refine表示特征精细化操作，特征精细化操作包括卷积层和激活层操作；（9）采用Adam优化器训练整个网络模型，并对训练好的网络模型进行测试。

全文数据：

权利要求：

百度查询： 松立控股集团股份有限公司 一种基于全局结构编码的全景图像修复方法