申请/专利权人：西北工业大学

申请日：2020-11-10

公开（公告）日：2024-05-10

公开（公告）号：CN112329662B

主分类号：G06V10/46

分类号：G06V10/46;G06V20/40;G06V10/82;G06N3/088;G06N3/084;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.05.10#授权;2021.02.26#实质审查的生效;2021.02.05#公开

摘要：本发明涉及一种基于无监督学习的多视角显著性估计方法，属于视频图像处理领域。首先进行单视角背景建模，采用深层自动编码器对单视角背景进行学习，计算单视角显著性图；然后联合视角背景建模，对联合视角背景进行学习，计算联合视角显著性图；最后对单视角显著性图和联合视角显著性图进行多尺度显著性图融合。本发明方法仅需要采样场景无标记图像块来进行学习，结合了单视角与多视角下的显著性计算，可以更好的针对背景进行学习，减少背景的干扰，得到比基于显著性区域学习算法更高的预测精度。

主权项：1.一种基于无监督学习的多视角显著性估计方法，其特征在于步骤如下：步骤1：单视角背景建模计算边界先验图：像素点x的边界先验Pboundaryx定义为该点所在图像块Vx到虚拟背景点VB的最短路径： 其中，wVi,Vi+1表示顶点Vi和顶点Vi+1之间边的权重；nx是当前点x到VB的最短路径长度；计算深度先验图： 其中，是点x处归一化的深度值；基于归一化的边界与深度先验图，计算单视角背景先验图：P1x∝1-Pboundaryx·Pdepthx3其中，P1x代表当前像素点x属于背景区域的概率；步骤2：采用深层自动编码器对单视角背景进行学习所述的深层自动编码器由共用中心层且结构对称的编码器与解码器两部分组成，中心层为二值神经元，其余所有神经元均为逻辑神经元；所述的编码器由5层网络结构组成，相邻两层网络是全连接的关系，N0为输入层的神经元数量，其大小由输入图像块对应的向量维数决定；编码器神经元个数逐层减少，Ni≥2Ni+1,i＝0,1,2，N3≥2Nc，中心层神经元数量Nc通常远小于输入层神经元数量N0；步骤3：单视角显著性图计算对于像素点x，首先提取其对应的大小为dk×dk的图像块，并堆叠所有颜色通道数据来生成对应的向量表示skx；接下来，通过将图像块向量skx输入到学习后的深层自动编码器中，其中表示尺度k下深层自动编码器的参数，来得到重构图像块向量最后，计算重构与实际图像块向量的l2范数来得到单视角下像素点x的显著性值 步骤4：联合视角背景建模将不同视角下的输入变换到统一公共平面上来实现全局背景整合：先手动标定p组当前视角平面与对应公共平面中对应的网格参考点与再利用成对的标记点求解两个视角间投影关系对应的3×3非奇异矩阵Q： 对于每一个视角图像Ai，根据式5来建立方程组求解其对应的变换矩阵Qi，并将Ai通过变换变换到公共平面上接下来整合不同视角下的投影变换结果形成公共平面；删除重叠的区域，使得每个重叠区域仅保留一次；最后再根据式3进行联合背景建模，得到联合背景先验图P2x；步骤5：联合视角背景学习通过已知几何变换来避免从未观察区域进行背景学习，再对剩下区域根据P2x值进行排序，估计出前80％的区域作为候选背景区域；基于候选背景区域，采样m×n个图像块训练样本来对深层自动编码器进行训练，n为视角图像数量；同样采用两阶段训练方式来训练深层自动编码器，利用预训练为深层自动编码器设定初值，再利用反向传播算法微调整个深层自动编码器参数得到联合背景建模下的深层自动编码器步骤6：联合视角显著性图计算在当前视角图像Ai下，平面上每个点在尺度k下的显著性可通过计算联合视角下训练深层自动编码器的重构误差得到；再根据的反变换来将显著性图变换到当前图像视角下，得到联合视角显著性图步骤7：多尺度显著性图融合采样多尺度图像块模板来进行训练与显著性计算：首先将图像块大小设置为l个尺度：d1×d1,d2×d2,…,dl×dl，按照步骤2与3计算尺度1到尺度l下单视角显著性图最终多尺度单视角显著性图为不同尺度下显著性图的平均结果： 其中N·表示归一化算子；相似地，在尺度1,2,…,l下，按照步骤5与6分别计算多个个尺度下的联合显著性图再平均不同尺度下的结果得到总的多尺度联合视角显著性图： 多尺度图像块模板可采用如下的设置方式2dk≤dk+1,k＝1,2,…,l-1；采用显著性图紧凑性度量系数β1与β2来整合单视角与联合视角对应的显著性图： 其中，Ei,1,Ej,1与Ei,2,Ej,2分别表示显著性图S1x与S2x的平均空间位置；xi,xj表示像素点x的x轴与y轴坐标；在此基础上，总显著性图Sx可按如下方式计算：Sx＝β1·S1x+β2·S2x+β1·β2·S1x·S2x9其中第一项表示基于紧凑性度量系数的单视角与联合视角线性加权结果，第二项的作用在于增加两部分公共关注区域的显著性值。

全文数据：

权利要求：

百度查询： 西北工业大学 基于无监督学习的多视角显著性估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD