申请/专利权人：南京航空航天大学

申请日：2020-11-25

公开（公告）日：2024-04-16

公开（公告）号：CN112488122B

主分类号：G06V10/46

分类号：G06V10/46;G06V10/74;G06V10/764;G06V10/82;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.03.30#实质审查的生效;2021.03.12#公开

摘要：本发明提出了一种基于卷积神经网络的全景图像视觉显著性预测方法。所述方法包括：对全景图像进行等尺寸映射，将一张全景图像映射成若干块相同尺寸的2D图像块，并且保留像素点在球面上的坐标；将2D图像块输入卷积神经网络模型，通过计算和预测输出对应的尺寸相同的显著图，其中所述卷积神经网络模型加入全景图像的像素球面坐标值进行训练，并且使用定制的损失函数；根据所保留的像素点球面坐标将所得显著图进行拼接，得到完整的全景图像显著图，完成全景图像的视觉显著性预测。采用本发明的方法，可以明显地观察到显著图预测效果的提升。

主权项：1.一种基于卷积神经网络的全景图像视觉显著性预测方法，其特征在于，所述方法包括以下步骤：1对全景图像进行等尺寸的投影，将一张全景图像投影成若干块相同尺寸的2D图像块，并且保留像素点对应在球面上的坐标，其中在进行全景图像投影时，通过旋转映射将球面上的像素映射到2D平面，公式为： 其中x、y为2D图像的像素坐标，sw、sh分别为2D图像的宽、高，θ、Ф为全景图像像素的球面坐标，θ是纬度，Ф是经度；2将2D图像块输入卷积神经网络模型，通过计算和预测输出对应的尺寸相同的显著图，其中所述卷积神经网络模型通过预先训练获得，在训练时加入全景图像的像素球面坐标值进行训练，并且使用定制的损失函数，所述卷积神经网络模型包括基础网络和增强网络，所述基础网络主要用于粗略的显著图的估计，其输入为从全景图像中投影出来的2D图像块，输出为一张尺寸相同的一通道灰度显著图；所述增强网络主要用于对基础网络输出的显著图进行更加精细的估计，其输入为一个三通道的维度，是通过将步骤1中生成的二维球面坐标和基础网络的一维输出显著图像进行级联操作而形成的一个三通道的输入，坐标的维度和图像尺寸相同，输出为一张尺寸相同的一通道灰度显著图；所述卷积神经网络模型在训练时，使用如下损失函数： 其中表示所述卷积神经网络模型的损失函数，是模型预测的显著图，yden是真实的人眼所观察到的显著图，yfix是真实的二值化显著图，是和yden的KL离散度，是和yden的线性相关系数，是和yfix的归一化扫描路径显著性；3根据所保留的像素点球面坐标将所得若干显著图进行拼接，得到完整的全景图像显著图。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于卷积神经网络的全景图像视觉显著性预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD