申请/专利权人：南京航空航天大学

申请日：2020-07-28

公开（公告）日：2024-04-02

公开（公告）号：CN112001422B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/40;G06V10/20

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2020.12.15#实质审查的生效;2020.11.27#公开

摘要：本发明提出了一种基于深度贝叶斯学习的图像标记估计方法，包括以下步骤：1获取图像数据，将图像分发给网络上的标注者进行预标注，构造图像众包标记数据集；2对图像做特征预提取处理，获得图像的fishervector特征表示；3搭建深度表示学习网络，构建标注生成过程的深度贝叶斯模型；4将图像fishervector特征及众包标记输入深度贝叶斯模型，基于图像和参数联合概率似然构造变分下界损失函数；5基于自然梯度随机变分推断，端到端地对深度贝叶斯模型进行训练；6返回模型输出的图像真实标记估计及各标注者的混淆矩阵。本发明克服了EM迭代式训练的低效率和非贝叶斯学习不可解释性的问题，提高了图像标记估计的效果。

主权项：1.一种基于深度贝叶斯学习的图像标记估计方法，其特征在于，包括以下步骤：1获取图像数据，将图像分发给网络上的标注者进行预标注，获得众包标记L；2对图像做特征预提取处理，获得图像的fishervector特征表示X；3搭建深度表示学习网络，构建标注生成过程的深度贝叶斯模型；4将图像fishervector特征X及众包标记L输入深度贝叶斯模型，基于图像和参数联合概率似然构造变分下界损失函数；5基于自然梯度随机变分推断，端到端地对深度贝叶斯模型进行训练；6返回模型输出的图像真实标记估计及各标注者的混淆矩阵；其中，所述深度贝叶斯模型为一个完全贝叶斯深度生成式众包模型，包括标注生成过程模型和隐真实标记的先验模型，所述标注生成过程模型对每个标注者采用独立混淆矩阵参数化来刻画标注者的能力，基于标注者混淆矩阵V和图像真实标记Y构造众包标记L的似然pL|Y，V；所述隐真实标记的先验模型包括第一先验分布和第二先验分布，所述第一先验分布为数据无关的先验分布，是所有图像共享同样的、由参数π刻画的先验分布pY|π，所述第二先验分布为依赖于输入特征X和参数为γ的神经网络分类器的先验分布pY|X，γ；得到基于众包标记L、真实标记Y及全局参数Θ＝{V，π}的联合分布为：pL，Y，Θ|X，γ＝pπpY|πpY|X，γpL|Y，VpVpπ、pV分别表示参数π和混淆矩阵V的先验分布；其中，所述标注生成过程模型表示为： 其中Lij表示标注者j在图像i上的众包标记，Vj表示标注者j的混淆矩阵，yi表示图像i的真实标记，N、W分别表示图像数目及标注者数目，表示指示函数；所述数据无关的先验分布为： pyi，π不依赖于样本i的信息，完全由π所决定，π维度为K，表示所有图像数据中，分别属于K个类别的数据所占比例，表示第k个维度的取值，取值在[0，1]；所述依赖于输入特征和参数为γ的神经网络分类器的先验分布为：pyi|xi，γ＝Categoricalτxi；γCategorical表示图像i的真实标记yi所服从的多变量离散分布，该分布由自然参数τ刻画，而τ为图像fishervector特征xi的函数，函数的参数用γ；综合上述两个先验分布，得到所有图像数据集的真实标记Y的先验分布为： 所述变分下界损失函数形式为： 其中qY、qΘ分别为图像的真实标记Y和全局参数Θ的后验分布；所述步骤5包括：5.1输入特征矩阵X、众包标记L、全局变分参数的初始值ηΘ、神经网络参数γ；5.2使用ηΘ、γ、L，对每一个图像xi计算出其真实标记的自然参数5.3使用计算出ηΘ、γ的梯度；5.4根据计算出的梯度，使用随机梯度下降算法更新参数ηΘ、γ；5.5判断是否满足迭代结束条件，不满足则返回步骤5.2，否则结束训练阶段；5.6使用预测出来的充足统计量来估计每张图像的真实标签概率和每个标注者的混淆矩阵；其中，所述步骤5.2包括：给定ηΘ，γ，将q*Y的优化分解到每一个图像上： q*Y表示ηΘ给定时，真实标记Y的后验分布qY的最优解；q*yi的计算方式为： 分别表示相对于分布qπ、qV的期望，＜γxi，tyi表示γxi，tyi的内积，γxi为以γ为参数的神经网络输入为图像特征xi时的输出，tyi为第i个样本真实标记yi对应分布的充分统计量，const表示常量；在确定了q*yi之后，通过下式计算得到 Lij表示标注者j在图像i上的众包标记，Vj表示标注者j的混淆矩阵，yi表示图像i的真实标记，N、W分别表示图像数目及标注者数目，表示指示函数；将得出的组合，得到所有图像真实标记的自然参数矩阵

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于深度贝叶斯学习的图像标记估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD