申请/专利权人：杭州电子科技大学

申请日：2022-05-07

公开（公告）日：2024-04-16

公开（公告）号：CN114819091B

主分类号：G06V10/82

分类号：G06V10/82;G06N3/045;G06N3/047;G06N3/084;G06V10/764;G06V10/766;G06V10/26;G06F9/48;G06T7/66

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.08.16#实质审查的生效;2022.07.29#公开

摘要：本发明涉及基于自适应任务权重的多任务网络模型训练方法及系统。本发明通过一个特定于任务的策略学习共享模式，该策略自主选择在多任务网络中执行哪些层，并且能够同时搜索与任务较匹配的权重，以更好地训练模型。本发明基于ResNet重构了多任务网络模型，训练过程中根据数据集中的图像有效地优化了学习策略，提高了任务指标的同时克服了多任务模型的单一性。本发明基于概率论极大似然估计推导了适用于回归和分类任务的多任务损失函数，其能够在训练过程中自动调节任务权重以更好地提升模型性能，克服了任务权重不灵活的问题。

主权项：1.一种适用于图像的语义分割和表面法线估计的两个任务分类方法，其特征在于包括以下步骤：步骤1、选取数据集并进行预处理获取由室内场景RGB图像构成的数据集NYUv2，包括语义分割图像和像素级表面法线真实度；步骤2、构建多任务网络模型；其中多任务网络模型包括多个任务的网络模型；每个任务的网络模型包括ResNet主干网络、特定任务层；特定任务层由1个ASPP层组成，每个ASPP层包括四个并行的分类模块；每个任务的输出是由四个分类模块的结果进行相加；步骤3、对多任务网络模型进行预训练；具体是3-1利用学习策略对每个任务的网络模型进行自适应学习；所述学习策略具体如下：给定一组相关的任务，假设其集合为T＝{T1,T2,…,TK}，对任务Tk模型中主干网络的每一残差块l赋予决策变量ul,k，该决策变量ul,k∈{0,1}，当ul,k＝0时对任务k跳过第l层，当ul,k＝1时对任务k选择第l层；由于决策变量ul,k是离散不可微的，因此可将通过GumbelSoftmax采样方法使其连续化；假设任务k选择第l个残差块的概率为αl,k，那么关于ResNet主干网络残差块l的策略分布即为πl,k＝[1-αl,k,αl,k]，利用其得到选择或跳过决策： 其中j∈{0,1}，分别对应跳过和选择决策；Gl,k＝-log-logUl,k，Ul,k采样于标准0,1均匀分布；利用重参数化技巧消除argmax操作： 其中τ为一个大于零的参数，它控制着函数vl,k的平滑程度；当τ趋近于0时，vl,k无限接近于πl,k，当τ大于0时，vl,k是一个平滑的曲线，可以通过梯度下降法对其进行优化；3-2对每个任务的网络模型构建对应的任务损失；具体如下：1回归任务损失假设给定网络模型输入为x，网络权重为W，输出为fWx；将高斯分布作为回归任务的概率模型，模型输出作为均值，即：py1|fWx＝NfWx,σ123其中NfWx,σ12表示均值为fWx，标准差为σ1的正态分布，y1为回归任务的原始标签值，py1|fWx表示以模型输出fWx为条件，正态分布取到y1的概率，σ1为回归任务的观测噪声标量；对上式3两边取对数可得： 因此回归任务损失即为： 其中表示一种回归任务的损失；2分类任务损失利用Softmax函数获取网络模型的输出概率，并按照σ22对其进行缩放，可得： 其中y2为分类任务的原始标签值，其中σ2为一个正的标量，可解释为玻尔兹曼分布，在其中被称为温度，这个标量是可以学习的，它决定了这个分布的平滑程度；同理，对上述公式取对数可得： 其中c表示一种分类结果，表示分类任务的输出向量，其中的元素代表每种分类结果的概率，表示第c′种分类结果的概率；是模型输出向量fWx中的元素；因此可得分类任务损失即为： 其中作为分类任务的交叉熵损失，当σ2趋近于1时，3利用回归任务损失和分类任务损失构建联合损失假设y1，y2为回归和分类任务的原始标签值，综上可得联合损失即为： 3-3对每个任务的网络模型构建辅助任务损失1稀疏损失： 其中αl,k为任务k选择第l个残差块的概率；2共享损失： 其中L表示残差块总数，l表示第l个残差块，和表示任务k1和k2选择第l块的概率；3-4对所有任务的网络模型构建多任务总损失 其中ωsp和ωsh分别为稀疏损失和共享损失对应的权重；步骤4、对多任务网络模型进行再训练：获取预训练过程中多任务网络模型的最优任务权重，并获取每个任务的最优学习策略；利用最优学习策略构建每个任务的最优网络模型，然后在最优任务权重下进行再训练；步骤5、利用训练好的多任务网络模型进行语义分割和表面法线估计。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于自适应任务权重的多任务网络模型训练方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD