申请/专利权人：西安电子科技大学

申请日：2021-07-02

公开（公告）日：2024-04-09

公开（公告）号：CN113379771B

主分类号：G06V10/26

分类号：G06V10/26;G06V40/10;G06V10/80;G06V10/82;G06V10/774;G06N3/0455;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.09.28#实质审查的生效;2021.09.10#公开

摘要：本发明公开了一种带有边缘约束的层次化人体解析语义分割方法，主要解决现有在复杂解析场景下适应性较差，获取丰富的人体结构语义上下文信息不足的问题。其方案是：采集与标注人像数据，并对其中的训练数据进行预处理；构建带有边缘约束的层次化人体解析语义分割模型，用预处理后的训练数据对该模型进行训练并评价，将含有人体的图片输入经评价符合要求的训练后带有边缘约束的层次化人体解析语义分割模型中得到分割结果图。本发明可实现对人体解析语义分割任务边缘特征信息的约束，改善人体解析语义分割模型在复杂场景下对人体图像的错分、漏分现象，有效地提升了人体解析语义分割的效果，可用于智能安防系统的实时预警及电子商务的虚拟现实换装。

主权项：1.一种带有边缘约束的层次化人体解析语义分割方法，其特征在于，包括：S1数据的采集与标注：采集含有人体的若干自然图片，并将每张含有人体的自然图片按照人体组分对应的语义信息进行像素级的标注；将自然图片与其对应像素标注图片组成图片对，按照1:1的近似比随机将所有图片对划分为训练集和测试集；S2对训练数据做预处理：对训练集的所有图片对依次进行随机剪裁、随机尺度缩放和随机翻转的增强；根据边缘检测算子提取训练集真值数据的语义边缘，并根据人体分层情况，合并训练集的真值数据不同层次的语义标签；S3构建带有边缘约束的层次化人体解析语义分割模型，其包括骨干网络、边缘检测模块、层次空间金字塔模块和解码模块，该骨干网络的输出分别与边缘检测模块和层次空间金字塔模块的输入端连接，边缘检测模块与层次空间金字塔模块的输出与解码模块连接；其中的边缘检测模块，是由三个并联的边缘特征块b1，b2，b3与融合特征块b4级联组成，这些特征块通过以下操作得到：第一边缘特征块b1由骨干网络中第一特征编码模块R1的输出特征，经过1×1卷积操作，再经过下采样变换得到，其中变换的维度应与第三特征编码模块R3的输出特征维度保持一致；第二边缘特征块b2由骨干网络中第二特征编码模块R2的输出特征，经过1×1卷积操作，再经过下采样变换得到，其中变换的维度应与第三特征编码模块R3的输出特征维度保持一致；第三边缘特征块b3由骨干网络中第三特征编码模块R3的输出特征，经过1×1卷积操作得到；第四边缘特征块b4由第一边缘特征块b1，第二边缘特征块b2与第三边缘特征块b3按照通道维度进行矩阵拼接得到；其中的层次空间金字塔模块，包括级联的最底层图结构推理模块G1，中间层图结构推理模块G2，最上层图结构推理模块G3，其中：所述最底层图结构推理模块G1，用于最底层语义特征的消息传递，即将对应特征块的维度映射到由最细节人体解析层分组类别构成的最底层图结构的特征维度上，对最底层图结构特征进行消息传递，并将消息传递后的最底层图结构反映射回原特征块的维度；所述中间层图结构推理模块G2，用于中间层语义特征的消息传递，即将对应特征块的维度映射到由上下半身人体解析层分组类别构成的中间层图结构的特征维度上，对中间层图结构特征进行消息传递，并将消息传递后的中间层图结构反映射回原特征块的维度；所述最上层图结构推理模块G3，用于最上层语义特征的消息传递，即将对应特征块的维度映射到由全身人体解析层分组类别构成的最上层图结构的特征维度上，对最上层图结构特征进行消息传递，并将消息传递后的最上层图结构反映射回原特征块的维度；S4设置模型超参数和训练规则，包括设置梯度下降方法、学习率、最大训练代数、损失函数，并将经过S2预处理后的训练集批量输入到带有边缘约束的层次化人体解析语义分割模型中，进行带有边缘约束的层次化人体解析语义分割模型训练；S5将S4训练后的模型参数保存，获得含参数的带有边缘约束的层次化人体解析语义分模型，将测试集输入带参数的人体解析语义分割模型中进行模型评价，得到其平均交并比指标；S6根据评价的平均交并比指标评价模型性能是否达到预期效果：若达到，则执行S7，否则，返回S4调整网络超参数和训练规则，重新训练带有边缘约束的层次化人体解析语义分割模型；S7将包含人体的自然图像输入到S4含参数的带有边缘约束的层次化人体解析语义分割模型中，得到边缘约束的人体解析图像。

全文数据：

权利要求：

百度查询： 西安电子科技大学 带有边缘约束的层次化人体解析语义分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD