申请/专利权人：北京理工大学珠海学院

申请日：2024-02-05

公开（公告）日：2024-04-12

公开（公告）号：CN117877122A

主分类号：G06V40/20

分类号：G06V40/20;G06T3/4053;G06V10/764;G06V10/774;G06V10/80;G06T3/4038;G06N3/0464;G06N3/0455;G06N3/0442;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明提供一种基于轻量型ViT和注意力机制的红外人体姿态估计方法，其包括获取红外图像数据；构建MSF‑MobileViT网络模型，通过MSF‑MobileViT网络模型提取得到红外图像数据的高分辨率且语义信息丰富的特征表示；构建DAs‑MPPE网络模型，通过DAs‑MPPE网络模型生成L来编码肢体之间的关联度，再生成S来预测关节点的位置；在两个网络模型的协同训练过程中，采用一致性和置信度评估两种评估标准，多次输出选取可信度高的无标签数据纳入对方网络的训练集中，稳定的选取无标签数据添加伪标签。本发明将MSF‑MobileViT网络模型和DAs‑MPPE网络模型结合进行红外人体姿态估计，从而定位图像中所有人的关节点和肢体位置，有效克服了现有红外人体行为识别技术中存在的弊端。

主权项：1.一种基于轻量型ViT和注意力机制的红外人体姿态估计方法，其特征在于，该方法包括以下步骤：获取红外图像数据；构建MSF-MobileViT网络模型，通过MSF-MobileViT网络模型提取得到红外图像数据的高分辨率且语义信息丰富的特征表示，作为DAs-MPPE网络模型的输入；构建DAs-MPPE网络模型，通过DAs-MPPE网络模型生成L来编码肢体之间的关联度，再生成S来预测关节点的位置；在两个网络模型的协同训练过程中，采用一致性和置信度评估两种评估标准，多次输出选取可信度高的无标签数据纳入对方网络的训练集中，稳定的选取无标签数据添加伪标签；协同训练后的两个网络模型对全连接层的输出进行归一化，得到两个网络对同一动作预测出的不同结果，选取决策级融合中采用不同比例的加权融合进行分类，对比最大值融合，提高模型的泛化能力；其中，L＝L1；L2；...；Lc表示所有肢体的PAF，用于描述肢体的位置和方向信息，Lc∈RW×H×2表示肢体c的PAF，c∈{1...C}表示肢体的索引；S＝S1；S2；...；Sj表示所有关节点的PCM，用于定位关节点的位置信息，表示关节点j的PCM，j∈{1...J}表示关节点的索引。

全文数据：

权利要求：

百度查询： 北京理工大学珠海学院 一种基于轻量型ViT和注意力机制的红外人体姿态估计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD