申请/专利权人：哈尔滨工业大学

申请日：2023-12-21

公开（公告）日：2024-03-22

公开（公告）号：CN117744706A

主分类号：G06N3/045

分类号：G06N3/045;G06F18/2415;G06N3/084;G06F18/25;G06F18/22;G06F18/213;G06N3/0475;G06N3/094

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：一种基于2D预训练模型的3D小样本连续学习方法，属于3D小样本连续学习领域。本发明针对现有2D预训练模型不适用3D少样本类增量学习的问题。包括对每个点云样本进行多视角渲染与2D特征编码，并合并得到深度图全局特征；对每个点云样本进行3D编码与调节得到与2D对齐后3D点云特征；将深度图全局特征与3D点云特征融合得到融合后全局特征；采用主成分对标签特征向量和融合后全局特征进行降维操作，计算无冗余全局特征与各标签特征向量的重归一化余弦相似度，并计算分类概率损失值与对抗学习损失值，得到总损失值；对每个新增类点云样本库中的新增类点云样本进行上述过程数据处理实现3D小样本连续学习。本发明用于3D小样本连续学习。

主权项：1.一种基于2D预训练模型的3D小样本连续学习方法，其特征在于包括，确定基类点云样本库和多个新增类点云样本库；构建连续学习分类模型，依次采用基类点云样本库和每个新增类点云样本库中的所有点云样本对连续学习分类模型进行训练，并且在每一次新增类点云样本库中的所有点云样本训练完成后，对连续学习分类模型进行测试的点云样本类别为当前已经完成训练的点云样本的类别总和；基类点云样本和新增类点云样本对连续学习分类模型进行训练的过程相同，包括：对每个点云样本进行多视角渲染获得多视角深度图，多视角深度图经预训练的2D视觉编码器生成多视角特征编码结果，多视角特征编码结果经特征合并器合并得到深度图全局特征；同时采用3D编码器对每个点云样本进行3D编码生成3D点云特征，3D点云特征经调节器进行调节获得与深度图全局特征对齐的对齐后3D点云特征；再采用融合函数将深度图全局特征和对齐后3D点云特征进行融合得到融合后全局特征；将当前可见的样本类别标签名字采用文本编码器生成一组标签特征向量；使用预训练得到的主成分对标签特征向量和融合后全局特征进行降维操作，得到无冗余全局特征与各类别无冗余标签特征；计算当前无冗余全局特征与所有类别无冗余标签特征的重归一化余弦相似度，并对所有重归一化余弦相似度进行softmax操作，获得当前无冗余全局特征在所有类别中的分类概率，并计算分类概率损失值；同时使用无冗余全局特征作为锚点，将对应类别的无冗余标签特征作为正例，其它无冗余标签特征作为负例，计算对抗学习损失值；根据分类概率损失值和对抗学习损失值计算损失函数的总损失值；对每个点云样本重复预设次数的前述训练过程，并对总损失值完成反向传播；对每个新增类点云样本库中的所有新增类点云样本依次进行上述过程的数据处理，实现3D小样本连续学习；对于连续学习分类模型，取分类概率最高的预测类别作为训练后连续学习分类模型的分类结果。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于2D预训练模型的3D小样本连续学习方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD