申请/专利权人：华南农业大学

申请日：2022-02-25

公开（公告）日：2024-05-03

公开（公告）号：CN114743234B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/82;G06V10/764;G06N3/0464;G06N3/084;G06N3/0499

优先权：

专利状态码：有效-授权

法律状态：2024.05.03#授权;2022.07.29#实质审查的生效;2022.07.12#公开

摘要：本发明公开了一种基于深度学习的人脸口罩高效识别方法，包括：首先构建嵌入空间数据库，其中存储有人脸特征向量的嵌入空间；在需要识别的场景中采集人脸图像，将采集的每张人脸图像先通过并行网络进行降维，得到降维后的特征图；将降维后的特征图输入训练好的人脸检测模型中，得到检测后的特征图；再将检测后的特征图输入到训练好的人脸口罩分类模型中进行分类，将分类后的特征图输入到三元网络，得到更加细化的人脸特征向量以及人脸特征向量的嵌入空间；再将所述人脸特征向量输入到多层感知器中，进行人脸特征向量的多层感知与读取，最终通过将人脸特征向量的嵌入空间与所述嵌入空间数据库中已有的嵌入空间进行对比得到人脸识别结果。

主权项：1.一种基于深度学习的人脸口罩高效识别方法，其特征在于，包括：首先构建嵌入空间数据库，其中存储有人脸特征向量的嵌入空间；在需要识别的场景中采集人脸图像，将采集的每张人脸图像先通过并行网络进行降维，得到降维后的特征图；将降维后的特征图输入训练好的人脸检测模型中，得到检测后的特征图；再将检测后的特征图输入到训练好的人脸口罩分类模型中进行分类，将分类后的特征图输入到三元网络，得到更加细化的人脸特征向量以及人脸特征向量的嵌入空间；再将所述人脸特征向量输入到多层感知器中，进行人脸特征向量的多层感知与读取，最终通过将人脸特征向量的嵌入空间与所述嵌入空间数据库中已有的嵌入空间进行对比得到人脸识别结果；所述的人脸检测模型是将现有的SSD模型输入层的VGG16网络替换为EfficientNet网络，并利用3×3的卷积层替代EfficientNet网络的第一层中的卷积层，使用2×2的卷积层替代EfficientNet网络的第二和第三层中的卷积层，并在更改后的卷积层之后分别加入CA通道注意力机制；所述人脸口罩分类模型是在现有Xception模型的基础上，构建新的全连接单元代替现有Xception模型中原有的全连接层；新的全连接单元依次包括：AveragePooling2D层、Flatten层、Dense层、Dropout层、Dense层；当人脸检测模型输出的检测后的特征图传递到Xception模型时，将Xception模型中的可分离卷积进行冻结，使其在反向传播时不会更新；在特征图经过新的全连接单元传递结束后，将可分离卷积进行解冻；所述三元网络从前至后结构依次为：三个并行的卷积神经网络、嵌入空间层、tripletloss函数；利用三元网络将输入的分类特征图中的人脸的锚框和正样本特征图进行相似度对比、人脸的锚框和负样本特征图进行相似度的对比，使得人脸的锚框更加接近正样本特征图，远离负样本特征图；通过三个一维的所述卷积神经网络对人脸的锚框、正样本特征图、负样本特征图这三种人脸特征向量的权重进行共享，以在嵌入空间层中分别得到每个人脸特征向量的嵌入空间，之后再通过tripletloss函数将嵌入空间进行对比，并反向传播梯度到负样本特征图对应的卷积神经网络中；所述并行网络包含R通道网络、G通道网络和B通道网络；R通道网络的结构从前至后依次为：3×3的卷积层、BN层、全连接层、全局平均池化层；G通道网络的结构从前至后依次为：2×2的卷积层、BN层、全连接层、ReLU非线性激活函数、全局平均池化层；B通道网络的结构从前至后依次为：3×3的卷积层、BN层、全连接层、全局平均池化层；将经过RGB三种通道处理后的特征进行合并，得到降维后的特征图；CA注意力机制内的处理过程为：在经过CA注意力机制中的残差模块输入之后，坐标信息划分为X和Y，并且两个坐标点X和Y都进行平均池化操作，通过二维卷积合并在一起，最后利用两个sigmoid激活函数输出重构的位置信息；在训练阶段，以pickle文件的形式将每个人脸特征向量的嵌入空间存储到嵌入空间数据库中，这里将每个pickle文件命名为人的姓名，便于后续文件读取和识别输出；框架图中嵌入空间的操作相当于把高维数据特征映射到低维向量，把低维向量存储起来；而在应用识别阶段，嵌入空间数据库中存储的嵌入空间将用于人脸识别比对；所述三元网络将人脸的锚框中的元素更加接近正样本特征图中的元素远离负样本特征图中元素并且设置了一个可调参数α，表示在和之间的距离与和之间的距离的最小间隔，三元网络的关系表达式为： 上式中，a为人脸的锚框的缩写，p为正样本特征图的缩写，n设为负样本特征图的缩写，i表示为第i个样本的序号，fx函数表示将x映射到128数据维度的操作，P是三元网络中人脸特征向量的集合。

全文数据：

权利要求：

百度查询： 华南农业大学 基于深度学习的人脸口罩高效识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD