申请/专利权人：杭州电子科技大学

申请日：2020-11-17

公开（公告）日：2024-02-09

公开（公告）号：CN112949369B

主分类号：G06F16/53

分类号：G06F16/53;G06F16/58;G06V40/16;G06V20/52;G06V20/40;G06V10/774;G06N3/04;G06F16/532

优先权：

专利状态码：有效-授权

法律状态：2024.02.09#授权;2021.07.02#实质审查的生效;2021.06.11#公开

摘要：本发明公开了一种基于人机协同的海量人脸图库检索方法。计算机视觉提取的低级特征与人类视觉捕获的高级语义特征有所差距，所以计算机视觉检索结果远不能达到人的期望。人脸图像在低级轮廓特征上差距不大，仅依靠计算机视觉很难对相似人脸进行区分。本发明如下：1、建立图库；2、用人看人像图产生的脑电信号训练EEG分类模型；3、使用EEG分类模型在线迭代，从图像数据中检索出被试者需要的目标图像。本发明中的人脸图片检索方法与传统人脸检索方法不同，通过将人脑强大的认知能力与计算机的快速计算能力、海量存储能力相结合，实现了快速，准确，鲁棒的海量人脸图片检索，具有显著的应用价值。

主权项：1.一种基于人机协同的海量人脸图库检索方法，其特征在于：步骤1：获取人脸图像集并对各人脸图像进行标记，得到RSVP人脸图库；步骤2：被试人员对RSVP人脸图库中提取的多个图像序列进行观察并判断是否为目标对象，提取被试人员在判断时的脑波数据对EEG分类模型进行训练；EEG分类模型经过训练后，能够根据脑波数据判断图像中的人脸是否与目标人物相像；步骤3：使用EEG分类模型在线迭代，从人脸图库中检索出被试者需要的目标图像；步骤3-1:生成一段图像序列呈现给被试者观看，并采集被试者观看时的脑电信号；对于每一段脑电信号，使用EEG分类模型进行分类处理，EEG分类模型分离出多张候选目标图像；步骤3-2:将各候选目标图像反馈给被试者；步骤3-3:计算机视觉模块收到候选目标图像后，首先进行内部相似度计算，根据内部相似度对候选目标图像进行排序；再根据候选目标图像在RSVP人脸图库中进行相似度检索提取出与目标人物相似的多张扩展目标图像以及与目标人物不相似的多张非目标图像；各扩展目标图像和各非目标图像组成下一轮图像序列；步骤3-4:EEG分类模型接收到步骤3-3产生的下一轮的图像序列后，将其呈现给被试者；将扩展目标图像随机穿插到非目标图像中，同时两张扩展目标图像不相邻；步骤3-5:当EEG分类模型挑选出的候选目标图像内部相似度超过75％后，停止迭代；否则，重复步骤3-1至3-4进行迭代；步骤1的过程具体为：步骤1-1：从视频流中逐帧或跳帧提取视频帧；步骤1-2：使用Retinaface模型检测各视频帧中的人脸及其面部特征关键点，Retinaface模型的预测结果用来判断各视频帧是否包含人脸，若包含人脸则使用回归框将视频帧中人脸位置进行框定、截取，并保存为人脸图像，由此构成RSVP人脸图库；同时，对各人脸图像中包括眼睛、鼻子、嘴角在内的人脸特征关键点进行回归定位；步骤1-2执行后，以双眼的连线为基础，计算图像需旋转的角度θ，以图像中心点为原点centerx,centery，计算其二维旋转矩阵M，其中，α＝scale·cosθ,β＝scale·sinθ，scale为人脸图像的尺度；之后根据二维旋转矩阵M，使用warpAffine尺度变换操作，实现人脸对齐；通过Arcface模型，在角度空间进行最大化分类界限，建立损失函数Loss的表达式如式1所示： 其中，τi为1*d维人脸特征向量；Wj为d*numclass维权重向量；为L2归一化后权重与样本特征夹角；s为尺度；m为角度边界惩罚系数；numclass为人脸类别数；n为批次训练使用的人脸图像总数；||·||为L2范数运算。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于人机协同的海量人脸图库检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD