申请/专利权人：中国矿业大学

申请日：2023-07-18

公开（公告）日：2024-03-29

公开（公告）号：CN116894978B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/80;G06V40/16;G06V40/18;G06V10/82;G06N3/0464;G06N3/045;G06N3/098;G06Q50/20

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2023.11.03#实质审查的生效;2023.10.17#公开

摘要：本发明公开了一种融合面部情绪与行为多特征的线上考试防作弊系统，对考试时单个学生的监控图像进行预处理，得到预处理后的图像及人脸特征点，构建系列CNN模块，提取学生在考试过程中的面部微表情、头部姿态、眼神等多种特征，将多种特征的融合特征输入防作弊神经网络TestCNN进行训练，得到是否作弊的预测结果。系列CNN模块包括头部姿态跟踪单元、眼部区域提取单元、眼神追踪单元、面部微表情识别单元、行为状态预测单元等。使用本发明的系统可以对考生的考试情况进行监控，可以将预测结果实时发送给使用人员，该系统能够防止考生作弊，提高考试的公平性。

主权项：1.一种融合面部情绪与行为多特征的线上考试防作弊系统，其特征在于：训练及监控过程包括如下步骤：S01、采集考生的线上考试视频，使用正常行为、可疑行为或危险行为三种行为状态类别对每一视频帧进行行为状态标注，将标注后的视频帧作为训练样本，所有训练样本组成训练样本集；S02、对训练样本进行预处理，首先灰度化，再进行人脸识别与对齐，最后调整亮度并去除噪声完成预处理；利用开源模型Dlib库对预处理后的训练样本进行人脸检测，定位出人脸的68个关键特征点；S03、采用开源模型OpenFace对预处理后的训练样本进行面部情绪特征提取，识别面部的17个AU强度，AU表示微表情动作单元；S04、采用多标签学习的方法构建面部微表情识别神经网络auCNN，以步骤S03中识别出的17个AU强度作为真实值，输入预处理后的训练样本，输出各个AU及各个AU强度的预测值，实现对面部微表情的识别；S05、根据相机参数矩阵，将人脸的68个关键特征点从二维的像素坐标系转换到三维的世界坐标系，并通过旋转矩阵R计算三个欧拉角，即俯仰角αE、偏航角βE和翻滚角γE；S06、采用有监督学习的方法构建头部姿态跟踪神经网络headCNN，以步骤S05中计算出的三个欧拉角作为真实值，输入预处理后的训练样本，输出三个欧拉角的预测值，实现对头部姿态的跟踪；S07、根据人脸的68个关键特征点和预处理后的训练样本计算出人眼中心位置及瞳孔位置，计算眼部特征的垂直方向角eyepitch和眼部特征的水平方向角eyeyaw；S08、采用有监督学习的方法构建眼神追踪神经网络eyeCNN，以步骤S07中的两个方向角作为真实值，输入预处理后的训练样本的眼部区域，输出两个方向角的预测值，实现对眼神的追踪；S09、采用联合学习的方法构建防作弊神经网络TestCNN，融合面部微表情识别神经网络auCNN、头部姿态跟踪神经网络headCNN和眼神追踪神经网络eyeCNN中包含的特征，将融合后的特征输入到防作弊神经网络TestCNN，分别输出正常行为、可疑行为和危险行为的概率，概率最大的即为所预测的行为状态类别；从面部微表情识别神经网络auCNN输出的17个AU强度的预测值中提取最基本的12个AU强度的预测值，将该12个AU强度的预测值、头部姿态跟踪神经网络headCNN输出的三个欧拉角的预测值、眼神追踪神经网络eyeCNN输出的两个方向角的预测值，总计17个特征，组成一个大小为1,17的融合向量InPut，将融合向量InPut作为防作弊神经网络TestCNN的输入；所述防作弊神经网络TestCNN包括依次连接的输入层、卷积层1、池化层1、卷积层2、池化层2、卷积层3、池化层3、扁平化层、全连接层、Dropout层和输出层，Dropout层即随机失活层；所述输入层的输入为InPut；所述卷积层1用于提取InPut的特征，卷积层1包括64个卷积核，每个卷积核大小为3×3，步长为1，填充模式为same，激活函数为线性整流函数ReLU；所述池化层1连接在卷积层1之后，对卷积层1的输出进行下采样；池化层1采用最大池化，池化窗口大小为2×2，步长为2；所述卷积层2用于提取池化层1下采样后的结果所包含的特征，卷积层2包括128个卷积核，每个卷积核大小为3×3，步长为1，填充模式为same，激活函数为线性整流函数ReLU；所述池化层2连接在卷积层2之后，对卷积层2的输出进行下采样；池化层2采用最大池化，池化窗口大小为2×2，步长为2；所述卷积层3用于提取池化层2下采样后的结果所包含的特征，卷积层3包括256个卷积核，每个卷积核大小为3×3，步长为1，填充模式为same，激活函数为线性整流函数ReLU；所述池化层3连接在卷积层3之后，对卷积层3的输出进行下采样；池化层3采用最大池化，池化窗口大小为2×2，步长为2；所述扁平化层将池化层3输出的特征图扁平化为一维向量，并传输给全连接层；所述全连接层用于进一步压缩扁平化层得到的一维特征向量，保留最主要特征，全连接层包括512个神经元，激活函数为线性整流函数ReLU；所述Dropout层连接在全连接层之后，用于规避过度拟合问题；所述输出层对Dropout层的输出进行归一化处理，分别输出正常行为、可疑行为和危险行为的概率，概率最大的即为所预测的行为状态类别；所述线性整流函数ReLU表示为fx＝max0,x；其中x表示输入，fx表示输出；S10、使用训练好的防作弊神经网络TestCNN，输入考场实时视频帧，分别输出正常行为、可疑行为和危险行为的概率，概率最大的即为所预测的行为状态类别。

全文数据：

权利要求：

百度查询： 中国矿业大学 一种融合面部情绪与行为多特征的线上考试防作弊系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD