申请/专利权人：浙江大学

申请日：2022-09-29

公开（公告）日：2023-01-24

公开（公告）号：CN115640559A

主分类号：G06F21/31

分类号：G06F21/31;H04M1/72454;G06F18/25;G06F18/241;G06N3/0464;G06N3/0442;G06N3/048

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.02.14#实质审查的生效;2023.01.24#公开

摘要：本发明公开了融合点击、滑动和击键特征的智能终端隐式身份认证方法。现有方法在场景变化条件下实现的认证准确率较低。本发明采集了各操作下的触摸屏和运动传感器数据，对原始数据进行无用数据过滤、缺失值处理、平滑去噪和数据分割等预处理操作，构建了对应的点击操作数据集、滑动操作数据集和击键操作数据集。同时设计了各操作下融合触摸屏和运动传感器数据的双通道用户分类模型，实现更全面的操作特征表示。本发明构建了基于时间扩展的点击操作模型，丰富了点击操作的特征空间。本发明组合触摸屏和运动传感器数据作为输入数据，融合点击操作、滑动操作和击键操作特征，且点击操作的认证时间短，在保证认证准确性的条件下减少了认证时间。

主权项：1.融合点击、滑动和击键特征的智能终端隐式身份认证方法，其特征在于：步骤1采集多个用户点击操作、滑动操作和击键操作时的触摸屏数据和运动传感器数据，构建用于训练模型的点击操作数据集tap、滑动操作数据集swipe和击键操作数据集key；步骤2对各操作的触摸屏数据进行数据预处理，具体如下：2-1对点击操作的触摸屏数据完成处理缺失值的操作：点击操作的触摸屏数据由一对按下和抬起的触摸点数据组成，删除Down-Up标识不匹配的触摸点数据后得到预处理的点击操作触摸屏数据集Down用来标识按下的触摸点，Up用来标识抬起的触摸点；2-2对滑动操作的触摸屏数据完成过滤无用数据和处理缺失值的操作：过滤无用数据：使用触摸屏事件获取工具完成数据过滤，若触屏操作的标识与多点触摸事件标识ABS_MT_SLOT匹配，则删除该条触摸屏数据；处理缺失值：滑动操作触摸屏数据的第一个触摸点标识为Down，最后一个触摸点标识为Up，第j个中间触摸点无特殊标识；若第一个触摸点和最后一个触摸点的标识不匹配，则删除该滑动操作的触摸屏数据；删除无用的多指触屏操作和存在缺失值的触摸屏数据，得到预处理的滑动操作触摸屏数据集2-3对击键操作的触摸屏数据完成处理缺失值和数据分割的操作：处理缺失值：击键操作的触摸屏数据由一系列的触摸点数据组成；若第p个触摸点的标识为Down，第p+1个触摸点的标识不为Up，则删除该对触摸点数据；数据分割：首先按照删除键和候选框等特殊键的使用分割击键操作的触摸屏数据，假设特殊键的横坐标范围为[Xmin,Xmax]，纵坐标范围为[Ymin,Ymax]；若第p个击键触摸点的横坐标且纵坐标则将该触摸点作为新的击键数据样本起点；再设置击键间隔阈值Gthre，若第p个和p+1个击键触摸点的时间间隔大于阈值Gthre，则第p个击键触摸点作为新的击键操作的起点；删除存在缺失值的触摸屏数据并分割数据后得到预处理的击键操作触摸屏数据集步骤3构建基于时间扩展窗口的点击操作模型；将点击操作过程由接触屏幕一个阶段扩展为手指向下、接触屏幕和手指抬起三个阶段；基于时间扩展窗口的点击操作模型为点击操作运动传感器数据的分割提供依据，假设时间扩展窗口的长度为Utap，其对应的运动传感器数据按长度Utap分割；步骤4对各操作的运动传感器数据进行数据预处理，依次线性插值、去除噪声和数据分割操作；步骤5对击键操作的传感器数据做排列、加噪、采样和缩放的数据增强操作，得到由个击键操作组成的触摸屏数据集和运动传感器数据集击键操作总数据集步骤6设计各操作下的活动场景分类模型：模型基于卷积神经网络、长短时记忆网络和全连接层串行构建，其中包含个卷积层、个长短时记忆层和个全连接层，每个卷积层后都连接批归一化层和非线性激活层；步骤7训练各操作下的活动场景分类模型,仅使用表征运动状态的运动传感器数据：7-1参数初始化：随机初始化学习网络的权值参数wscene和偏置参数bscene，初始化迭代轮次escene＝0，设置初始学习率ηscene，训练样本批大小bsscene，最大迭代轮次Escene；7-2数据分批：按照设置的样本批大小bsscene，将点击操作、滑动操作和击键操作的运动传感器数据集均匀分成个批次，每个批次的操作数据子集表示为其对应的标签集为7-3数据输入：随机选取某一批次的操作数据子集送入步骤6构建的活动场景分类模型中，通过卷积层和长短时记忆层提取操作数据的特征表示，输入全连接层得到该批次数据的预测标签集7-4参数更新：根据该批次数据的真实标签和预测标签集计算损失函数值lossscene，并根据损失函数值lossscene更新模型参数；7-5单轮训练：当第escene轮次的所有批次数据都输入分类模型，则表示该轮训练结束，进入步骤7-6，否则返回步骤7-3；7-6训练结束判断：当损失函数lossscene在连续E′scene轮内的减小幅度均小于σscene，其中Es′cene为判断分类模型是否收敛的最小收敛轮数，σscene为判断lossscene基本不再减小的阈值，表明分类模型已收敛，执行步骤7-8；否则执行步骤7-7；7-7若escene＜Escene，则escene＝escene+1，继续迭代，返回步骤7-2；若escene＝Escene，表明分类器训练结束，进入步骤7-8；7-8模型保存：分别保存点击、滑动和击键操作下活动场景分类器模型的最佳参数，最佳权重参数分别为最佳偏置参数分别为步骤8构建静止和行走场景下各操作的双通道用户分类模型：静止场景下，各通道的模型基于卷积神经网络、长短时记忆网络和全连接层串行构建，其中包含个卷积层、个长短时记忆层和个全连接层，每个卷积层后都连接批归一化层和非线性激活层；行走场景下，各通道模型基于卷积神经网络和全连接层串行构建，其中包含个卷积层和个全连接层，每个卷积层后都连接批归一化层和非线性激活层；步骤9训练静止和行走场景下各操作的用户分类模型：9-1构建数据子集：按照活动场景标签将各操作数据集分割为静止操作数据子集和行走操作数据子集，以此作为对应活动场景的训练集；点击操作数据集分割为其样本数分别为滑动操作数据集分割为其样本数分别为击键操作数据集分割为其样本数分别为9-2参数初始化：随机初始化学习网络的权值参数wuser和偏置参数buser，初始化迭代轮次euser＝0，设置初始学习率ηuser，训练样本批大小bsuser，最大迭代轮次Euser；9-3数据分批：按照设置的样本批大小bsuser将对应活动场景的数据子集均匀分成Puser个批次，每个批次的步态数据子集表示为其对应的标签集为9-4数据输入：随机选取某一批次的操作数据子集送入步骤8构建的分类模型中，通过卷积层和长短时记忆层提取步态数据的特征表示，输入全连接层得到该批次数据的预测标签集9-5参数更新：根据该批次数据的真实标签和预测标签集计算损失函数值lossuser，并根据损失函数值lossuser更新模型参数；9-6单轮训练：当第euser轮次的Puser个批次数据都输入分类模型，则表示该轮训练结束，进入步骤9-7，否则返回步骤9-4；9-7训练结束判断：当损失函数lossuser在连续E′user轮内的减小幅度均小于σuser，其中Eu′ser为判断分类模型是否收敛的最小收敛轮数，σuser为判断lossuser基本不再减小的阈值，表明分类模型已收敛，执行步骤9-9；否则执行步骤9-8；9-8若euser＜Euser，则euser＝euser+1，继续迭代，返回步骤9-3；若euser＝Euser，表明分类器训练结束，进入步骤9-9；9-9模型保存：分别保存点击操作、滑动操作和击键操作在静止和行走场景下，用户分类器模型的最佳权重参数和最佳偏置参数步骤10认证用户身份：获取用户执行点击操作的触摸屏数据tap，滑动操作的触摸屏数据swipe，击键操作的触摸屏数据key；获取手机内置的加速度计信号acc、陀螺仪信号gyr、磁力计信号mag和方向计信号ori，信号长度为L，融合形成当前用户的运动传感器数据S＝[acc,gyr,mag,ori]T,其中acc、gyr、mag、ori都是维度为L×3的矩阵，S是维度为12×L的矩阵，则点击操作、滑动操作和击键操作对应的运动传感器数据分别为Stap、Sswipe、Skey；由此得到点击操作数据Dtap＝[tap,Stap]，滑动操作数据Dswipe＝[swipe,Sswipe]，击键操作数据Dkey＝[key,Skey]；为各操作数据打上用户身份标签Taguser、活动场景标签Tagscene和持握姿势标签Taggesture，则操作数据对应的标签为T＝Taguser,Tagscene,Taggesture；对点击操作的触摸屏数据执行处理缺失值操作，得到处理后的点击操作触摸屏数据tap′；对滑动操作的触摸屏数据执行过滤无用数据和处理缺失值操作，得到处理后的滑动操作触摸屏数据swipe′；对击键操作的触摸屏数据执行处理缺失值、数据分割和数据增强操作，得到处理后的击键操作触摸屏数据key′,执行过程与步骤2-1～2-3相同；对点击操作、滑动操作和击键操作的运动传感器数据执行线性插值、平滑去噪和数据分割操作，击键操作的运动传感器数据还需进行数据增强操作，得到处理后的运动传感器数据分别为S′tap、S′swipe、S′key，执行过程与步骤4-1～4-3相同；点击操作处理后的操作数据表示为D′tap＝[tap′,S′tap]，进一步表示为分割后的样本形式滑动操作处理后的操作数据表示为D′swipe＝[swipe′,S′swipe]，进一步表示为分割后的样本形式击键操作处理后的操作数据表示为D′key＝[key′,S′key]，进一步表示为分割后的样本形式分割后的点击操作样本R、滑动操作样本,V和击键操作样本H的标签与原操作数据的标签相同，其标签T＝Taguser,Tagscene,Taggesture；将各操作样本输入到对应的活动场景分类模型，输出活动场景的预测标签Tag′scene，根据该活动场景标签将样本输入对应的用户分类模型，判断用户的预测标签Tag′user与当前用户的标签Taguser；设置决策窗口长度win，若超过win2的操作样本输出的标签一致，则当前用户属于合法用户，则完成身份认证，否则锁定设备，拒绝访问。

全文数据：

权利要求：

百度查询： 浙江大学 融合点击、滑动和击键特征的智能终端隐式身份认证方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD