申请/专利权人：杭州电子科技大学

申请日：2021-08-16

公开（公告）日：2024-03-29

公开（公告）号：CN113780360B

主分类号：G06V20/30

分类号：G06V20/30;G06V40/16;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/042;G06N3/0895

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2021.12.28#实质审查的生效;2021.12.10#公开

摘要：本发明公开了一种面向社会工程学攻击的用户脆弱性分析方法。目前还尚未出现面向社会工程学攻击的用户脆弱性分析方法。本发明方法首先将微博相册内图像分为人物、风景、动物和动漫四大类，结合统计方法构建微博相册特征向量；对人物图像进行人脸定位提取人脸图像并进行人脸情绪识别，构建图像情绪特征向量；然后获取用户的微博内容进行情感分类，构建情感序列特征；最后结合用户特征矩阵和用户之间的关注状态构造带特征的网络图，通过图网络模型为所有用户标注脆弱性标签。脆弱性分类器根据用户特征和对应标签训练得到。本发明方法能够准确判断用户的脆弱性以及是否属于易于进行社会工程学攻击的对象，为后续的社会工程研究打下基础。

主权项：1.一种面向社会工程学攻击的用户脆弱性分析方法，其特征在于，该方法步骤是：步骤1以微博相册内容为基础，采用图像分类算法将相册内图像分为人物、风景、动物和动漫四大类，结合统计方法构建微博相册特征向量F1；具体是：1.1爬取用户微博相册图像P到数据库中；1.2对微博相册图像P根据图片像素进行过滤，过滤像素低于Wmin×Hmin的图片，将其余符合要求的图片调整为统一大小，得到M张图像集合w为图像的宽，h为图像的高，通道数为3；1.3取MSCOCO数据集中的人物类别图像和动物类别图像、ImageNet数据集中的人物类别图像、iCartoonFace数据集中的动漫类别图像，组成图像集合，过滤图像集合中像素低于Wmin×Hmin的图片，将其余符合要求的图片调整为统一大小，得到包含N张图像的训练集MSCOCO数据集是微软构建的一个数据集，其包含detection,segmentation,keypoints任务；ImageNet数据集是一个用于视觉对象识别软件研究的大型可视化数据库；iCartoonFace数据集即爱奇艺的动漫人脸数据集；1.4基于Ptrain训练一个图像分类器Mimg；1.5使用图像分类器Mimg将Ptest中的图像进行分类，分别打上标签，统计每个用户Ui相册中四类图像的数量特征矩阵Cimg＝[ck|k＝1,2,3,4]，和对应的占比特征矩阵Proimg＝[prok|k＝1,2,3,4]，不同值k分别表示人物、风景、动物、动漫图像；将Cimg和Proimg横向拼接得到用户图像统计特征矩阵，即微博相册特征向量F1＝[Cimg,Proimg]；步骤2对人物图像进行人脸定位，提取出人脸图像，对人脸图像进行人脸情绪识别，根据图像时间排列得到每个用户的情绪序列，结合情绪二维坐标和统计方法构建图像情绪特征向量F2；具体是：2.1根据标签分类，获得Ptest中属于人物分类的图像集合Ppeople；2.2基于开源人脸情绪识别数据集Pemotion训练情绪识别分类器Memotion；2.3归集每个用户Ui发布的属于人物分类的图像集合，按照图像的发布时间td排列，得到微博人物图像序列：d＝1,2,…,D；将用人脸定位工具进行人脸定位，并分割出人脸图片得到人脸图片集合j＝t1,t2,...,tD；利用情绪识别分类器Memotion对进行标注；每张图片根据人脸定位框的大小加权投票得到其对应的情绪标签排列得到图像情绪序列2.4根据Ppeoplei统计得到每个用户Ui相册中七种情绪的数量特征矩阵Cemotion＝[ce|e＝1,2,…,7]，以及对应的占比特征矩阵Proemotion＝[proe|e＝1,2,…,7]，不同值e分别表示愤怒、厌恶、恐惧、快乐、中性、悲伤、惊讶；将Cemotion和Proemotion横向拼接，得到用户图像情绪统计特征矩阵2.5根据情绪二维坐标将图像情绪序列Ei转换为情绪坐标序列2.6对情绪坐标序列做一阶坐标差分，得到情绪一阶差分序列其中，根据j′时刻和j′+1时刻的坐标，计算j′时刻的一阶坐标差分值j′＝t1,t2,...,tD-1；2.7对情绪坐标序列的x维度和y维度分别做一阶差分，得到情绪坐标x轴一阶差分序列和情绪坐标y轴一阶差分序列根据j′时刻和j′+1时刻的x和y维度值，计算j′时刻的情绪坐标x轴一阶差分值和情绪坐标y轴一阶差分值2.8对情绪一阶差分序列情绪坐标x轴一阶差分序列和情绪坐标y轴一阶差分序列分别再做一阶差分，得到对应的二阶差分序列和对和分别求窗口大小为7、30、100、L内的统计值，L为序列长度；统计值包括：四分位数、中位数、平均数、平滑指数、偏差、偏度、峰度、离散系数、最大值、最小值；得到用户图像情绪统计特征矩阵2.9横向拼接和得到特征矩阵F2：步骤3获取用户微博并进行预处理，进行情感分析，为每一条微博信息打上情感分数，根据微博时间排列得到情感状态序列，结合统计方法构建情感序列特征F3；具体是：3.1获取用户微博推文数据，使用正则化匹配去除标点符号；3.2将每个用户Ui的微博推文内容sq，q＝1,2,...,Q，Q为用户Ui微博推文的数量，利用情感分析工具进行情感分析，得到情感分数δq；3.3归集用户Ui发布的微博推文，并根据微博推文的发布时间td排列，得到微博推文序列根据推文内容所对应的情感分数δq得到用户所对应的情感分数序列3.4对情感分数序列Θi做一阶差分，得到情感分数一阶差分序列根据j′时刻和j′+1时刻的情感分数值，计算j′时刻的一阶差分值然后对情感分数一阶差分序列ΔΘi做一阶差分，得到情感分数二阶差分序列3.5对情感分数序列Θi、情感分数一阶差分序列ΔΘi和情感分数二阶差分序列ΔΔΘi分别求窗口大小为7、30、100、L内的统计值；其中统计值包括：四分位数、中位数、平均数、平滑指数、偏差、偏度、峰度、离散系数、最大值、最小值；将所有统计值横向拼接得到用户情感分数序列统计特征矩阵F3；步骤4结合用户特征矩阵F＝[F1,F2,F3]和用户之间的关注状态构造带特征的网络图；步骤5通过图网络模型以半监督的方式为所有用户标注脆弱性标签，根据用户的特征和对应标签，训练得到脆弱性分类器，得到脆弱性评分。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种面向社会工程学攻击的用户脆弱性分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD