申请/专利权人：国家电网有限公司客户服务中心

申请日：2023-12-01

公开（公告）日：2024-03-19

公开（公告）号：CN117332411B

主分类号：G06F21/55

分类号：G06F21/55;G06F40/30;G06N3/0455;G06N3/084;G06F16/33;G06F16/35;G06F18/2433

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2024.01.19#实质审查的生效;2024.01.02#公开

摘要：本发明涉及一种基于Transformer模型的异常登录检测方法，属于网络安全领域。检测方法包括：模型训练；具体包括：采集目标系统的用户历史认证日志；将日志文档处理为可输入到BERT模型中的条目式语句；根据历史日志标记结果对应语句标签；基于BERT模型的嵌入层构建；结合BERT的Transformer模型联合训练；得到训练好的Transformer模型；将经过处理的分布式输入得到的Transformer模型；判断尝试登录用户的登录行为是否存在异常，不存在异常则运行登录，否则拒绝登录。本发明通过引入位置信息弥补了自注意力机制无法感知句子中时序信息的问题，具有更强的感知能力。

主权项：1.一种基于Transformer模型的异常登录检测方法，其特征在于，包括以下步骤：步骤1：模型训练；具体包括：步骤1.1：采集目标系统的用户历史认证日志，包括以下字段信息：登录日期、登录时间、登录类型、登录源和目的地址、所用登录协议类型、日志校验码；所述登录类型分为本地登录和网络登录；步骤1.2：对用户认证日志进行格式化处理，将日志文档处理为可输入到BERT模型中的条目式语句；根据历史日志标记结果对应语句标签；步骤1.3：基于BERT模型的嵌入层构建；具体包括：步骤1.3.1：利用WordPiece方法处理预处理的日志语句形成token，完成初始词嵌入；步骤1.3.2：混合位置嵌入并送入BERT模型中，得到包含上下文语义的分布式表示作为下一层Transformer模型输入；步骤1.4：结合BERT的Transformer模型联合训练；具体包括：将BERT所输出的用户认证日志分布式表达输入Transformer模型，再将Transformer模型输出的结果输入Transformer模型后堆叠的Softmax层，计算Softmax层输出与语句标签之间的损失函数；判断损失函数是否满足停止迭代条件，若满足则停止训练，若不满足则依梯度下降算法更新所有参数并迭代步骤1.3；包括如下具体过程：步骤b1：Transformer将输入分布式首先进行三种矩阵的线性变换，为自注意力机制提供所需的Q、K、V矩阵，l为一次输入Transformer的tokens数量，也即一条日志语句的长度，dm为输入语句中每个token的特征维度；该过程由下述公式表示：Qi，Ki，Vi＝HWiQ，HWiK，HWiV，式中，为进行线性变换的三个投影矩阵，dk为矩阵线性变换后的每个行向量的维度，H为输入数据的矩阵表示，多头自注意力机制中使用了多空间映射，为多空间映射线性变化中得到的第i个空间的查询矩阵，为多空间映射线性变化中得到的第i个空间的生成矩阵，为多空间映射线性变化中得到的第i个空间的值矩阵；步骤b2：计算每个头的注意力值，并对每个语义空间求得的注意力值进行拼接，获得多头自注意力机制的计算结果；计算公式如下： MultiHeadAttention＝Concathead1，...，headN*Wo，式中，headi表示每个头的注意力值，Concat表示将向量进行拼接，N是Transformer使用的多头自注意力机制中“头”的数量，也即语义空间的数量，满足N×dk＝dmodel，Wo为实现维度变换功能的矩阵；步骤b3：将多头注意力机制输出送入前馈神经网络层，捕捉日志语句中复杂的非线性关系；前馈神经网络层计算公式如下：FFNx＝max0，xW1+b1W2+b2，式中，x是前馈神经网络的输入， 其中W1以及W2均为权重矩阵，b1以及b2均为偏置矩阵，dff是一个超参数，表示神经元的数目；步骤b4：将Transformer中前馈神经网络层的输出送入模型后堆叠的Softmax层，得到日志语句表征登录行为异常的概率，并于语句标签计算损失函数，损失函数为交叉熵损失，计算公式如下： 其中，yi为第i个日志语句的标签，正常为1，异常为0，pi为第i个日志语句预测为正常的概率，Li为第i个日志语句的交叉熵，L为所有日志语句的加权交叉熵；步骤1.5：得到训练好的Transformer模型；步骤2：异常登录检测；具体包括：步骤2.1：采集当前尝试登录用户的认证日志；步骤2.2：对用户认证日志进行格式化处理，将日志文档处理为可输入到BERT模型中的条目式语句；根据历史日志标记结果对应语句标签；步骤2.3：基于BERT模型的嵌入层构建；具体包括：步骤2.3.1：利用WordPiece方法处理预处理的日志语句形成token，完成初始词嵌入；步骤2.3.2：混合位置嵌入并送入BERT模型中，得到包含上下文语义的分布式表示作为下一层Transformer模型输入；步骤2.4：将经过步骤2.3处理的分布式输入步骤1.5得到的Transformer模型；步骤2.5：判断尝试登录用户的登录行为是否存在异常，不存在异常则运行登录，否则拒绝登录。

全文数据：

权利要求：

百度查询： 国家电网有限公司客户服务中心 一种基于Transformer模型的异常登录检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD