申请/专利权人：四川大学

申请日：2022-10-26

公开（公告）日：2024-04-16

公开（公告）号：CN115694947B

主分类号：H04L9/40

分类号：H04L9/40;G06N3/08;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2023.02.21#实质审查的生效;2023.02.03#公开

摘要：本发明公开了基于对抗生成DQN的网络加密流量威胁样本生成机制方法，通过数据预处理，将原始网络加密流量数据包中的数据转换为对抗生成DQN威胁样本生成模型所需数据格式；将所得的数据输入到类别标注处理程序中进行类别标注；对网络加密流量威胁样本生成方法，将其分解为一系列模块，最后一步为输出生成的网络加密流量威胁样本数据；其中改进样本生成模块根据初始候选环境所相关的信息选择相应的下一步行动，然后再根据行动选择下一个和原始的网络加密流量数据相近的候选环境，将行动经验存入经验空间进行神经网络的训练学习，重复以上步骤直到改进样本生成模块能产生和原始的网络加密流量数据相似的网络加密流量威胁样本数据。

主权项：1.基于对抗生成DQN的网络加密流量威胁样本生成机制方法，其特征在于：包括下述步骤：1通过数据预处理，将原始网络加密流量数据包中的数据转换为对抗生成DQN威胁样本生成模型所需数据格式；2将步骤1所得的数据输入到类别标注处理程序中进行类别标注；3经步骤2后，采用样本生成模块作为网络加密流量威胁样本数据生成的工具，基于当前的小样本网络加密流量数据生成网络加密流量威胁样本数据；4样本生成模块主要包含数据生成子模块及分辨子模块，数据生成子模块利用不同的噪声参数生成网络加密流量威胁样本数据，将生成的网络加密流量威胁样本数据和原始的网络加密流量数据一同再送入分辨子模块，分辨子模块对输入的数据进行特征提取，判断输入的数据是原始的网络加密流量数据还是生成的网络加密流量威胁样本数据，同时训练样本生成模块中的分辨子模块和数据生成子模块，直到两个子模块的损失函数趋近于稳定；5将原始的网络加密流量数据和生成的网络加密流量威胁样本数据一起输入到基于对抗生成DQN的改进样本生成模块进行训练学习，以不断探索和识别的机制与环境进行交互，通过最大化最终期望的奖励值实现尽可能相似的网络加密流量威胁样本数据的生成；包括下述具体步骤：5.1改进样本生成模块在训练学习前随机选择一个初始交互环境，然后在这个初始环境中选择下一步的动作A，根据对抗生成DQN威胁样本生成模型不断探索和识别的机制，下一步的动作有的概率通过神经网络选择一个期望奖励值最大的动作，的概率在动作空间中随机选择一个动作；所述为一个介于0到100间的浮点数值，随着训练步数的增加而递增，即改进样本生成模块越来越信任Q网络选择的动作；5.2在动作选择结束后，改进样本生成模块将会在初始环境中执行该动作，然后初始环境会返回下一个环境S_N和奖励值R，改进样本生成模块此时将当前环境S，选择的动作A，奖励值R，下一个环境S_N作为经验存储进经验空间；5.3改进样本生成模块将当前环境更改为下一个环境S_N，并重复步骤5.2，直到经验空间到达一个阈值；5.4当经验空间达到阈值后，改进样本生成模块中的神经网络开始进行更新，从经验空间中随机选取固定大小的样本，将采样得到的奖励值R和下一个环境S_N送入到神经网络中计算期望奖励值y，并将计算结果送到Q网络中计算损失值，根据损失值更新Q网络；5.5改进样本生成模块继续与环境进行交互，产生当前环境S，选择的动作A，奖励值R，下一个环境S_N四种数值当作经验，并将经验放入经验空间中，然后重复步骤5.4，继续随机选择样本更新Q网络，直到Q网络的损失值趋于稳定；5.6当改进样本生成模块中Q网络的参数更新到一定次数后，同样对改进样本生成模块中对抗生成神经网络的参数进行更新，最终输出生成的网络加密流量威胁样本数据；6判断是否满足对抗生成DQN威胁样本生成模型训练学习结束条件，如果不满足则从步骤3开始进行下一次训练和学习，重复多次训练继续生成不同的网络加密流量威胁样本数据，满足则检测完成并输出最终生成的网络加密流量威胁样本数据。

全文数据：

权利要求：

百度查询： 四川大学 基于对抗生成DQN的网络加密流量威胁样本生成机制方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD