买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江数新网络有限公司申请的专利基于值函数强化学习的嵌入式软件时序异常检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119759797B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510267696.2，技术领域涉及：G06F11/3668；该发明授权基于值函数强化学习的嵌入式软件时序异常检测方法是由张志杰;原攀峰;陈廷梁设计研发完成，并于2025-03-07向国家知识产权局提交的专利申请。

本基于值函数强化学习的嵌入式软件时序异常检测方法在说明书摘要公布了：本发明提供基于值函数强化学习的嵌入式软件时序异常检测方法，涉及异常检测技术领域，包括通过获取时序数据并划分时序片段，构建状态空间矩阵，采用长短时记忆网络提取特征向量，基于深度神经网络生成Q值函数网络，构建基于马氏距离的奖励函数，采用深度Q学习算法训练网络并优化参数，最终实现异常检测。本发明能够有效捕捉时序数据的长期依赖关系，提高异常检测的准确性，降低误报率，具有较强的泛化能力。

本发明授权基于值函数强化学习的嵌入式软件时序异常检测方法在权利要求书中公布了：1.基于值函数强化学习的嵌入式软件时序异常检测方法，其特征在于，包括：获取嵌入式软件运行过程中的时序数据，将所述时序数据按照预设时间窗口划分为多个时序片段；针对每个所述时序片段，构建状态空间矩阵，所述状态空间矩阵的行向量表示时序特征，列向量表示时间步长；基于所述状态空间矩阵，采用长短时记忆网络提取时序特征向量；将所述时序特征向量输入深度神经网络，生成Q值函数网络，所述Q值函数网络用于评估时序状态下的动作值函数；构建奖励函数，所述奖励函数基于时序片段的异常程度进行计算，异常程度通过当前时序片段与历史正常时序片段的马氏距离度量获得；采用深度Q学习算法训练所述Q值函数网络，在训练过程中，基于ε-贪婪策略选择动作，将选择的动作与当前状态输入所述Q值函数网络得到Q值；将所述Q值与基于所述奖励函数计算的目标Q值进行比较，通过最小化损失函数对所述Q值函数网络的参数进行优化；基于优化后的Q值函数网络，计算时序片段的异常得分，所述异常得分通过当前状态下最优动作的Q值与预设阈值进行比较得到；当所述异常得分超过预设阈值时，判定当前时序片段存在异常，并输出异常检测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江数新网络有限公司，其通讯地址为：311121 浙江省杭州市余杭区仓前街道文一西路1218号7号楼201室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。