买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南昌科晨电力试验研究有限公司;国网江西省电力有限公司电力科学研究院申请的专利基于改进BERT-WWM的文本提词分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119377413B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411979450.X，技术领域涉及：G06F16/35；该发明授权基于改进BERT-WWM的文本提词分类方法是由程思萌;刘柳;陈波;董炜;苏永春;桂小智;兰鑫设计研发完成，并于2024-12-31向国家知识产权局提交的专利申请。

本基于改进BERT-WWM的文本提词分类方法在说明书摘要公布了：本发明公开了基于改进BERT‑WWM的文本提词分类方法，包括如下步骤：采集电力基础设施文本数据；构建BERT‑WWM模型，并引入稀疏注意力替换BERT‑WWM模型中的多头自注意力，同时自适应调整稀疏注意力中掩码比例，得到改进BERT‑WWM模型；采用数据集对改进BERT‑WWM模型进行训练，同时优化改进BERT‑WWM模型的参数，得到优化后的改进BERT‑WWM模型；将待分类的电力基础设施文本数据输入到优化后的改进BERT‑WWM模型中，得到分类结果；本发明通过独特设计的优化后的改进BERT‑WWM模型，显著提升了电力系统工程文本的分类准确率和处理效率。

本发明授权基于改进BERT-WWM的文本提词分类方法在权利要求书中公布了：1.基于改进BERT-WWM的文本提词分类方法，其特征在于，包括如下步骤：步骤S1：采集电力基础设施文本数据进行预处理，并构建数据集，电力基础设施文本数据由不同长度的句子组成；步骤S2：构建BERT-WWM模型，并引入稀疏注意力替换BERT-WWM模型中的多头自注意力，同时自适应调整稀疏注意力中掩码比例，得到改进BERT-WWM模型；步骤S3：采用数据集对改进BERT-WWM模型进行训练，同时优化改进BERT-WWM模型的参数，得到优化后的改进BERT-WWM模型；步骤S4：将待分类的电力基础设施文本数据输入到优化后的改进BERT-WWM模型中，得到分类结果；优化改进BERT-WWM模型的参数的具体过程为：将Dropout正则化和DropConnect正则化相结合，对改进BERT-WWM模型的参数进行正则化；采用LAMB优化器作为改进BERT-WWM模型的优化器；采用基于LSTM的元学习模型对改进BERT-WWM模型训练时的超参数进行优化；自适应调整稀疏注意力中掩码比例，表示为： ；式中，表示电力基础设施文本数据中句子长度为时的掩码比例；和为可调参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南昌科晨电力试验研究有限公司;国网江西省电力有限公司电力科学研究院，其通讯地址为：330000 江西省南昌市青山湖区民营科技园内民强路88号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。