申请/专利权人：浙江邦盛科技股份有限公司

申请日：2022-12-16

公开（公告）日：2024-04-30

公开（公告）号：CN115879467B

主分类号：G06F40/289

分类号：G06F40/289;G06F16/35;G06N3/044;G06N3/0464;G06N3/098

优先权：

专利状态码：有效-授权

法律状态：2024.04.30#授权;2023.04.18#实质审查的生效;2023.03.31#公开

摘要：本发明公开了一种基于联邦学习的中文地址分词方法及装置，将中文地址分词任务分割成地址分词模型和地名分类模型两个部分单独进行训练，地址分词模型使用本地地址数据进行训练，地名分类模型使用联邦学习技术实现多数据源联合训练；决策时由两个模型共同完成中文地址分词任务。本发明首次提出双模型共同完成中文地址分词任务，地址分词模型基于本地数据训练，模型用于对完整地址的名词进行切分；地名分类模型使用联邦学习进行训练，学习多源数据的数据分布，模型用于对地址分词模型切分后的地名名词进行分级。同时改进地名分类模型的联邦学习过程，引入知识蒸馏技术加速训练效率。最后改进知识蒸馏方法的损失函数，增强知识蒸馏的效果。

主权项：1.一种基于联邦学习的中文地址分词方法，其特征在于，该方法包括以下步骤：1使用本地地址数据训练地址分词模型，负责将地址切分成多个地点名词，整个训练过程仅在本地进行，模型参数更新不参与联邦学习参数传递和共享；2使用地名分类模型进行联邦学习训练，所述地名分类模型使用地点名词和地点级别标签数据进行训练，训练过程基于横向联邦学习技术实现；所述地名分类模型的训练由本地复杂模型和联邦简单模型共同完成；每轮模型训练，所述本地复杂模型学习联邦简单模型的聚合参数和本地训练数据中的知识，所述联邦简单模型学习本地复杂模型的知识，联邦简单模型参与横向联邦学习，迭代更新，直至满足预设终止条件；所述地名分类模型的训练过程分三个步骤：1本地复杂模型通过知识蒸馏学习联邦简单模型和本地数据集的知识；知识蒸馏方法的损失函数由任务损失函数和蒸馏损失函数组成；所述知识蒸馏方法的任务损失函数为其中yi表示数据标注，表示学生模型预测结果；所述知识蒸馏方法的蒸馏损失函数为其中表示教师模型预测结果，T为超参数用于控制蒸馏结果的平滑度；所述知识蒸馏方法的完整损失函数为其中，α为超参数用于控制知识蒸馏的学习侧重，α越大则更侧重对教师模型的拟合，α越小更侧重对数据的拟合；针对所述本地复杂模型通过知识蒸馏把本地数据知识传输到联邦简单模型时，所述知识蒸馏方法以本地复杂模型作为教师模型，所述联邦简单模型作为学生模型；针对所述联邦简单模型通过知识蒸馏把联邦学习知识传递到本地复杂模型时，所述联邦简单模型作为教师模型，所述本地复杂模型作为学生模型；2联邦简单模型通过知识蒸馏学习本地复杂模型的知识后，作为参与方，将更新参数上传至协作方进行参数聚合，参与联邦学习训练；3协作方返回聚合参数用于更新联邦简单模型；3训练完成的地址分词模型和地名分类模型共同完成中文地址分词任务；将一条完整的中文地址送入所述地址分词模型，所述地址分词模型将其切分成多个中文地点名词，所述本地复杂模型对所述各地点名词进行分级决策。

全文数据：

权利要求：

百度查询： 浙江邦盛科技股份有限公司 一种基于联邦学习的中文地址分词方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD