申请/专利权人：苏州元脑智能科技有限公司

申请日：2023-12-27

公开（公告）日：2024-03-19

公开（公告）号：CN117473983B

主分类号：G06F40/242

分类号：G06F40/242;G06F40/284;G06F40/30

优先权：

专利状态码：有效-授权

法律状态：2024.03.19#授权;2024.02.20#实质审查的生效;2024.01.30#公开

摘要：本发明涉及机器学习和文本分析技术领域，公开了一种基于模糊匹配和互信息的未登录词收集方法、装置，该方法通过互信息与邻接熵的方式确定第一未登录词集合，以模糊匹配的方式确定第二未登录词集合，从而形成潜在扩充词集合，通过训练模型得到扩充词集合，并以筛选的扩充词集合更新专家词典，这一过程中，第一未登录词集合与第二未登录词集合是在专家词典的基础上，确定的可能属于领域专业词汇的备选词集合，在此基础上通过比较两个集合的词汇，进一步对备选词进行分类，形成潜在扩充词集合，并利用词向量模型对潜在扩充词集合进行筛选，从而通过对专家词典的更新，逐步完善相关专业领域的分词训练和生成质量，提升相关文本数据信息的分析处理效果。

主权项：1.一种基于模糊匹配和互信息的未登录词收集方法，其特征在于，所述方法包括：获取文本数据与专家词典；基于所述文本数据，通过互信息与邻接熵的方式，确定第一未登录词集合；基于所述文本数据与所述专家词典，通过模糊匹配的方式，确定第二未登录词集合；比较所述第一未登录词集合与所述第二未登录词集合，确定比较结果；基于所述比较结果与所述专家词典，利用所述第一未登录词集合、所述第二未登录词集合，形成潜在扩充词集合；基于所述潜在扩充词集合与所述专家词典，对模型进行训练，得到词向量模型；基于所述潜在扩充词集合与所述专家词典，利用所述词向量模型，确定扩充词集合；基于所述扩充词集合，更新专家词典；所述比较所述第一未登录词集合与所述第二未登录词集合，确定比较结果，包括：比较所述第一未登录词集合与所述第二未登录词集合，通过集合中相同的词，确定第一比较结果；比较所述第一未登录词集合与所述第二未登录词集合，通过集合中不同的词，确定第二比较结果；所述基于所述比较结果与所述专家词典，利用所述第一未登录词集合、所述第二未登录词集合，形成潜在扩充词集合，包括：基于第二比较结果，分别将所述第一未登录词集合、所述第二未登录词集合与jieba分词结合，确定第一结果与第二结果；基于所述第一结果与所述第二结果的细粒度，利用所述专家词典，形成潜在扩充词集合；所述基于所述潜在扩充词集合与所述专家词典，对模型进行训练，得到词向量模型，包括：基于所述潜在扩充词集合与所述专家词典，通过jieba分词对预设文本数据进行分词，确定已分词的文本数据集合；基于所述文本数据集合，对模型进行训练，得到词向量模型。

全文数据：

权利要求：

百度查询： 苏州元脑智能科技有限公司 一种基于模糊匹配和互信息的未登录词收集方法、装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD