申请/专利权人：金智东博(北京)教育科技股份有限公司

申请日：2023-05-31

公开（公告）日：2024-04-16

公开（公告）号：CN116644754B

主分类号：G06F40/295

分类号：G06F40/295;G06F16/35;G06F21/62;G06F18/23213;G06F18/214;G06N3/0455;G06N3/084;G06Q30/0203;G06Q30/0282

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.04.09#专利申请权的转移;2024.02.27#专利申请权的转移;2023.09.12#实质审查的生效;2023.08.25#公开

摘要：本发明属于自然语言处理领域，具体涉及一种基于大数据的互联网金融产品评论观点提取方法，包括：获取互联网金融产品评论数据，建立观点提取模型并进行训练，将获取的互联网金融产品评论数据输入训练完成后的观点提取模型进行观点提取。本发明使用k‑means聚类搜索核心向量，对核心向量进行基于窗口的自适应模糊处理，解决随机初始化向量带来的冷启动问题，并让核心向量更具有普适性；建立多任务联系，根据命名实体识别任务的输出对样本进行关键字脱敏处理，让样本中情感倾向更容易被模型捕获；从多个维度挖掘样本中情感倾向，提高模型的鲁棒性和预测精度。

主权项：1.一种基于大数据的互联网金融产品评论观点提取方法，其特征在于，包括：获取互联网金融产品评论数据，建立观点提取模型并进行训练，将获取的互联网金融产品评论数据输入训练完成后的观点提取模型进行观点提取；所述观点提取模型包括：命名实体识别模块、情感分析模块；所述观点提取模型的训练过程包括：S1：样本数据文本通过BERT词向量模型进行分词并进行词表映射，得到样本词向量表示；S2：使用k-means聚类方法对所有词向量进行聚类，得到核心向量，将核心向量进行基于窗口的自适应模糊处理，将处理后的核心向量作为AutoTuning的初始向量，对AutoTuning进行训练，得到句子表征；将经过处理的核心向量v′core作为AutoTuning的初始向量，构造样本样式sample＝[CLS][UNK1][UNK2][UNK3][MASK][SEP][sentence][SEP]，其中，[CLS]和[SEP]分别表示句子的开头与结尾指示符，[UNK]表示BERT中特殊含义字符，作为范式使用，[MASK]是MLM任务中需要被预测的字段，表示样本中蕴含的情感倾向，setence表示原样本，即AutoTuning的初始向量；AutoTuning的训练任务是预测[MASK]字段，表示样本的情感倾向，AutoTuning训练过程分为两步，第一步冻结BERT前6层sentence参数，只更新范式参数，第二步BERT后6层同时优化sentence和范式参数；S3：将经过AutoTuning训练得到的句子表征送入命名实体识别模块解码，得到预测实体；步骤1：将经过AutoTuning训练后的得到的句子表征sentence向量送入命名实体识别模块的条件随机场crf；步骤2：条件随机场解码得到8个实体类别标签和1个非实体类别标签，实体类别标签分别为：B-机构名，I-机构名，B-产品名，I-产品名，B-评论名词，I-评论名词，B-评论形容词，I-评论形容词，并根据这些标签的分布对实体的类型和跨度进行判别，得到预测实体；S4：根据预测实体的类别，保留形容词实体，对名词实体做脱敏处理，得到脱敏后的句子表征；随机初始化一个可学习参数矩阵，使用0元素对名词实体在文本中的位置进行masked，其余矩阵元素经过训练对句子情感相关的部分给予更大的权重，得到脱敏后的句子表征；S5：将AutoTuning得到的句子表征和脱敏后的句子表征拼接在一起得到emotion_embedding；S6：将emotion_embedding送入情感分析模块进行情感预测，通过线性层得到预测情感倾向emotion_label；S7：根据命名实体识别模块得到的预测实体得到命名实体识别模块的损失值loss1，根据预测情感倾向emotion_label得到情感分析模块的损失值loss2，将命名实体识别模块的损失值loss1和情感分析模块的损失值loss2进行整合，得到观点提取模型的联合损失函数；S8：根据观点提取模型的联合损失函数将损失值梯度回传，完成模型训练。

全文数据：

权利要求：

百度查询： 金智东博(北京)教育科技股份有限公司 一种基于大数据的互联网金融产品评论观点提取方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD