申请/专利权人：云启智慧科技有限公司

申请日：2023-09-25

公开（公告）日：2024-04-23

公开（公告）号：CN117453867B

主分类号：G06F16/332

分类号：G06F16/332;G06F16/33;G06F16/35;G06F18/24

优先权：

专利状态码：有效-授权

法律状态：2024.04.23#授权;2024.02.13#实质审查的生效;2024.01.26#公开

摘要：本发明提供一种基于自然语言处理的智能育儿系统和装置，属于设备监控技术领域，包括：育儿百科模块，其配置获取育儿资源数据，利用育儿资源数据对语言大模型进行训练；育儿纠错模块，其配置为对日常对话进行实时监控，捕获到语音后进行文本转换，利用预训练的分类模型对文本进行分类，得到文本标签和概率值，文本标签包括文本需要纠错，将文本标签为文本需要纠错的文本传输至知识库中，得到纠错反馈，根据概率值确定纠错反馈的方式并传达给用户；智能陪伴模块，其配置为根据年龄阶段形成对应的陪伴方式，结合知识库对不同年龄阶段的儿童进行智能陪伴。本发明不仅能提供健康科学的育儿知识，还能有效监督育儿方法的有效应用。

主权项：1.一种基于自然语言处理的智能育儿系统，其特征在于，包括：育儿百科模块，其配置获取育儿资源数据，利用育儿资源数据对语言大模型进行训练，将训练后的语言大模型作为知识库，并采用离线部署；语言大模型的训练过程为：获取育儿相关的文本数据；将文本数据进行格式转换，形成json格式的文本数据，json格式中包括prompt、response和history，其中prompt为育儿问题，response为该问题的相关解答，history代表多轮问答的上下文信息；获取经过语言基础训练的语言大模型，语言大模型采用基于transformer的网络框架；利用多查询注意力对语言大模型进行模型加速，并采用json格式的文本数据对语言大模型进行模型微调，得到训练后的语言大模型；多查询注意力的计算过程为：输入查询矩阵Q、键矩阵K和值矩阵V；将查询矩阵Q分成多个查询向量Q1,Q2,...,Qm；对每个查询向量Qx，计算Qx与键矩阵K之间的注意力分数：将注意力分数归一化，得到注意力权重；将注意力权重与值矩阵中的值向量进行加权求和，得到对查询的注意力表示，其注意力公式如下： 式中，sim代表相似度计算，Kx和Vx分别表示K和V中的向量，Kx和Vx均通过共享注意力头的K和V矩阵得到；模型微调的过程为：将json格式的文本数据输入语言大模型中，并在输入层的每一层中添加可微调参数prefix；对语言大模型进行第一次微调训练，将json格式的文本数据与相应的prefix进行拼接，生成与育儿相关的内容，通过最小化生成结果与标准答案之间的差异来更新prompt参数，其中，在该次训练中，仅对prompt参数进行微调，保持其他参数不变；在第一次微调训练完成后，对语言大模型进行第二次微调训练，利用json格式的文本数据对语言大模型进行进一步的训练，通过最小化生成结果与标准答案之间的差异来更新模型的参数，其中，在该次训练中，将prompt参数冻结，对其他参数和prefix进行微调；育儿纠错模块，其配置为对日常对话进行实时监控，捕获到语音后进行文本转换，利用预训练的分类模型对文本进行分类，得到文本标签和概率值，文本标签包括文本需要纠错，将文本标签为文本需要纠错的文本传输至知识库中，得到纠错反馈，根据概率值确定纠错反馈的方式并传达给用户；智能陪伴模块，其配置为根据年龄阶段形成对应的陪伴方式，结合知识库对不同年龄阶段的儿童进行智能陪伴。

全文数据：

权利要求：

百度查询： 云启智慧科技有限公司 一种基于自然语言处理的智能育儿系统和装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD