龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：广东数业智能科技有限公司
申请日：2024-01-10
公开（公告）日：2024-05-17
公开（公告）号：CN117828063B
主分类号：G06F16/332
分类号：G06F16/332;G16H20/70;G06F16/36
优先权：
专利状态码：有效-授权
法律状态：2024.05.17#授权;2024.04.23#实质审查的生效;2024.04.05#公开
摘要：本发明人工智能技术领域，提供了一种心理领域数据生成、模型训练方法、装置及存储介质。目的在于解决目前缺乏有效的生成心理领域高质量对话数据生成和训练垂直领域大语言模型的方法。输入策略标注语料和开源数据集，构建马尔科夫链生成策略，去重并初始化话题和策略组列表，供多轮对话生成。通过策略匹配找到最相似对话案例，提供给专家级语言模型引导回复。定义模板并用案例、问题和策略填充，生成多轮对话并保存为心理领域数据集。训练大语言模型以适应心理领域多轮对话任务，采用特殊标识符、因果语言模型和加权平均损失函数提升专业度和针对性。
主权项：1.一种心理领域数据生成、模型训练方法,其特征在于，包括以下步骤：步骤1.策略模拟步骤：输入策略标注语料和开源数据集，然后通过构建马尔科夫链模拟人工标注生成策略，接着对开源数据集进行去重，然后初始化话题列表和策略组列表，最后将话题列表和策略组列表输出到多轮对话生成步骤；步骤2.对话案例检索步骤：输入策略组和问题，然后通过策略匹配找到相似的候选对话案例,接着，对候选对话案例和问题进行编码，并计算它们之间的余弦相似度，以找到最匹配的对话案例作为样本;最后，将找到的最匹配的对话案例作为样本，提供给多轮对话生成步骤的专家级大型语言模型作为参考案例，以更好地引导其生成回复；步骤3.多轮对话生成步骤：定义模板，然后用对话案例检索步骤输出的对话案例、用户的问题和基于马尔科夫链生成的策略对模板进行填充内容后输入大语言模型，生成多轮对话，保存数据，形成心理领域多轮对话数据集；步骤4.模型训练步骤：基于多轮对话数据训练大语言模型，以适应心理领域多轮对话任务，通过添加特殊标识符区分对话数据的不同部分，并使用因果语言模型保持生成的因果关系，通过向量空间距离损失函数与交叉熵损失函数的加权平均损失函数，以提升模型在心理领域对话的专业度，通过计算损失并进行加权平均，训练模型预测回复策略和回答，使其在心理领域问题上更具专业性和针对性。
全文数据：
权利要求：
百度查询： 广东数业智能科技有限公司 一种心理领域数据生成、模型训练方法、装置及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号