申请/专利权人：南京大经中医药信息技术有限公司

申请日：2024-01-30

公开（公告）日：2024-04-16

公开（公告）号：CN117648430B

主分类号：G06F16/332

分类号：G06F16/332;G06F18/241;G06N3/0464;G06N3/088

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2024.03.22#实质审查的生效;2024.03.05#公开

摘要：本发明公开了对话式大语言模型监督训练评价系统，涉及人工智能领域，改善了现有对话模型由于训练不到位造成语言模型出现回复效率低下、输出结果精度不足等问题的问题，包括数据获取模块：获取模型训练数据，初次训练模块：对对话式大语言模型进行初次训练，并获取模型训练数据，模型评价模块：根据模型训练数据计算模型评价系数进行语言模型分类，二次训练模块：根据语言模型分类数据对对话式大语言模型进行二次训练，本发明通过采用两次监督训练的方式对对话式大语言模型进行训练，能够有效提高对话式大语言模型的对话准确性和一致性，更好地满足用户对对话式大语言模型的需求。

主权项：1.对话式大语言模型监督训练评价系统，其特征在于，包括：数据获取模块：通过爬虫技术利用互联网获取中医领域数据，通过基于人工智能的对话生成模型对中医领域数据进行处理，得到模型训练数据；初次训练模块：根据模型训练数据对对话式大语言模型进行初次训练，得到初次训练质量数据，针对初次训练质量数据通过混淆矩阵得到对话式大语言模型的对话准确率和对话召回率，利用对话式大语言模型的对话准确率和对话召回率计算得到对话式大语言模型的F1值；模型评价模块：分别根据对话式大语言模型的对话准确率、对话召回率以及F1值计算得到模型评价系数，并对模型评价系数进行阈值划分，得到语言模型分类数据；二次训练模块：根据语言模型分类数据对对话式大语言模型进行二次训练；还包括服务器，所述数据获取模块、初次训练模块、模型评价模块和二次训练模块分别与服务器相连；所述模型评价模块根据初次训练质量数据计算模型评价系数进行语言模型分类，具体如下：模型评价模块包括评价系数单元和评价分级单元；评价系数单元根据初次训练质量数据计算模型评价系数；评价分级单元根据模型评价系数进行语言模型分类；由模型评价系数和模型评价系数阈值数据判断的结果得到语言模型分类数据；所述评价系数单元计算模型评价系数，具体如下：根据初次训练质量数据获取对话式大语言模型的对话准确率、对话召回率和F1值；根据对话式大语言模型的对话准确率、对话召回率和F1值计算模型评价系数Pj；分别获取n个对话式大语言的评价系数；所述评价分级单元对语言模型进行分类，具体如下：根据初次训练质量数据分别获取n个对话式大语言模型的对话准确率、对话召回率和F1值；根据n个对话式大语言模型的对话准确率计算n个对话式大语言模型的平均对话准确率；根据n个对话式大语言模型的对话召回率计算n个对话式大语言模型的平均对话召回率；根据n个对话式大语言模型的对话F1值计算n个对话式大语言模型的平均对话F1值；根据n个对话式大语言模型的平均对话准确率、平均对话召回率和平均对话F1值通过评价系数阈值计算公式计算得到模型评价系数阈值数据Pj1；根据模型评价系数和模型评价系数阈值数据获取语言模型分类数据，具体如下：当Pj≥Pj1，判断对应对话式大语言模型为中医类高精度语言模型；当0＜Pj＜Pj1，判断对应对话式大语言模型为中医类低精度语言模型；所述二次训练模块对对话式大语言模型进行二次训练，具体如下：二次训练模块包括半监督学习单元和迁移学习单元；半监督学习单元对中医类低精度语言模型进行训练，具体如下：根据模型训练数据获取训练集数据和测试集数据；利用人工标注的方式对训练集数据中的问题和对应的正确回答进行标注，得到带有正确回答的训练数据样本并将作为标签数据，使用标签数据对中医类低精度语言模型进行初步训练；将训练集数据中未标注问题和回答的数据作为无标签数据，通过Self-Training对无标签数据进行预测，并获取预测结果置信度高并进行置信度高低判断，将置信度高的无标签数据加入标签数据，成为新的标签数据，由此反复迭代，提高中医类低精度语言模型的精度和性能；迁移学习单元对中医类高精度语言模型进行训练；所述迁移学习单元对中医类高精度语言模型进行训练，具体如下：根据模型训练数据获取训练集数据；在对中医类高精度语言模型进行无监督学习训练的基础上使用增量学习通过模型训练数据进行部分微调，针对输入的问题涉及的需求进行增量学习；使用部分微调后的中医类高精度语言模型对无标签数据进行预测，得到伪标签，将伪标签加入标签数据中，扩充训练数据，使用扩充后的数据集进行重新训练，调整模型参数；重复以上训练过程，对中医类高精度语言模型进行多次微调和自训练的迭代训练，以逐步提升模型在中医领域的性能和适应能力。

全文数据：

权利要求：

百度查询： 南京大经中医药信息技术有限公司 对话式大语言模型监督训练评价系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD