申请/专利权人：云南联合视觉科技有限公司

申请日：2024-02-06

公开（公告）日：2024-05-03

公开（公告）号：CN117709441B

主分类号：G06N3/096

分类号：G06N3/096;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.05.03#授权;2024.04.02#实质审查的生效;2024.03.15#公开

摘要：本发明涉及通过逐步迁移领域训练专业医疗大模型的方法，属于数据处理技术领域。本发明包括步骤：将预训练模型迁移至通用医疗领域，包括：获取通用医疗数据、训练预训练大模型得到通用医疗领域大模型；训练时，使用通用医学指令数据对大模型进行有监督微调；将通用医疗领域大模型迁移至麻醉专业领域，包括：获取专业医疗数据、训练通用医疗领域大模型，获得麻醉专业大模型；训练时，在通用医疗大模型的基础上继续进行有监督微调，对于专业的医疗指令数据使用全微调的方式去训练。本发明训练了一个专业的麻醉大语言大模型，提高了医疗领域预训练模型的性能。

主权项：1.通过逐步迁移领域训练专业医疗大模型的方法，其特征在于：所述方法的具体步骤如下：Step1、将预训练模型迁移至通用医疗领域；包括：Step1.1、获取通用医疗数据；获取通用医疗数据包括：首先，收集大规模的医学领域数据，包括医学文本、病例报告、医学文章、医疗问答；Step1.2、训练预训练大模型，得到通用医疗领域大模型；训练时，使用通用医学指令数据对大模型进行有监督微调；选定llama-7B为基础模型，选择参数高效微调的方式lora微调技术将基础模型快速微调到通用医疗领域；Step2、将通用医疗领域大模型迁移至麻醉专业领域；包括：Step2.1、获取专业医疗数据；Step2.2、训练通用医疗领域大模型，获得麻醉专业大模型；训练时，在通用医疗大模型的基础上继续进行有监督微调，对于专业的医疗指令数据使用全微调的方式去训练。

全文数据：

权利要求：

百度查询： 云南联合视觉科技有限公司 通过逐步迁移领域训练专业医疗大模型的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD