龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：中盈优创资讯科技有限公司
申请日：2023-12-12
公开（公告）日：2024-05-10
公开（公告）号：CN118012827A
主分类号：G06F16/16
分类号：G06F16/16;G06F16/172;G06F16/11;G06F40/166
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.05.28#实质审查的生效;2024.05.10#公开
摘要：本发明公开一种对大模型微调语料进行数据治理的方法及装置，其中方法包括：收集文档语料，集中进行存储；对于所有待切分语料逐个进行片段切分操作；将切分后的文档片段进行Embedding向量化；向量化后的信息存入向量库；对切分后的文档片段进行相似性分析，标记重复性文档片段；对每个文档片段进行重复次数统计，将该数据暂标为n；对于文档片段进行排重，并对后挂分支的数量进行统计，将该数据暂标为p；根据n和p，对文档片段进行重要性排序；将向量化的文档片段转换为文本，供语料标注人员使用。本发明一种对大模型微调语料进行数据治理的方法及装置，对语料进行前置数据治理，提升语料质量，降低标注难度，保障微调效果。
主权项：1.一种对大模型微调语料进行数据治理的方法，其特征在于，该方法包括：S01、收集文档语料，集中进行存储，存储时标记每个文档是否已完成片段切分和语料分析工作；S02、对于所有待切分语料逐个进行片段切分操作；S03、将切分后的文档片段进行Embedding向量化；S04、向量化后的信息存入向量库；S05、对切分后的文档片段进行相似性分析，将高相似度的文档片段标记为重复性文档片段；S06、对每个文档片段进行重复次数统计，将该数据暂标为n；S07、对于文档片段进行排重，并对后挂分支的数量进行统计，将文档片段的后挂分支数暂标为p；S08、根据每个文档片段的重复度n和后挂分支数量p，对文档片段进行重要性排序；S09、将向量化的文档片段转换为文本，供语料标注人员使用。
全文数据：
权利要求：
百度查询： 中盈优创资讯科技有限公司 一种对大模型微调语料进行数据治理的方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号