龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：中国电信股份有限公司
申请日：2024-02-19
公开（公告）日：2024-05-17
公开（公告）号：CN118052254A
主分类号：G06N3/045
分类号：G06N3/045;G06N3/08
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.06.04#实质审查的生效;2024.05.17#公开
摘要：本申请公开了一种模型推理加速方法、装置、电子设备及非易失性存储介质。其中，该方法包括：接收第一任务请求，并在系统中不存在除第一任务请求外的其余任务请求的情况下，依据第一任务请求对应的第一低秩自适应模型，对第一任务请求进行单步推理处理；在接收到第二任务请求，且第一任务请求仍未处理完成的情况下，依据第二任务请求和正在处理的第一任务请求，确定批请求数据；确定第二任务请求对应的第二低秩自适应模型；依据第一低秩自适应模型和第二低秩自适应模型，对批请求数据进行持续成批处理。本申请解决了相关技术中的持续成批处理方法仅支持在单个模型上进行批处理，无法支持不同任务场景下的多个模型在同一批进行处理的技术问题。
主权项：1.一种模型推理加速方法，其特征在于，包括：接收第一任务请求，并在系统中不存在除所述第一任务请求外的其余任务请求的情况下，依据所述第一任务请求对应的第一低秩自适应模型，对所述第一任务请求进行单步推理处理；在接收到第二任务请求，且所述第一任务请求仍未处理完成的情况下，依据所述第二任务请求和正在处理的所述第一任务请求，确定批请求数据，其中，所述第二任务请求所对应的任务场景与所述第一任务请求所对应的任务场景的类型不同；确定所述第二任务请求对应的第二低秩自适应模型，其中，所述第一低秩自适应模型和所述第二低秩自适应模型是由同一基础大模型分别针对所述第一任务请求所对应的任务场景和所述第二任务请求所对应的任务场景进行低秩自适应训练后得到的；依据所述第一低秩自适应模型和所述第二低秩自适应模型，对所述批请求数据进行持续成批处理，其中，所述持续成批处理用于对所述批请求数据中的多个任务请求进行同时处理。
全文数据：
权利要求：
百度查询： 中国电信股份有限公司 模型推理加速方法、装置、电子设备及非易失性存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号