买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳市大数据研究院;深圳市大数据研究院福田分院(深圳国际工业与应用数学中心)申请的专利生成式任务的量化评估方法及其相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119961129B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510423253.8，技术领域涉及：G06F11/34；该发明授权生成式任务的量化评估方法及其相关设备是由代山;张凯;张莲民;张昕;王筱平;王鑫;徐小林;孙洋;申颖君设计研发完成，并于2025-04-07向国家知识产权局提交的专利申请。

本生成式任务的量化评估方法及其相关设备在说明书摘要公布了：本发明实施例提供一种生成式任务的量化评估方法及其相关设备，属于人工智能技术领域，包括获取成对评测数据集；搭建任务量化评估框架，基于所述任务量化评估框架构建量化评估模型；对所述构建好的量化评估模型进行变分推断训练，得到训练好的量化评估模型；将所述成对评测数据集输入所述训练好的量化评估模型，生成评估结果。本申请还提供一种量化评估装置、计算机设备及存储介质。本申请通过搭建任务新型量化评估框架，将模型能力、提示质量和评估者偏见作为潜在变量进行建模，解决了生成式任务评估中主观偏见、提示异质性及评估结果汇总过程复杂的问题，实现了可靠、公平且系统化的量化评估效果。

本发明授权生成式任务的量化评估方法及其相关设备在权利要求书中公布了：1.一种生成式任务的量化评估方法，其特征在于，包括下述步骤： 获取成对评测数据集； 搭建任务量化评估框架，基于所述任务量化评估框架构建量化评估模型； 对所述构建好的量化评估模型进行变分推断训练，得到训练好的量化评估模型； 将所述成对评测数据集输入所述训练好的量化评估模型，生成评估结果; 所述获取成对评测数据集的步骤，具体包括： 获取预设题库和评测对象； 基于所述评测对象，通过随机化策略从所述预设题库中采样提示信息，生成所述评测对象的提示子集； 通过预设的模型对所述提示子集进行文本生成处理，得到回答信息； 对所述回答信息进行成对比较处理，得到所述成对评测数据集; 所述搭建任务量化评估框架的步骤，具体包括： 通过预设的项目反应模型对所述成对评测数据集内的全部所述评测对象进行量化评估，得到目标评估概率； 基于项目反应理论对所述目标评估概率进行潜变量建模处理，得到所述任务量化评估框架; 所述潜变量建模处理表示为： 其中，所述为评估者认为评测对象在文本生成任务上表现优于另一评测对象； 所述和所述，分别代表评测对象和的潜在能力； 所述为两个所述评测对象和之间的能力差距； 所述用于提示的区分度，捕捉其对评测对象能力差异的敏感性； 所述用于提示的有效性，表示提示的质量； 所述用于表示评估者的偏差。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳市大数据研究院;深圳市大数据研究院福田分院(深圳国际工业与应用数学中心)，其通讯地址为：518000 广东省深圳市龙岗区龙城街道龙翔大道2001号道远楼225室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。