买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国民用航空飞行学院申请的专利一种基于自然语言大模型的翻译文本质量评估方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116542260B 。

龙图腾网通过国家知识产权局官网在2023-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310814686.7，技术领域涉及：G06F40/51；该发明授权一种基于自然语言大模型的翻译文本质量评估方法及系统是由王艾;林孟阳;阮自辉设计研发完成，并于2023-07-05向国家知识产权局提交的专利申请。

本一种基于自然语言大模型的翻译文本质量评估方法及系统在说明书摘要公布了：本发明公开了一种基于自然语言大模型的翻译文本质量评估方法及系统，涉及自然语言处理技术领域，通过构建民航领域数据集，选择GPT‑4模型为基础模型，定义客观评估指标；通过对GPT‑4模型进行Finetune训练，得到用于评估的迁移模型，再根据性能表现对其进行调整，最后对调整后的迁移模型进行性能测试，应用测试后的迁移模型对民航英语翻译文本进行质量评价。本发明建立的迁移模型的泛化能力强，能够充分利用其迁移学习能力，提高翻译质量评估的准确性和可靠性；能从专业的角度评估翻译结果的准确性、流畅性、专业性和安全性，可广泛应用于民航英语及其他专业领域的翻译质量评估，实现自动化、客观、高效的评价。

本发明授权一种基于自然语言大模型的翻译文本质量评估方法及系统在权利要求书中公布了：1.一种基于自然语言大模型的翻译文本质量评估方法，其特征在于，包括：S1、收集数据：收集民航领域内的翻译材料，构建民航领域数据集，所述民航领域数据集包含源语言文本、已翻译文本和人工参考译文；S2、选择模型与指标：选择GPT-4模型为基础模型，定义客观评估指标；S3、Finetune训练GPT-4模型：使用民航领域数据集中的训练集对GPT-4模型进行Finetune训练，得到用于评估的迁移模型；基于民航专业词汇，定义加权的余弦相似性损失函数，用于输出待评价翻译文本的评分，设置Finetune训练的目标为最小化任务相关的损失函数；在Finetune训练过程中，不断调整GPT-4模型的权重，允许其在训练过程中进行更新；S4、评估性能：使用民航领域数据集中的验证集对所述迁移模型的性能进行评估，并根据性能表现对所述迁移模型进行调优；S5、测试与应用：对民航领域数据集中的测试集对调优后的迁移模型进行性能测试，应用测试后的迁移模型对民航英语翻译文本进行质量评价；其中，所述S2中，所述定义客观评估指标，具体包括：步骤2.1：从衡量翻译结果与民航参考译文的n-gram重叠程度，并结合民航安全的影响程度，定义评价指标E1：;其中，SP表示专业惩罚系数，用于评价民航专业关键词汇是否准确；BP表示简短惩罚系数，用于处理翻译结果过短的情况；表示权重；表示n-gram精度，即候选译文中n-gram与参考译文重叠的比例；步骤2.2：基于召回率和准确率的机器翻译评估指标，结合词汇匹配、词序和词义方面的信息以及民航安全的影响程度，定义评价指标E2： ;其中，P1：准确率，即候选译文中正确匹配的词数占候选译文总词数的比例；R1：召回率，即候选译文中正确匹配的词数占参考译文总词数的比例；t1和t2均表示平衡系数，用于调整准确率和召回率之间的权重；P2：专业准确率，即候选译文中正确匹配的民航专业词数占候选译文专业总词数的比例；R2：专业召回率，即候选译文中正确匹配的民航专业词数占人工参考译文专业总词数的比例；α∈（0，1）：权重系数；步骤2.3：基于评价指标E1和E2，定义基于民航英语翻译的客观评价指标E为：;其中，是平衡系数，用于调整评估指标E1和评价指标E2之间的权重关系；步骤2.4：选择合适的权重系数α、平衡系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国民用航空飞行学院，其通讯地址为：618300 四川省德阳市广汉市南昌路四段46号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。