申请/专利权人：上海交通大学

申请日：2023-09-28

公开（公告）日：2024-03-26

公开（公告）号：CN117764193A

主分类号：G06N20/00

分类号：G06N20/00;G06F18/20

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.12#实质审查的生效;2024.03.26#公开

摘要：本申请涉及机器学习技术领域，公开了一种解释多个黑盒人工智能模型之间的公共交互效用的方法和系统。该方法和系统可以自动地分析多个不同的人工人工智能模型之间所建模的公共交互，也可以分析同一模型在输入受到不同扰动时所建模的公共交互。该方法和系统的实施包括以下步骤:提供输入样本；使用多个黑盒模型对同一数据进行预测，或者使用一个黑盒模型对不同数据进行预测，获得多组预测结果；基于多组预测结果，对样本的输入单元之间的交互作用进行建模，计算输入单元间形成的组合的交互强度，将每组模型的输出表达成输入单元组合间的“与交互效用”和“或交互效用”；学习在不同人工智能模型间所共享的公共“与交互效用”和“或交互效用”。

主权项：1.一种解释多个黑盒人工智能模型之间的公共交互效用的方法，其特征在于，所述方法包括以下步骤：1选取黑盒人工智能模型；选取多个待分析的黑盒人工智能模型，所述多个待分析的黑盒人工智能模型的数量≥2个；2选取输入样本并进行识别；选取用于进行公共交互效用计算的输入样本，并对所述输入样本进行识别，从而将所述输入样本分解成n个输入单元，并将所述n个输入单元进行组合得到2n个所述输入单元的组合；所述输入样本选自下组：表格数据、图片、文本、语音或其组合；3进行“与交互效用”和“或交互效用”的计算并进行组合；将所述步骤2中的2n个输入单元的组合分别输入所述多个黑盒人工智能模型从而获取所述多个黑盒人工智能模型的输出；并基于所述输出以及2n个所述输入单元的组合对所述黑盒人工智能模型所建模的所述输入单元间的交互效用进行建模，从而获得每个所述黑盒人工智能模型对于每个所述输入单元的组合的“与交互效用”和“或交互效用”；并将每个所述黑盒人工智能模型在某个输入单元组合上的输出解释为所述其在所述输入单元组合上的“与交互效用”和“或交互效用”的组合；4对所述“与交互效用”和“或交互效用”进行排序和加权；对于每个所述输入单元的组合，从每个黑盒模型会测量出一个“与交互效用”和一个“或交互效用”，从而得到一组多个“与交互效用”和一个“或交互效用”。对于一组多个与交互效用和一个多个或交互效用分布取绝对值并排序后，选取从多个黑盒模型中所提取的绝对值最大的前K个“与交互效用”和绝对值最大的前K个“或交互效用”惩罚1倍权重，其余的交互惩罚r倍权重，其中，0＜r＜1；5对加权后的“与交互效用”和“或交互效用”的组合进行优化并得到公共交互效用；对加权后的多个所述黑盒人工智能模型的“与交互效用”和“或交互效用”的组合进行联合优化，从而得到多个所述人工智能黑盒模型间的公共交互效用；其中，步骤1和步骤2的顺序可随意替换或同时进行。

全文数据：

权利要求：

百度查询： 上海交通大学 一种解释多组黑盒人工智能模型之间的公共交互效用的方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD