申请/专利权人：西安交通大学

申请日：2021-12-22

公开（公告）日：2022-03-25

公开（公告）号：CN114238661A

主分类号：G06F16/36(20190101)

分类号：G06F16/36(20190101);G06F16/335(20190101);G06F16/33(20190101);G06N3/12(20060101)

优先权：

专利状态码：在审-实质审查的生效

法律状态：2022.04.12#实质审查的生效;2022.03.25#公开

摘要：本发明公开了一种基于可解释模型的文本歧视性样本检测生成系统与方法，该方法分三步对文本分类集中包含潜在的歧视性的种子样本进行定位，并检测和生成大量生成歧视性样本：首先通过知识图谱构建给定敏感特征集中所有敏感特征的对应词库和扰动词库；其次，从文本数据集中随机选择一部分样本通过可解释模型得到其Top‑k的重要特征，通过匹配敏感词库选择种子样本；最后通过遗传算法从种子样本中检测出歧视性样本，并生成大量的歧视性样本来重新训练模型，消除模型的歧视性。

主权项：1.一种基于可解释模型的文本歧视性样本检测生成方法，其特征在于，包括以下步骤：步骤1，已知文本数据集D，确定针对D的待检测敏感属性集A，根据知识图谱H构造A中所有敏感属性的对应词库W1以及变异词库W2；将文本数据集D中每一条文本x转化为词向量，建立词向量和对应单词的查询字典，所述对应单词属于文本x；步骤2，任意选取文本数据集D中的一个子集D1，将D1中的每一条文本x转化为词向量z，将词向量z输入待检测分类器M中获得x的预测标签p；通过词向量z、待检测分类器M和预测标签p输入可解释模型中，获得文本x的重要程度排名大于k的top-k单词，所述k为设置阈值；将文本x中的top-k单词通过知识图谱H进行词性查询，获得词性返回结果，将词性返回结果与对应词库W1匹配，若匹配成功，则将文本x视为一个种子样本；遍历子集D1中的每一条样本，得到种子样本集S；步骤3，设定种子样本集S中的每一个文本x为原始文本xs，对每一个原始文本xs复制N个相同样本，获得搜索群体P0；步骤4，取出搜索群体P0中的一条文本pi，随机选择其中一个非敏感单词，将其替换为近义词，获得变异后的群体P′0；从变异后的群体P′0中随机抽取两个文本进行单词的交叉，将变异后的群体P′0中的所有文本进行交叉后，获得全部文本交叉后的群体P″0；从全部文本交叉后的群体P″0中取出一个样本p，从变异词库W2中检索出与样本p的敏感单词相反的单词，生成测试样本p′，所述测试样本p′包括样本p和与p的敏感单词相反的单词；将一对测试样本输入至待检测分类器M中，若返回的预测标签不同，则视为一对歧视性样本，否则不是一对歧视性样本；步骤5，对群体P″0中的所有样本通过适应度函数计算适应度值，以适应度值的概率分布选择下一代迭代的群体P1，重复步骤4，直至达到最大迭代次数，获得由原始文本x生成的所有歧视性样本对；步骤6，重复步骤4和步骤5，直至遍历种子样本集S生成对应的歧视性样本集。

全文数据：

权利要求：

百度查询： 西安交通大学 一种基于可解释模型的文本歧视性样本检测生成系统与方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD