申请/专利权人：中国电子科技集团公司第三十研究所

申请日：2024-03-14

公开（公告）日：2024-05-17

公开（公告）号：CN117892727B

主分类号：G06F40/289

分类号：G06F40/289;G06F40/216;G06F9/54;G06F16/903

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2024.05.03#实质审查的生效;2024.04.16#公开

摘要：本发明公开了一种实时文本数据流去重系统及方法，涉及数据去重领域，其中去重系统包括：数据输入端，所述数据输入端由用于接收与发送文本数据流的消息队列组成；数据处理端，所述数据处理端由流处理引擎组成，能够按不同语种对文本数据进行预处理，并基于改进Ksentence进行文本标识计算，最后形成输出数据流；数据输出端，所述数据输出端能够将数据处理端的输出数据流存储至对应的数据库中；并以此提出了一种去重方法；本发明，侧重于对海量性、实时性的文本进行去重，适用于在线实时场景。

主权项：1.一种实时文本数据流去重方法，其特征在于，基于一种实时文本数据流去重系统，包括：步骤S1：面向多语种的文本预处理；对输入的文本数据按不同语种进行清洗以及预处理；步骤S2：基于改进Ksentence的文本标识计算；选择分词后长度大于K的词进行拼接，并利用simhash计算哈希值，得到文本唯一标识值key；步骤S3：基于标识的文本存储策略；通过将key值作为流数据输出数据库的主键的组成部分，利用数据库的主键更新策略，实现文本实时去重；所述步骤S1，包括：步骤S11：从kafka实时消息队列中获取文本数据；步骤S12：使用正则表达式对文本数据进行正则清洗，特殊符号用空格进行替换，并去除16进制编码与base64编码；步骤S13：对经步骤S12处理后得到的字符串，按语种进行切割，得到语种字符串数组；步骤S14：对中英文进行处理；步骤S15：返回处理后的语种字符串数组；所述步骤S13，包括：记录每个空格的位置得到数组，循环数组中的空格位置，并判断空格与空格之间字符串的语种类型，将相同语种的字符串用分号进行拼接，得到若干语种字符串；不同语种字符串共同组成一个语种字符串数组，且数组长度为语种的个数；所述步骤S14，包括：若存在中文，则使用jieba对中文使用空格进行分词，并去除停用词；若存在英文，则还原英文词性，去除停用词；若为其余语种，则不做任何处理；所述步骤S2，包括：步骤S21：获取语种字符串数组；步骤S22：按；进行分割，取长度大于K的字符串；步骤S23：按语种顺序将选择的字符串按空格拼接；步骤S24：计算拼接后的字符串的唯一标识值；所述步骤S22，包括：对数组中的每一个元素，若该元素为中文，在用分号将字符串分割成列表后，保留列表中长度大于K的字符串；若该元素不为中文，在用分号将字符串分割成列表后，保留列表中长度大于M的字符串；所述步骤S23，包括：按语种类型的升序进行排序，将步骤S22中保留的字符串用空格进行拼接，形成新的字符串；步骤S24，包括：计算新的字符串的simhash值，并将该值作为新的字符串对应文本的唯一标识值key；所述一种实时文本数据流去重系统，包括：数据输入端，所述数据输入端由用于接收与发送文本数据流的消息队列组成；数据处理端，所述数据处理端由流处理引擎组成，能够按不同语种对文本数据进行预处理，并基于改进Ksentence进行文本标识计算，最后形成输出数据流；数据输出端，所述数据输出端能够将数据处理端的输出数据流存储至对应的数据库中。

全文数据：

权利要求：

百度查询： 中国电子科技集团公司第三十研究所 一种实时文本数据流去重系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD