申请/专利权人:广州汇智通信技术有限公司
申请日:2020-07-23
公开(公告)日:2024-03-22
公开(公告)号:CN111782970B
主分类号:G06F16/9536
分类号:G06F16/9536
优先权:
专利状态码:有效-授权
法律状态:2024.03.22#授权;2020.11.03#实质审查的生效;2020.10.16#公开
摘要:本申请公开了一种数据分析方法和装置,方法包括:S1、基于第一接入方式接入原始数据,根据预置抽取规则对原始数据进行抽取,得到业务数据;S2、根据可配式规整方案对业务数据进行规整处理,得到结构格式统一的第一数据;S3、当第一数据为非结构化数据时,读取非结构化数据,对读取后的非结构化数据进行过滤,得到内容性文件数据;S4、根据预置的匹配规则对结构化数据和内容性文件数据进行匹配,得到第一中标数据;S5、根据第一中标数据和原始数据,基于预置的扩充条件对第一中标数据进行扩充,得到扩充数据。解决了现有技术用于分析的数据来源单一并且数据分析的实体固定,导致不能根据用户的业务需求灵活地对数据进行深度分析的技术问题。
主权项:1.一种数据分析方法,其特征在于,包括:S1、基于第一接入方式接入原始数据,根据预置抽取规则对所述原始数据进行抽取,得到业务数据,所述第一接入方式包括:KAFKA消费方式、文件数据流方式和接口方式;S2、根据可配式规整方案对所述业务数据进行规整处理,得到结构格式统一的第一数据,所述第一数据包括:结构化数据、非结构化数据;S3、当所述第一数据为所述非结构化数据时,读取所述非结构化数据,对读取后的所述非结构化数据进行过滤,得到内容性文件数据;S4、当所述结构化数据和所述内容性文件数据为内容字段时,根据AC自动机优化匹配算法,基于关键字匹配规则对所述内容字段进行匹配,得到第一中标数据;当所述结构化数据和所述内容性文件数据为核心内容字段时,基于目标匹配规则对所述核心内容字段进行匹配,得到所述第一中标数据;当所述结构化数据和所述内容性文件数据为非所述内容字段或非所述核心内容字段时,定义匹配规则对所述结构化数据和所述内容性文件数据进行匹配,得到所述第一中标数据;S5、根据所述第一中标数据和所述原始数据,基于预置的扩充条件对所述第一中标数据进行扩充,得到扩充数据。
全文数据:
权利要求:
百度查询: 广州汇智通信技术有限公司 一种数据分析方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。