【发明公布】基于爬虫的数据抓取方法、装置、计算机设备及存储介质_深圳壹账通智能科技有限公司_202110213211.3 

申请/专利权人:深圳壹账通智能科技有限公司

申请日:2021-02-25

发明/设计人:郑如刚

公开(公告)日:2021-06-08

代理机构:深圳市世联合知识产权代理有限公司

公开(公告)号:CN112925968A

代理人:汪琳琳

主分类号:G06F16/951(20190101)

地址:518000 广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)

分类号:G06F16/951(20190101);G06F16/955(20190101);G06F16/958(20190101)

优先权:

专利状态码:在审-公开

法律状态:2021.06.08#公开

摘要:本申请实施例属于大数据的数据采集领域,涉及一种基于爬虫的数据抓取方法,包括获取目标网页,并对目标网页进行解析,得到目标网页的所有标签,根据标签得到标签对,遍历所有标签对,并对每个标签对中的字符进行查找,将满足第一预设条件的字符作为第一字符,并将满足第二预设条件的字符作为第二字符,以第一字符为起点,第二字符为终点,读取出起点和终点之间的目标字符,在确定满足提取条件时,将目标字符作为页面内容进行提取。本申请还提供一种基于爬虫的数据抓取装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,页面内容可存储于区块链中。本申请可以增强爬虫的适应性,减少工作量,提高数据抓取效率。

主权项:1.一种基于爬虫的数据抓取方法,其特征在于,包括下述步骤:获取目标网页,并对所述目标网页进行解析,得到所述目标网页的所有标签;根据所述标签得到标签对,遍历所有所述标签对,并对每个所述标签对中的字符进行查找,将满足第一预设条件的字符作为第一字符,并将满足第二预设条件的字符作为第二字符;以所述第一字符为起点,所述第二字符为终点,读取所有所述起点和所述终点之间的目标字符;判断所述目标字符是否满足提取条件,在确定满足提取条件时,将所述目标字符作为页面内容进行提取。

全文数据:

权利要求:

百度查询: 深圳壹账通智能科技有限公司 基于爬虫的数据抓取方法、装置、计算机设备及存储介质