申请/专利权人：北京星汉博纳医药科技有限公司

申请日：2021-01-25

公开（公告）日：2024-03-26

公开（公告）号：CN112765438B

主分类号：G06F16/951

分类号：G06F16/951;G06F11/30

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2021.05.25#实质审查的生效;2021.05.07#公开

摘要：本发明公开了一种基于微服务的自动爬虫管理方法，该方法包括以下步骤：服务端基于springboot微服务架构和多线程技术，运行程序对爬虫管理平台进行任务接口抽象化，按照爬取同类网站重复步骤对任务接口定义规则；建立爬虫任务流水线，对任务接口进行管理，实现客户端网站数据自动化爬取操作；客户端运用java或python任意一种编程语言，建立与服务端通信的爬虫任务接口，客户端通过token令牌进行注册，注册后客户端与服务端做心跳机制沟通，领取爬虫任务，并推送爬虫结果数据。本发明的有益效果：本申请服务端基于运用微服务架构和多线程技术，通过爬虫管理平台实现客户端网站数据抓取，能够对爬虫客户端和任务管理服务端快速扩容，提高爬虫效率和节约人力成本。

主权项：1.一种基于微服务的自动爬虫管理方法，其特征在于，该方法包括以下步骤：S1服务端基于springboot微服务架构和多线程技术，运行程序对爬虫管理平台进行任务接口抽象化，按照爬取同类网站重复步骤对任务接口定义规则，其中，服务端包含：爬虫管理平台、网站注册、客户端注册、任务线程管理、系统状态监控、任务接口、浏览器驱动、客户端登录；S1.1爬虫管理平台注册客户端抓取网站任务接口信息，以及爬取客户端的任务接口信息，规范任务接口的入参格式及出参格式；S1.2基于规范的任务接口参数格式对目标网站注册，记录每个网站具体任务接口，通过任务接口定时任务分解；S1.3获取token令牌进行任务接口客户端注册，记录任务接口实现情况，接收服务端分配的任务；S1.4任务线程管理，基于异步线程，监控运行状态，查看每个线程处理数据情况，其中，任务线程管理包含定时任务线程、任务解析线程、子任务平衡分配线程、爬虫结果处理线程及爬虫任务监控线程；S1.4.1初始化任务接口配置信息，抓取网站任务信息和爬虫客户端信息，客户端正常运行状态下，与服务端建立心跳机制；S1.4.2定时任务线程，根据任务配置表，检查和触发爬虫任务，一类接口定义成一条任务流水线；S1.4.3任务解析线程，按照任务接口入参规则提取数据，形成入参数据包，并做最小化切分，然后，提取任务接口网站列表，两者交叉形成子任务；S1.4.4子任务平衡分配线程，将任务分配给在线的客户端，同时回收长时间未完成任务，分配给其他客户端；S1.4.5爬虫结果处理线程，获取网站任务接口爬取结果，向清洗库推送任务，将子任务修改为完成状态；S1.4.6爬虫任务监控线程，监控子任务爬取情况，若全部已完成，则对定时任务设置为完成状态，并进入下一次循环；S1.5系统状态监控，根据监控任务流水线执行状态，监控已注册客户端运行状态，并人工驱离客户端，进入黑名单；S1.6任务接口根据对接手册，对客户端进行对接测试，以及客户端性能评估，任务接口包含：心跳接口、获取任务包接口、推送爬虫结果接口；S1.7浏览器驱动，运用不同版本webdriver驱动程序，根据客户端版本检测信息，自动下载，并保持webdriver驱动程序与浏览器官网同步；S1.8客户端通过上述步骤完成安全认证后进行页面登录；S2建立爬虫任务流水线，对任务接口进行管理，实现客户端网站数据自动化爬取操作，所述任务流水线包含：任务触发、任务分解、任务分配、任务执行监控、任务结果接收、任务清洗、清洗结果推送及任务完结监控；S2.1流水线通过数据做任务触发，其中，数据来源于外部数据接口的任务触发，根据数据评分核查任务触发或其他业务任务触发；S3客户端运用java或python任意一种编程语言，建立与服务端通信的爬虫任务接口，客户端通过token令牌进行注册，注册后客户端与服务端做心跳机制沟通，领取爬虫任务，并推送爬虫结果数据。

全文数据：

权利要求：

百度查询： 北京星汉博纳医药科技有限公司 一种基于微服务的自动爬虫管理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD