申请/专利权人：广州探途网络技术有限公司

申请日：2020-11-19

公开（公告）日：2024-04-05

公开（公告）号：CN112416550B

主分类号：G06F9/48

分类号：G06F9/48;G06F9/54;G06F11/30;G06F16/951

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2021.03.16#实质审查的生效;2021.02.26#公开

摘要：本申请是关于爬虫调度管理平台通信方法和爬虫调度管理平台系统。该方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，工作节点主机发送包含本机唯一标识信息到数据存储节点；数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息；确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。本实施例通过工作节点主动将自身信息存储于数据存储节点的方法，确保工作节点能够成功注册，进而保证了主节点与工作节点的通信稳定性。

主权项：1.一种爬虫调度管理平台通信方法，所述方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，其特征在于：工作节点主机发送本机唯一标识信息到所述数据存储节点；所述数据存储节点根据所述唯一标识信息在本地数据库中查找对应的工作节点信息；确认所述本地数据库中没有对应的所述工作节点信息，则将所述工作节点信息加入到所述本地数据库中；所述数据存储节点将所述工作节点信息发送至所述主节点以供所述主节点使用所述工作节点信息与所述工作节点进行通信。

全文数据：

权利要求：

百度查询： 广州探途网络技术有限公司 爬虫调度管理平台通信方法和爬虫调度管理平台系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD