买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】数据传输方法、数据传送客户端及数据传送执行器_中兴通讯股份有限公司_201610389651.3 

申请/专利权人:中兴通讯股份有限公司

申请日:2016-06-03

公开(公告)日:2021-02-23

公开(公告)号:CN107465644B

主分类号:H04L29/06(20060101)

分类号:H04L29/06(20060101);H04L29/08(20060101);G06F3/06(20060101)

优先权:

专利状态码:有效-授权

法律状态:2021.02.23#授权;2019.01.29#实质审查的生效;2017.12.12#公开

摘要:本发明公开了一种数据传输方法,所述数据传输方法包括:在侦测到数据传输指令时,数据传送客户端发送数据传输请求至数据传送执行器;在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接;所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。本发明还公开了一种数据传送客户端。本发明还公开了一种数据传送执行器。本发明能够提高Hadoop储存数据的安全性。

主权项:1.一种数据传输方法,应用于ODPP中间件系统,其特征在于,所述数据传输方法包括以下步骤:在侦测到数据传输指令时,数据传送客户端发送数据传输请求至数据传送执行器,以供所述数据传送执行器将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权,将所述认证服务器完成鉴权后返回的令牌信息发送给所述数据传送执行器,以供所述数据传送执行器为所述数据传送客户端分配加载服务器;将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端;在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接,其中,所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接;所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。

全文数据:数据传输方法、数据传送客户端及数据传送执行器技术领域[0001]本发明涉及大数据技术领域,尤其涉及一种数据传输方法、数据传送客户端及数据传送执行器。背景技术[0002]Hadoop是一个能够对大量数据进行分布式处理的开源软件框架。目前,业界一般通过Loader传输工具,直接上传下载文件至大数据集群的文件系统mFSHBASE中。然而,现有技术缺乏对数据的权限管理,使得Hadoop储存数据的安全性较低。发明内容[0003]本发明的主要目的在于提供一种数据传输方法、数据传送客户端及数据传送执行器,旨在提高Hadoop储存数据的安全性。[0004]为实现上述目的,本发明提供一种数据传输方法,所述数据传输方法包括:[0005]在侦测到数据传输指令时,数据传送客户端发送数据传输请求至数据传送执行器,以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器,并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权,将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端;[0006]在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接,其中,所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接;[0007]所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。[0008]可选地,所述待传输数据包括待上传数据,所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括:[0009]所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器,以供所述加载服务器将接收的所述待上传数据上传到™FS集群;[0010]所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器之后还包括:[0011]所述数据传送客户端接收所述加载服务器上传所述待上传数据至mFS集群所返回的任务号;[0012]在侦测到所述待上传数据的状态查询指令时,所述数据传送客户端发送携带所述任务号的任务执行状态请求至所述加载服务器,以供所述加载服务器基于所述任务执行状态请求携带的所述任务号,返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息;[0013]所述数据传送客户端接收并展示所述加载服务器返回的所述苐一任务执彳丁状态信息。[0014]可选地,在执行所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的同时,还执行以下步骤:[0015]所述数据传送客户端实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息;[0016]所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的步骤之后,还包括:[0017]所述数据传送客户端在侦测到上传所述待上传数据至所述加载服务器中断时,基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。^[0018]可选地,所述待传输数据包括待下载数据,所述数据传送客户端基于所述连接侣息以及所述令牌信息与所述加载服务器建立数据传输连接的步骤之前,还包括:[0019]在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端侦测所述加载服务器是否从即!^集群下载到所述数据传输指令对应的待下载数据;[0020]在所述加载服务器下载到所述待下载数据时,转入执行所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接的步骤;[0021]所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括:[0022]所述数据传送客户端基于所述数据传输连接从所述加载服务器下载所述待下载数据。[0023]进一步地,本发明还提供一种数据传输方法,该数据传输方法包括:[0024]在接收到数据传送客户端发送的数据传输请求时,数据传送执行器将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权;—、[0025]在接收到所述认证服务器完成鉴权后返回的令牌信息时,所述数据传送执行器为所述数据传送客户端分配加载服务器;[0026]所述数据传送执行器将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端,以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接,进行待传输数据的传输。、[0027]此外,为实现上述目的,本发明还提供一种数据传送客户端,所述数据传送客户端包括请求模块、连接模块和传输模块,其中,[0028]所述请求模块,用于在侦测到数据传输指令时,发送数据传输请求至数据传送执行器,以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器,并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权,将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述连接模块;[0029]所述连接模块,用于在接收到所述数据传送执行器返回的连接信息以及令牌信息时,基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接,其中,所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接;[0030]所述传输模块,用于基于所述数据传输连接与所述加载服务器进行待传输数据的传输。[0031]可选地,所述待传输数据包括待上传数据,所述传输模块还用于,基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器,以供所述加载服务器将接收的所述待上传数据上传到HDFS集群;[0032]所述数据传送客户端还包括:[0033]状态查询模块,用于接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号;以及[0034]在侦测到所述待上传数据的状态查询指令时,发送携带所述任务号的任务执行状态请求至所述加载服务器,以供所述加载服务器基于所述任务执行状态请求携带的所述任务号,返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息;以及[0035]接收并展示所述加载服务器返回的所述第一任务执行状态信息。[0036]可选地,所述传输模块还用于,实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息;以及[0037]在侦测到上传所述待上传数据至所述加载服务器中断时,基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。[0038]可选地,所述待传输数据包括待下载数据,所述连接模块还用于,在接收到所述数据传送执行器返回的连接信息以及令牌信息时,侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据;以及[0039]在所述加载服务器下载到所述待下载数据时,基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接;[0040]所述传输模块还用于,基于所述数据传输连接从所述加载服务器下载所述待下载数据。[0041]进一步地,本发明还提供一种数据传送执行器,该数据传送执行器包括:[0042]鉴权模块,用于在接收到数据传送客户端发送的数据传输请求时,将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权;[0043]分配模块,用于在接收到所述认证服务器完成鉴权后返回的令牌信息时,为所述数据传送客户端分配加载服务器;[0044]授权模块,用于将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端,以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接,进行待传输数据的传输。[0045]本发明提出的数据传输方法、数据传送客户端及数据传送执行器,应用于0DPP中间件系统,通过数据传送客户端发送携带识别信息的数据传输请求至数据传送执行器,由数据传送执行器将识别信息发送认证服务器进行鉴权,并将认证服务器鉴权通过后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端;然后通过数据传送客户端使用接收的连接信息以及连接信息与分配的加载服务器建立数据传输连接,进行待传输数据的传输,进而实现数据传送客户端与HDFS集群之间的数据传输。相较于现有技术,本发明扩展了对用户的鉴权功能,能够在Hadoop大数据平台上更好的管理不同用户对数据传输的需求,从而达到提升Hadoop储存数据安全性的目的。附图说明[0046]图1为本发明数据传输方法第一实施例的流程示意图;[0047]图2为本发明数据传输方法第一实施例中的0DPP的架构示例图;[0048]03为本发明数据传输方法第一实施例中数据传送执行器的部署方式的示例图;[0049]图4为本发明数据传输方法第二实施例的流程示意图;[0050]图5为本发明数据传输方法第四实施例的流程示意图;[0051]图6为本发明数据传输方法第五实施例的流程示意图;[0052]图7为本发明数据传送客户端第一实施例的功能模块示意图;[0053]图8为本发明数据传送执行器第一实施例的功能模块示意图。[0054]本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式[0055]应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。[00561本发明提供一种数据传输方法,参照图1,在本发明数据传输方法的第一实施例中,该数据传输方法包括以下步骤:[0057^步骤S10,在侦测到数据传输指令时,数据传送客户端发送数据传输请求至数据传送执行器,以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器,并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权,将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端;[0058]需要说明的是,本实施例提出的数据传输方法基于图2所示的Hadoop大数据系统的中间件〇DPP〇penDataProcessingPlatform,开放式数据处理平台)系统实现。以下首先对本实施例出现的专业术语进行说明:[0059]0DPP系统管理员,指维护管理0DPP系统的人员,和0DPP的用户是不同的概念。[0060]Space所有者,拥有对Space的所有权限,主要用来创建Space,向Space内的用户授权,并引入Space外的用户。Space所有者可自行注册,0DPP管理员审批通过后生效。[0061]Space,空间(Space是用于某个目标的相关数据、文件、任务、用户、权限的集合。Space所有者可以创建工作空间(Space,以进行用户数据的存储、运算、查询、管理等,以及任务的运行。0DPP支持多用户、多Space。[0062]用户,指Space的用户,用户归属于Space,可访问所归属的Space实体,也是计费的实体。话单原始记录中,包含用户名和使用对象如文件,表,任务等),及其它内容。[0063]Package,包Package归属于Space,作为资源共享的基本单元。Package授权给其它Space的某个用户。通过线下方式得知其它Space的用户名称。[0064]资源,是指归属于Space的数据、文件等。[0065]在整个0DPP系统内,Space名称和Space用户名的组合可唯一标识某个用户。每个用户同时拥有一个集群用户,同样在整系统内唯一。[0066]为便于理解,以下对0DPP整体架构进行说明:[0067]如图2所示,0DPP整体架构由三层构成,分别是Client访问层、业务处理层和分布存储和计算层。[0068]其中,Client访问层是用户直接进行操作的部分,用户可以通过〇DPP提供的命令行终端、数据传送工具来实现对㈤PP的访问。其中,命令行终端是为用户提供一个使用0DPP的通用操作界面,主要用于人员的命令操作,可实现实时的roASE数据查询,MR、Spark任务的提交以及SQL的执行等;数据传送工具用于实现本地数据和Space间的传送。如果用户希望通过系统和ODPP对接来获取0DPP的服务,也可按ODPP的接口规范和0DPP的业务处理层对接,从而实现对ODPP服务的访问。[0069]命令行终端和0DPP之间的业务接口使用RESTful。[0070]管理方面,为Space所有者提供web方式的用户自管理功能。Space所有者可登录到㈤PP上创建Space,修改个人信息,设置配置数据等。[0071]系统维护管理则是针对㈤PP系统的管理维护人员而设置的管理服务功能。[0072]业务处理层是0DPP分析请求、执行对应的业务逻辑处理的部分。此部分首先对请求进行接入,之后分析请求内容,根据请求的具体内容选择相应的业务处理机制进行处理,然后将处理的结果返回给Client端。业务处理层是0DPP的主体部分,其包含了用户管理、权限管控、任务调度、业务处理及计费等多种功能。其中,分发部分,使用Nginx来实现对RESTful请求的分发。Space管理负责space权限的验证,以及数据的更改维护。用户管理负责系统用户数据的查询验证以及更改维护。〇DPP业务数据库负责系统数据的存储。[0073]分布存储和计算层是底层的执行平台,以Hadoop、Spark等为基础,其主要作用是数据的存储和运算,同时提供数据的导入导出等服务。[0074]综上,0DPP运行于大数据平台之上,承担中间件层的一系列功能,如访问接入、访问控制、资源隔离、资源共享、计费、作业运行、数据传送、大小数据量的统一访问以及平滑过渡等等。[0075]需要说明的是,在本发明实施例中,数据传送客户端实现的数据传输功能基于其运行的数据传送工具实现,以下以数据传送工具代替数据传送客户端为执行主体进行说明:[0076]用户操作提交数据传输指令,表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。[0077]数据传送工具侦测到数据传输指令时,产生数据传输请求并通过Http请求的形式提交到0DPP的负载均衡进程Ngnix,由此进程进行数据传输请求的分发。其中,数据传送工具指示将数据传输请求分发给数据传送执行器。[0078]数据传送执行器在接收到数据传输请求时,对接收的数据传输请求进行解析,解析出数据传送客户端对应的用户名(即前述识别信息)以及用户命令参数包括上传和下载),将解析出的用户名发送至认证服务器进行鉴权,由认证服务器根据用户名对用户进行认证、鉴权,如果认证、鉴权通过则返回给予数据传送客户端的令牌信息,否则命令执行失败返回。[0079]数据传送执行器对用户的数据传输请求进行调度,具体根据加载服务器集群的各加载服务器的负荷情况进行任务调度,选取一台最佳(当前负荷最低的)的加载服务器,将此加载服务器的IP地址或者URUMAC地址等)以及接收的令牌信息返回给数据传送工具。[0080]步骤S20,在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接,其中,所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接;[0081]步骤S30,所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。[0082]数据传送工具在接收到数据传送执行器返回的令牌信息以及IP地址时,基于所述IP地址发送携带令牌信息的建链请求至选取的所述加载服务器,由所述加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权具体发送至认证服务器进行鉴权,并接收认证服务器返回的鉴权结果),若鉴权通过则与数据传送工具建立数据传输连接,否则返回异常。其中,建立的数据传送连接的类型可按实际需要进行设置,本实施例不做具体限制,例如,本实施例数据传送工具和加载服务器建立FTP连接。[0083]需要说明的是,加载服务器运行有Loader进程和FTPServer进程,其中,Loader的主要功能包括:任务调度、任务管理、任务监控、任务查询、文件管理落地区管理)、HDFS上传与下载,HBASE导入及导出功能等。[0084]在完成FTP连接的建立之后,数据传送工具通过其FTPClient进程与FTPServer交互,实现待传输数据的传输,包括将待传输数据上传至FTPServer,进而由FTPServer将接收的待传输数据上传至HDFSHadoopDistributedFileSystem,Hadoop分布式文件系统)集群;还包括通过FTPServer将待传输数据从HDFS下载到数据传送客户端本地。[0085]进一步地,在本发明实施例中,为提升整个数据传送系统的高可用性,参照图3,数据传送执行器DTExecutor以主备方式部署,其中,主数据传送执行器为Acitve状态,备数据传送执行器为Standby状态,一旦出现主数据传送执行器宕机,备数据传送执行器马上接管业务。[0086]进一步地,在本发明实施例中,认证服务器返回给数据传送客户端的令牌信息还设置有生存周期,所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连接之后,若侦测到令牌信息超期,则指示数据传送客户端重新向认证服务器获取令牌信息,并将令牌信息保存到FTPServer。[0087]本实施例提出的数据传输方法,首先通过数据传送客户端发送携带识别信息的数据传输请求至数据传送执行器,由数据传送执行器将识别信息发送认证服务器进行鉴权,并将认证服务器鉴权通过后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端;然后通过数据传送客户端使用接收的连接信息以及连接信息与分配的加载服务器建立数据传输连接,进行待传输数据的传输,进而实现数据传送客户端与HDFS集群之间的数据传输。相较于现有技术,本发明扩展了对用户的鉴权功能,能够在Hadoop大数据平台上更好的管理不同用户对数据传输的需求,从而达到提升Hadoop储存数据安全性的目的。[0088]进一步地,基于第一实施例,提出了本发明数据传输方法的第二实施例,在本实施例中,所述待传输数据包括待上传数据,步骤S30包括:[0089]所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器,以供所述加载服务器将接收的所述待上传数据上传到HDFS集群;[0090]步骤S30之后还包括:[0091]所述数据传送客户端接收所述加载服务器上传所述待上传数据至fflFS集群所返回的任务号;[0092]在侦测到所述待上传数据的状态查询指令时,所述数据传送客户端发送携带所述任务号的任务执行状态请求至所述加载服务器,以供所述加载服务器基于所述任务执行状态请求携带的所述任务号,返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息;[0093]所述数据传送客户端接收并展示所述加载服务器返回的所述第一任务执行状态信息。[0094]需要说明的是,本实施例进一步对待传输数据为待上传数据进行说明,同时,为便于用户实时了解上传数据的执行状态,本实施例进一步增加了任务状态查询功能,以下仅针对该区别进行说明,其他可参照第一实施例,此处不再赘述。[0095]结合参照图4,在本发明实施例中,当完成FTP连接的建立之后,数据传送工具通过其FTPClient进程将侦测的数据传输指令所指向的待上传数据上传至FTPServer。[0096]在接收到FTPClient上传的所述待上传数据之后,FTPServer向Loader进行RPCRemoteProcedureCallProtocol,远程过程调用协议)调用,提交文件扫描规则通知Loader开始上传数据到HDFSHadoopDistributedFileSystem,Hadoop分布式文件系统)集群,具体为对应用户的Space。其中,FTPServer在接收FTPClient上传的待上传数据时,接收的文件数据先写入临时目录,全部接收完成后再移动至正式目录。[0097]Loader根据文件扫描规则将所述待上传数据上传到用户的Space,其中,Loader在上传成功后删除正式目录中当次接收的数据文件,如果失败也删除当次接收的数据文件。[0098]在成功将所述待上传数据上传到用户的Space之后,加载服务器返回上传成功的提示信息至数据传送工具,由数据传送工具进行展示。[0099]进一步地,在本发明实施例中,Loader在上传待上传数据至HDFS集群时,首先根据FTPServer的RPC请求后向任务数据库创建任务并生成任务号taskid,将扫描规则加入到任务列表中,准备将待上传数据上传到HDFS集群。[0100]Loader通过Ftpserver将生成的任务号返回至数据传送工具。[0101]在上传过程中,Loader实时向任务数据库更新任务状态,其中,任务状态包括:已提交、正在运行和已结束。[0102]需要说明的是,在本发明实施例中,数据传送客户端实现的任务状态查询功能基于其运行的命令行终端实现,以下以命令行终端代替数据传送客户端为执行主体进行说明:[0103]在需要时,用户可以输入对应任务状态查询功能的CLI语句,触发状态查询指令,此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器,具体发送到前述任务数据库,由任务数据库根据任务执行状态请求携带的任务号获取Loader上传所述待上传数据而实时更新的任务状态即第一任务执行状态信息),将获取的第一任务执行状态信息返回至命令行终端进行展示。[0104]命令行终端接收并展示加载服务器任务数据库返回的第一任务执行状态信息。[0105]进一步地,基于第二实施例,提出了本发明数据传输方法的第三实施例,在本实施例中,在执行步骤S30的同时,还执行以下步骤:[0106]所述数据传送客户端实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息;[0107]步骤S30之后,还包括:[0108]所述数据传送客户端在侦测到上传所述待上传数据至所述加载服务器中断时,基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。[0109]需要说明的是,为确保数据上传任务的成功执行,本实施例在第二实施例的基础上,进一步增加了断点续传的功能,以下仅针对该区别进行说明,其他可参照前述实施例,此处不再赘述。以下继续以数据传送工具代替数据传送客户端为执行主体进行说明。[0110]在本发明实施例中,数据传送工具具体为FTPClient在建立与加载服务器具体为FTPServeiOFTP连接,并开始上传待上传数据至加载服务器时,数据传送工具实时记录其上传所述待上传数据至所述加载服务器的第二任务执行状态信息。[0111]当侦测到上传所述待上传数据至所述加载服务器中断时,数据传送工具基于记录的第二任务执行状态信息确定中断点的位置信息,并基于前述接收的IP地址重新提交上传所述待上传数据的任务,根据确定的中断点的位置信息将待上传数据中未上传的部分数据上传至所述加载服务器,完成整个待上传数据的上传。[0112]进一步地,基于第一实施例,提出了本发明数据传输方法的第四实施例,在本实施例中,步骤S20之前,还包括:[0113]在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据;在所述加载服务器下载到所述待下载数据时,转入执行步骤S20;[0114]步骤S30包括:[0115]所述数据传送客户端基于所述数据传输连接从所述加载服务器下载所述待下载数据。[0116]需要说明的是,本实施例进一步对待传输数据为待下载数据进行说明,其他可参照第一实施例,此处不再赘述。[0117]在本发明实施例中,数据传送客户端实现的数据传输功能基于其运行的数据传送工具实现,结合参照图5,以下以数据传送工具代替数据传送客户端为执行主体进行说明:[0118]用户操作提交数据传输指令,数据传送工具识别到数据传送指令指向的待传输数据为待下载数据,产生数据传输请求并通过HttP请求的形式提交到0DPP的负载均衡进程Ngnix,由此进程进行数据传输请求的分发。其中,数据传送工具指示将数据传输请求分发给数据传送执行器。_[0119]数据传送执行器在接收到数据传输请求时,对接收的数据传输请求进行解析,解析出数据传送客户端对应的用户名(即前述识别信息)以及用户命令参数包括上传和下载,此处为下载),将解析出的用户名发送至认证服务器进行鉴权,由认证服务器根据用户名对用户进行认证、鉴权,如果认证、鉴权通过则返回给予数据传送客户端的令牌信息,否则命令执行失败返回。L〇12〇」数据传送执行器对用户的数据传输请求进行调度,具体根据加载服务器集群的各加载服务器的负荷情况进行任务调度,获取一台最佳当前负荷最低的)的加载服务器。[0121]数据传送执行器向选中的加载服务器的Loader进程发送RPC调用请求,提交客户端作业请求。[0122]Loader接收到数据传送执行器的RPC请求后,判断本地是否能够接收该任务,如果可以,则向任务数据库插入一条记录,同时将下载任务加入到待处理任务列表中等待调度执行,并返回成功响应;如果不能完成该任务执行,则向数据传送执行器返回失败响应。[0123]如果数据传送执行器收到RPC成功响应,则将选中的加载服务器的IP地址(或者URL、MAC地址等其他连接信息接收的令牌信息返回给数据传送工具;否则继续选中—个合适的加载服务器,直到尝试最大次数,若仍失败则向数据传送工具返回失败信息。[0124]Loader调度新的下载任务,将数据下载指令指向的待下载数据从HDFS集群下载到本地硬盘加载服务器本地硬盘)。[0125]需要说明的是,加载服务器还运行有FTPServer进程,数据传送工具通过其FTPClient进程将数据传送执行器返回的所述IP地址,发送携带令牌信息的建链请求至选取的所述加载服务器的FTPServer进程,由FTPServer基于建链请求携带的令牌信息以及用户名进行鉴权具体发送至认证服务器进行鉴权,并接收认证服务器返回的鉴权结果),若鉴权通过则FTPServer与FTPC1ient建立FTP连接即前述数据传输连接),否则返回异常。[0126]在完成FTP连接的建立之后,FTPClient通过FTPServer将Loader从HDFS集群下载的待下载数据下载到本地硬盘,完成待下载数据的下载。[0127]进一步地,在本发明实施例中,前述Loader在返回RPC成功响应至数据传送执行器时,还同时返回前述下载任务的任务号至数据传送执行器,由数据传送执行器将接收的任务号与接收的认证服务器所返回的令牌信息以及加载服务器的IP地址一起返回给数据传送工具,供数据传输工具基于接收的任务号实时查询Loader是否完成待下载数据的下载。[0128]在下载过程中,Loader实时向任务数据库更新任务状态,其中,任务状态包括:已提交、正在运行和已结束。[0129]此外,在本发明实施例中,数据传送客户端还提供任务状态查询功能给用户。其中,数据传送客户端实现的任务状态查询功能基于其运行的命令行终端实现,以下以命令行终端代替数据传送客户端为执行主体进行说明:[0130]在需要时,用户可以输入对应任务状态查询功能的CLI语句,触发状态查询指令,此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器,具体发送到前述任务数据库,由任务数据库根据任务执行状态请求携带的任务号获取Loader下载所述待下载数据而实时更新的任务状态即任务执行状态信息),将获取的任务执行状态信息返回至命令行终端进行展示。[0131]命令行终端接收并展示加载服务器任务数据库返回的任务执行状态信息。[0132]进一步地,提出了本发明数据传输方法的第五实施例,参照图6,在本实施例中,该数据传输方法包括:[0133]步骤S110,在接收到数据传送客户端发送的数据传输请求时,数据传送执行器将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权;[0134]步骤S120,在接收到所述认证服务器完成鉴权后返回的令牌信息时,所述数据传送执行器为所述数据传送客户端分配加载服务器;、、1[0135]步骤S130,所述数据传送执行器将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端,以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接,进行待传输数据的传输。[0136]需要说明的是,本实施例提出的数据传输方法基于图2所示的Hadoop大数据系统的中间件〇DPP〇penDataProcessingPlatform,开放式数据处理平台)系统实现,其中,有关0DPP的说明可参照前述数据传输方法第一实施例的相关描述,此处不再赘述。[0137]在本发明实施例中,数据传送执行器配合数据传送客户端实现数据传送客户端和Hadoop系统之间数据传输,数据传送客户端实现的数据传输功能基于其运行的数据传送工具实现,以下以数据传送工具代替数据传送客户端为执行主体进行说明:[0138]用户操作提交数据传输指令,表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。[0139]数据传送工具侦测到数据传输指令时,产生数据传输请求并通过Http请求的形式提交到0DPP的负载均衡进程Ngnix,由此进程进行数据传输请求的分发。其中,数据传送工具指示将数据传输请求分发给数据传送执行器。[0140]数据传送执行器在接收到数据传输请求时,对接收的数据传输请求进行解析,解析出数据传送客户端对应的用户名(即前述识别信息)以及用户命令参数包括上传和下载),将解析出的用户名发送至认证服务器进行鉴权,由认证服务器根据用户名对用户进行认证、鉴权,如果认证、鉴权通过则返回给予数据传送客户端的令牌信息,否则命令执行失败返回。[0141]数据传送执行器对用户的数据传输请求进行调度,具体根据加载服务器集群的各加载服务器的负荷情况进行任务调度,选取一台最佳(当前负荷最低的)的加载服务器,将此加载服务器的IP地址或者URL、MAC地址等以及接收的令牌信息返回给数据传送工具。[0142]数据传送工具在接收到数据传送执行器返回的令牌信息以及IP地址时,基于所述IP地址发送携带令牌信息的建链请求至选取的所述加载服务器,由所述加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权具体发送至认证服务器进行鉴权,并接收认证服务器返回的鉴权结果),若鉴权通过则与数据传送工具建立数据传输连接,否则返回异常。其中,建立的数据传送连接的类型可按实际需要进行设置,本实施例不做具体限制,例如,本实施例数据传送工具和加载服务器建立FTP连接。[0143]需要说明的是,加载服务器运行有Loader进程和FTPServer进程,其中,Loader的主要功能包括:任务调度、任务管理、任务监控、任务查询、文件管理落地区管理)、HDFS上传与下载,HBASE导入及导出功能等。[0144]在完成FTP连接的建立之后,数据传送工具通过其FTPClient进程与FTPServer交互,实现待传输数据的传输,包括将待传输数据上传至FTPServer,进而由FTPServer将接收的待传输数据上传至HDFSHadoopDistributedFileSystem,Hadoop分布式文件系统)集群;还包括通过FTPServei•将待传输数据从tIDFS下载到数据传送客户端本地。[0145]进一步地,在本发明实施例中,为提升整个数据传送系统的高可用性,参照图3,数据传送执行器DTExecutor以主备方式部署,其中,主数据传送执行器为Acitve状态,备数据传送执行器为Standby状态,一旦出现主数据传送执行器宕机,备数据传送执行器马上接管业务。[0146]进一步地,在本发明实施例中,认证服务器返回给数据传送客户端的令牌信息还设置有生存周期,所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连接之后,若侦测到令牌信息超期,则指示数据传送客户端重新向认证服务器获取令牌信息,并将令牌信息保存到FTPServer。[0147]本发明还提供一种执行前述数据传输方法的数据传送客户端,参照图7,对应于前述数据传输方法的第一实施例,在本发明数据传送客户端的第一实施例中,所述数据传送客户端包括请求模块1〇、连接模块20和传输模块30,其中,[0148]所述请求模块10,用于在侦测到数据传输指令时,发送数据传输请求至数据传送执行器,以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器,并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权,将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述连接模块20;[0149]所述连接模块20,用于在接收到所述数据传送执行器返回的连接信息以及令牌信息时,基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接,其中,所述加载服务器仅在验证所述令牌信息成功时与所述连接模块20建立数据传输连接;[0150]所述传输模块30,用于基于所述数据传输连接与所述加载服务器进行待传输数据的传输。[0151]需要说明的是,本实施例提出的数据传送客户端用于在图2所示的Hadoop大数据系统的中间件〇DPP〇penDataProcessingPlatform,开放式数据处理平台)系统实现数据传输功能。其中,有关0DPP的说明可参照前述数据传输方法第一实施例的相关描述,此处不再赘述。[0152]在本发明实施例中,数据传送执行器配合数据传送客户端实现数据传送客户端和Hadoop系统之间数据传输,数据传送客户端实现的数据传输功能基于其运行的数据传送工具实现,以下以数据传送工具代替数据传送客户端为执行主体进行说明:[0153]用户操作提交数据传输指令,表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。[0154]数据传送工具侦测到数据传输指令时,产生数据传输请求并通过Http请求的形式提交到0DPP的负载均衡进程Ngnix,由此进程进行数据传输请求的分发。其中,数据传送工具指示将数据传输请求分发给数据传送执行器。_[0155]数据传送执行器在接收到数据传输请求时,对接收的数据传输请求进行解析,解析出数据传送客户端对应的用户名(即前述识别信息)以及用户命令参数包括上传和下载),将解析出的用户名发送至认证服务器进行鉴权,由认证服务器根据用户名对用户进行认证、鉴权,如果认证、鉴权通过则返回给予数据传送客户端的令牌信息,否则命令执行失败返回。[0156]数据传送执行器对用户的数据传输请求进行调度,具体根据加载服务器集群的各加载服务器的负荷情况进行任务调度,选取一台最佳(当前负荷最低的)的加载服务器,将此加载服务器的IP地址或者URUMAC地址等)以及接收的令牌信息返回给数据传送工具。[0157]数据传送工具在接收到数据传送执行器返回的令牌信息以及IP地址时,基于所述IP地址发送携带令牌信息的建链请求至选取的所述加载服务器,由所述加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权具体发送至认证服务器进行鉴权,并接收认证服务器返回的鉴权结果),若鉴权通过则与数据传送工具建立数据传输连接,否则返回异常。其中,建立的数据传送连接的类型可按实际需要进行设置,本实施例不做具体限制,例如,本实施例数据传送工具和加载服务器建立FTP连接。[0158]需要说明的是,加载服务器运行有Loader进程和FTPServer进程,其中,Loader的主要功能包括:任务调度、任务管理、任务监控、任务查询、文件管理落地区管理)、HDFS上传与下载,HBASE导入及导出功能等。[0159]在完成FTP连接的建立之后,数据传送工具通过其FTPClient进程与FTPServer交互,实现待传输数据的传输,包括将待传输数据上传至FTPServer,进而由FTPServer将接收的待传输数据上传至HDFSHadoopDistributedFileSystem,Hadoop分布式文件系统)集群;还包括通过FTPServer将待传输数据从HDFS下载到数据传送客户端本地。[0160]进一步地,在本发明实施例中,为提升整个数据传送系统的高可用性,参照图3,数据传送执行器DTExecutor以主备方式部署,其中,主数据传送执行器为Acitve状态,备数据传送执行器为Standby状态,一旦出现主数据传送执行器宕机,备数据传送执行器马上接管业务。[0161]进一步地,在本发明实施例中,认证服务器返回给数据传送客户端的令牌信息还设置有生存周期,所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连接之后,若侦测到令牌信息超期,则指示数据传送客户端重新向认证服务器获取令牌信息,并将令牌信息保存到FTPServer。[0162]本实施例提出的数据传送客户端,首先发送携带识别信息的数据传输请求至数据传送执行器,由数据传送执行器将识别信息发送认证服务器进行鉴权,并将认证服务器鉴权通过后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端;然后通过数据传送客户端使用接收的连接信息以及连接信息与分配的加载服务器建立数据传输连接,进行待传输数据的传输,进而实现数据传送客户端与HDFS集群之间的数据传输。相较于现有技术,本发明扩展了对用户的鉴权功能,能够在Hadoop大数据平台上更好的管理不同用户对数据传输的需求,从而达到提升Hadoop储存数据安全性的目的。[0163]进一步地,基于第一实施例,提出了本发明数据传送客户端的第二实施例,对应于前述数据传输方法的第二实施例,在本实施例中,所述待传输数据包括待上传数据,所述传输模块30还用于,基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器,以供所述加载服务器将接收的所述待上传数据上传到HDFS集群;[0164]所述数据传送客户端还包括:[0165]状态查询模块,用于接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号;以及[0166]在侦测到所述待上传数据的状态查询指令时,发送携带所述任务号的任务执行状态请求至所述加载服务器,以供所述加载服务器基于所述任务执行状态请求携带的所述任务号,返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息;以及[0167]接收并展示所述加载服务器返回的所述第一任务执行状态信息。[0168]需要说明的是,本实施例进一步对待传输数据为待上传数据进行说明,同时,为便于用户实时了解上传数据的执行状态,本实施例进一步增加了任务状态查询功能,以下仅针对该区别进行说明,其他可参照第一实施例,此处不再赘述。[0169]结合参照图4,在本发明实施例中,当完成FTP连接的建立之后,数据传送工具通过其FTPC1ient进程将侦测的数据传输指令所指向的待上传数据上传至FTPServer。[0170]在接收到FTPC1ient上传的所述待上传数据之后,FTPServer向Loader进行RPCRemoteProcedureCallProtocol,远程过程调用协议)调用,提交文件扫描规则通知Loader开始上传数据到HDFSHadoopDistributedFileSystem,Hadoop分布式文件系统)集群,具体为对应用户的Space。其中,FTPServer在接收FTPClient上传的待上传数据时,接收的文件数据先写入临时目录,全部接收完成后再移动至正式目录。[0171]Loader根据文件扫描规则将所述待上传数据上传到用户的Space,其中,Loader在上传成功后删除正式目录中当次接收的数据文件,如果失败也删除当次接收的数据文件。[0172]在成功将所述待上传数据上传到用户的Space之后,加载服务器返回上传成功的提示信息至数据传送工具,由数据传送工具进行展示。[0173]进一步地,在本发明实施例中,Loader在上传待上传数据至HDFS集群时,首先根据FTPServer的RPC请求后向任务数据库创建任务并生成任务号taskid,将扫描规则加入到任务列表中,准备将待上传数据上传到HDFS集群。[0174]Loader通过Ftpserver将生成的任务号返回至数据传送工具。[0175]在上传过程中,Loader实时向任务数据库更新任务状态,其中,任务状态包括:已提交、正在运行和已结束。[0176]需要说明的是,在本发明实施例中,数据传送客户端实现的任务状态查询功能基于其运行的命令行终端实现,以下以命令行终端代替数据传送客户端为执行主体进行说明:[0177]在需要时,用户可以输入对应任务状态查询功能的CLI语句,触发状态查询指令,此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器,具体发送到前述任务数据库,由任务数据库根据任务执行状态请求携带的任务号获取Loader上传所述待上传数据而实时更新的任务状态即第一任务执行状态信息),将获取的第一任务执行状态信息返回至命令行终端进行展示。[0178]命令行终端接收并展示加载服务器任务数据库返回的第一任务执行状态信息。[0179]进一步地,基于第二实施例,提出了本发明数据传送客户端的第三实施例,对应于前述数据传输方法的第三实施例,在本实施例中,所述传输模块30还用于实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息;以及[0180]在侦测到上传所述待上传数据至所述加载服务器中断时,基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。[0181]需要说明的是,为确保数据上传任务的成功执行,本实施例在第二实施例的基础上,进一步增加了断点续传的功能,以下仅针对该区别进行说明,其他可参照前述实施例,此处不再赘述。以下继续以数据传送工具代替数据传送客户端为执行主体进行说明。[0182]在本发明实施例中,数据传送工具具体为FTPClient在建立与加载服务器具体为FTPServeHFTP连接,并开始上传待上传数据至加载服务器时,数据传送工具实时记录其上传所述待上传数据至所述加载服务器的第二任务执行状态信息。[0183]当侦测到上传所述待上传数据至所述加载服务器中断时,数据传送工具基于记录的第二任务执行状态信息确定中断点的位置信息,并基于前述接收的IP地址重新提交上传所述待上传数据的任务,根据确定的中断点的位置信息将待上传数据中未上传的部分数据上传至所述加载服务器,完成整个待上传数据的上传。[0184]进一步地,基于第一实施例,提出了本发明数据传送客户端的第四实施例,对应于前述数据传输方法的第四实施例,在本实施例中,所述待传输数据包括待下载数据,所述连接模块20还用于,在接收到所述数据传送执行器返回的连接信息以及令牌信息时,侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据;以及[0185]在所述加载服务器下载到所述待下载数据时,基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接;[0186]所述传输模块30还用于,基于所述数据传输连接从所述加载服务器下载所述待下载数据。[0187]需要说明的是,本实施例进一步对待传输数据为待下载数据进行说明,其他可参照第一实施例,此处不再赘述。[0188]在本发明实施例中,数据传送客户端实现的数据传输功能基于其运行的数据传送工具实现,结合参照图5,以下以数据传送工具代替数据传送客户端为执行主体进行说明:[0189]用户操作提交数据传输指令,数据传送工具识别到数据传送指令指向的待传输数据为待下载数据,产生数据传输请求并通过Http请求的形式提交到ODPP的负载均衡进程Ngnix,由此进程进行数据传输请求的分发。其中,数据传送工具指示将数据传输请求分发给数据传送执行器。[0190]数据传送执行器在接收到数据传输请求时,对接收的数据传输请求进行解析,解析出数据传送客户端对应的用户名(即前述识别信息)以及用户命令参数包括上传和下载,此处为下载),将解析出的用户名发送至认证服务器进行鉴权,由认证服务器根据用户名对用户进行认证、鉴权,如果认证、鉴权通过则返回给予数据传送客户端的令牌信息,否则命令执行失败返回。[0191]数据传送执行器对用户的数据传输请求进行调度,具体根据加载服务器集群的各加载服务器的负荷情况进行任务调度,获取一台最佳当前负荷最低的)的加载服务器。[0192]数据传送执行器向选中的加载服务器的Loader进程发送RPC调用请求,提交客户端作业请求。[0193]Loader接收到数据传送执行器的RPC请求后,判断本地是否能够接收该任务,如果可以,则向任务数据库插入一条记录,同时将下载任务加入到待处理任务列表中等待调度执行,并返回成功响应;如果不能完成该任务执行,则向数据传送执行器返回失败响应。[0194]如果数据传送执行器收到RPC成功响应,则将选中的加载服务器的IP地址(或者URL、MAC地址等其他连接信息接收的令牌信息返回给数据传送工具;否则继续选中一个合适的加载服务器,直到尝试最大次数,若仍失败则向数据传送工具返回失败信息。[0195]Loader调度新的下载任务,将数据下载指令指向的待下载数据从HDFS集群下载到本地硬盘加载服务器本地硬盘。[0196]需要说明的是,加载服务器还运行有FTPServer进程,数据传送工具通过其FTPClient进程将数据传送执行器返回的所述IP地址,发送携带令牌信息的建链请求至选取的所述加载服务器的FTPServer进程,由FTPServer基于建链请求携带的令牌信息以及用户名进行鉴权具体发送至认证服务器进行鉴权,并接收认证服务器返回的鉴权结果),若鉴权通过则FTPServer与FTPC1ient建立FTP连接即前述数据传输连接),否则返回异常。[0197]在完成FTP连接的建立之后,FTPC1ient通过FTPServer将Loader从HDFS集群下载的待下载数据下载到本地硬盘,完成待下载数据的下载。[0198]进一步地,在本发明实施例中,前述Loader在返回RPC成功响应至数据传送执行器时,还同时返回前述下载任务的任务号至数据传送执行器,由数据传送执行器将接收的任务号与接收的认证服务器所返回的令牌信息以及加载服务器的IP地址一起返回给数据传送工具,供数据传输工具基于接收的任务号实时查询Loader是否完成待下载数据的下载。[0199]在下载过程中,Loader实时向任务数据库更新任务状态,其中,任务状态包括:已提交、正在运行和已结束。[0200]此外,在本发明实施例中,数据传送客户端还提供任务状态查询功能给用户。其中,数据传送客户端实现的任务状态查询功能基于其运行的命令行终端实现,以下以命令行终端代替数据传送客户端为执行主体进行说明:[0201]在需要时,用户可以输入对应任务状态查询功能的CLI语句,触发状态查询指令,此时命令行终端将产生携带前述任务号的任务执行状态请求至所述加载服务器,具体发送到前述任务数据库,由任务数据库根据任务执行状态请求携带的任务号获取Loader下载所述待下载数据而实时更新的任务状态即任务执行状态信息),将获取的任务执行状态信息返回至命令行终端进行展示。[0202]命令行终端接收并展示加载服务器任务数据库返回的任务执行状态信息。[0203]进一步地,本发明还提供一种执行前述数据传输方法的数据传送执行器,对应于前述数据传输方法的第五实施例,参照图8,在本实施例中,所述数据传送执行器包括:[0204]鉴权模块110,用于在接收到数据传送客户端发送的数据传输请求时,将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权;[0205]分配模块120,用于在接收到所述认证服务器完成鉴权后返回的令牌信息时,为所述数据传送客户端分配加载服务器;[0206]授权模块130,用于将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端,以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接,进行待传输数据的传输。[0207]需要说明的是,本实施例提出的数据传送执行器应用于图2所示的Hadoop大数据系统的中间件〇DPP〇penDataProcessingPlatform,开放式数据处理平台)系统中,用于配合数据传送客户端实现数据传送客户端和Hadoop系统之间数据传输。其中,有关0DPP的说明可参照前述数据传输方法第一实施例的相关描述,此处不再赘述。[0208]在本发明实施例中,数据传送客户端实现的数据传输功能基于其运行的数据传送工具实现,以下以数据传送工具代替数据传送客户端为执行主体进行说明:[0209]用户操作提交数据传输指令,表示用户需求在数据传送客户端和Hadoop系统之间进行数据传输操作。[0210]数据传送工具侦测到数据传输指令时,产生数据传输请求并通过Http请求的形式提交到ODPP的负载均衡进程Ngnix,由此进程进行数据传输请求的分发。其中,数据传送工具指示将数据传输请求分发给数据传送执行器。[0211]数据传送执行器在接收到数据传输请求时,由鉴权模块11〇对接收的数据传输请求进行解析,解析出数据传送客户端对应的用户名(即前述识别信息)以及用户命令参数包括上传和下载),将解析出的用户名发送至认证服务器进行鉴权,由认证服务器根据用户名对用户进行认证、鉴权,如果认证、鉴权通过则返回给予数据传送客户端的令牌信息,否则命令执行失败返回。[0212]数据传送执行器对用户的数据传输请求进行调度,具体由分配模块120根据加载服务器集群的各加载服务器的负荷情况进行任务调度,选取一台最佳(当前负荷最低的)的加载服务器,由授权模块130将此加载服务器的IP地址或者URL、MAC地址等)以及接收的令牌信息返回给数据传送工具。[0213]数据传送工具在接收到数据传送执行器返回的令牌信息以及IP地址时,基于所述IP地址发送携带令牌信息的建链请求至选取的所述加载服务器,由所述加载服务器基于建链请求携带的令牌信息以及用户名进行鉴权具体发送至认证服务器进行鉴权,并接收认证服务器返回的鉴权结果),若鉴权通过则与数据传送工具建立数据传输连接,否则返回异常。其中,建立的数据传送连接的类型可按实际需要进行设置,本实施例不做具体限制,例如,本实施例数据传送工具和加载服务器建立FTP连接。[0214]需要说明的是,加载服务器运行有Loader进程和FTPServer进程,其中,Loader的主要功能包括:任务调度、任务管理、任务监控、任务查询、文件管理落地区管理)、hdfs上传与下载,HBASE导入及导出功能等。[0215]在完成FTP连接的建立之后,数据传送工具通过其FTPClient进程与FTPServer交互,实现待传输数据的传输,包括将待传输数据上传至FTPServer,进而由FTPServer将接收的待传输数据上传至HDFSHadoopDistributedFileSystem,Hadoop分布式文件系统)集群;还包括通过FTPServer将待传输数据从HDFS下载到数据传送客户端本地。[0216]进一步地,在本发明实施例中,为提升整个数据传送系统的高可用性,参照图3,数据传送执行器DTExecutor以主备方式部署,其中,主数据传送执行器为Acitve状态,备数据传送执行器为Standby状态,一旦出现主数据传送执行器宕机,备数据传送执行器马上接管业务。[0217]进一步地,在本发明实施例中,认证服务器返回给数据传送客户端的令牌信息还设置有生存周期,所述加载服务器在且仅在所述令牌信息的生存周期内且验证所述令牌信息成功时建立与数据传送工具的数据传输连接。在建立数据传输连接之后,若侦测到令牌信息超期,则指示数据传送客户端重新向认证服务器获取令牌信息,并将令牌信息保存到FTPServer。[0218]以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

权利要求:1.一种数据传输方法,应用于ODPP中间件系统,其特征在于,所述数据传输方法包括以下步骤:在侦测到数据传输指令时,数据传送客户端发送数据传输请求至数据传送执行器,以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器,并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权,将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述数据传送客户端;在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接,其中,所述加载服务器仅在验证所述令牌信息成功时与所述数据传送客户端建立数据传输连接;所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输。2.根据权利要求1所述的数据传输方法,其特征在于,所述待传输数据包括待上传数据,所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括:所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器,以供所述加载服务器将接收的所述待上传数据上传到HDFS集群;所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器之后还包括:所述数据传送客户端接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号;在侦测到所述待上传数据的状态查询指令时,所述数据传送客户端发送携带所述任务号的任务执行状态请求至所述加载服务器,以供所述加载服务器基于所述任务执行状态请求携带的所述任务号,返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息;所述数据传送客户端接收并展示所述加载服务器返回的所述第一任务执行状态信息。3.根据权利要求2所述的数据传输方法,其特征在于,在执行所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的同时,还执行以下步骤:所述数据传送客户端实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息;所述数据传送客户端基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器的步骤之后,还包括:所述数据传送客户端在侦测到上传所述待上传数据至所述加载服务器中断时,基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。4.根据权利要求1所述的数据传输方法,其特征在于,所述待传输数据包括待下载数据,所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接的步骤之前,还包括:在接收到所述数据传送执行器返回的连接信息以及令牌信息时,所述数据传送客户端侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据;在所述加载服务器下载到所述待下载数据时,转入执行所述数据传送客户端基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接的步骤;所述数据传送客户端基于所述数据传输连接与所述加载服务器进行待传输数据的传输的步骤包括:所述数据传送客户端基于所述数据传输连接从所述加载服务器下载所述待下载数据。5.—种数据传输方法,应用于〇DPP中间件系统,其特征在于,所述数据传输方法包括:在接收到数据传送客户端发送的数据传输请求时,数据传送执行器将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权;_、在接收到所述认证服务器完成鉴权后返回的令牌信息时,所述数据传送执行器为所述数据传送客户端分配加载服务器;所述数据传送执行器将所述令牌信息以及分配的加载服务器的连接信息发送至所述数据传送客户端,以供所述数据传送客户端基于所述令牌信息以及所述连接信息与所述加载服务器建立数据传输连接,进行待传输数据的传输。6.—种数据传送客户端,应用于〇DPP中间件系统,其特征在于,所述数据传送客户端包括请求模块、连接模块以及传输模块,其中,_所述请求模块,用于在侦测到数据传输指令时,发送数据传输请求至数据传送执行器,以供所述数据传送执行器基于接收的数据传输请求为所述数据传送客户端分配加载服务器,并将接收的数据传输请求所携带的识别信息发送至认证服务器进行鉴权,将所述认证服务器完成鉴权后返回的令牌信息以及分配的加载服务器的连接信息返回至所述连接模块;所述连接模块,用于在接收到所述数据传送执行器返回的连接信息以及令牌信息时,基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接,其中,所述加载服务器仅在验证所述令牌信息成功时与所述连接模块建立数据传输连接;所述传输模块,用于基于所述数据传输连接与所述加载服务器进行待传输数据的传输。7.根据权利要求6所述的数据传送客户端,其特征在于,所述待传输数据包括待上传数据,所述传输模块还用于,基于所述数据传输连接将所述数据传输指令对应的待上传数据上传至所述加载服务器,以供所述加载服务器将接收的所述待上传数据上传到HDFS集群;所述数据传送客户端还包括:状态查询模块,用于接收所述加载服务器上传所述待上传数据至HDFS集群所返回的任务号;以及在侦测到所述待上传数据的状态查询指令时,发送携带所述任务号的任务执行状态请求至所述加载服务器,以供所述加载服务器基于所述任务执行状态请求携带的所述任务号,返回其上传所述待上传数据至HDFS集群的第一任务执行状态信息;以及接收并展示所述加载服务器返回的所述第一任务执行状态信息。8.根据权利要求7所述的数据传送客户端,其特征在于,所述传输模块还用于,实时记录上传所述待上传数据至所述加载服务器的第二任务执行状态信息;以及在侦测到上传所述待上传数据至所述加载服务器中断时,基于记录的所述第二任务执行状态信息将所述待上传数据中未上传的部分数据上传至所述加载服务器。9.根据权利要求6所述的数据传送客户端,其特征在于,所述待传输数据包括待下载数据,所述连接模块还用于,在接收到所述数据传送执行器返回的连接信息以及令牌信息时,侦测所述加载服务器是否从HDFS集群下载到所述数据传输指令对应的待下载数据;以及在所述加载服务器下载到所述待下载数据时,基于所述连接信息以及所述令牌信息与所述加载服务器建立数据传输连接;所述传输模块还用于,基于所述数据传输连接从所述加载服务器下载所述待下载数据。10.—种数据传送执行器,应用于ODPP中间件系统,其特征在于,所述数据传送执行器包括:,、鉴权模块,用于在接收到数据传送客户端发送的数据传输请求时,将所述数据传输请求携带的识别信息发送至认证服务器进行鉴权;.....分配模块,用于在接收到所述认证服务器完成鉴权后返回的令牌信息时,为所述数据传送客户端分配加载服务器;y杜授权模块,用于将所述令牌信息以及分配的加载服务器的连接信息发送至所送客户端,以供所述数据传送客户端基于所述令牌信息以及所述连接彳目息与所述口器建立数据传输连接,进行待传输数据的传输。

百度查询: 中兴通讯股份有限公司 数据传输方法、数据传送客户端及数据传送执行器

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。