申请/专利权人：江苏徐工信息技术股份有限公司

申请日：2017-02-27

公开（公告）日：2020-10-16

公开（公告）号：CN106953847B

主分类号：H04L29/06(20060101)

分类号：H04L29/06(20060101);H04L29/08(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.10.16#授权;2017.08.08#实质审查的生效;2017.07.14#公开

摘要：本发明公开一种基于thrift的大数据跨平台实时处理方法，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，基于thrift的大数据跨平台实时处理方法的具体步骤如下：首先，用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；其次，若授权认证通过，则可进行实时数据、历史数据或下发指令的操作；反之，告知用户不具备访问权限；最后，将请求的相应结果返回给用户，并记录每一步的操作日志。本发明解决了传统解决方案存在的弊端，更灵活更实用。

主权项：1.一种基于thrift的大数据跨平台实时处理方法，其特征在于，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，SSL认证模块用于认证用户和服务器，确保数据发送到正确的客户机和服务器，并且将数据加密以防止数据中途被窃取，维护数据的完整性，确保数据在传输过程中不被改变；授权认证模块用于通过业务逻辑验证访问者是否拥有对车辆信息的查询及管理权限，拒绝无效访问者，避免数据信息的泄露；实时数据查询模块用于将车辆的实时数据信息提供给访问者，进行高并发、缓存机制处理，保证数据信息的及时性；历史数据查询模块用于将存储的车辆历史数据提供给访问者；下发指令模块用于将指令准确的发送给终端，统一对终端的命令操作；基于thrift的大数据跨平台实时处理方法的具体步骤如下：1编写thrift文件，定义SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块和下发指令模块，此方法的目标语言为Java，所以在终端执行命令：“thrift--genjavaTest.thrift”，则在当前目录会生成一个gen-java目录，该目录下会按照命名空间定义的路径名一层层生成文件夹，如此就完成了支持Java语言的框架代码，该代码包含各模块的接口；2建立服务端项目，创建模块接口的实现类，实现具体的逻辑；3在服务端项目中创建启动类，并将Hbase配置文件、Redis配置文件、数据库配置文件、私钥文件加入代码中，编译项目后将程序放到服务器上并启动服务，至此服务端已经完成；4建立客户端项目，创建访问类，加载配置文件和公钥文件，通过SSL认证与服务端的连接；5用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；6若授权认证通过，则可进行实时数据、历史数据或下发指令的操作；反之，告知用户不具备访问权限；7将请求的相应结果返回给用户，并记录每一步的操作日志；所述实时数据查询模块采用缓存技术redis与界面进行实时交互；所述历史数据查询模块采用了hadoop的Hbase技术进行分布式存储。

全文数据：一种基于thrift的大数据跨平台实时处理方法技术领域[0001]本发明涉及一种基于thrift的大数据跨平台实时处理方法，属于数据处理技术领域。背景技术[0002]随着汽车产业的飞速发展、车辆数量的大幅提升，如何获取更多车辆信息、实现对车辆的远程控制，成为车辆生命周期上各个环节机构的首要问题。传统的车辆管理系统可以做到提供用户所需的车辆信息，但由于各级用户侧重点不同，导致了其对车辆各项数据的关注度有巨大的差异，而从海量数据里分离出各自所需的数据会给用户带来了不便，并且由于传统车辆管理系统的数据储存机制，导致数据量越来越庞大，对车辆实时信息的读取和历史数据的分析更是难上加难。如何快速查询信息、分析历史数据、下发指令等功能给客户，是目前亟待解决的问题。[0003]目前，工程机械行业中对车辆信息的管理，一般采用的方式是:车辆关系数据库，使用分库分表存储;前端应用将关系数据库中车辆实时数据、历史数据展现;前端应用远程下发指令到终端。这种方式能解决传统的数据处理和数据存储问题，但当存在海量数据需要处理时，计算机性能和数据存储上都会遇到瓶颈，只能通过提高服务器配置，购买昂贵的硬件设施等方式来解燃眉之急，然而也只能暂时解决问题，无法从根本上解决问题;而且当前端应用编程语言改变，必须重新编写应用代码，开发者的工作量要增加，用户的体验也不好。发明内容[0004]针对上述现有技术存在的问题，本发明提供一种基于thrift的大数据跨平台实时处理方法，可解决传统解决方案存在的弊端，并且更灵活更实用。[0005]为了实现上述目的，本发明采用的一种基于thrift的大数据跨平台实时处理方法，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，SSL认证模块用于认证用户和服务器，确保数据发送到正确的客户机和服务器，并且将数据加密以防止数据中途被窃取，维护数据的完整性，确保数据在传输过程中不被改变；授权认证模块用于通过业务逻辑验证访问者是否拥有对车辆信息的查询及管理权限，拒绝无效访问者，避免数据信息的泄露;实时数据查询模块用于将车辆的实时数据信息提供给访问者，进行高并发、缓存机制处理，保证数据信息的及时性;历史数据查询模块用于将存储的车辆历史数据提供给访向者，简化访问方式，给客户更高效的使用效率;下发指令模块用于将指令准确的发送给终端，统一对终端的命令操作，解决使用者的多个入口，避免下发指令的混乱;基于thrift的大数据跨平台实时处理方法的具体步骤如下：[0006]首先，用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；[0007]其次，若授权认证通过，则可进行实时数据、历史数据或下发指令的操作;反之，告知用户不具备访问权限；[0008]最后，将请求的相应结果返回给用户，并记录每一步的操作日志。[0009]所述实时数据查询模块采用缓存技术redis与界面进行实时交互，其中，redis指高性能的“键值对”存储系统。[0010]所述历史数据查询模块采用了hadoop的Hbase技术进行分布式存储。其中，Hbase是分布式的、面向列的开源数据库。[0011]与现有技术相比，本发明通过在授权认证中使用SSL认证和车辆授权验证，保证数据传输、使用上安全;在车辆信息查询中使用Redis数据库，保证数据查询的及时性;在车辆历史信息分析中使用封装的方法对Hbase的读取，简化对Hbase数据的访问；在车辆远程下发中建立车辆信息通信通道，保证数据传输安全，并保存下发指令历史。最终，具有如下优占.[0012]1、通过授权认证，使应用层与平台层之间的数据交换既安全又简捷；[0013]2、表达相同的内容所需的数据包比XML和JS0N小，传输所占用的服务器资源更少；[0014]3、技术成熟，性能良好，具备高并发的数据访问与处理能力；[0015]4、跨平台，支持多语言客户端的应用；[0016]5、数据存储采用redis缓存数据库，提供数据访问速度。附图说明[0017]图1为本发明的原理示意图；[0018]图2为本发明的流程示意图；[0019]图3为本发明的程序部署示意图。具体实施方式[0020]下面结合附图对本发明作进一步说明。[0021]Thrift主要用于各个服务之间的RPC通信，支持跨语言，常用的语言比如C++，Java,Python,PHP,Ruby,Erlang,Perl,Haskell,C#,Cocoa,JavaScript,Node.js,Smalltalk,andOCaml都支持。Thrift是一个典型的CS客户端服务端）结构，客户端和服务端可以使用不同的语言开发。既然客户端和服务端能使用不同的语言开发，那么一定就要有一种中间语言来关联客户端和服务端的语言，这种语言就是IDLInterfaceDescriptionLanguagejhriftIDL支持的数据类型包括:基本类型、容器类型、结构体、枚举、异常、服务、类型定义、常量、命名空间、文件包含等。知道了怎么定义thrift文件，接下来就是此方法的具体实施步骤，如图3所示：[0022]1、编写thrift文件，定义SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块和下发指令模块，此方法的目标语言为Java，所以在终端执行命令：“thrift-genjavaTest.thrift”，则在当前目录会生成一个gen-java目录，该目录下会按照命名空间定义的路径名一层层生成文件夹，这样就完成了支持Java语言的基本的框架代码，这些代码是包含了模块的接口。[0023]2、建立服务端项目，创建模块接口的实现类，实现具体的逻辑。[0024]3、在服务端项目中创建启动类，并将Hbase配置文件、Redis配置文件、数据库配置文件、私钥文件等加入代码中，编译项目后将程序放到服务器上并启动服务，至此服务端已经完成。[0025]4、建立客户端项目，创建访问类，加载配置文件和公钥文件，通过SSL认证与服务端的连接。[0026]5、认证通过之后进入授权认证模块，验证通过后可以访问实时数据查询模块、历史数据查询模块以及下发指令模块，得到服务端返回的结果。每一步操作都记录到日志中，最后将与服务端的连接关闭。[0027]如图1和图2所示，一种基于thrift的大数据跨平台实时处理方法，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，SSL认证模块用于认证用户和服务器，确保数据发送到正确的客户机和服务器，并且将数据加密以防止数据中途被窃取，维护数据的完整性，确保数据在传输过程中不被改变;授权认证模块用于通过业务逻辑验证访问者是否拥有对车辆信息的查询及管理权限，拒绝无效访问者，避免数据信息的泄露；实时数据查询模块用于将车辆的实时数据信息提供给访问者，进行高并发、缓存机制处理，保证数据信息的及时性;历史数据查询模块用于将存储的车辆历史数据提供给访问者，简化访问方式，给客户更高效的使用效率;下发指令模块用于将指令准确的发送给终端，统一对终端的命令操作，解决使用者的多个入口，避免下发指令的混乱;基于thrift的大数据跨平台实时处理方法的具体步骤如下：[0028]首先，用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；[0029]其次，若授权认证通过，则可进行实时数据、历史数据或下发指令的操作;反之，告知用户不具备访问权限；[0030]最后，将请求的相应结果返回给用户，并记录每一步的操作日志。[0031]所述实时数据查询模块采用缓存技术redis与界面进行实时交互，其中，:redis指高性能的“键值对”存储系统。[0032]所述历史数据查询模块采用了hadoop的Hbase技术进行分布式存储。其中，Hbase是分布式的、面向列的开源数据库。[0033]综上所述，本发明在工程机械行业中使用了大数据技术，其中Thrift作为目前最火的远程服务调用框架，在车辆信息管理中承担着重要角色，因其夸平台、高性能、高并发等特性能快速准确处理数据。另一方面，实时数据存储采用缓存技术redis进行与界面进行实时交互，大大提升了数据读取性能，历史数据采用了hadoop的Hbase技术进行分布式存储。同时，在数据安全方面，采用SSL技术和授权验证技术，保证数据安全、及时的提供给客户，正确的指导生产工作。具备如下优点：[0034]1、通过授权认证，使应用层与平台层之间的数据交换既安全又简捷；[0035]2、表达相同的内容所需的数据包比XML和JS0N小，传输所占用的服务器资源更少；[0036]3、技术成熟，性能良好，具备高并发的数据访问与处理能力；[0037]4、跨平台，支持多语言客户端的应用；[0038]5、数据存储采用redis缓存数据库，提供数据访问速度。

权利要求：1.一种基于thrift的大数据跨平台实时处理方法，其特征在于，包括SSL认证模块、授权认证模块、实时数据查询模块、历史数据查询模块以及下发指令模块，SSL认证模块用于认证用户和服务器，确保数据发送到正确的客户机和服务器，并且将数据加密以防止数据中途被窃取，维护数据的完整性，确保数据在传输过程中不被改变;授权认证模块用于通过业务逻辑验证访问者是否拥有对车辆信息的查询及管理权限，拒绝无效访问者，避免数据信息的泄露;实时数据查询模块用于将车辆的实时数据信息提供给访问者，进行高并发、缓存机制处理，保证数据信息的及时性;历史数据查询模块用于将存储的车辆历史数据提供给访问者；下发指令模块用于将指令准确的发送给终端，统一对终端的命令操作；基于thrift的大数据跨平台实时处理方法的具体步骤如下：一一首先，用户根据SSL认证模块进行数据的访问，若SSL授权通过之后，则进行授权认证模块的认证，判断是否拥有车辆信息的操作权限；其次，若授权认证通过，则可进行实时数据、历史数据或下发指令的操作;反之，告知用户不具备访问权限；最后，将请求的相应结果返回给用户，并记录每一步的操作曰志。2.根据权利要求1所述的一种基于thrift的大数据跨平台实时处理方法，其特征在于，所述实时数据查询模块采用缓存技术redis与界面进行实时交互。3.根据权利要求1所述的一种基于thrift的大数据跨平台实时处理方法，其特征在于，所述历史数据查询模块采用了hadoop的Hbase技术进行分布式存储。

百度查询： 江苏徐工信息技术股份有限公司 一种基于thrift的大数据跨平台实时处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD