申请/专利权人：杭州富阳富创大数据产业创新研究院有限公司

申请日：2021-09-22

公开（公告）日：2022-02-08

公开（公告）号：CN114020243A

主分类号：G06F8/20(20180101)

分类号：G06F8/20(20180101)

优先权：

专利状态码：失效-发明专利申请公布后的撤回

法律状态：2023.03.10#发明专利申请公布后的撤回;2022.02.25#实质审查的生效;2022.02.08#公开

摘要：本发明公开了基于SparkStreaming的流式统计框架及其应用，包括数据获取计算模块和数据展示模块，数据获取计算模块的设计方法包括以下步骤：S11，基于TCP的JavaSocket设置服务端，服务端从本地测试文件获取数据；S12，TCPSocket服务端利用线程控制，按照每秒50至100条交易记录的随机速度，发送给以SparkStreaming客户端进行数据实时计算处理；S13，客户端接收到数据利用MapToPair算子进行数据分组，再利用updateStateByKey算子进行数据有状态计算；当下一批数据计算完后，更新在缓存区与其key相同的状态的值；S14，由客户端将计算的数据按批次写入数据库，并且数据库按照key持续更新状态值。

主权项：1.基于SparkStreaming的流式统计框架，其特征在于，包括数据获取计算模块和数据展示模块，其中，所述数据获取计算模块的设计方法包括以下步骤：S11，基于TCP的JavaSocket设置服务端，服务端从本地测试文件获取数据；S12，TCPSocket服务端利用线程控制，按照每秒50至100条交易记录的随机速度，发送给以SparkStreaming客户端进行数据实时计算处理；S13，客户端接收到数据利用MapToPair算子进行数据分组，再利用updateStateByKey算子进行数据有状态计算；当下一批数据计算完后，更新在缓存区与其key相同的状态的值；S14，由客户端将计算的数据按批次写入数据库，并且数据库按照key持续更新状态值；所述数据展示模块的设计方法包括以下步骤：S21，MySql存储数据；S22，后端通过逻辑将数据取出。S23，前端通过Echart将数据异步加载动态可视化。

全文数据：

权利要求：

百度查询： 杭州富阳富创大数据产业创新研究院有限公司 基于Spark Streaming的流式统计框架及其应用

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD