申请/专利权人：中国人民解放军国防大学军事管理学院

申请日：2021-09-26

公开（公告）日：2024-04-26

公开（公告）号：CN113986873B

主分类号：G06F16/21

分类号：G06F16/21;G06F16/22;G06F16/23;G06F16/28;G06F11/10;H04L67/12

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.02.20#专利申请权的转移;2022.02.18#实质审查的生效;2022.01.28#公开

摘要：本发明公开了一种海量物联网数据模型化的处理、存储与共享方法，将物联网数据分为结构化数据和非结构化数据，将结构化数据分为传感数据和业务数据，将传感数据分为动态数据和静态数据；该方法的步骤具体包括：建立物联网结构化数据模型；建立物联网非结构化数据模型；对物联网数据进行边缘融和处理；物联网设备数据进行去冗余存储；对物联网数据进行分类存储；对各个数据库的数据进行共享；对各服务器与物联网设备进行物联网数据的同步。本发明针对多源的海量物联网数据建立统一数据的物联网数据模型，改善了数据多源异构的问题,解决了数据存储冗余度高、数据处理时效性差等问题，提升了数据中心存储利用率，缓解传输压力及数据中心存储压力。

主权项：1.一种海量物联网数据模型化的处理、存储与共享方法，其特征在于，将物联网数据分为结构化数据和非结构化数据，将结构化数据分为传感数据和业务数据，将传感数据分为动态数据和静态数据；传感数据包括物联网设备的基本描述信息及其采集的数据，业务数据包括物联网应用系统产生的数据，非结构化数据包括视频、音频和图片数据，动态数据为物联网设备采集的数据或与物联网设备采集的数据相关的数据，静态数据为物联网设备的基础信息，该方法的步骤具体包括：S1，建立物联网结构化数据模型；S2，建立物联网非结构化数据模型；物联网非结构化数据模型，是一种基于HBase数据库的数据模型；物联网非结构化数据模型包括映射表，映射表用于将非结构化数据对应成固定表达方式，其映射表的索引包括行关键字、列关键字和时间戳，时间戳用于标识物联网数据的更新；在物联网非结构化数据模型中，一张表的结构可通过行键、时间戳和列簇来描述,列簇的基本结构为列column和值value来组成,行键Rowkey是表Table的主键；S3，对物联网数据进行边缘融和处理；对于具有存储能力的物联网设备，通过自定义的并加载于物联网设备的软件系统或者利用物联网设备本身数据格式转换功能，进行物联网数据格式转换和边缘融和处理，对数据进行去冗余处理，在物联网设备上直接传输经格式转换的数据，对于不具备存储能力的低功耗设备，将原格式数据透传至接入服务器，利用统一脚本进行解析；S4，物联网设备数据进行去冗余存储；对于去冗余存储，采用数据分块和指纹管理技术，对于一个新的数据块，若该数据块的指纹在指纹表中没有与之相同的指纹，则该数据块的指纹为非重复数据块指纹，将该数据块的指纹插入指纹表中，若指纹表中存在与之相同的指纹，将该数据块与指纹表中相同指纹对应的数据块的循环冗余码进行比较，如果二个循环冗余码不同，判断该数据块为非重复数据块，如果二个循环冗余码相同，存储该数据块的地址指针；将指纹表保存于内存中，将非重复数据块保存于外存储器中；对物联网数据进行非重叠平均切块，得到若干个数据块，对每个数据块利用MD5哈希算法进行计算，得到每个数据块的指纹，对每个数据块的指纹再利用MD5哈希算法进行计算，得到每个数据块指纹的整数型索引值，得到每个数据块指纹的整数型索引值，数据块指纹和其对应的索引值，共同构成指纹表；在对指纹表做更改前，将指纹表通过映射的方式写入映射文件，将数据指纹的插入操作信息写入日志文件；S5，对物联网数据进行分类存储；将业务数据、传感数据和非结构化数据分别存储在关系型数据库、时序数据库和非关系型数据库中，对各个数据库进行统一标识，对物联网数据库的集群化管理，实现对物联网数据进行聚合与共享；对于非结构数据通过采用非结构化数据库HBase进行存储，再基于Hadoop分布式文件系统对物联网数据创建索引和分布存储策略；S6，对各个数据库的数据进行共享；S7，对各服务器与物联网设备进行物联网数据的同步；所述的步骤S1，其具体包括：定义物联网结构化数据模型，使多源异的海量数据建立统一规范化的数据格式；物联网数据模型在数据存储应用层面包括属性描述和扩展描述；属性描述适用于静态数据和动态数据；扩展描述用于业务数据描述；在物联网结构化数据模型中，用XH代表当前记录的数据序列的唯一标识，SBID代表数据相关联的物联网设备的唯一标识，JXX代表静态信息，CPID代表某类型的数据概念模型；DXX代表动态信息；SJC代表数据产生的时间标注，BQXX代表扩展描述，用于描述设备标签信息，KZ代表物联网设备的扩展传输信息；类在物联网结构化数据模型中用于表达基本概念，ID是一个基本概念的唯一标识，Name表明类的名字，范畴属性表达的是该模型中的结构数据的基本类型，包括整数类型、浮点数类型、字符类型；物联网结构化数据模型中的域和类属性表用于将类与范畴属性进行关联，进行关联后，类所代表的基本概念下包含范畴属性所表达的基本类型；物联网结构化数据模型中的类关系表表达的是类之间的关系，包括继承关系；本物联网结构化数据模型，具有数据异常事件提取功能，以滤除物联网数据采集过程中的干扰和噪声，并对物联网设备采集的数据进行过滤并分组，形成有效事件集。

全文数据：

权利要求：

百度查询： 中国人民解放军国防大学军事管理学院 一种海量物联网数据模型化的处理、存储与共享方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD