申请/专利权人：中国科学院空天信息创新研究院

申请日：2021-06-09

公开（公告）日：2024-04-19

公开（公告）号：CN113486005B

主分类号：G06F16/22

分类号：G06F16/22;G06F16/2458;G06F16/27;G06F16/28

优先权：

专利状态码：有效-授权

法律状态：2024.04.19#授权;2021.10.26#实质审查的生效;2021.10.08#公开

摘要：本发明公开了一种异构结构下的空间科学卫星大数据组织及查询方法，涉及空间科学卫星数据组织与存储技术领域，能够在统一时空下进行多源数据组织，存储管理海量特征参数，同时实现了统一的查询方式。其中数据组织方法是：首先解析空间科学卫星数据文件，抽取特征参数时间序列数据，并且构建时空索引数据，将特征参数时间序列数据纳入到统一的时空框架中。采用分布式非关系型数据库分表分区的方式，存储特征参数时间序列数据。采用关系型数据库分表的方式，存储时空索引数据。然后基于非关系型数据库和关系型数据库联合存储机制，构建以观测时间、观测目标位置、参数类型为查询条件的数据查询服务，从而建立统一的数据查询服务。

主权项：1.异构结构下的空间科学卫星大数据查询方法，其特征在于，包括如下步骤：构建数据层，所述数据层包括时空索引数据库和特征参数时间序列数据库；采用异构结构下的空间科学卫星大数据组织方法对异构结构下的空间科学卫星大数据进行组织，得到时空索引数据库和特征参数时间序列数据库，二者组成数据层；采用Webservice查询服务技术构建服务层，用于执行查询请求的接收、查询请求的解析、查询任务的发起、时空索引查询、特征参数时间序列数据查询以及查询结果返回；所述服务层提供对外统一的数据查询服务接口，用于执行如下查询步骤：接收数据请求方发起的查询请求；解析所述查询请求，若查询请求仅包含时间信息时，直接发起特征参数时间序列数据查询任务，根据时间信息，在特征参数时间序列数据库中进行查询，并向数据请求方返回查询结果；若所述查询请求包含观测目标位置信息，则发起时空索引数据查询任务，根据时间信息、目标位置信息，对时空索引数据库进行查询，返回符合条件的时间信息；然后根据符合条件的时间信息查询特征参数时间序列数据库，完成数据查询后，对多个任务的查询结果进行合并，向数据请求方返回查询结果；所述的异构结构下的空间科学卫星大数据组织方法包括如下步骤：S1、解析空间科学卫星数据文件，抽取特征参数时间序列数据，并且构建时空索引数据，将特征参数时间序列数据纳入到统一的时空框架中；S2、采用分布式非关系型数据库分表分区的方式，存储所述特征参数时间序列数据；S3、采用关系型数据库分表的方式，存储所述时空索引数据；所述解析空间科学卫星数据文件，抽取特征参数时间序列数据，构建时空索引，具体为：调用专用的数据文件格式解析框架，解析空间科学卫星数据文件，从中抽取观测目标信息、卫星平台姿态轨道数据、卫星平台工况参数及有效载荷工况参数及其观测时间信息，形成特征参数时间序列数据；基于抽取出的逐时刻卫星姿态数据构建逐时刻时空索引数据，所述逐时刻时空索引数据包括三列，分别为观测时间、观测目标赤经和观测目标赤纬；基于特征参数时间序列数据、逐时刻时空索引数据，进一步建立观测时间、观测目标位置与特征参数的关联，将特征参数时间序列数据纳入到统一的时空框架中；所述采用分布式非关系型数据库分表分区的方式，存储特征参数时间序列数据，具体为：采用HBase集群构建分布式数据库，存储步骤S1得到的特征参数时间序列数据，基于HBase数据库以字典序排序方式存储行键的特点，以观测时间YYYYMMDDHHMMSS[UUU]作为行键建立参数表，一个参数表中包含单个特征参数或一组特征参数；其中YYYY表示年份，MM表示月份，DD表示日期，HH表示小时数，MM表示分钟数，SS表示秒数，UUU表示毫秒数，[]表示毫秒数根据数据的时间分辨率可选；基于各特征参数的数据量对参数表建立时间分区索引，按照时间范围对参数表进行分区；所述采用关系型数据库分表的方式，存储所述时空索引数据，具体为：所述时空索引数据表示观测时间Time与观测目标赤经RA和观测目标赤纬DEC之间的关系；采用关系型数据库MySQL，建立时空索引表；所述时空索引表的库表字段包括Time、RA、DEC，其中Time具备唯一性，作为时空索引表主键，取值为YYYYMMDDHHMMSS[UUU]；YYYY表示年份，MM表示月份，DD表示日期，HH表示小时数，MM表示分钟数，SS表示秒数，UUU表示毫秒数，[]表示毫秒数根据数据的时间分辨率可选；基于观测时间Time字段值对时空索引表进行分表存储。

全文数据：

权利要求：

百度查询： 中国科学院空天信息创新研究院 异构结构下的空间科学卫星大数据组织及查询方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD