申请/专利权人：上海沄熹科技有限公司

申请日：2023-05-24

公开（公告）日：2024-02-20

公开（公告）号：CN116644086B

主分类号：G06F16/242

分类号：G06F16/242;G06F16/2455

优先权：

专利状态码：有效-授权

法律状态：2024.02.20#授权;2023.09.12#实质审查的生效;2023.08.25#公开

摘要：本发明提供一种基于SST的InsertSQL语句实现方法，属于数据库技术领域，本发明主要解决insert语句小批量数据持续写入场景。通过预先分配固定数量的range数据分区，不同分区写入不同的数据节点，在数据节点上，接收到数据后，本地数据攒批，达到一定数量后，内存中生成SST文件，之后异步的将生成的SST直接调用本地的rocksdb接口，直接落入到rocksdb存储的L0层，减少了中间的数据拷贝和转换，提高insert语句的热点写入性能，同时也避免的rocksdb的flush写失速场景的出现。

主权项：1.一种基于SST的InsertSQL语句实现方法，其特征在于，为每条insertsql语句单独创建对应的scheduler服务，并按照数据分片创建对应的writer服务，并双向注册到scheduler服务和SST-save服务中，由scheduler服务统一调度，数条语句统一由节点级别的SST-save进行统一汇总，并通过副本层批量落盘；writer服务由数据接收服务，数据组织服务，通知服务以及数据缓存服务组成；SST-save服务接收writer服务通知进行数据提取落盘，同时能主动触发writer服务强制进行数据流转；当writer服务创建后，双向注册到scheduler服务和SST-save服务中，接受双向调度管理；Scheduler服务是insertsql语句接入集群节点数据路由服务，负责按照表的range分布合并成节点分布图，按照从insertsql语句解析到的数据键值路由对应数据到对应集群节点，writer为节点的表的range级别数据行接收拼接服务，其中包括数据接收服务负责接收scheduler服务路由过来的数据；数据组织服务负责将接收到的数据按照数据特征和SST文件组织格式，在内存中拼接SST内存数据块，同时writer也接收SST-save的通知状态，来决定是否临时终止当前SST内存数据块拼装，强制将不满的SST数据块提前加入缓存；数据缓存服务负责将拼接完成的SST数据块临时缓存，标记为只读状态，并通知SST-save进行落盘；SST-save服务负责将一段时间接收到的通知的SST数据块按照表的本地range进行整合为一个大的SST内存文件，将每个SST数据块封装成raft日志格式发送给副本层，这里复用了副本层的高可用机制，同时将数据按照执行顺序写入到实际存储；数据实际完成写入后，SST-save服务会等待写入成功信号，并返回给对应的writer，writer之后会通知对应的scheduler，当本次insertsql语句对应的数据都写入到存储后，并拿到了左右数据的写入成功信号，那么本次insertsql语句的执行就返回给用户成功。

全文数据：

权利要求：

百度查询： 上海沄熹科技有限公司 一种基于SST的Insert SQL语句实现方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD