申请/专利权人：北京中电兴发科技有限公司

申请日：2020-11-16

公开（公告）日：2021-02-19

公开（公告）号：CN112383628A

主分类号：H04L29/08(20060101)

分类号：H04L29/08(20060101);H04L12/66(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.06.18#授权;2021.03.09#实质审查的生效;2021.02.19#公开

摘要：本发明提供一种基于流式存储的存储网关资源分配方法，包括：对所述服务器集群进行逻辑划分，将所述服务器集群划分为多个存储组；创建磁盘阵列单元DAU；存储池的划分；存储网关作为设备接入的唯一入口，同时管理整个服务器集群相关资源；当存储网关接收到设备E的接入请求时，按选择的容量优先模式和省电优先模式，进行存储资源的分配。本发明不同于现有技术仅采用单一的视频存储方式，本发明构建的负载均衡策略中，考虑存储周期，设备带宽，存储容量等多种因素。通过各因素及参数，得到最适合的，负载均衡的分配结果，提升存储系统的使用性能。

主权项：1.一种基于流式存储的存储网关资源分配方法，其特征在于，包括以下步骤：步骤1，存储网关与服务器集群连接；对所述服务器集群进行逻辑划分，将所述服务器集群划分为多个存储组；每个所述存储组包括N个节点，分别为：节点Node1,节点Node2,...,节点NodeN；对于任意的节点Nodei，i＝1,2,...,N，包括节点处理模块Ci以及D块磁盘，D块磁盘分别为：磁盘Diski1,磁盘Diski2,...,磁盘DiskiD；其中，N个节点中，包括N1个数据存储节点，N2个冗余存储节点；N＝N1+N2；步骤2，创建磁盘阵列单元DAU，方法为：节点Node1的磁盘Disk11,节点Node2的磁盘Disk21,...,节点NodeN的磁盘DiskN1组成磁盘阵列单元DAU1；节点Node1的磁盘Disk12,节点Node2的磁盘Disk22,...,节点NodeN的磁盘DiskN2组成磁盘阵列单元DAU2；依此类推节点Node1的磁盘Disk1D,节点Node2的磁盘Disk2D,...,节点NodeN的磁盘DiskND组成磁盘阵列单元DAUD；步骤3，存储池的划分，方法为：对于步骤2形成的D个DAU，选择若干个DAU形成的集合称为存储池；由此将D个DAU分配形成m个存储池，分别为存储池Pool1,存储池Pool2,...,存储池Poolm；步骤4，存储网关作为设备接入的唯一入口，同时管理整个服务器集群相关资源；当存储网关接收到设备E的接入请求时，存储网关对接入请求进行解析，获得以下参数：设备E的设备ID，存储周期T、设备视频数据带宽B以及接入模式；其中，所述接入模式包括容量优先模式和省电优先模式；存储网关根据存储周期T和设备视频数据带宽B，计算得到视频设备所需总存储容量need_capacity；如果为容量优先模式，则执行步骤5；如果为省电优先模式，则执行步骤6；步骤5，存储网关采用容量优先模式，按以下方式，从服务器集群中选择所需的磁盘阵列单元DAU：步骤5.1，存储网关比较各个存储组的当前剩余容量，选择剩余容量最大的存储组，表示为存储组storemax；步骤5.2，存储网关判断存储组storemax的当前剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则向设备E发送接入失败的通知消息；如果判断结果为是，则执行步骤5.3；步骤5.3，存储网关比较存储组storemax的各个存储池的当前剩余容量，选择剩余容量最大的存储池，表示为存储池Poolmax；步骤5.4，存储网关判断存储池Poolmax的当前剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则需要在存储组storemax内跨存储池存储设备E的数据，向设备E发送是否允许跨存储池存储数据的询问消息，如果存储网关接收到设备E的禁止跨存储池存储数据的消息，则存储网关向设备E发送接入失败的通知消息；否则，存储网关按存储池占用数量最少的原则，确定需要采用的存储池；如果判断结果为是，则执行步骤5.5；步骤5.5，存储网关比较存储池Poolmax的各个磁盘阵列单元DAU的当前可使用剩余容量选择当前可使用剩余容量最大的磁盘阵列单元DAU，表示为磁盘阵列单元DAUmax；其中，磁盘阵列单元DAU的当前可使用剩余容量采用以下方式计算：当前可使用剩余容量其中：当前剩余容量步骤5.6，存储网关判断磁盘阵列单元DAUmax的当前可使用剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则需要在存储池Poolmax内跨磁盘阵列单元DAU存储设备E的数据，向设备E发送是否允许跨磁盘阵列单元DAU存储数据的询问消息，如果存储网关接收到设备E的禁止跨磁盘阵列单元DAU存储数据的消息，则存储网关向设备E发送接入失败的通知消息；否则，存储网关按磁盘阵列单元DAU占用数量最少的原则，确定需要采用的磁盘阵列单元DAU；如果判断结果为是，则磁盘阵列单元DAUmax即为最终选定的磁盘阵列单元DAU，然后执行步骤7；步骤6，存储网关采用省电优先模式，按以下方式，从服务器集群中选择所需的磁盘阵列单元DAU：步骤6.1，存储网关建立存储组集合；初始时，存储组集合包括服务器集群的所有存储组；步骤6.2，存储网关读取存储组集合，比较存储组集合中的各个存储组的当前活跃度，选择当前活跃度最大的存储组，表示为存储组store"max；其中，存储组活跃度是指：存储组当前处于激活运行状态的磁盘的数量；处于激活运行状态的磁盘数越多，则存储组的当前活跃度越高；步骤6.3，存储网关判断存储组store"max的当前剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则将当前识别到的存储组store"max从存储组集合中移出，再返回步骤6.2；如果判断结果为是，则执行步骤6.4；步骤6.4，存储网关建立与存储组store"max对应的存储池集合；初始时，存储池集合包括存储组store"max的所有存储池；步骤6.5，存储网关读取存储池集合，比较存储池集合中的各个存储池的当前活跃度，选择当前活跃度最大的存储池，表示为存储池Pool"max；其中，存储池活跃度是指：存储池当前处于激活运行状态的磁盘的数量；步骤6.6，存储网关判断存储池Pool"max的当前剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则将当前识别到的存储池Pool"max从存储池集合中移出，再返回步骤6.4；如果判断结果为是，则执行步骤6.7；步骤6.7，存储网关建立与存储池Pool"max对应的磁盘阵列单元DAU集合；初始时，磁盘阵列单元DAU集合包括存储池Pool"max的所有DAU；步骤6.8，存储网关读取DAU集合，比较DAU集合中的各个DAU的当前活跃度，选择当前活跃度最大的DAU，表示为磁盘阵列单元DAU"max；其中，DAU的当前活跃度是指：存储池当前处于激活运行状态的磁盘的数量；步骤6.9，存储网关判断磁盘阵列单元DAU"max的当前可使用剩余容量是否大于等于视频设备所需总存储容量need_capacity，如果判断结果为否，则将当前识别到的DAU"max从DAU集合中移出，再返回步骤6.8；如果判断结果为是，则磁盘阵列单元DAU"max即为最终选定的磁盘阵列单元DAU，然后执行步骤7；步骤7，将最终选定的磁盘阵列单元DAU"max和磁盘阵列单元DAUmax，统一表示为磁盘阵列单元DAU0max；将磁盘阵列单元DAU0max的ID、设备E的设备ID以及设备E所需总存储容量need_capacity的对应关系形成配置表，并将配置表同步给选定存储组的各个节点的节点处理模块C；步骤8，存储网关在N个节点，即在节点Node1,节点Node2,...,节点NodeN中，按照选择策略，选择一个与本次接入设备E对应的接入节点Node接入，将剩余N-1个节点称为非接入节点；步骤9，存储网关将设备E的接入请求转接到接入节点Node接入；步骤10，接入节点Node接入的节点处理模块C接入实时接收设备E的视频流，对设备E的视频流进行分块处理，方法为：每当接收到设定长度的视频流时，将该设定长度的视频流按序分割为N1个数据块，然后按N1个数据块各分送给对应的N1个数据存储节点的节点处理模块，即：1个数据块发送给对应的1个数据存储节点；步骤11，对于接收到设备E的数据块的数据存储节点，按以下方式存储数据块：数据存储节点首次接收到设备E的数据块时，通过本地存储的配置表，根据设备E的设备ID定位到对应的DAU，进而定位到对应的磁盘Disk；在定位到的磁盘Disk中，从当前可用磁盘容量中，划分出长度等于设备E所需总存储容量need_capacity的存储区域，作为设备E的存储区域；后续过程中，数据存储节点将接收到的设备E的各个数据块，按序存储到确定的存储区域中。

全文数据：

权利要求：

百度查询： 北京中电兴发科技有限公司 一种基于流式存储的存储网关资源分配方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD