申请/专利权人：大连大学

申请日：2020-08-28

公开（公告）日：2024-04-12

公开（公告）号：CN111984200B

主分类号：G06F3/06

分类号：G06F3/06

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2020.12.11#实质审查的生效;2020.11.24#公开

摘要：海量视频数据存储系统，属于数据存储领域，为解决优化现有海量视频数据分布式存储系统性能的问题，包括存储服务器集群，其通过心跳协议周期性向状态管理器反馈其使用情况，客户端，其向状态管理器发起数据存储请求，状态管理器，其接收由客户端发起的数据存储请求，根据反馈情况向存储服务器集群进行存储任务的分配，存储服务器集群的空闲的存储服务器接受存储任务，客户端将视频流通过该存储服务器中虚拟机文件系统绑定的SSD和磁盘进行数据的写入操作，并由状态管理器定期对存储服务器集群的过期的数据进行空间的回收，效果是了优化现有海量视频数据分布式存储系统性能。

主权项：1.一种海量视频数据存储系统，其特征在于：包括存储服务器集群，其通过心跳协议周期性向状态管理器反馈其使用情况，客户端，其向状态管理器发起数据存储请求，状态管理器，其接收由客户端发起的数据存储请求，根据反馈情况向存储服务器集群进行存储任务的分配，存储服务器集群的空闲的存储服务器接受存储任务，客户端将视频流通过该存储服务器中虚拟机文件系统绑定的SSD和磁盘进行数据的写入操作，并由状态管理器定期对存储服务器集群的过期的数据进行空间的回收；存储服务器写入状态下完成数据的存储和读取过程，此时开启读写磁头，盘片以100％转速处于最高的处理速度；数据存储任务结束到下一次接受存储请求期间，进行数据的容错，此时磁盘处于一级休眠，进行元数据及视频数据的容错和备份，此时关闭读写磁头，磁盘盘片转速降低30％，规避磁头移动带来的额外开销；完成容错且未接受其他任务的磁盘处于二级休眠，降低盘片速度至50％；读取请求下完成数据的检索和读取操作，此时再次开启读写磁头；SSD的高速缓冲结构由超级块、缓冲区位图和缓冲区片段组成，位于头部的超级块单元用于记录创建时间、缓冲区片段大小、数量及分配情况的参数信息，超级块中文件magic格式设置为0xEF53有效，在格式化时完成；超级块后的缓冲区位图用于描述缓冲区片段的使用情况，其内部为对应数量的二进制描述符；高速缓冲结构的剩余部分由大量的缓冲区片段构成，缓冲区片段是数据临时组织空间分配和回收的基本单位，片段的大小设置为16MB，当剩余空间不足分配一个缓冲区片段时则保留剩余空间不用，缓冲区片段遵循按序分配，由于视频数据自身按时有序，某一路视频流的最后一个Gop段由缓冲区写出后就进行片段回收；磁盘的逻辑存储结构由超级块、数据块位图、一级索引块、二级索引块及数据块构成，位于头部的超级块中文件magic格式为0xCD53有效，一级索引块存放视频流ID、起止时间、码流类型及Gop帧组信息，二级索引块存放Gop段的详细信息；缓存映射策略支多块HHD使用同一块SSD作为缓存盘，设置“echo”语句将cacheset缓存盘的“cset.uuid”attach到普通磁盘的物理位置实现映射，并同时设置缓存映射写回方式为“writeback”；视频数据写入操作按照视频流存储请求时间进行排序，利用缓冲区对其进行并发调制，将多线程并发写任务转化成单线程顺序写任务，缓冲区和数据块采用一对一的分配方式，一个数据块只存储某一路视频流，视频流缓冲区片段编号呈相邻递增关系；混合容错策略对元数据和视频数据进行分类容错，其中，针对元数据，通过结构化分析获取元数据属性，据此属性提取分离出元数据，并用三模冗余进行元数据容错；针对视频数据，通过改进的Liberation码进行容错，将视频流以GOP帧组为单位分成N个数据块，与编码矩阵进行矩阵运算获得数据元素，将隶属于同一校验集合Pi、Qi的数据元素通过XOR操作得到pi、qi校验元素，根据编码原理中不同校验集合存在相同数据的特性，采用Pi校验集合进行单节点故障恢复；单节点故障数据恢复时，将数据划分为x、w-x两部分，其中w为故障节点上元素总数，x为Pi校验集合恢复元素个数，w-x为Qi校验集合恢复元素个数，由于二者存在相同数据Y，恢复数据步骤如下：1Pi和Qi存在一个相同元素时，Y＝xw-x+[w-x-1]，则时取最大值；2Pi和Qi存在两个相同元素时，Y＝xw-x+[w-x-1]+w-x-1，w为素数2，则时取最大值；在数据恢复的过程中前个数据由校验集合Pi进行恢复，后个数据由校验集合Qi进行恢复，则需要读取元素个数为

全文数据：

权利要求：

百度查询： 大连大学 海量视频数据存储系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD