申请/专利权人：中国移动通信集团陕西有限公司;中国移动通信集团有限公司

申请日：2019-12-17

公开（公告）日：2024-04-12

公开（公告）号：CN112988884B

主分类号：G06F16/16

分类号：G06F16/16;G06F16/172;G06F16/11;G06F18/243;G06N5/01;G06F16/182

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2021.07.06#实质审查的生效;2021.06.18#公开

摘要：本发明公开了一种大数据平台数据存储方法及装置，其中，方法包括：根据触发的对数据文件的冷热状态检测请求，获取数据文件的原冷热状态；对数据文件进行检测，获取数据文件的新冷热状态；将数据文件的原冷热状态与数据文件的新冷热状态进行比较，若数据文件的原冷热状态与数据文件的新冷热状态不一致，基于预先训练得到的决策树模型，判断是否对数据文件触发冷热状态转换；决策树模型以转换成本、写入成本及存储收益为依据进行判断；若是，则将数据文件进行冷热转换，更新数据文件的原冷热状态，并根据更新后的冷热状态更改数据文件的存储方式。本发明灵活的对数据文件进行冷热状态转换，更好地提升大数据平台数据存储效率。

主权项：1.一种大数据平台数据存储方法，其特征在于，方法包括：根据触发的对数据文件的冷热状态检测请求，获取数据文件的原冷热状态；对所述数据文件进行检测，获取所述数据文件的新冷热状态；将所述数据文件的原冷热状态与所述数据文件的新冷热状态进行比较，若所述数据文件的原冷热状态与所述数据文件的新冷热状态不一致，基于预先训练得到的决策树模型，判断是否对所述数据文件触发冷热状态转换；所述决策树模型以转换成本、写入成本及存储收益为依据进行判断；若是，则将所述数据文件进行冷热转换，更新所述数据文件的原冷热状态，并根据更新后的冷热状态更改所述数据文件的存储方式；所述基于预先训练得到的决策树模型，判断是否对所述数据文件触发冷热状态转换进一步包括：根据所述数据文件的基础信息进行计算，得到所述数据文件的转换成本、写入成本及存储收益；其中，转换成本DT＝ym+nm+m+nb；写入成本DW＝zm+n；存储收益DP＝2y-nym；y为数据文件的大小；m为纠删码编码格式中数据块个数，n为纠删码编码格式中恢复块个数，b为纠删码编码格式中单位存储文件块大小；z为需写入操作的次数；三副本存储方式的存储空间消耗为3y，纠删码存储方式的存储空间消耗为ym+nm，存储收益为三副本存储方式的存储空间消耗减去纠删码存储方式的存储空间消耗；将所述数据文件的转换成本、写入成本及存储收益输入预先训练得到的决策树模型中，判断是否对所述数据文件触发冷热状态转换。

全文数据：

权利要求：

百度查询： 中国移动通信集团陕西有限公司;中国移动通信集团有限公司 大数据平台数据存储方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD