申请/专利权人：北京宝联之星科技股份有限公司

申请日：2023-09-04

公开（公告）日：2024-04-05

公开（公告）号：CN117194020B

主分类号：G06F9/50

分类号：G06F9/50

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2023.12.26#实质审查的生效;2023.12.08#公开

摘要：本发明公开的一种基于云计算的原始大数据处理方法、系统和存储介质，其中方法包括：获取原始大数据信息；将所述原始大数据信息进行预处理，得到标准数据信息；将标准数据发送至预设云计算平台以进行计算处理，得到预设云计算处理之后的结果；将所述预设云计算处理之后的结果发送至预设管理端以进行显示。本发明将原始大数据进行预处理并划分为多个单体数据，再将单体数据分别和云计算的物理主机集群中物理主机分别匹配，实现了最大化资源利用，并节省了原始大数据处理的时间。

主权项：1.一种云计算的原始大数据处理方法，其特征在于，包括：获取原始大数据信息；将所述原始大数据信息进行预处理，得到标准数据信息；将标准数据发送至预设云计算平台以进行计算处理，得到预设云计算处理之后的结果；将所述预设云计算处理之后的结果发送至预设管理端以进行显示；所述将标准数据发送至预设云计算平台以进行计算处理的步骤，具体包括：提取标准数据的特征，并将所述标准数据按照特征进行划分，得到不同特征的标准子数据；将同一特征的标准子数据按照单体进行划分，得到多个单体数据；根据标准数据的特征在预设物理主机集群编号表中查询，得到对应单体数据的物理主机集群编号；将所述单体数据发送至对应编号的物理主机集群以进行计算处理；将所述单体数据发送至对应编号的物理主机集群以进行计算处理的步骤，具体包括：获取物理主机能提供的计算量和单体数据需要的计算量；将物理主机根据能提供的计算量从小到大进行编号，得到物理主机的编号；将单体数据根据需要的计算量从小到大进行编号，得到单体数据额编号；基于单体数据的编号顺序，将单体数据需要的计算量依次除以物理主机集群中物理主机能提供的计算量，得到物理主机的负载率；判断所述物理主机的负载率是否在预设负载率范围，若是，提取对应编号的单体数据以及对应编号的物理主机；若否，将所述编号的单体数据进行相似聚类以再次配比物理主机；将对应编号的单体数据发送至对应编号的物理主机以进行计算处理；所述若否，将所述编号的单体数据进行相似聚类以再次配比物理主机的步骤，具体包括：当物理主机的负载率小于预设负载率范围时；提取物理主机的负载率小于预设负载率范围时对应的单体数据，并按照对应单体数据的编号从小到大进行排列组成再次配比单体数据库；以再次配比单体数据库的第一个单体数据为基准，将再次配比单体数据库中的第一个单体数据和其他单体数据进行对比分析，得到相似值；提取第一大相似值；将第一大相似值对应的第一个单体数据和其他单体数据需要的计算量进行累加，得到第一计算量；将所述第一计算量依次除以物理主机能提供的计算量，得到物理主机的第一负载率；若物理主机的第一负载率在预设负载率范围，则将第一计算量对应单体数据发送至对应物理主机以进行计算处理；若物理主机的第一负载率小于预设负载率范围，则继续添加第二大相似值对应的其他单体数据以再次判定；若物理主机的第一负载率大于预设负载率范围，则将再次配比单体数据库中的第一个单体数据需要的计算量除以物理主机能提供的计算量，得到物理主机的第二负载率；提取物理主机的第二负载率中最高的数值；将再次配比单体数据库中的第一个单体数据发送至所述第二负载率中最高的数值对应的物理主机以进行计算处理；还包括：当物理主机的负载率大于预设负载率范围时，记录对应物理主机的工作时长；判断所述物理主机的工作时长是否大于预设时间阈值，若是，触发调整信息；根据所述调整信息对该物理主机进行调整。

全文数据：

权利要求：

百度查询： 北京宝联之星科技股份有限公司 一种云计算的原始大数据处理方法、系统和存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD