申请/专利权人：山东科技大学

申请日：2024-01-18

公开（公告）日：2024-04-09

公开（公告）号：CN117591578B

主分类号：G06F16/2458

分类号：G06F16/2458;G06F16/26;G06F16/215;G06F16/951;G06F16/182;G06F21/62;G06V20/40;G06V10/26

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2024.03.12#实质审查的生效;2024.02.23#公开

摘要：本发明公开了一种基于大数据的数据挖掘系统及其挖掘方法，属于大数据技术领域。为解决数据抓取类型有限以及数据利用率低的问题，数据采集单元对基本数据、图像数据和视频数据文件进行采集和抓取，文本读取模块、图像处理模块和视频处理模块可以有效的对多种格式的数据文件进行处理，从而可以更加全面的对多元格式的数据进行分类和挖掘操作，提高数据挖掘效果，数据挖掘单元提取抓取数据集的关键字节进行校验并对异常数据进行剔除，通过对关键字节进行校验，可以有效的对抓取数据集内的数据进行校验筛选，有效的降低了数据挖掘的成本和难度，能够全面系统的进行挖掘、存储和利用，形成一个统一的系统针对性进行数据利用，提高数据利用率。

主权项：1.一种基于大数据的数据挖掘系统，其特征在于，包括：数据采集单元，用于：对基本数据、图像数据和视频数据文件进行采集并生成基础数据文件，对基本数据的文本信息进行信息读取得到关键词集合，对图像数据文件进行文字信息及图片特征提取，并对基本数据中的关键词集合以及图像数据文件中的文字信息及图片特征进行抓取，并生成抓取数据集；数据存储单元，用于：与云平台交互，对基本数据中的关键词集合、图像数据文件中的文字信息及图片特征以及视频数据文件中的关键区域进行数据集分布式存储及加密，同时基于云平台中通过网络对数据进行共享；数据挖掘单元，用于：提取抓取数据集的关键字节进行校验并对异常数据进行剔除，生成去异数据，基于去异数据对基础数据文件进行数据清洗并生成确定数据集；数据反馈单元，用于：对云平台进行数据检索和检索结果显示及提醒；云平台，用于：通过云端储存和编辑后，将分类信息输送至数据存储单元，并将反馈信息回传；用户终端，用于：用于对数据采集单元、数据存储单元、数据挖掘单元和数据反馈单元进行储存、运行和实施，包括不少于一个登录端及不少于一个控制终端，当控制终端工作时，运行数据采集单元、数据存储单元、数据挖掘单元和数据反馈单元并实现基于大数据的数据挖掘系统，登录端通过互联网连接到控制终端、云平台和服务器；所述数据采集单元包括：文件采集模块，用于：对基本数据、图像数据和视频数据文件进行采集，并基于基本数据、图像数据和视频数据文件生成基础数据文件；文本读取模块，用于：对基本数据的文本信息进行信息读取，对文本信息进行信息分割并得到文本信息中的若干个提取词语，根据词性统计特征对提取词语进行清洗，得到关键词集合；图像处理模块，用于：对图像数据文件进行文字信息及图片特征提取，对图像数据文件创建关联戳，获取每一个图像数据文件的关联戳，每一个图像数据文件的关联戳为全局唯一关联戳，对每一个图像数据文件所提取出的文字信息及图片特征进行关联戳关联；视频处理模块，用于：对视频数据文件进行视频关键段截取，对视频关键段进行分帧处理，得到若干帧视频图像，确定每个视频图像中的关键区域，每个视频图像中包括一个关键区域；信息抓取模块，用于：对基本数据中的关键词集合、图像数据文件中的文字信息及图片特征以及视频数据文件中的关键区域进行抓取，并基于所抓取的数据生成抓取数据集；所述视频处理模块确定每个视频图像中的关键区域时结合得到的若干帧视频图像进行确定，包括：针对视频图像进行图像识别，识别视频图像中出现的成像情况，得到图像识别结果；根据图像识别结果针对视频图像进行分割，将视频图像分成多个区域；结合相邻帧视频图像针对视频图像通过如下公式进行分析： ， ，上述公式中，表示第块区域的分析数据值，表示符号函数，表示第帧视频图像的第块区域中第个特征点的图像信息，表示第帧视频图像的第块区域中第个特征点的图像信息，表示第帧视频图像的第块区域中第个特征点的图像信息，表示第帧视频图像的第块区域中特征点的数目，表示第帧视频图像的第块区域中特征点的数目，表示第帧视频图像的第块区域中特征点的数目，表示视频图像的总帧数，表示第块区域的分析结果，当时，表示第块区域用于构成关键区域，当时，表示第块区域不用于构成关键区域；参照分析结果将用于构成关键区域的区域结合在一起形成视频图像的关键区域。

全文数据：

权利要求：

百度查询： 山东科技大学 一种基于大数据的数据挖掘系统及其挖掘方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD