申请/专利权人：西安韵通网络科技有限公司

申请日：2023-05-18

公开（公告）日：2024-04-02

公开（公告）号：CN116578761B

主分类号：G06F16/951

分类号：G06F16/951;G06F18/15;G06F18/2433;G06F18/213;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.03.26#专利申请权的转移;2023.08.29#实质审查的生效;2023.08.11#公开

摘要：本发明涉及数据处理技术领域，具体地说，涉及基于深度学习的大数据智能分析方法。其包括以下步骤：通过大数据采集模块获取原始数据，并进行预处理，利用深度学习模型获取数据特征，并采用特征选择算法选取各种类型的特征向量进行组合，得到预测结果，基于注意力机制的深度学习网络架构上，利用堆叠自编码器模型进行数据训练和分类，采用数据压缩算法进行数据分析，将数据采用多种可视化方式来展示分析结果。本发明对各个环节都进行了全面覆盖，为结果的客观性提高了保障，还采用了数据压缩算法等优秀的数据处理工具，为数据分析的高效性提供了保障，最终的结果呈现得更加清晰，直观，实用性得到了进一步提高。

主权项：1.基于深度学习的大数据智能分析方法，其特征在于，包括以下步骤：S1、通过大数据采集模块获取原始数据，采用大数据预处理算法在缺失值、异常值和噪声情况下对原始数据进行准确预处理；S2、利用深度学习模型获取数据特征，并采用特征选择算法选取各种类型的特征向量进行组合，得到预测结果；S3、基于注意力机制的深度学习网络架构上，利用堆叠自编码器模型进行数据训练和分类；S4、采用数据压缩算法进行数据分析，将数据采用多种可视化方式来展示分析结果；所述S2中深度学习模型在特征提取过程使用卷积神经网络模型进行数据分析，并提取特征；所述卷积神经网络模型进行数据分析，并提取特征包括以下步骤：提取所述大数据预处理算法预处理后的原始数据；定义CNN模型；模型训练；使用训练好的CNN模型对数据进行特征提取；所述S2中的特征选择算法中，特征选择的过程包括以下两个步骤：从每一类特征中，选取最相关的特征，构成新的特征向量；通过学习器对选出的新特征向量进行分类；所述S3中的注意力机制的深度学习网络架构，通过以下算法实现：设输入的特征为{C*H*W}，其中C表示通道数，H和W分别表示特征图的高和宽，假设有K个注意力头，每个头需要输出不同的权重，每个头的权重定义为{K*C}，输入为x，经过K个不同的卷积操作和对应的权重得到K个注意力变换结果，即：{D*H*W}=Convx，wj,j=1,2,...,K其中，D表示每个头的输出深度，设置为CK，将这K个输出进行拼接得到加权的特征表示：ConcatV1，V2，...，VK={D1*H*W}其中，D1=D*K，将加权的特征送入后续的层进行训练，表达式为：alpha{i,j}=e（i，j）所有权重分数的总和e（i，j）=f（hi，hj）其中，alpha{i,j}表示注意力机制中第i行第j列的注意力权重，e（i，j）是注意力得分矩阵中第i行第j列的元素，f（hi，hj）表示通过输入序列中位置i的特征向量和位置j的特征向量的加权求和；所述S3中堆叠自编码器模型包括以下步骤：根据数据加权的特征按照比例分为训练集、验证集和测试集；构建多个自编码器，包括输入层、编码层和解码层，使用无监督的方式进行特征学习；将多个自编码器形成一个深层神经网络模型；使用训练数据集进行模型训练，在训练过程中使用自适应学习率的优化算法和正则化方法避免过拟合；使用训练好的堆叠自编码器模型对数据进行特征提取，构建分类模型；使用验证集合测试集对分类模型进行验证，选择合适的模型以及参数，使用训练好的模型对新数据进行预测。

全文数据：

权利要求：

百度查询： 西安韵通网络科技有限公司 基于深度学习的大数据智能分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD