申请/专利权人：国网浙江省电力有限公司舟山供电公司

申请日：2023-12-29

公开（公告）日：2024-04-12

公开（公告）号：CN117520924B

主分类号：G06F18/241

分类号：G06F18/241;G06N3/0464;G06F18/25;G06F18/27;G06F18/22;G06N3/084;G06V10/75;G06Q50/06

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明公开了一种基于多模态数据的海岛光伏运维故障原因分析方法及系统，涉及光伏智能运维领域。目前，海岛光伏运维故障原因分析准确性不太理想。本发明包括内容：获取光伏电站图像运维和文本运维数据；校验运维数据；将图像和文本数据进行配对；将图像数据和文本数据输入对应输入单模态编码器中，两单模态编码器编码形成特征向量；通过交叉注意力机制融合不同光伏电站数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵，并进行拼接；故障分类计算；计算得到热力图；根据分类结果和相关特征，生成解释性的文本描述故障原因。本技术方案可以更全面、准确地了解光伏系统的故障原因，提高故障原因分析的准确性，以更好地解决故障问题。

主权项：1.一种基于多模态数据的海岛光伏运维故障原因分析方法，其特征在于包括以下内容：1）获取光伏电站正常和具有缺陷的图像运维数据，图像运维数据包括光伏电池板、逆变器、电网设备的照片或监控摄像头捕捉的图像；2）获取光伏电站文本运维数据，文本运维数据包括设备的技术规格、维护记录、故障报告、运维日志；3）校验运维数据，以确保获取的图像和文本数据的质量和准确性；对于图像数据，校验其分辨率和清晰度；对于文本数据，校验其信息的完整性；4）将图像和文本数据进行配对，以建立图像和文本之间的关联；5）将图像数据输入基于残差网络的单模态编码器中，将文本数据输入基于word2vec的单模态编码器中，两单模态编码器对应编码图像和文本数据形成特征向量；6）通过交叉注意力机制融合光伏电站不同数据模态的特征向量，得到加权后的图像和文本的特征表示矩阵；7）将加权后的图像和文本的特征表示矩阵进行拼接，形成融合后的特征；8）故障分类计算，使用训练后的基于卷积神经网络的故障分类网络对融合后的特征进行计算，经非线性变换后，进行归一化，得到表示各个类别故障概率的输出；9）基于故障分类网络对故障原因进行可视化解释，得到热力图；10）根据分类结果和相关特征，生成解释性的文本描述故障原因；通过构建的交叉注意力机制来融合不同模态的特征包括步骤：601）将图像数据和文本数据的特征表示分别作为输入矩阵XA和XB；602）计算图像模态A的每个位置i与文本模态B的每个位置j之间的相似度得分sij；603）通过对相似度得分sij进行归一化，计算图像模态A位置i对文本模态B的注意力权重aij；604）根据注意力权重aij对文本模态B的输入矩阵XB进行加权求和，得到交叉注意力机制的输出YB；同样地，计算文本模态B位置j对图像模态A的注意力权重bji，根据注意力权重bji对图像模态A的输入矩阵XA进行加权求和，得到交叉注意力机制的输出YA；基于故障分类网络对故障原因进行可视化解释而得到热力图包括步骤：901）获取故障分类网络的最后一个输出特征图，假设大小为H×W，902）计算预测结果对于特征图上每个位置的梯度，使用反向传播算法得到梯度，其中Aij表示特征图上位置i,j的特征向量；计算每个位置的重要性权重，通过对梯度进行全局平均池化得到权重向量，其中；将权重向量与特征图进行加权求和，得到加权特征图G，其中；对加权特征图进行归一化，并将其映射到原始图像的尺寸上，得到热力图；通过热力图可视化故障分类网络对于不同特征的关注程度，从而进行故障原因分析；根据分类结果和相关特征生成解释性的文本描述故障原因包括步骤：1001）根据模型的分类结果和相关特征，确定故障原因的具体特征；通过对分类结果和相关特征的分析，得到故障原因的主要因素；1002）利用语言模型生成描述故障原因的文本；通过训练好的统计模型，学习故障原因描述的概率分布。

全文数据：

权利要求：

百度查询： 国网浙江省电力有限公司舟山供电公司 基于多模态数据的海岛光伏运维故障原因分析方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD