申请/专利权人：四川大学;成都巽慧科技有限公司

申请日：2023-10-07

公开（公告）日：2023-12-26

公开（公告）号：CN117292230A

主分类号：G06V10/80

分类号：G06V10/80;G06V20/10;G06V10/40;G06V10/74;G06V10/774;G06V20/17;G06V10/82;G06V10/764;G06N3/042;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.01.12#实质审查的生效;2023.12.26#公开

摘要：本发明公开了一种基于多模态大模型的建筑物震害损伤智能评估方法，属于地震工程技术领域；包括以下步骤：采集损伤图片构建多模态震害评估数据集；构建多模态震害评估大模型，并使用图像‑文本对比损失函数进行优化，通过多模态编码器输出一个新的多模态向量表示；采用数据集对多模态震害评估大模型进行训练，将训练完毕的多模态震害评估大模型算法集成无人机或巡检车；对地震受灾现场的各栋建筑物进行实时震害评估，生成区域性建筑灾损评估报告。本发明提出的评估方法通过综合利用多模式损伤图片和损伤语言描述的多种信息源，结合深度学习技术，实现更专业与准确地评估建筑物损伤程度判断的功能，可以为地震灾害应急救援工作提供重要的技术支持。

主权项：1.基于多模态大模型的建筑物震害损伤智能评估方法，其特征在于：包括以下步骤：S1、采集建筑的地震损伤图片构建数据集：通过网络爬虫、现场调查、灾后影像和勘察报告中包含的不同地区、不同建筑物类型和不同震级下的损伤图片，将采集到的损伤图片调整为同一尺寸，并按照“建筑物地震破坏等级划分标准”对所有采集的损伤图片进行文本描述的标注，构建多模态震害评估数据集；S2、多模态震害评估大模型的构建：S21、由两个图像编码器和两个文本编码器共同构建组成多模态震害评估大模型，四个编码器对应的输入分别为热成像图像、RGB震害损伤图片、损伤文本信息描述和激光雷达数据，每个编码器内部均利用自注意力机制和前向传播逐步提取和编码不同模态数据的特征，并经过每个编码器的处理获得相应输入数据的固定长度特征表示，固定长度特征表示包含了不同模态数据之间的关联性和重要特征，并在相邻两个编码器之间进行参数共享；S22、根据图像-文本对比损失函数的最小化目标对多模态特征进行优化，图像-文本对比损失函数用于衡量图像和文本之间的相似性或相关性，由三部分组成：图像-文本匹配损失，用于衡量图像与其对应文本描述之间的匹配程度；文本生成损失，用于衡量模型生成的文本描述与真实文本描述之间的相似度；损伤信息分类损失，用于衡量模型预测的损伤信息与真实损伤信息之间的准确度；S23、由自注意力机制、前向传播、多头自注意力机制和多头跨模态注意力机制构建多模态编码器，并输出一个新的多模态向量表示，每个向量包含了视觉、文本和位置信息的融合；S3、训练多模态震害评估大模型：在步骤S1中多模态震害评估数据集准备和步骤S2中多模态震害评估大模型构建完成的基础上进行模型训练，获取模型的训练权重，训练过程包括预训练和微调两阶段，预训练阶段中采用通过互联网爬取的大规模建筑损伤图片和损伤现象对应的文字描述的数据集来训练模型对图片特征的通用理解，微调阶段中采用步骤S1中挑选的更为精细的数据集来提高模型的精确性和泛化能力；在实际应用中，多模态震害评估大模型通过加载预训练权重，在给定现场实时采集建筑损伤图片后，提供各种场景下损伤类别划分、损伤等级评估、震后修复加固的指导性意见；S4、多模态震害评估大模型算法集成于无人机或巡检车：将步骤S3中加载预训练权重的多模态震害评估大模型集成到无人机或巡检车系统，在实际受灾场景下，集成多模态大模型的巡检车或无人机装备将实时拍摄震害现场的图片，记录每张图片地理位置信息，通过多模态震害评估大模型对拍摄建筑进行震害分析；S5、评估目标受灾区域内各建筑震害：在面向区域性建筑群进行震害勘察时，集成多模态震害评估大模型的无人机或巡检车将提前规划路线，确定要扫描的目标区域内各建筑的访问顺序；使用无人机或巡检车搭载的相机、热成像仪和激光雷达设备，收集灾区各建筑的图像、温度和几何尺寸数据；将收集到的灾区建筑震害图像数据输入到步骤S2和S3中构建和训练完成的多模态震害评估大模型中，进行视觉特征提取、文本编码、多模态编码和损失函数优化的操作，评估各个建筑物的震害程度；S6、生成受灾的目标区域内各建筑地震损伤评估报告：根据步骤S5中集成多模态震害评估大模型的无人机和巡检车系统获取的各建筑震害评估结果，利用图神经网络模型对给定地理位置邻近地区中类似建筑物的损坏情况进行评估，对目标受灾区域进行网格划分，每个网格进行损伤等级划分，并计算出每个网格的地震经济损失，根据损伤等级、损失金额指标，对灾区进行总体评估，整理成带有地理位置信息的规范性震害评估报告，分析结果将实时传输到本地界面，并在地图上显示详细的地震损伤与损失分布。

全文数据：

权利要求：

百度查询： 四川大学;成都巽慧科技有限公司 基于多模态大模型的建筑物震害损伤智能评估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD