申请/专利权人：中国科学院空天信息创新研究院

申请日：2023-11-10

公开（公告）日：2024-03-22

公开（公告）号：CN117237822B

主分类号：G06V20/13

分类号：G06V20/13;G06V10/77;G06V10/80;G06V10/82;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2024.01.02#实质审查的生效;2023.12.15#公开

摘要：本发明提供一种面向基础模型终端部署的协同推理方法，涉及遥感图像处理领域，用于解决单个终端无法准确反映观测区域全局知识的问题，包括：构建分布式协同推理框架，包括多个卫星终端，每个卫星终端部署特征提取模型、协作图生成器、空间特征压缩模块及空间置信特征融合模块；将每个卫星终端观测的遥感图像分别输入对应的特征提取模型，得到特征图，将特征图输入协作图生成器，生成空间协作图；计算请求端的空间协作图与其他卫星终端的空间协作图之间的匹配度，将匹配度最高的卫星终端确定为协作端；根据协作端的空间协作图压缩协作端的特征图，并生成协作请求图；将压缩后的特征图和协作请求图传输至请求端与特征图融合；根据融合特征进行推理。

主权项：1.一种面向基础模型终端部署的协同推理方法，其特征在于，包括：构建分布式协同推理框架，所述分布式协同推理框架包括多个卫星终端，每个卫星终端部署有特征提取模型、协作图生成器、空间特征压缩模块以及空间置信特征融合模块；利用多个卫星终端对同一场景进行观测，得到多个遥感图像；将每个所述遥感图像分别输入对应的卫星终端的特征提取模型进行特征提取，得到所述遥感图像的特征图，将所述特征图输入协作图生成器，生成空间协作图，所述空间协作图反映了所述卫星终端的观测水平；从所述多个卫星终端中确定请求端，分别计算请求端的空间协作图与其他卫星终端的空间协作图之间的匹配度，将其他卫星终端中匹配度最高的卫星终端确定为协作端；根据所述协作端的空间协作图对协作端的特征图进行压缩，根据所述协作端的空间协作图生成协作请求图；将压缩后的特征图和所述协作请求图传输至所述请求端与所述请求端的特征图进行融合，得到融合特征；根据所述融合特征进行推理，得到图像检测结果；其中：所述分别计算请求端的空间协作图与其他卫星终端的空间协作图之间的匹配度包括：对所述请求端的空间协作图进行二值化；根据二值化后的空间协作图生成被协作请求，将所述被协作请求广播至其他终端；对于其他卫星终端中的每一个卫星终端，分别对所述被协作请求进行解析，得到请求端的空间协作图，并计算对应的空间协作图与请求端的空间协作图之间的匹配度；所述根据所述协作端的空间协作图对协作端的特征图进行压缩包括：将所述协作端的特征图和空间协作图输入所述协作端的空间特征压缩模块，对所述空间协作图和所述特征图进行矩阵元素级乘积操作，得到空间稀疏的特征图，所述空间稀疏的特征图包括目标置信度最高的区域；所述将压缩后的特征图和所述协作请求图传输至所述请求端与所述请求端的特征图进行融合，得到融合特征包括：将所述压缩后的特征图、所述协作请求图、所述请求端的特征图输入所述请求端的空间置信特征融合模块，以所述协作请求图为空间先验信息，对压缩后的特征图与所述请求端的特征图进行逐位置融合，得到所述融合特征；所述以所述协作请求图为空间先验信息，对压缩后的特征图与所述请求端的特征图进行逐位置融合，得到所述融合特征包括：对所述协作请求图进行解码，得到所述协作端的空间协作图；以协作端的空间协作图作为特征融合过程中的空间先验信息，采用多头注意力机制对压缩后的特征图与所述请求端的特征图进行逐位置融合。

全文数据：

权利要求：

百度查询： 中国科学院空天信息创新研究院 面向基础模型终端部署的协同推理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD