申请/专利权人：长江水上交通监测与应急处置中心

申请日：2023-08-24

公开（公告）日：2024-04-02

公开（公告）号：CN117351257B

主分类号：G06V10/764

分类号：G06V10/764;G06V20/40;G06F16/35;G06V10/42;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.01.23#实质审查的生效;2024.01.05#公开

摘要：本发明公开一种基于多模态信息的航运数据抽取方法及系统，该方法包括：获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取。

主权项：1.一种基于多模态信息的航运数据抽取方法，其特征在于，包括：获取航运数据的样本，所述样本包括：航运结构化数据、航运图像数据和航运视频数据，对所述航运结构化数据、所述航运图像数据和所述航运视频数据分别进行预处理，生成预处理后的航运结构化数据、预处理后的航运图像数据和预处理后的航运视频数据；分别提取预处理后的航运结构化数据的航运结构化数据特征、预处理后的航运图像数据的航运图像特征和预处理后的航运视频数据的航运视频数据特征，设置多模态关联性模型，计算所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征之间的关联性度量，根据所述关联性度量，将所述航运结构化数据特征、所述航运图像特征和所述航运视频数据特征进行特征融合，对融合后的特征进行特征抽取，其中，所述多模态关联性模型包括：C＝WTI*KT，I+WTA*KT，A+WIA*KI，A其中，C为关联性度量，WTI为航运结构化数据特征T和航运图像特征I的关联权重，KT，I为计算航运结构化数据特征T和航运图像特征I相似度的核函数，WTA为航运结构化数据特征T和航运视频数据特征A的关联权重，KT，A为计算航运结构化数据特征T和航运视频数据特征A相似度的核函数，WIA为航运图像特征I和航运视频数据特征A的关联权重，KI，A为计算航运图像特征I和航运视频数据特征A相似度的核函数。

全文数据：

权利要求：

百度查询： 长江水上交通监测与应急处置中心 一种基于多模态信息的航运数据抽取方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD