申请/专利权人：有米科技股份有限公司

申请日：2022-09-13

公开（公告）日：2022-12-02

公开（公告）号：CN115205635B

主分类号：G06V10/774

分类号：G06V10/774;G06V20/70;G06F40/289

优先权：

专利状态码：有效-授权

法律状态：2022.12.02#授权;2022.11.04#实质审查的生效;2022.10.18#公开

摘要：本发明公开了图文语义对齐模型的弱监督自训练方法及装置，包括：将图文数据输入图文语义对齐模型，以使图文语义对齐模型对图文数据进行分析得到分析结果，图文数据包括原始图像中的前景目标和弱标注文本中的关键词，弱标注文本用于描述原始图像；当分析结果表示图文数据中包含无法预测相应匹配对象的未知前景目标和未知关键词时，根据由未知前景目标和未知关键词确定出的样本数据集，对图文语义对齐模型进行训练。可见，实施本发明能够根据图文语义对齐模型无法进行图文语义对齐的前景目标和关键词来对模型进行训练，降低了样本标注的工作量，且实现了图文语义对齐模型的弱监督自训练，提高了图文语义对齐模型进行图文语义对齐的准确性和灵活性。

主权项：1.一种图文语义对齐模型的弱监督自训练方法，其特征在于，所述方法包括：将预先确定出的图文数据输入图文语义对齐模型中，以使所述图文语义对齐模型对所述图文数据进行分析，得到所述图文数据的分析结果，其中，所述图文数据包括从原始图像中检测到的至少一个前景目标以及从所述原始图像对应的弱标注文本中提取到的至少一个关键词，所述弱标注文本用于描述所述原始图像的图像信息；当所述分析结果表示所述图文数据中包含所述图文语义对齐模型无法预测相应匹配对象的至少一个未知前景目标以及所述图文语义对齐模型无法预测相应匹配对象的至少一个未知关键词时，根据由所有所述未知前景目标以及所有所述未知关键词确定出的样本数据集，对所述图文语义对齐模型进行训练，以使所述图文语义对齐模型可对所述样本数据集中任意样本数据的匹配对象进行预测，其中，所述前景目标的匹配对象包括所述前景目标对应的文本标签，所述关键词的匹配对象包括所述关键词对应的图像；所述图文语义对齐模型对所述图文数据进行分析，得到所述图文数据的分析结果，包括：由所述图文语义对齐模型对每个所述前景目标的匹配对象进行预测，得到每个所述前景目标对应的预测结果，其中，所述预测结果包括用于表示预测成功的第一类预测结果或用于表示预测失败的第二类预测结果；由所述图文语义对齐模型根据所有所述前景目标中已知前景目标的数量，确定所有所述关键词中待预测相应匹配对象的目标关键词，并对每个所述目标关键词的匹配对象进行预测，得到每个所述目标关键词对应的预测结果，其中，所述已知前景目标包括对应的预测结果为所述第一类预测结果的前景目标；由所述图文语义对齐模型根据每个所述目标关键词对应的预测结果，确定所述图文数据的分析结果，其中，当所有所述前景目标中包括对应的预测结果为所述第二类预测结果的未知前景目标时，所述分析结果至少包括所有所述未知前景目标，当所有所述关键词中存在对应的预测结果为所述第二类预测结果的未知关键词时，所述分析结果至少包括所有所述未知关键词。

全文数据：

权利要求：

百度查询： 有米科技股份有限公司 图文语义对齐模型的弱监督自训练方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD