申请/专利权人：中国科学院上海微系统与信息技术研究所

申请日：2020-09-21

公开（公告）日：2024-03-15

公开（公告）号：CN112085122B

主分类号：G06V20/70

分类号：G06V20/70;G06V10/25;G06V10/26;G06V10/774;G06F18/22;G06F16/36

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2021.01.01#实质审查的生效;2020.12.15#公开

摘要：本发明提供一种基于本体的半监督图像场景语义深化方法，包括：检测出图像中的实体，所述实体包括目标实体；得到目标实体的场景信息，该场景信息至少包括目标实体的组成部分；将场景信息与实体本体库中的下位词进行匹配，并根据匹配结果对目标实体进行重命名，从而实现对目标实体的类别的语义深化。使用本发明的方法能够在不提供新的细分类图像数据集的情况下将场景中检测到的实例类别进一步细化，达到深化场景语义描述的效果，同时对于关联谓词检测任务，可以消除不合逻辑的关联谓词，判定从属实体的归属，从而提高谓词检测精度。

主权项：1.一种基于本体的半监督图像场景语义深化方法，其特征在于，包括：步骤S1，检测出图像中的实体，所述实体包括目标实体；步骤S2，得到目标实体的场景信息，所述场景信息至少包括目标实体的组成部分；步骤S3，将步骤S2的场景信息与实体本体库中的下位词进行匹配，并根据匹配结果对目标实体进行重命名，从而实现对目标实体的类别的语义深化；所述步骤S2包括：步骤S21，针对步骤S1所检测到的实体，采用场景理解模型检测实体之间的关系，生成关系三元组；步骤S22，优化关系信息，去除误匹配关系，得到优化的每个目标实体的场景信息；在所述步骤S22中，采用实例分割模型对图像进行实例分割，实现在像素级识别实体轮廓的任务，得到实例分割结果，利用实例分割结果消除实体间的误匹配关系，由此得到优化后的目标实体的场景信息；所述步骤S22包括：步骤S221，采用实例分割模型对图像进行实例分割，实现在像素级识别实体轮廓的任务，得到实例分割结果；步骤S222，根据实例分割结果在步骤S21得到的关系三元组中过滤出待分析的关系三元组，得到具有作为主实体的目标实体和其从属实体的关系三元组，关系三元组的主实体与实例分割结果中的实体的类型相同；步骤S223，将所述步骤S21得到的各个关系三元组中的从属实体的检测框分别放入实例分割结果中，计算实例分割结果中每个同种类型的主实体在所述从属实体的检测框中的像素占比，从中选取最大的像素占比并判断其是否大于一阈值，若最大的像素占比大于一阈值，则认定所述从属实体归属于实例分割结果中最大像素占比所对应的主实体；否则，认定所述从属实体不属于任何主实体；步骤S224，将实例分割结果中最大像素占比所对应的主实体的检测框与所述从属实体在其关系三元组中的主实体的检测框通过计算交并比来进行匹配，若匹配成功则认定从属实体为其关系三元组中的主实体的组成部分；步骤S225，根据步骤S224中的结果，去除所述组成部分与其关系三元组中的主实体之外的其他主实体间的关系，得到筛选后的关系三元组；所述步骤S22还包括：步骤S226，根据谓词的种类，从步骤S225中的筛选后的关系三元组中提取出与主实体有关的环境信息；且所述场景信息还包括与目标实体有关的环境信息。

全文数据：

权利要求：

百度查询： 中国科学院上海微系统与信息技术研究所 一种基于本体的半监督图像场景语义深化方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD