申请/专利权人：湖北工业大学

申请日：2022-05-26

公开（公告）日：2024-04-16

公开（公告）号：CN115019039B

主分类号：G06V10/26

分类号：G06V10/26;G06N3/0464;G06N3/0895;G06V10/764;G06V10/774;G06V10/80;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.09.23#实质审查的生效;2022.09.06#公开

摘要：本发明公开了一种结合自监督和全局信息增强的实例分割方法及系统，其中的构建方法首先通过基于ResNet网络和FPN模块的特征提取网络来得到特征金字塔以及进行特征图融合；然后采用基于Fastformer的全局信息增强网络来对特征图进行像素之间的交互关系进行建模，提取全局信息；接着通过预测网络进行实例分割，其中，类别预测网络用于对感兴趣的实例进行多标签分类，掩码预测网络用于对实例所在区域进行像素值分类，生成实例掩码；此外还加入了一个自监督学习网络，用于对图中实例之间进行对比学习，加强模型对图片的理解能力以增强泛化性。本发明的方法能够解决对遮挡以及不完整物体检测性能不高的问题，同时加强模型的泛化能力，提高在噪声较多的场景中的分割性能。

主权项：1.一种结合自监督和全局信息增强的实例分割方法，其特征在于，包括：步骤S1：建立实例分割模型；所述实例分割模型包括特征提取网络、全局信息增强网络、自监督学习网络、类别预测网络和掩码预测网络；所述特征提取网络包括ResNet网络和FPN网络，ResNet用于通过叠加多个卷积层、Relu层和normalization层以及残差连接，得到图片金字塔；FPN用于结合特征金字塔中上层特征图丰富的语义信息和下层特征图精确的位置信息，进行特征融合；所述全局信息增强网络由Fastformer模块构成，用于对特征图中每一像素点之间的交互关系进行建模，提取上下文信息，增强对特征图的全局信息提取能力；所述自监督学习网络，用于对图片中的实例进行自监督对比学习，加强对图片的理解能力，增强模型泛化能力；所述类别预测网络，用于对感兴趣的实例进行多标签分类，得到每一实例的对应类别；所述掩码预测网络，用于对选取的实例区域中的像素点进行二分类，区分前景和背景，生成实例的掩码；步骤S2：实例分割模型训练；输入选取的训练数据集，包括图片数据和对应的标签文件；首先提取特征图，再进行特征图融合；然后增强全局信息，输入到head网络进行预测，得出损失函数，通过损失函数进行反向传播来优化模型训练的方向；步骤S3：实例分割首先将图片分成S×S个网络，每个网格负责预测中心点落在该位置的实例；即以该网格为中心，预测对应实例的类别和掩码。

全文数据：

权利要求：

百度查询： 湖北工业大学 一种结合自监督和全局信息增强的实例分割方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD