申请/专利权人:北京智源人工智能研究院
申请日:2023-12-07
公开(公告)日:2024-03-08
公开(公告)号:CN117671426A
主分类号:G06V10/774
分类号:G06V10/774;G06V10/26
优先权:
专利状态码:在审-实质审查的生效
法律状态:2024.03.26#实质审查的生效;2024.03.08#公开
摘要:一种基于概念蒸馏和CLIP的可提示分割模型预训练方法,可提示分割模型包括一体化的图像解码器、CLIP视觉编码器和CLIP文本编码器;方法包括:获取用于可提示分割模型预训练的图片‑掩码输入,并获得用于概念蒸馏的模板文本描述;将图片输入经过可提示分割初始模型ProTo的图像解码器进行第一视觉嵌入操作获得第一视觉嵌入;将图片输入经过CLIP视觉编码器进行第二视觉嵌入操作获得第二视觉嵌入;将模板文本描述经过CLIP文本编码器进行第三文本嵌入操作获得第三文本嵌入;基于分割损失Segloss与概念蒸馏损失KLloss的联合优化损失Lloss进行基于概念蒸馏和CLIP的可提示分割模型预训练;其中概念蒸馏损失KLloss与第一视觉嵌入、第二视觉嵌入和第三文本嵌入相关联。
主权项:1.一种基于概念蒸馏和CLIP的可提示分割模型预训练方法,其特征在于,所述可提示分割模型基于可提示分割初始模型ProTo预训练获得,所述可提示分割模型包括一体化的图像解码器、CLIP视觉编码器和CLIP文本编码器;所述方法包括:S1,获取用于可提示分割模型预训练的图片-掩码输入,并获得用于概念蒸馏的模板文本描述;S2,将所述图片输入经过可提示分割初始模型ProTo的图像解码器进行第一视觉嵌入操作获得第一视觉嵌入;S3,将所述图片输入经过CLIP视觉编码器进行第二视觉嵌入操作获得第二视觉嵌入;S4,将所述模板文本描述经过CLIP文本编码器进行第三文本嵌入操作获得第三文本嵌入;S5,基于分割损失Segloss与概念蒸馏损失KLloss的联合优化损失Lloss进行基于概念蒸馏和CLIP的可提示分割模型预训练;其中所述概念蒸馏损失KLloss与第一视觉嵌入、第二视觉嵌入和第三文本嵌入相关联。
全文数据:
权利要求:
百度查询: 北京智源人工智能研究院 基于概念蒸馏和CLIP的可提示分割模型预训练方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。