【发明公布】视觉问答系统中图像特征模块端到端训练方法及应用_同济大学_202010563278.5 

申请/专利权人:同济大学

申请日:2020-06-19

发明/设计人:王瀚漓;龙宇

公开(公告)日:2020-10-23

代理机构:上海科盛知识产权代理有限公司

公开(公告)号:CN111814843A

代理人:翁惠瑜

主分类号:G06K9/62(20060101)

地址:200092 上海市杨浦区四平路1239号

分类号:G06K9/62(20060101);G06N3/04(20060101);G06F16/332(20190101)

优先权:["20200323 CN 202010209991X"]

专利状态码:在审-公开

法律状态:2020.10.23#公开

摘要:本发明涉及一种视觉问答系统中图像特征模块端到端训练方法及应用,所述训练方法包括:获取视觉问答模型的初始模型参数;获取训练图像和对应的训练文本序列;对所述训练图像进行图像特征抽取,并对所述训练文本序列进行文本特征提取;对所述图像特征和文本特征进行特征融合,生成融合特征,基于所述融合特征生成输出答案;基于所述输出答案与所述训练图像的初始答案计算答案误差;在所述视觉问答模型的其他部分优化方法不变的前提下,基于所述答案误差以一阶优化方法对所述图像特征模块进行参数调整。与现有技术相比,本发明具有效果显著、实现简单等优点。

主权项:1.一种视觉问答系统中图像特征模块端到端训练方法,所述视觉问答系统基于视觉问答模型实现,所述视觉问答模型包括图像特征模块、时序神经网络、融合推理模块和答案生成模块,其特征在于,所述训练方法包括:获取视觉问答模型的初始模型参数;获取训练图像和对应的训练文本序列;对所述训练图像进行图像特征抽取,并对所述训练文本序列进行文本特征提取;对所述图像特征和文本特征进行特征融合,生成融合特征,基于所述融合特征生成输出答案;基于所述输出答案与所述训练图像的初始答案计算答案误差;在所述视觉问答模型的其他部分优化方法不变的前提下,基于所述答案误差以一阶优化方法对所述图像特征模块进行参数调整。

全文数据:

权利要求:

百度查询: 同济大学 视觉问答系统中图像特征模块端到端训练方法及应用