买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种基于牛顿共轭梯度法的深度学习网络架构_之江实验室_202010130876.3 

申请/专利权人:之江实验室

申请日:2020-02-28

公开(公告)日:2022-11-29

公开(公告)号:CN111476346B

主分类号:G06N3/04

分类号:G06N3/04;G06N3/08;G06V10/82;G06V40/16

优先权:

专利状态码:有效-授权

法律状态:2022.11.29#授权;2020.08.25#实质审查的生效;2020.07.31#公开

摘要:本发明公开了一种基于牛顿共轭梯度法的深度学习网络架构,本发明首先把神经网络的迭代运算看成是用简单拟牛顿法来求解一个优化问题的过程,然后把求解过程换成更精确的牛顿法,其Hessian矩阵的逆和梯度的乘积用若干步共轭梯度法来近似,最后把整个计算过程用网络结构表达出来,得到相应的深度神经网络。可应用于人工智能、计算机视觉等应用领域。采用本发明技术方案,从优化算法出发设计神经网络结构,能够改进传统的依靠经验、实验尝试搜索的设计方式,得到更高效的神经网络结构,从而节省大量的时间与计算资源。本发明用优化算法中的牛顿法来启发深度神经网络结构设计,可以得到性能优越的深度神经网络。

主权项:1.一种应用于人脸识别的基于牛顿共轭梯度法的深度学习网络方法,其特征在于,包括如下步骤:步骤1:采集人脸数据;通过摄像镜头来采集人脸的静态图像和动态图像;步骤2:建立人脸识别问题的目标函数,所述目标函数对应神经网络的损失函数;步骤3:选择用于识别的深度神经网络:将残差网络中的残差模块替换成牛顿共轭梯度模块,用于实现人脸特征提取和特征识别;所述牛顿共轭梯度模块通过以下步骤实现:3.1将第k个牛顿共轭梯度模块的输入xk作为初始节点y0:y0=xk3.2初始化迭代次数t=0;3.3当前节点yt经过卷积核Wt1进行卷积操作后,再进行dropout操作得到第一梯度支节点gt1:gt1=dropoutWt1yt其中,dropout操作用于随机丢弃部分节点;3.4对当前节点yt进行dropout操作后,再经过卷积核Wt2进行卷积操作得到第二梯度支节点gt2:gt2=Wt2dropoutyt3.5当前节点yt经过卷积核Wt3进行卷积操作后,进行dropout操作,再经过卷积核Wt4进行卷积操作得到第三梯度支节点gt3:gt3=Wt4dropoutWt3yt3.6对当前节点yt、步骤3.3得到的第一梯度支节点gt1、步骤3.4得到的第二梯度支节点gt2和步骤3.5得到的第三梯度支节点gt3求和,得到当前梯度节点gt:gt=yt+gt1+gt2+gt33.7根据步骤3.6得到的梯度节点gt得到共轭梯度节点dt: 其中,T为预设的迭代次数,βt-1是标量;3.8根据步骤3.7得到的共轭梯度节点dt更新节点:yt+1=yt+αtdt其中,αt是标量;3.9重复执行步骤3.3~3.8,每次迭代后更新t=t+1,直到经过T次迭代后得到节点yT;3.10通过下式得到第k个牛顿共轭梯度模块的输出,作为第k+1个牛顿共轭梯度模块的输入xk+1:xk+1=ReLUxk+yT其中,ReLU是激活函数;步骤4,对步骤1获取的人脸图像数据做预处理;步骤5,确定网络训练的超参数;步骤6,进行网络训练;利用步骤4预处理后的人脸图像数据,对步骤3得到的网络结构进行训练,直至损失函数的值趋近于收敛时停止训练;训练好的深度神经网络用于人脸识别,判断输入人脸图像的标签。

全文数据:

权利要求:

百度查询: 之江实验室 一种基于牛顿共轭梯度法的深度学习网络架构

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

相关技术
相关技术
相关技术
相关技术