申请/专利权人：北京工业大学

申请日：2021-02-10

公开（公告）日：2024-02-27

公开（公告）号：CN112926727B

主分类号：G06N3/048

分类号：G06N3/048;G06N3/0499;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.02.27#授权;2021.06.25#实质审查的生效;2021.06.08#公开

摘要：一种单隐层ReLU神经网络局部极小值求解方法，属于深度学习理论领域，用于解决ReLU神经网络优化的不确定性的问题，包括构建单隐层ReLU神经网络；利用输入样本和ReLU激活函数的特性进行权值空间区域度划分，并计算每个区域权值和每个样本的点积是否大于0；根据每个区域的权值和样本点积的情况计算每个区域的局部极小值；根据局部极小值的解的情况判断局部极小值的真实性，对于唯一的局部极小值可以直接判断是否与初始化定义区域内的任何点都在每个输入样本的同一侧，对于连续的解可以判断这个连续的解是否在它所定义的区间内，判定的方法是求半平面的交是否为空，对于半平面求交的问题可以转化成凸包问题方便求解。

主权项：1.一种单隐层ReLU神经网络局部极小值的求解方法，其特征在于：1、网络的构建：使用的网络是单隐层ReLU神经网络，具有K个具有ReLU激活的隐藏神经元，d个输入神经元和2个输出神经元，损失函数采用的是平方损失函数，所以这个单隐层ReLU神经网络的损失函数为： 其中Lz,w为整个模型的损失函数,z＝{zk,k∈{1,2,3,…,K}},w＝{wk,k∈{1,2,3,…K}},[wj·xi]+＝max0,wj·xi为ReLU函数，zj为隐藏层到输出层之间的权值，j∈{1,2,3,…,K}，wi为输入层到隐藏层之间的权值,i∈{1,2,3,…,K}，N为输入样本个数，K为神经元个数,xi为第i个样本,yi为第i个样本的标签；2、权值空间区域划分：将权值空间划分为若干个凸的子单元，首先计算出每个子单元中Iij的值，Iij的值由wj·xi决定，若wj·xi＞0，Iij＝1否则Iij＝0，由于每个子单元都是凸的，在每个子单元中Iij的值都是恒定的，不会随着wj在本区域内的移动而改变，因此损失函数在每个子区域内是可微的；但是当wj从本区域移动到另一个相邻的区域内时，Iij的值将不再是恒定的；由于每个子单元都是凸的，所以损失函数在每个子单元内的局部极小值就是在这个子单元内的全局极小值；随机选取某个子单元内的wj的值用来计算Iij的值，这个值代表此子单元的Iij的值；3、局部极小值位置的计算：采用的损失函数是平方损失，令Rj＝zjwj，那么对神经网络的损失函数来说，各个区域内的局部极小值的解为： 其中R*为损失函数在本区域的局部极小值解，Iij的值由wj·xi决定，若wj·xi＞0，Iij＝1否则Iij＝0，wj为输入层到隐层的第j个权值,Rj＝zj·wj，zj为隐层神经元到输出神经元之间的第j个权值，xi为第i个样本，yi为第i个样本的标签；其中重写为：AR＝y,其中该问题的一般解用A矩阵的Moore-Penrose逆表示： *＝A+y+I-A+Ac其中R*表示损失函数局部极小值的解，A+表示A矩阵的Moore-Penrose逆，c∈RKd是一个任意的向量,其中R为实数集合，K表示的是隐藏神经元的个数，d表示的是输入神经元的个数，I为单位矩阵，根据A矩阵的不同情况，解R*可能是唯一的也有可能是一段连续的无限个解，对于这两种情况在步骤4中都将给出验证是否为真实局部极小值的方法；4、局部极小值真实性的验证：由于ReLU激活函数的特性，导致第3步计算出来的局部极小值有可能不会落在初始化的子区域内，这种局部极小值是虚假的局部极小值，没有实际意义，因此需要验证步骤3所求得的局部极小值是否为真正的局部极小值，验证局部极小值是否真实的的关键就是要验证所求得的局部极小值是否在它初始化定义的区间内，对于唯一的局部极小值解来说，若解存在，则w*应该位于其初始化定义的区域内，其中w*为模型的输入层到隐层神经元的权值的解，即w*与它初始化定义区域内的任何点都在每个输入样本的同一侧，只需判断是否成立即可,其中i∈{1,2,3,…N},j∈{1,2,3,…,K}，为本区域的局部极小值第j个权值的解，xi为第i个样本，Iij的值由wj·xi决定，若wj·xi＞0，Iij＝1否则Iij＝0，对于R*是连续的情况，其中R*为损失函数局部极小值的解，需要判断这些连续的解是否在其定义划分区域内，将代入到上式中得到： 其中第i个样本向量的转置，A+为A矩阵的Moore-Penrose逆矩阵，y为样本的标签，I为单位矩阵，c∈RKd是一个任意的向量；这个式子是关于c的一些半平面，若所有这些半平面的交集若为非空，则代表指定划分区域中的可微局部极小值存在；反之，如果所有半平面的交集若为空，则指定划分区域中的可微局部极小值不存在；5、使用凸包验证无限解的局部极小值的真实性：点集的上凸包与对偶平面中的直线集的下包络是完全相对应的，半平面求交集的问题对偶转换成凸包问题进行求解。

全文数据：

权利要求：

百度查询： 北京工业大学 一种单隐层ReLU神经网络局部极小值的求解方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD