申请/专利权人：电子科技大学

申请日：2018-02-28

公开（公告）日：2021-06-08

公开（公告）号：CN108268872B

主分类号：G06K9/46(20060101)

分类号：G06K9/46(20060101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.06.08#授权;2018.08.03#实质审查的生效;2018.07.10#公开

摘要：本发明涉及图像识别领域，具体为一种基于增量学习的鲁棒非负矩阵分解方法。本发明在传统鲁棒非负矩阵分解方法基础之上，提出了一种通用的具有增量性质的鲁棒非负矩阵分解方法，并应用于图像识别特征提取。作为一种增量非负矩阵分解方法，IRNMF在保有增量性质，使得图像识别具有自主更新的能力，避免重复训练，提高了识别效率的同时，其时间代价仅为传统INMF特征提取时间的53.7％。同时，作为一种特征提取方法，IRNMF较之于INMF、NMF等传统特征提取方法，其特征提取结果更具稳定性。

主权项：1.一种基于增量学习的鲁棒非负矩阵分解方法，其特征在于，包括以下步骤：步骤1、对现有的图像样本训练数据进行RNMF初始化，得到初始的投影矩阵W、编码矩阵H以及对角元素矩阵D；具体为：在RNMF中，对于一个样本矩阵V∈Rm×n，每一列代表一个具有m个像素点的训练样本，共计n个训练样本，将其分解为基矩阵W∈Rm×r、编码矩阵H∈Rr×n，并得到对角元素矩阵D∈Rr×r，即：Vmn＝WmrHrnD＝diagD11,...,Dii,...,Drr其中W≥0,H≥0,r代表降维后的维度，Dii为对角元素矩阵的对角元素，即： RNMF的目标函数定义为： ||·||2，1代表一种新定义的2-1范数形式，采用梯度下降法，得到RNMF迭代规则为： 其中，i＝1,…,m,j＝1,…,n；按迭代式所示，迭代至收敛即得到初始的投影矩阵的每一个元素Wmr、编码矩阵的每一个元素Hrm，从而计算得出对角元素矩阵D；步骤2、当新的训练样本加入模型训练时，通过新样本信息实现增量学习的鲁棒非负矩阵分解算法的计算，完成对编码矩阵H的局部更新、对角矩阵D的局部更新以及投影矩阵W的全局更新以实现增量学习；当新加入一个训练样本vk+1，即训练样本数目为k+1时，其代价函数为： 可知： 其中，Fk+1代表k+1个训练样本的代价函数，Wk+1代表k+1个训练样本的投影矩阵，Hk+1代表k+1个训练样本的编码矩阵，hk+1为H的第k+1列，代表编码矩阵中的新增样本，vk+1为V的第k+1列，代表新增训练样本，fk+1为增量部分的代价函数；采用梯度下降法，首先求解编码矩阵新增样本hk+1，其每一个元素hk+1α的迭代规则为： 其中，步长μα选择如下： 迭代至收敛即得到新的编码矩阵Hk+1，完成H对单样本的局部更新；随后，实现对对角矩阵最后一个对角元素dk+1的更新： 令Dk+1,k+1＝dk+1，从而完成对角矩阵Dk+1对单样本的局部更新；得到新的投影矩阵每一个元素Wk+1iα的迭代规则为： 其中，新的投影矩阵每一个元素Wk+1iα梯度下降所选用的步长为： 迭代至收敛即得到新的投影矩阵Wk+1，完成W对单样本的更新；步骤3、投影矩阵W更新完成后，进行训练样本和待识别样本在特征空间中的投影；将所有训练样本重新投影：V′train＝WTW-1WTVtrain其中，V′train∈Rr×n为训练样本矩阵Vtrain∈Rm×n在特征空间W的投影；对待识别样本进行投影：h′test＝WTW-1WThtest其中，h′test∈Rr为识别样本向量htest∈Rm在特征空间W的投影；步骤4、特征提取之后进行分类识别，对训练样本的特征V‘train进行训练，对待识别样本h‘test进行分类识别。

全文数据：一种基于増量学习的鲁棒非负矩阵分解方法技术领域[0001]本发明涉及图像识别领域，特别涉及一种基于增量学习的鲁棒非负矩阵分解方法。背景技术[0002]在图像识别任务中，通过特征提取减少高维图像数据中的冗余部分是提高图像识别精度及减少图像识别时间的重要步骤。传统的特征提取方法中，主成分分析PrincipleComponentAnaIysis，PCA虽然可以达到降低数据维度的作用，并寻找到一个图像数据有效的维度表示方向，但该方法在减少数据冗余性的过程中，却不可避免地会减少一部分对图像识别有重要意义的判决信息，这无疑会导致图像识别的精度下降。线性判别分析LinearDiscriminantAnalysis，LDA虽然可以为高维图像数据找到一个有效的判决方向，但却很容易因为训练样本数目小于高维图像特征空间维度而造成“小样本问题”，导致训练模型过拟合，从而丧失泛化能力。区别于上述方法，非负矩阵分解（NonnegativeMatrixFactorization，NMF对高维图像数据则采用一种非线性维度约减，并对分解后的数据使用一种纯加性的描述。使图像数据在更符合现实世界中人类对心理学及生理学构造的前提下，得到了广泛的应用。虽然传统NMF特征提取方法能够实现高维图像数据的有效维度约减，其特征提取结果却也极易倾向于图像数据中因噪声而产生的异常图片样本，从而使特征提取模型效果不稳定。鲁棒非负矩阵分解（RobustNonnegativeMatrixFactorization，RNMF却在NMF的基础之上，通过定义新的范式约束而巧妙地解决了这一问题，从而成为了一种极为有效的特征提取方式。[0003]但随着各类高维图像数据资源的不断丰富，特征提取模型的训练样本也急剧增加。在进行图像识别过程中，特征提取模型的训练时间与训练样本数目直接相关。在传统的特征提取模型训练中，通常是将新增样本直接加入原有样本集，重新进行训练样本训练的步骤，这就意味着训练样本的重复训练，导致计算代价增加，识别效率降低的同时，还不得不花费更大的数据存储空间对已有训练样本进行存储。[0004]解决这一问题的途径之一就是使特征提取模型具有自主更新，成长学习的能力，用增量学习的方法完成特征提取。近年来，在视频监控，人脸识别等其他领域，许多增量学习的特征提取方法被提出，如增量主成分分析IPCA，增量线性判别分析ILDA，增量非负矩阵分解（INMF等。虽然上述方法使得原特征提取模型具有了增量学习的能力，但仍然不得不囿于其方法本身固有的一些不足。已有的传统特征提取方法中，RNMF是一种较为健硕的特征提取方法，因此，若将增量学习方式应用于RNMF，在保证高维图像数据能获得尽可能多的判决信息的前提下，不仅可以极大程度地减少训练时间，降低训练样本的存储空间，更能使得特征提取方法保持稳定。这无疑将是一种更优的增量特征提取方法。发明内容[0005]针对上述存在问题或不足，为了克服传统特征提取方法在训练样本增加的情况下需要重复学习的缺陷，使特征提取方法在具有自主更新，成长学习的能力的同时，能够尽可能多地提取高维图像数据的判别信息，并保持模型稳定性，本发明提供了一种基于增量学习的鲁棒非负矩阵分解方法（IncrementalRobustNonnegativeMatrixFactorization，IRNMF〇[0006]本发明由以下步骤实现，其特征提取算法见附图I。[0007]步骤1、对现有的图像样本训练数据进行鲁棒非负矩阵分解RNMF初始化，得到初始的投影矩阵W、编码矩阵H以及对角元素矩阵D。在RNMF中，对于一个样本矩阵VeRmxn，每一列代表一个具有m个像素点的训练样本，共计η个训练样本，将其分解为基矩阵WeRmx'编码矩阵He，并得到对角元素矩阵DeR，即[0008]Vmn=WmrHrn[0009]D=diagDii，D22,···，Dnn[0010]其中，r代表降维后的维度，D11为对角元素矩阵的对角元素，BP:[0011][0012]因为RNMF的目标函数定义为：[0013][0014]II·I|2a代表一种新定义的2-1范数形式，采用梯度下降法，得到RNMF迭代规则为：[0017]其中，i=l，...，m，j=l，···，!!；[0018]按迭代式所示，迭代至收敛即得到初始的投影矩阵的每一个元素Wmr、编码矩阵的每一个元素Hrm，从而计算得出对角元素矩阵D;[0019]步骤2、在完成部分训练样本的鲁棒非负矩阵分解初始化，并得到初始的投影矩阵W、编码矩阵H和对角矩阵D后。当新的训练样本加入模型训练时，通过新样本信息实现IRNMF算法的计算，完成对投影矩阵W的全局更新以及对角矩阵D的局部更新，以实现增量学习。[0020]设初始训练样本的数目为k，其代价函数为：[0021][0022]当新加入一个训练样本Vk+1，即训练样本数目为k+Ι时，其代价函数为：[0023][0024]可知：[0025][0026]其中，Fk+1代表k+1个训练样本的代价函数，Wk+1代表k+1个训练样本的投影矩阵，Hk+1代表k+Ι个训练样本的编码矩阵，hk+1*H的第k+Ι列，代表编码矩阵中的新增样本，^+1为V的第k+Ι列，代表新增训练样本，fk+1为增量部分的代价函数。[0027]在增量学习的过程中，代价函数Fk+1的自变量如下，分别是:投影矩阵Wk+1、编码矩阵新增样本hk+1W及对角矩阵新增元素dk+1，首先采用梯度下降法求解编码矩阵新增样本hk+i，其迭代规则为：[0028][0029]步长μα选择如下：[0030][0031]初始化对角元素dk+1=Dkk，可以得到编码矩阵新增样本hk+1的迭代规则为：[0032][0033]随后，实现对对角矩阵最后一个对角元素dk+1的更新：[0034][0035]令Dk+1,k+1=dk+1，从而完成对角矩阵Dk+1对单样本的局部更新。[0036]最后，采用梯度下降法得到新的投影矩阵每一个元素Wk+1ια的迭代规则为：[0037][0038]其中，新的投影矩阵每一个元素Wk+1弟度下降所选用的步长为：[0039][0040]可以得到新的投影矩阵Wk+1的迭代规则为：[0041][0042]迭代至收敛即得到新的投影矩阵Wk+1，完成Wk+1对单样本的更新。[0043]步骤3、投影矩阵W更新完成后，进行训练样本和待识别样本在特征空间中的投影；首先，将所有训练样本重新投影：[0044]Vtrain=ffTff'VVtrain[0045]其中，V’traineR〃n为训练样本矩阵VtrainGRmxn在特征空间W的投影；[0046]然后，对待识别样本进行投影：[0047]h'test=WtW-Vhtest[0048]其中，h’testeR"为识别样本向量htesteRm在特征空间W的投影；[0049]步骤4、特征提取之后进行分类识别，对训练样本的特征Vttrain进行训练，对待识别样本h‘test进行分类识别。[0050]本发明在传统鲁棒非负矩阵分解方法基础上提出了一种通用增量学习方法:基于增量学习的鲁棒非负矩阵分解，并应用于图像识别中。IRNMF作为一种有效的增量特征提取方法，在保证高维图像数据能获得尽可能多的判决信息的前提下，不仅可以极大程度地减少训练时间，降低训练样本的存储空间，更能使得特征提取方法保持稳定，让图像识别模型达到更高性能要求。[0051]综上所述，较现有的特征提取方法，本发明具有了增量在线学习的能力，不必产生重复训练，识别效率大大提高;能够使图像信息通过特征提取后，在尽可能保留有效判决信息的前提下，也能保证特征提取模型的稳定性;在提高识别效率基础上，比传统方法增量NMF的识别率更高，同时训练时间大幅减少。附图说明[0052]图1为本发明特征提取方法流程[0053]图2为MSTAR目标切片读取图像展示[0054]图3三种方法针对SAR三类目标识别增量学习任务的识别率统计[0055]图4三种方法针对SAR三类目标识别增量学习任务的时间代价对比具体实施方式[0056]下面以MSTAR三类目标图像识别任务为例，模拟实际增量学习应用对本发明做进一步说明。[0057]实验所用样本为MSTAR三类目标切片，切片为64X64的RAW格式数据，训练样本为俯仰角为17度的目标，测试样本为俯仰角为15度的目标。表1为MSTAR三类目标分布。目标切片读取图像例参见附图2。[0058]表IMSTAR三类目标分布[0059][0060]本发明是为了RNMF具有增量学习能力，因此，将训练样本分为初始样本和新增样本两部分，新增样本又分多批次，模拟实际应用中样本分批获得的情况。测试样本为未知标签样本，不参与训练。每次获得一批新增样本时，观测新的训练样本的单位特征提取时间，在其他对照条件完全相同的情况下，通过测试样本的识别正确率来反映本次特征提取的效果。[0061]实验拟设置初始训练样本数目为100个，新增训练样本每批50个不足50个也作为一组增量样本加入训练），分12批获得。分别统计非负矩阵分解NMF、增量非负矩阵分解INMF、增量鲁棒非负矩阵分解（IRNMF三种方法在每次获取样本后的识别准确率以及每次特征提取所消耗的时间（因RNMF随着训练样本数目的增加，其每次特征提取所需时间将急剧增长，因此不将RNMF特征提取方法加入本次对比）AMF为传统方法，需要重新训练。三种方法随样本数增加的识别准确率折线图见附图3。从图中可以看出，IRNMF的识别准确率最终高于传统方法NMF以及INMF的识别准确率，最终识别准确率达到了96.2637%。此外，在增量过程中，IRNMF的学习效果始终随训练样本数的增加且保持稳定增长，而INMF、NMF的学习效果却随着样本数的增加出现不同程度的波动。[0062]另外，在每次训练过程中，三种特征提取方法随样本数增加而所消耗的时间代价见附图4。非增量NMF方法训练时间代价随样本数目增加呈线性增长趋势，INMF虽然通过避免重复训练而极大程度地降低了训练过程中特征提取所耗费的时间代价，但IR匪F却在INMF的基础之上，还将单个训练样本特征提取的时间从0.0255s降低至0.0137s，即仅占INMF特征提取时间代价的53.7%。以更快更稳定的方式完成了图像识别过程中特征提取的任务。

权利要求：I.一种基于增量学习的鲁棒非负矩阵分解方法，其特征在于，包括以下步骤：步骤1、对现有的图像样本训练数据进行RNMF初始化，得到初始的投影矩阵W、编码矩阵H以及对角元素矩阵D;具体为：在RNMF中，对于一个样本矩阵VeRmXn，每一列代表一个具有m个像素点的训练样本，共计η个训练样本，将其分解为基矩阵WeR1^、编码矩阵HeFxn,并得到对角元素矩阵DeFXr，即：Vmn_WmrHrnD—diagDll，...，Dii，···，Drr其中W0，H0，，r代表降维后的维度，D11为对角元素矩阵的对角元素，即：RNMF的目标函数定义为：卜Iha代表一种新定义的2-1范数形式，采用梯度下降法，得到RNMF迭代规则为：其中，i=l，…，m,j=l，…，η;按迭代式所示，迭代至收敛即得到初始的投影矩阵的每一个元素Wmr、编码矩阵的每一个元素Hrm，从而计算得出对角元素矩阵D;步骤2、当新的训练样本加入模型训练时，通过新样本信息实现增量学习的鲁棒非负矩阵分解算法的计算，完成对编码矩阵H的局部更新、对角矩阵D的局部更新以及投影矩阵W的全局更新以实现增量学习；当新加入一个训练样本Vk+1，即训练样本数目为k+1时，其代价函数为：可知：其中，Fk+1代表k+1个训练样本的代价函数，Wk+1代表k+1个训练样本的投影矩阵，瓜+1代表k+Ι个训练样本的编码矩阵，hk+1*H的第k+Ι列，代表编码矩阵中的新增样本，vk+1*V的第k+Ι列，代表新增训练样本，fk+1为增量部分的代价函数；采用梯度下降法，首先求解编码矩阵新增样本hk+1，其每一个元素hk+1α的迭代规则为：其中，步长μα选择如下：迭代至收敛即得到新的编码矩阵Hk+1，完成H对单样本的局部更新；随后，实现对对角矩阵最后一个对角元素dk+1的更新：令Dk+1,k+1=dk+1，从而完成对角矩阵Dk+di单样本的局部更新；得到新的投影矩阵每一个元素Wk+1ια的迭代规则为：其中，新的投影矩阵每一个元素Wk+1弟度下降所选用的步长为：迭代至收敛即得到新的投影矩阵Wk+1，完成W对单样本的更新；步骤3、投影矩阵W更新完成后，进行训练样本和待识别样本在特征空间中的投影；将所有训练样本重新投影：V7train=ffTff_1ffTVtrain其中，V'trainer%为训练样本矩阵VtraineRmxn在特征空间W的投影；对待识别样本进行投影：h7test=ffTff'Vhtest其中，11\^1^1?1'为识别样本向量]^^1^1?11在特征空间1的投影；步骤4、特征提取之后进行分类识别，对训练样本的特征V‘train进行训练，对待识别样本htest进行分类识别。2.如权利要求1所述一种基于增量学习的鲁棒非负矩阵分解方法，其特征在于:所述步骤2在每个新样本更新结束后，除了需要保存当前迭代结果hk+1、dk+1、Wk+1外，还需要储存历史信息供下次更新使用：

百度查询： 电子科技大学 一种基于增量学习的鲁棒非负矩阵分解方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD