申请/专利权人：北京师范大学

申请日：2018-08-21

公开（公告）日：2021-11-23

公开（公告）号：CN109190692B

主分类号：G06K9/62(20060101)

分类号：G06K9/62(20060101);G06N3/02(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.11.23#授权;2019.02.12#实质审查的生效;2019.01.11#公开

摘要：本发明公开了一种基于生物大脑认知和抉择机理的运动物体识别方法及其系统。其中，该方法包括如下步骤：S11，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重；S12，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；S13，计算运动物体所属各个类别的证据强度；S14，将证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行积累，重复S12～S13，视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。该方法引入网络动力学使得抉择模块能够持续整合时间和空间上的信息，提高运动物体识别的准确性。

主权项：1.一种基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于包括如下步骤：S11，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重；所述抉择模块根据连接权重对输入信号进行证据强度的累积，并作出类别判断；S12，将所述运动物体的视频按单帧输入到所述库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；S13，通过所述任意时刻库网络活动的向量以及库网络模块到抉择模块的连接权重，得到所述运动物体所属各个类别的证据强度；S14，将所述运动物体所属各个类别的证据强度输入所述抉择模块，所述抉择模块的各个抉择神经元根据输入的所述各个类别的证据强度进行积累，重复步骤S12～S13，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，其中，所述得到库网络模块到抉择模块的连接权重，包括如下步骤：S111，获取所述库网络模块当前输入对应的对外输出的目标函数；S112，对于第i个所述抉择神经元，获得任一时刻所述库网络模块对外输出的实际函数；所述输出的实际函数用所述库网络模块的状态及其到所述抉择模块的连接权重表示；S113，以所述第i个抉择神经元的输出的实际函数和所述第i个抉择神经元的目标函数的差值最小为目标，通过递归最小二乘法得到当前时刻所述库网络模块到所述第i个抉择模块的连接权重，i＝1,2,……N；S114，采用不同类别的运动物体作为输入，重复步骤S112～S114，直至得到所述库网络模块到所述抉择模块的每个所述抉择神经元的连接权重，即得到所述库网络模块到所述抉择模块的连接权重。

全文数据：基于生物大脑认知和抉择机理的运动物体识别方法及系统技术领域本发明涉及一种运动物体识别方法，尤其涉及一种基于生物大脑认知和抉择机理的运动物体识别方法，同时涉及相应的运动物体识别系统，属于运动物体识别技术领域。背景技术物体识别一直是人工智能的研究热点，是众多人工智能应用的理论基础，其成果在社会的诸多领域，如图像分析、智能监控、无人驾驶等，都具有重要的应用价值。近年来，简单模仿视觉通路等级结构的人工神经网络算法-“深度学习”，已经在静止、规范化的图像识别上取得了巨大成功，甚至在超大数据集上的准确率达到或者超过人类。但到目前为止，人工智能最优算法在运动物体识别方面的表现还差强人意，远远落后于人类。究其原因，这是因为当前的深度神经网络缺乏对时间域信息进行有效处理的机制。虽然目前存在RNNrecurrentneuralnetwork，即互馈神经网络以及各种拓展的模型，但是这些模型仍有诸多局限性，训练时也有各种各样问题。比如最原始的互馈神经网络因为训练时的梯度消失或者梯度爆炸的问题很难直接应用。从互馈神经网络拓展出的一些模型，比如现在处理时序相关信息常用的LSTM长短期记忆网络模型，虽然LSTM模型在一些场景上取得了较好的应用，但是存在着算法复杂，并且整合时间域上的信息长度有限的问题。现有的深度学习模型在处理时序相关的任务时表现明显不如处理静态输入时有效。而在一些当前人工智能领域具有代表性的运动物体识别或者动作识别数据集上，表现较好的模型基本都尝试通过卷积神经网络提取视频每帧静态图片的特征信息，加上LSTM模型或者融合视频的光流信息,以期能得到较好的时空信息的整合。但是这些模型都缺少对于时间域上的信息进行显式的整合的过程。发明内容针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种基于生物大脑认知和抉择机理的运动物体识别方法。本发明所要解决的另一技术问题在于提供一种基于生物大脑认知和抉择机理的运动物体识别系统。为实现上述发明目的，本发明采用下述的技术方案：根据本发明实施例的第一方面，提供一种基于生物大脑认知和抉择机理的运动物体识别方法，包括如下步骤：S11，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重；所述抉择模块根据连接权重对输入信号进行证据强度的累积，并作出类别判断；S12，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；S13，通过任意时刻库网络活动的向量以及库网络活动到抉择模块的连接权重，得到运动物体所属各个类别的证据强度；S14，将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行积累，重复步骤S12～S13，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。其中较优地，在步骤S11中，采用递归最小二乘法对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重。其中较优地，采用递归最小二乘法对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重，包括如下步骤：S111，获取库网络模块当前输入对应的对外输出的目标函数；S112，对于第i个抉择神经元，获得任一时刻库网络模块对外输出的实际函数；所述输出的实际函数用库网络模块的状态及其到抉择模块的连接权重表示；S113，以第i个抉择神经元的输出的实际函数和第i个抉择神经元的目标函数的差值最小为目标，通过递归最小二乘法得到当前时刻库网络模块到第i个抉择模块的连接权重，i＝1,2,……N；S114，采用不同类别的运动物体作为输入，重复步骤S112～S114，直至得到库网络模块到抉择模块的每个抉择神经元的连接权重，即得到库网络模块到抉择模块的连接权重。其中较优地，步骤S12包括如下步骤：获取运动物体的视频，以帧为单位逐一输入到库网络模块中；将单帧输入信号投影至高维的库网络活动空间，将单帧输入信号投影至高维的库网络活动空间，获得输入信号对应的任意时刻库网络活动的向量。其中较优地，获得输入信号对应的任意时刻库网络活动的向量xt，采用如下公式：其中，是表示前馈输入和互馈输入WrXt-1的相互关系函数；为t时刻的输入；Win为输入的权重矩阵；Wr为库网络模块中神经元的连接权重。其中较优地，库网络模块通过一个或多个库网络组成。其中较优地，当采用多个库网络时，将库网络堆叠在一起；处在第一层的库网络接收输入，处在中间的库网络只接收上一层的库网络输入，并输出给下一层库网络；所有层的库网络都输出给抉择模块。其中较优地，步骤S14包括如下步骤：S141，抉择模块接收运动物体所属各个类别的证据强度，当接收到第i个抉择神经元代表的类别的证据时，对第i个抉择神经元进行正反馈，对其余N-1个抉择神经元进行侧抑制；其中，N为抉择模块中抉择神经元的个数。S142，当视频输入完成后，判断抉择模块中所有抉择神经元积累的证据强度，当存在抉择神经元积累的证据大于抉择阈值，积累的证据强度大于抉择阈值的抉择神经元代表的种类即为运动物体所属的种类；否则，运动物体识别不成功。根据本发明实施例的第二方面，提供一种基于生物大脑认知和抉择机理的运动物体识别系统，包括处理器和存储器；所述存储器上存储有可用在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时实现如下步骤：S21，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重；所述抉择模块根据连接权重对输入信号进行证据强度的累积，并作出类别判断；S22，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；S23，通过任意时刻库网络活动的向量以及库网络活动到抉择模块的连接权重，得到运动物体所属各个类别的证据强度；S24，将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行积累，重复步骤S22～S23，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。其中较优地，所述计算机程序被所述处理器执行步骤S24时，实现如下步骤：S241，抉择模块接收运动物体所属各个类别的证据强度，当接收到第i个抉择神经元代表的类别的证据时，对第i个抉择神经元进行正反馈，对其余N-1个抉择神经元进行侧抑制；其中，N为抉择模块中抉择神经元的个数。S242，当视频输入完成后，判断抉择模块中所有抉择神经元积累的证据强度，当存在抉择神经元积累的证据大于抉择阈值，积累的证据强度大于抉择阈值的抉择神经元代表的种类即为运动物体所属的种类；否则，运动物体识别不成功。本发明所提供的基于生物大脑认知和抉择机理的运动物体识别方法，将运动物体的视频按单帧输入库网络模块中，库网络模块通过学习获取连接权重，根据连接权重连接抉择模块。抉择模块在库网络模块的神经元活动空间中不断积累自己需要的证据信息。当积累的证据信息超过抉择阈值时，选择出运动物体所属的类别。该方法利用引入网络动力学使得抉择模块能够持续地整合时间和空间上的信息，提高了运动物体识别的准确性。附图说明图1为本发明所提供的基于生物大脑认知和抉择机理的运动物体识别方法的流程图；图2为本发明所提供的一个实施例中，构造的抉择模块的目标曲线的示意图；图3为本发明所提供的一个实施例中，库网络模块的示意图；图4为本发明所提供一个实施例中，多个库网络模块的示意图；图5为本发明所提供的一个实施例中，由三个神经元组成的抉择模块的示意图；图6为本发明所提供的一个实施例中，人体步态示意图；图7为本发明所提供的一个实施例中，网络对5个人的人体运动序列的识别结果的展示图；图8为本发明所提供的实施例中，库网络模块的结构示意图。具体实施方式下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。生物在对运动物体或者动作进行识别的时候，通常是不断地整合输入的时空信息，积累证据，最后做出最优的判断。这个过程充分利用了时间域上信息的相关性。很多生物在面对需要整合时间域上的信息的任务时都能较好地完成。例如在电生理实验中，科学家观察到，当猴子在需要判断一堆杂乱闪烁的点大体运动模式是向左移动还是向右移动的时候，猴子的后顶叶有一些神经元的发放频率会由低变高神经元编码的运动方向与大体运动模式的方向一致或者保持在低活动水平神经元编码的运动方向与大体运动模式的方向相反。当神经元的发放频率超过了一定阈值以后，猴子就很可能做出和这个神经元编码的大体运动模式方向相同的判断。这些闪烁运动的点因为加入了很多噪声，需要观察较长时间才能判断正确的方向，而与之相对应的是，编码相应方向的后顶叶皮层的神经元的发放频率也是先维持在较低的水平，然后再缓慢的增加并超过一定的阈值，影响猴子的判断。这些神经元被称为抉择神经元。整个过程通常被解释为，抉择神经元在不断地积累和自己编码相同的方向的运动的证据，对应于发放频率不断增加的过程。当发放频率超过了影响猴子判断的阈值时，也是当证据累积到足够的程度时候，猴子做出判断。另外，实验神经生物学家也发现，负责任意一方向的抉择神经元会抑制其它方向的抉择神经元的活动，这种现象被称为侧抑制。侧抑制使得很难有负责多个方向的抉择神经元的发放频率都超过阈值。在本发明所提供的实施例中，模拟了生物大脑后顶叶皮层的抉择神经元整合信息的过程。通过从后顶叶皮层抉择神经元的计算模型出发，构建了一个能在实际任务中使用的抉择模块。在这个抉择模块中，每一个人工神经元对应于分类任务中的一个种类，通过抉择模块中的动力学演化，模型中的抉择神经元会像生物大脑中的抉择神经元一样，不断整合有利于自己的信息，同时通过侧抑制来抑制负责其它分类的抉择神经元的活动。最后活动水平最强的抉择神经元所代表的就是模块的分类结果。虽然抉择神经元通过自身的动力学实现了一定时间内的信息整合，但是因为模型中选取的动力学时间常数较短，较难学会长时间的信息相关性。所以，本发明在抉择模块的基础上，通过加入库网络模块来增加整个模型对长时间信息关联的处理能力。因为库网络包含较多的神经元，这些神经元通过互相之间的互馈连接能保留较长时间的信息。如图1所示，本发明所提供的基于生物大脑认知和抉择机理的运动物体识别方法，通过在模型中引入显式的时间域信息整合过程，模型能对时间域的信息进行更好的处理。该方法包括如下步骤：首先，在训练模型时，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；然后，通过任意时刻库网络活动的向量即库网络模块的状态以及当前库网络活动空间到抉择模块的连接权重，得到运动物体所属各个类别的证据强度；通过训练数据的正确标签即目标函数修正当前库网络活动空间到抉择模块的连接权重。在测试模型时，首先将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；然后，通过任意时刻库网络活动的向量以及当前库网络活动空间到抉择模块的连接权重，得到运动物体所属各个类别的证据强度；最后，将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行证据积累，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。若没有抉择神经元累积的证据强度超过抉择阈值，则识别不成功。下面对上述处理过程进行详细说明。S11，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重，抉择模块根据连接权重对输入信号进行证据强度的累积，并作出类别判断。在整个运动物体识别过程中，只有库网络模块到抉择模块中的连接是需要学习的。在训练模型时，通过对各类带有正确标记的运动物体进行分析，得到库网络模块到抉择模块的连接权重。在本发明所提供的实施例中，从大脑中的抉择神经元做抉择时的发放活动即发放率随时间变化的曲线中获得启发，构造了一个可行的抉择模块的抉择神经元需要学习的目标曲线。如图2所示，其中虚线为正确的抉择神经元的发放频率，随着时间的推移，因为累积的证据更强，其发放频率逐渐增高，其受到的正反馈和给其余抉择神经元的抑制也因此更大。当发放频率达到一定值时保持不变。实线为受到侧抑制的抉择神经元的发放频率，保持在1Hz以下。这样就可以根据抉择神经元的发放频率识别出运动物体的类别。如果输入的运视频中的运动物体为第i类的运动物体，希望抉择模块中对应第i类的抉择神经元的发放频率如图2中的虚线所示，同时剩余的抉择神经元的发放频率较小，保持在1Hz以下。在最初的阶段，所有抉择神经元都因为信息不完整而无法做出判断；随着时间的进行，对应第i类的抉择神经元积累到越来越多正确的证据，因而发放频率逐渐增加；增加到一定程度时，因为侧抑制和正反馈两种机制，对应第i类的抉择神经元的发放水平会快速上升，超过影响抉择的抉择阈值。在本发明所提供的实施例中，在训练模型时，根据得到的目标曲线，采用训练互馈神经网络recurrentneuralnetwork学习时间序列的经典算法—递归最小二乘法recursiveleastsquares对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重，具体包括如下步骤：S111，获取库网络模块当前输入对应的对外输出的目标函数。在本发明所提供的实施例中，根据得到的目标曲线可以得到抉择模块的目标函数，而库网络模块当前输入对应的对外输出的目标函数是不知道的。所以，通过抉择模块的目标函数求出其在抉择模块前的反函数，得到库网络对第i个抉择神经元输出的目标函数Oi＝{oi,1,oi,2,…,oi,n}。S112，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；对于第i个抉择神经元，获得任一时刻库网络模块对外输出的实际函数；该输出的实际函数用库网络模块的状态即任意时刻库网络活动的向量及其到抉择模块的连接权重表示。对于第i个抉择神经元，获得任一时刻库网络对外输出的实际函数：其中，k为库网络模块中神经元的个数。M是总的神经元的数目。为库网络模块到抉择模块中第i个神经元的连接权重，为其转置矩阵；xt为输入信号对应的任意时刻库网络活动的向量，即库网络模块任意时刻的神经元的输入。S113，以第i个抉择神经元的输出的实际函数和第i个抉择神经元的目标函数的差值最小为目标，通过递归最小二乘法得到当前时刻库网络模块到第i个抉择模块的连接权重，i＝1,2,……N；满足最小。oi,t为库网络对第i个抉择神经元输出的目标函数在t时刻的取值。也就是说，使得网络的输出和目标函数的差值最小。这时候可以通过递归最小二乘法，求出每个时刻t需要对库网络模块到抉择模块的第i个抉择神经元的连接权重的修正量以修正连接权重的取值，使得库网络模块的实际输出与目标输出最接近，即：由递归最小二乘法求出然后采用下面的公式修正其中，上式左边的为经过更新后的t时刻库网络模块到抉择模块的第i个抉择神经元的连接权重；上式右边的为t-1时刻更新前的库网络模块到抉择模块的第i个抉择神经元的连接权重；为t时刻计算出的库网络模块到抉择模块的第i个抉择神经元的连接权重的修正量。通过上述公式得到修正之后库网络模块到抉择模块的连接权重。S114，采用不同类别的运动物体作为输入，重复步骤S112～S113，直至得到库网络模块到抉择模块的每个抉择神经元的连接权重。即得到库网络模块到抉择模块的连接权重下面以一个具体的实施例对得到库网络模块到抉择模块的连接权重进行说明。假定库网络模块中有10000个神经元，抉择模块有10个抉择神经元。首先只看抉择模块中的1个抉择神经元，假设它为判断是否是猫的抉择神经元。那么整个训练的过程描述如下：将视频输入模型中，得到一系列库网络模块的从t＝1,2,3,…n的状态，X＝{x1,x2,…,xn}其中xt是一个10000x1的向量。我们希望找到连接权重代表从库网络的活动到判断猫的抉择神经元的连接权重，使得其中，是一个10000x1的矩阵，xt是一个10000x1的矩阵，M是总的神经元的数目，即10000。能够满足最小。oi,t为库网络对这个判断是否是猫的抉择神经元的输出的目标函数在t时刻的取值。也就是说，使得网络的输出和目标函数的差值的总和最小。也就是说，当输入的数据X给出后，需要求出使得对于所有的t，yi,和oi,间的差很小。实际在计算时，可以采用递归最小二乘法，每次只考虑当前t时刻的数据，不断迭代地修正对的估计。另外，最初根据目标曲线获取的是抉择模块的目标函数，而上式中的Oi是库网络模块对外输出的目标函数。所以，需要通过抉择模块的目标函数求出其在抉择模块前的反函数，作为上式中的Oi。通过这样的方法，可以让这个判断是否是猫的抉择神经元对猫做出反应，对不是猫的物体不做出反应。用同样的方法可以训练剩余的9个抉择神经元或者更多用于判断别的种类。S12，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量，即任意时刻库网络模块中所有神经元给其中一个神经元的全部输入。库网络是由HerbertJaeger和WolfgangMaass分别与2001和2002年独立提出的拥有大量神经元及兴奋与抑制相平衡的互馈连接的神经网络。库网络的基本思想是通过输入信号来驱动一个随机连接的，拥有大量神经元的互馈神经网络，使得这个互馈神经元网络中的每个神经元产生非线性活动。最终将可学习的线形权重和网络中神经元的反应相乘求和作为目标输出序列。在本发明所提供的实施例中，将运动物体的视频按单帧输入到如图3所示的库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量，具体包括如下步骤：S121，获取运动物体的视频，以帧为单位逐一输入到库网络模块中。获取需要识别的运动物体的视频，以帧为单位将视频拆分，按单帧逐一输入到库网络模块中。S122，将单帧输入信号投影至高维的库网络活动空间，。获得输入信号对应的任意时刻库网络活动的向量xt。在本发明所提供的实施例中，库网络活动空间的维度等于库网络模块中神经元的个数。在高维的库网络活动空间中，每一种输入都对应相应的神经元发放频率。输入信号通过一定的连接权重Win输入到库网络模块中，相当于将输入信号投影到了高维的记忆模块的活动空间中。每一类运动物体都会存在差别，将低维的输入信号投影到高维空间时，这些差别更加明显。通过将原本空间中并不线性可分的输入，投影到高维的库网络活动水平的空间中，使得在这样的高维空间下输入能够更容易地线性可分。这样的操作过程不涉及到特征的提取，对一些低空间分辨率的时空序列分辨任务可以又快又好地完成。在本发明所提供的实施例中，库网络模块中神经元的连接权重Wr采用随机连接，其中神经元的连接权重Wr根据需求设定即可。获得输入信号对应的任意时刻库网络活动的向量xt，采用如下公式：是表示前馈输入和互馈输入Wrxt-1的相互关系的函数。特别的，我们可以采用如下公式：其中，为t时刻的输入，xt为t时刻的整个库网络活动的向量。Win为输入的权重矩阵，可以是一个单位矩阵，也可以是一个随机矩阵；Wr为库网络模块中神经元的互馈连接连接权重；如果是多层的库网络结构，对于第一层库网络，就是给网络的输入数据，对于更深层的库网络，可以取前一层库网络的活动状态，即前一层的xt。取tanh·为作为库网络模块中所有神经元的发放频率与突触电流的函数关系，也可以采用sigmoid等函数关系，只要函数满足数学上的紧致性compactness。在本发明所提供的实施例中，通过步骤S11中的学习过程训练使得给第i个抉择神经元的输入大致等于输入信号属于第i类的证据强度，虽然输入的证据强度会有很大的噪声，但是，第i个抉择神经元可以通过不断的整合输入的证据，最终判断出输入信号是否属于第i类。使用库网络模块的原因主要有两个。第一，库网络模块可以将低维的输入信号投影至高维的库网络活动空间中，使得在这个高维的空间中信号更接近线形可分，通过训练输出权重可以给抉择神经元较为合理的输入信号。第二，库网络模块通过大量的互馈连接能保持输入序列较长时间范围内的信息，通过训练可学习的输出权重，可以使抉择神经元在做判断时考虑较长的时间范围内的信息。在本发明所提供的实施例中，库网络模块可以通过一个或多个库网络reservoirnetwork组成。单个库网络中包含多个神经元，神经元与神经元之间采用随机或者满足特定结构的连接模式。如图4所示，当采用多个库网络时，将库网络堆叠在一起；处在第一层的库网络接收输入，处在中间的库网络只接收上一层的库网络输入，并输出给下一层库网络；同时，所有层的库网络都输出给抉择模块。输入的信号通过一定的连接权重输入到库网络模块中，即将输入的信号投影到了高维的库网络活动空间中。当采用多个库网络时，输入信号逐层在库网络中进行传输时，低层的库网络处理短时程的信息，高层的库网络处理长时程的信息。本发明将输入映射到库网络模块中，通过将原本空间中并不线性可分的输入，投影到高维的库网络活动水平的空间中，使得在这样的高维空间下输入能够更容易地线性可分。这样的方法不涉及到特征的提取，对一些低空间分辨率的时空序列分辨任务可以又快又好地完成。S13，通过任意时刻库网络活动的向量以及库网络活动到抉择模块的连接权重，得到运动物体所属各个类别的证据强度。在本发明所提供的实施例中，通过任意时刻t库网络活动的向量以及库网络活动到抉择模块的连接权重，得到运动物体所属各个类别的证据的强度采用如下公式：其中，xt为输入信号对应的任意时刻库网络活动的向量；tanhxt为输入信号对应的库网络模块中所有神经元的发放频率；为对于第i个抉择神经元的输入矩阵。得到运动物体所属各个类别的证据强度之后，将该运动物体所属各个类别的证据强度输入到抉择模块，第i个抉择神经元就可以通过不断的整合输入的证据，判断输入信号是否属于第i类。S14，将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行证据积累，重复步骤S12～S13，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。若没有抉择神经元累积的证据强度超过抉择阈值，则识别不成功。抉择模块本质上是一个动力学系统，在接收外界输入的情况下不断地进行演化。大脑本质上就是一个非常复杂的动力学系统。通过这个简化模型抓住大脑做抉择时的本质因素——不断地积累证据，可以做出判断。在本发明所提供的实施例中，抉择模块由多个抉择神经元组成，抉择神经元的数目由运动物体的种类决定。抉择模块的每个抉择神经元代表一个分类，所以一个区分N个运动序列的任务，抉择模块采用N个神经元。如图5所示，抉择模块有以下三个特点：侧抑制lateralinhibition：侧抑制是大脑中常见的一种赢家通吃winner-take-all的机制。负责判断第i类的抉择神经元会抑制所有负责其它类别的抉择神经元，并且抑制的程度随这个抉择神经元的活动强度的增加而增加。通过这样的机制，抉择模块中只会出现一个抉择神经元发放超过阈值的情况，而不会产生多个抉择神经元发放超过阈值的情况。正反馈positivefeedback：在抉择模块中，负责判断第i类的抉择神经元同时还会给自己不断的正向反馈电流的输入，并且电流的强度随着这个抉择神经元的活动强度增大而增大。通过侧抑制和正反馈两个机制可以较快地使得对的抉择神经元的活动强度变强，而不相关的抉择神经元的活动水平始终保持在很弱的程度。时间积分temporalintegration：抉择神经元最重要的就是要积累一段时间内的信息作出判断。动力学系统在时间积分上相较于目前的前馈连接网络feedforwardnetworks有着天然的优势。在本发明所提供的实施例中，通过设计抉择模块中的动力学变量，使得抉择模块能够积累由库网络模块输入的电流，也就是抉择神经元需要积累的证据。而积累到一定程度证据的抉择神经元的活动水平通过侧抑制和正反馈可以很快地超过影响判断的阈值。在图5中，只画出了抉择模块神经元间的相互连接，省略了由库网络模块到抉择模块的连接。图中的实线连接为兴奋性连接，虚线连接为抑制性连接。每个抉择神经元都与自己有兴奋性连接，但与其它抉择神经元为抑制性连接。将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行证据积累，重复步骤S12～S13，不断的将运动物体的视频按单帧输入到库网络模块中，转化为高维空间的输入，再将运动物体所属各个类别的证据强度输入抉择模块，使抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行证据积累，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。具体包括如下步骤：S141，抉择模块接收运动物体所属各个类别的证据强度，当接收到第i个抉择神经元代表的类别的证据时，对第i个抉择神经元进行正反馈，对其余N-1个抉择神经元进行侧抑制。其中，N为抉择模块中抉择神经元的个数。抉择模块接收的证据强度越大，自反馈与侧抑制就越大。在本发明所提供的实施例中，正反馈和侧抑制的方式和强度可以根据需要进行设定。任意时刻，同样的运动物体属于第i类的证据强度对第i类抉择神经元的正反馈作用相同；对其余N-1个抉择神经元的侧抑制作用相同。S142，当视频输入完成后，判断抉择模块中所有抉择神经元积累的证据强度，当存在抉择神经元积累的证据大于抉择阈值，积累的证据大于抉择阈值的抉择神经元代表的种类即为运动物体所属的种类；否则，运动物体识别不成功。整个运动物体识别方法对于所有的运动物体识别，甚至语音识别因为本质上也是时间序列，都是通用的。在本发明所提供的实施例中，我们选用了步态识别这个任务来检验本发明所提供的运动物体识别方法的效果。在步态识别数据库上验证了这个方法的可行性。如图6所示，从左到右依次定为0度人体侧面，从左向右运动，90度人体背面，由近及远，180度人体侧面，从右向左运动,270度正面，由远及近的人体步态图样。我们测试的任务是通过不同的步态区分不同人的身份。步态识别任务是典型的对空间分辨率要求不高，但对时间域的信息相关性处理要求高的任务。训练模型时，每个被试采用4个180度的步态数据。测试模型时，每个被试采用40个没有见过的180度的步态数据。图7为网络对5个人的人体运动序列的识别结果。为了便于看清，图中每个人只展示了5个测试的运动序列结果。纵坐标为神经元的活动情况，横坐标为时间毫秒。单个神经元只对相应的人的运动序列反应。在5个人的运动序列识别任务中，该运动物体识别方法的识别率为97.5％。不同的被试数量的情况下，模型的识别率如下表所示1。被试数量5人7人9人11人13人15人准确率97.5％95％92.7％88.8％86.0％82.1％表1步态识别结果展示表综上所述，本发明所提供的基于生物大脑认知和抉择机理的运动物体识别方法，将运动物体的视频按单帧输入库网络模块中，库网络模块通过学习获取连接权重，根据连接权重连接抉择模块。抉择模块在库网络模块的神经元活动空间中不断积累自己需要的证据信息。当积累的证据信息超过抉择阈值时，选择出运动物体所属的类别。该方法将网络动力学引入到了人工智能算法中。网络动力学是生物大脑里广泛存在的现象，但是却因为其理论分析的困难性在当前的深度神经网络算法中并没有考虑。本发明利用引入网络动力学使得抉择模块能够持续地整合时间和空间上的信息，提高了运动物体识别的准确性。除此之外，本发明所提供的基于生物大脑认知和抉择机理的运动物体识别方法中设置的抉择模块并不是只能在库网络模块之后才能工作，也可以用在深度神经网络的全连接层后。这样相当于在深度神经网络处理后的特征空间不断地积累时间和空间上的信息。这样的深度神经网络加抉择模块的模型可以充分结合深度神经网络学习空间特征的优势和抉择模块对时间域信息的整合及抉择优势，完成既需要高空间分辨率，又需要整合时间域上的相关性的任务，也可以在很大程度上提高运动物体识别的准确性。本发明还提供了一种基于生物大脑认知和抉择机理的运动物体识别系统。如图8所示，该系统包括处理器82以及存储有处理器82可执行指令的存储器81；其中，处理器82可以是通用处理器，例如中央处理器CPU，还可以是数字信号处理器DSP、专用集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路。其中，存储器81，用于存储程序代码，并将该程序代码传输给CPU。存储器81可以包括易失性存储器，例如随机存取存储器RAM；存储器81也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器81还可以包括上述种类的存储器的组合。具体地，本发明实施例所提供的基于生物大脑认知和抉择机理的运动物体识别系统，包括处理器82和存储器81；存储器81上存储有可用在处理器82上运行的计算机程序，当计算机程序被处理器82执行时实现如下步骤：S21，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重；抉择模块根据连接权重对输入信号进行证据强度的累积，并作出类别判断；S22，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；S23，通过任意时刻库网络活动的向量以及库网络活动到抉择模块的连接权重，得到运动物体所属各个类别的证据强度；S24，将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行证据积累，重复步骤S22～S23，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。若没有抉择神经元累积的证据强度超过抉择阈值，则识别不成功。其中，当计算机程序被处理器82执行时实现如下步骤；在步骤S21中，采用递归最小二乘法对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重。其中，采用递归最小二乘法对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重，当计算机程序被处理器82执行时实现如下步骤；S211，获取库网络模块当前输入对应的对外输出的目标函数；S212，对于第i个抉择神经元，获得任一时刻库网络模块对外输出的实际函数；该输出的实际函数用库网络模块的状态及其到抉择模块的连接权重表示；S213，以第i个抉择神经元的输出的实际函数和第i个抉择神经元的目标函数的差值最小为目标，通过递归最小二乘法得到当前时刻库网络模块到第i个抉择模块的连接权重，i＝1,2,……N；S214，采用不同类别的运动物体作为输入，重复步骤S212～S214，直至得到库网络模块到抉择模块的每个抉择神经元的连接权重。即得到库网络模块到抉择模块的连接权重其中，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量，当计算机程序被处理器82执行时实现如下步骤；获取运动物体的视频，以帧为单位逐一输入到库网络模块中；将单帧输入信号投影至高维的库网络活动空间，获得输入信号对应的任意时刻库网络活动的向量xt。其中，当计算机程序被处理器82执行时实现如下步骤；获得输入信号对应的任意时刻库网络活动的向量xt，采用如下公式：其中，是表示前馈输入和互馈输入WrXt-1的相互关系函数；为t时刻的输入；Win为输入的权重矩阵；Wr为库网络模块中神经元的连接权重。其中，当计算机程序被处理器82执行时实现如下步骤；库网络模块通过一个或多个库网络组成；当采用多个库网络时，将库网络堆叠在一起；处在第一层的库网络接收输入，处在中间的库网络只接收上一层的库网络输入，并输出给下一层库网络；同时，所有层的库网络都输出给抉择模块。其中，当执行步骤S24时，计算机程序被处理器82执行时实现如下步骤；S241，抉择模块接收运动物体所属各个类别的证据强度，当接收到第i个抉择神经元代表的类别的证据时，对第i个抉择神经元进行正反馈，对其余N-1个抉择神经元进行侧抑制；其中，N为抉择模块中抉择神经元的个数。S242，当视频输入完成后，判断抉择模块中所有抉择神经元积累的证据强度，当存在抉择神经元积累的证据大于抉择阈值，积累的证据强度大于抉择阈值的抉择神经元代表的种类即为运动物体所属的种类；否则，运动物体识别不成功。其中，当计算机程序被处理器82执行时实现如下步骤；任意时刻，同类别的运动物体属于第i类的证据的强度对第i类抉择神经元的正反馈作用相同；对其余N-1个抉择神经元的侧抑制作用相同。本发明实施例还提供了一种计算机可读存储介质。这里的计算机可读存储介质存储有一个或者多个程序。其中，计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。当计算机可读存储介质中所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的用于实现上述方法实施例中运动物体识别方法的部分步骤或者全部步骤。上面对本发明所提供的基于生物大脑认知和抉择机理的运动物体识别方法及系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

权利要求：1.一种基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于包括如下步骤：S11，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重；所述抉择模块根据连接权重对输入信号进行证据强度的累积，并作出类别判断；S12，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；S13，通过任意时刻库网络活动的向量以及库网络活动到抉择模块的连接权重，得到运动物体所属各个类别的证据强度；S14，将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行积累，重复步骤S12～S13，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。2.如权利要求1所述的基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于：在步骤S11中，采用递归最小二乘法对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重。3.如权利要求2所述的基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于采用递归最小二乘法对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重，包括如下步骤：S111，获取库网络模块当前输入对应的对外输出的目标函数；S112，对于第i个抉择神经元，获得任一时刻库网络模块对外输出的实际函数；所述输出的实际函数用库网络模块的状态及其到抉择模块的连接权重表示；S113，以第i个抉择神经元的输出的实际函数和第i个抉择神经元的目标函数的差值最小为目标，通过递归最小二乘法得到当前时刻库网络模块到第i个抉择模块的连接权重，i＝1,2,……N；S114，采用不同类别的运动物体作为输入，重复步骤S112～S114，直至得到库网络模块到抉择模块的每个抉择神经元的连接权重，即得到库网络模块到抉择模块的连接权重。4.如权利要求1所述的基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于步骤S12包括如下步骤：获取运动物体的视频，以帧为单位逐一输入到库网络模块中；将单帧输入信号投影至高维的库网络活动空间，获得输入信号对应的任意时刻库网络活动的向量。5.如权利要求4所述的基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于：获得输入信号对应的任意时刻库网络活动的向量xt，采用如下公式：其中，是表示前馈输入和互馈输入WrXt-1的相互关系函数；为t时刻的输入；Win为输入的权重矩阵；Wr为库网络模块中神经元的连接权重。6.如权利要求1所述的基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于：库网络模块通过一个或多个库网络组成。7.如权利要求6所述的基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于：当采用多个库网络时，将库网络堆叠在一起；处在第一层的库网络接收输入，处在中间的库网络只接收上一层的库网络输入，并输出给下一层库网络；所有层的库网络都输出给抉择模块。8.如权利要求1所述的基于生物大脑认知和抉择机理的运动物体识别方法，其特征在于步骤S14包括如下步骤：S141，抉择模块接收运动物体所属各个类别的证据强度，当接收到第i个抉择神经元代表的类别的证据时，对第i个抉择神经元进行正反馈，对其余N-1个抉择神经元进行侧抑制；其中，N为抉择模块中抉择神经元的个数。S142，当视频输入完成后，判断抉择模块中所有抉择神经元积累的证据强度，当存在抉择神经元积累的证据大于抉择阈值积累的证据强度大于抉择阈值的抉择神经元代表的种类即为运动物体所属的种类；否则，运动物体识别不成功。9.一种基于生物大脑认知和抉择机理的运动物体识别系统，用于实现权利要求1～8所述的运动物体识别方法，其特征在于包括处理器和存储器；所述存储器上存储有可用在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时实现如下步骤：S21，通过对各类运动物体进行分析，得到库网络模块到抉择模块的连接权重；所述抉择模块根据连接权重对输入信号进行证据强度的累积，并作出类别判断；S22，将运动物体的视频按单帧输入到库网络模块中，将低维的输入信号投影至高维的库网络活动空间，获得任意时刻库网络活动的向量；S23，通过任意时刻库网络活动的向量以及库网络活动到抉择模块的连接权重，得到运动物体所属各个类别的证据强度；S24，将运动物体所属各个类别的证据强度输入抉择模块，抉择模块的各个抉择神经元根据输入的各个类别的证据强度进行积累，重复步骤S22～S23，当视频输入完成后，选择累积的证据强度超过抉择阈值的抉择神经元，得到运动物体所属的类别。10.如权利要求9所述的基于生物大脑认知和抉择机理的运动物体识别系统，其特征在于所述计算机程序被所述处理器执行步骤S24时，实现如下步骤：S241，抉择模块接收运动物体所属各个类别的证据强度，当接收到第i个抉择神经元代表的类别的证据时，对第i个抉择神经元进行正反馈，对其余N-1个抉择神经元进行侧抑制；其中，N为抉择模块中抉择神经元的个数。S242，当视频输入完成后，判断抉择模块中所有抉择神经元积累的证据强度，当存在抉择神经元积累的证据大于抉择阈值，积累的证据强度大于抉择阈值的抉择神经元代表的种类即为运动物体所属的种类；否则，运动物体识别不成功。

百度查询： 北京师范大学 基于生物大脑认知和抉择机理的运动物体识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD