申请/专利权人：北京工业大学

申请日：2021-08-28

公开（公告）日：2024-02-06

公开（公告）号：CN113703322B

主分类号：G05B13/04

分类号：G05B13/04

优先权：

专利状态码：有效-授权

法律状态：2024.02.06#授权;2021.12.14#实质审查的生效;2021.11.26#公开

摘要：本发明提出一种仿鼠脑视觉通路和内嗅—海马结构的情景记忆模型构建方法，属于机器人环境认知与导航技术领域，主要应用于智能移动机器人的环境认知和导航，完成环境认知地图构建及面向目标导航等任务。采集环境的图像信息及机器人的角度与速度，角度与速度输入内嗅—海马CA3神经计算模型得到机器人的精确位置、方向信息；视觉信息输入视觉通路计算模型得到当前机器人视野内的情景信息。将上述两路信息融合并存储在具有拓扑结构关系的记忆单元模型中。利用情景信息对机器人探索过程中的路径积分误差进行纠正，进而构建环境表达的情景认知地图。

主权项：1.一种基于鼠脑视觉通路与内嗅—海马认知机理的情景记忆模型构建方法，其特征在于包括以下步骤：步骤1、机器人探索环境，通过摄像头采集环境的RGB图像信息，通过陀螺仪和编码器采集机器人的头朝向角度与速度信息；步骤2、将头朝向角度与速度信息输入鼠脑内嗅—海马CA3神经计算模型，获取机器人在环境中的位置信息；步骤3、将RGB图像信息输入到视觉通路计算模型，获得机器人视野内的环境特征，包括环境中物体的个数，环境中物体的属性信息，物体相对机器人的角度，以及物体与机器人的距离；步骤4、构建认知节点：机器人每移动一次建立一个新的认知节点，机器人在探索环境的过程中不断建立认知节点，相邻认知节点之间存在拓扑连接关系，其中，第i个认知节点由ei表示，用于存储当前情景信息与位置、方向角信息，ei表示如下： 其中，代表第i认知节点处机器人的头朝向角度，代表第i认知节点处机器人在环境中的位置信息，代表第i认知节点处机器人视野内的环境特征，代表第i认知节点处物体的个数，当前的头朝向角度为ρij代表第i认知节点处第j个物体的属性，Φij代表第i认知节点处第j个物体相对机器人的角度，dij代表第i认知节点处第j个物体相对机器人的距离；步骤5、构建环境表达的情景认知地图；步骤2进一步包括以下步骤，S1.1将机器人的角度与速度信息输入条纹细胞的放电模型，得到条纹细胞的放电率；S1.2将条纹细胞的放电率输入网格细胞的放电模型，得到网格细胞放电率；S1.3将网格细胞放电率输入齿状回神经元放电模型，得到齿状回神经元放电率，然后将网格细胞放电率和齿状回神经元放电率输入海马CA3位置细胞放电模型，得到海马CA3位置细胞放电率；S1.4计算机器人在环境中的位置；所述条纹细胞放电率的数学表达式为：Vstripet＝cos2πf·∫vHDdt+cos2πfd·∫vHDdt4式4中Vstripe表示放电率，t代表当前时刻，f代表神经元细胞体的振荡频率，fd代表神经元树突振荡频率，∫vHDdt代表沿着条纹细胞偏好头朝向角度ΦHD方向上的路径积分，其中vHD代表机器人在偏好头朝向角度ΦHD上的分速度，其数学表达式为：vHD＝vcosΦ-ΦHD5式5中，v代表采集到的当前机器人的移动速度，Φ代表采集到的当前机器人的头朝向角度，神经元树突振荡频率fd的数学表达式为：fd＝f+B1vcosΦ-ΦHD6其中B1为条纹波波长的倒数，所述网格细胞放电模型由偏好头朝向角度各相差120°的三个条纹细胞放电率叠加得到，具体的数学表达式为：gt＝∏HDcos2πf·∫vHDdt+cos2πf+BvcosΦ-ΦHD·∫vHDdt7式7中，gt代表网格细胞放电率，三个条纹细胞偏好角度ΦHD的取值分别为Φg+0°，Φg+120°，Φg+240°，其中Φg代表条纹细胞族的偏移角，其取值大小在为0°～360°之内的随机选取，Φg同时也代表网格野的定向角；第i个齿状回神经元接受的兴奋性输入的数学表达式为： 式8中，i和j分别代表齿状回神经元和网格细胞的序号，gjt代表第j个网格细胞的放电率大小，ngrid代表网格细胞的数量，W代表兴奋性输入连接权值矩阵，其中Wij代表第j个网格细胞到第i个齿状回神经元的连接权值，每一个连接权值的计算公式如下： 式9中s代表突触大小，取值大小在0～0.2μm2范围内随机选取，每一种大小的s对应其在所有突触中数量的占比Ps服从以下数学表达式： 式10中A1＝100.7，B2＝0.02，σ1＝0.022，σ2＝0.018，σ3＝0.15，通过式9与式10即可对连接权值矩阵W进行赋值，从而实现网格细胞到齿状回神经元的兴奋传递，所述齿状回神经元放电率大小的数学表达式为： 式11中，表示齿状回神经元放电率，k1取0.1，代表齿状回神经元接受网格细胞前向输入的最大值，Hx是一个整流函数，当x＞0时Hx＝1；反之当x≤0时函数值为0，所述齿状回神经元到海马CA3位置细胞的兴奋输入信号如式下所示： 式12中，i和j分别代表CA3位置细胞和齿状回神经元的序号，ndentate代表齿状回神经元的个数，代表齿状回神经元放电率的最大值，Ω代表兴奋性输入连接权值矩阵，其中Ωij代表第j个齿状回神经元到第i个CA3位置细胞的连接权值，取值范围为0～1，连接权重取值的分布函数被定义为一个非负的高斯分布，数学表达式如下： 式13中A2＝1.033，μ＝24，σ＝13，通过式9与式10即可对获取兴奋性输入连接权值矩阵Ω进行赋值，从而实现齿状回神经元到CA3位置细胞的兴奋传递，所述海马CA3位置细胞接受到的来自内嗅皮层和齿状回神经元的前向输入的数学表达式为： 式14中，和分别为上文提及网格细胞与齿状回神经元的前向输入信号，代表网格细胞前向输入信号的平均强度，其数学表达式为： 式15中，nCA3代表CA3位置细胞的数量，所述海马CA3位置细胞放电模型的数学表达式如下： 式16中代表CA3位置细胞接受到的总兴奋输入信号最大值，k2取0.1；进一步的，步骤S1.4包括以下步骤，步骤S1.4.1、构建能够编码给定空间区域的位置细胞板模型，细胞板的形状为正方形，细胞板的边长Nx，并获取机器人在给定空间区域中的位置坐标，其中，当前机器人在当前位置细胞板编码空间区域中所处的位置，其计算的数学表达式为： 式2中，和分别代表t时刻兴奋活动包在位置细胞板上的横纵坐标，表示t时刻细胞板上第i行第j列位置细胞的放电率大小，具体根据海马CA3位置细胞放电率计算得到；步骤S1.4.2、利用边界细胞对编码区域边界特异性放电这一生理特性，实现其对条纹细胞放电的周期性重置，获取机器人在任意大小空间区域的位置坐标，具体实现方法为：初始时刻设定机器人位于位置细胞板编码的正方形区域中心，当机器人到达给定编码区域空间的任意边界时，该边界所对应的边界细胞就会产生特异性放电，将所有条纹细胞关于偏好头朝向角度ΦHD方向上的路径积分项∫vHDdt置零，使得机器人处于重置以后的位置细胞板编码的正方向区域中心，通过该方式，每完成一次条纹细胞的放电重置，位置细胞板就可以立即生成对新空间区域的编码，从而完成机器人对任意大小空间的位置认知；定义物理坐标系以初始运动位置为原点，位置细胞板的水平方向为X轴正方向，与之垂直的方向为Y轴方向，则机器人在任意大小空间区域内的位置坐标数学表达式如下： 式3中β为位置细胞板上的坐标向真实位置坐标转换的比例系数，其取值为正方形编码区域的边长L与位置细胞板的边长Nx的比值，QX和QY分别代表上一次网格野重置时机器人在任意大小空间区域内的横纵坐标，为后续记忆单元模型的构建提供了精确的位置信息；进一步的，视觉计算通路模型包含“what回路”与“where回路”，其中，“what回路”模型采用DPM算法，其输入为环境RGB图像信息输入，用于得到环境中物体的个数和属性信息；“where回路”模型用于获取物体相对机器人的方位信息，包括相对于机器人的方向、与机器人之间的距离，工作过程为：通过旋转机器人使待检测物体置于视野中央，机器人旋转前后的头朝向角度之差即为物体相对机器人的角度，再利用深度相机获取物体与机器人的距离，以此来获取物体相对于机器人的方位；进一步的，“where回路”模型具体工作过程为：当机器人在环境中探索时，采用PID算法机器人的旋转速度进行闭环控制，使待检测物体置于视野中央，机器人每移动一次将面对一个新的情景，定义i为场景序号，首先通过DPM算法识别出i场景下物体的个数，设为当前的头朝向角度为设i场景下当前被检测的物体序号为j，第j个待检测物体的属性定义为ρij；随后依次解算每个物体的方位信息，当前的像素偏差eobject_middle的数学表达式为：eobject_middle＝pgraph_middle-pobject_middle17pgraph_middle代表视野中央的像素值，pobject_middle代表待检测物体左右边界在图像中位置的平均值，通过PID算法得到的当前旋转速度ω给定值的数学表达式为： 当待检测物体置于视野中央时，记录此时的机器人头朝向角度Φ，则i场景下第j个物体相对于旋转前机器人的方向角与此同时，通过深度相机获取机器人与待测物体的距离dij，通过上述操作即可获取物体j相对于当前时刻机器人的方位信息，依次获取i场景下个物体的属性与方位信息，待当前情景中所有物体的方位信息均获取之后，将机器人的头朝向角度重新旋转至继续在环境中探索与认知；进一步的，步骤5包括如下步骤，S5.1通过相似场景度量算法，建立情景信息相似的认知节点之间的拓扑连接关系，以扩展相邻认知节点之间的拓扑连接关系；S5.2利用全体认知节点之间的拓扑关系，纠正移动机器人在探索过程中头朝向角和位置的累计误差，构建拓扑认知地图；S5.3解算环境物体在物理坐标系中的位置，并将其标定在拓扑地图中，实现环境情景认知地图的构建；所述相似场景度量算法具体如下，设有两个认知节点ea和eb，首先判断两个情景中的物体数量是否相同以及判断对应物体的属性是否一致，若上述两个条件存在一个不满足则判断两个情景不匹配；若都满足，则通过度量情境中每个物体的方位信息是否一致，具体度量函数Sea，eb的数学表达式为： 其中，μΦ和μd分别代表方向信息和距离信息的权重，满足μΦ+μd＝1，设定匹配阈值为Sth，当度量函数值小于匹配阈值时，则建立认知节点ea和eb之间的拓扑关系；步骤S5.2具体包括，已知当前认知节点为ei，与其存在拓扑关系的认知节点为ek，则认知节点ei和ek的位置及方向角修正的数学表达式如下，首先计算认知节点的改变量Δxik、Δyik和如式20所示： 式20中，和分别代表关联认知点ei和ek所对应海马位置细胞放电野中心的横纵坐标，dik代表认知点ei和ek所对应海马位置细胞放电野中心的距离，和分别代表认知点ei和ek处的头朝向角度，得到改变量之后，则可根据改变量的大小逐步地迭代计算出修正之后的节点参数，相关数学表达式如式21和22所示，式21和式22中，t与t+1分别代表每一次迭代运算前后时刻，δ代表累积误差的修正率， 步骤S5.2之后加入地图收敛判据算法，提高认知地图构建过程的实时性，具体为：定义t时刻的地图收敛量为Δdt，其数学表达式如下： 式23中nsum代表当前认知节点的总数，ni代表与认知节点i存在拓扑关系的节点数，设收敛判据比例因子为σ，当Δdt-Δdt+1＜σΔdt+1时，地图更新迭代结束；否则，则继续执行认知地图构建的更新迭代；步骤S5.3具体如下，得到环境的拓扑认知地图与情景信息后，则可将二者融合得到环境的情景认知地图，具体做法为：根据上文中求得的机器人在物理坐标系中的位置与物体相对于机器人的方位信息，则可计算出所有物体在物理坐标系中的位置，将每个物体按照属性和位置信息标定在包含拓扑地图的物理坐标系中即可得到环境表达的情景认知地图。

全文数据：

权利要求：

百度查询： 北京工业大学 仿鼠脑视觉通路和内嗅—海马结构的情景记忆模型构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD