申请/专利权人：南京大学

申请日：2020-12-22

公开（公告）日：2024-03-22

公开（公告）号：CN112508121B

主分类号：G06F18/2431

分类号：G06F18/2431;G06N3/0464;G06N3/0442;G06N3/045;G10L17/16;G10L17/22

优先权：

专利状态码：有效-授权

法律状态：2024.03.22#授权;2021.04.02#实质审查的生效;2021.03.16#公开

摘要：本发明提供一种工业机器人感知外界的方法和系统，方法包括步骤1，工业机器人对外界进行视频采集，获得视频流，对所述视频流采样生成图像数据集，通过所述视频流提取语音获得语音数据集；步骤2，对图像数据集采用卷积神经网络CNN生成每张图像中不同对象的向量表示，再通过多层感知机MLP生成不同对象的低维嵌入；步骤3，对语音数据集采用隐马尔可夫HMM模型捕捉每条语音隐变量的值，再通过序列到序列S2S模型完成编码与解码，获得主语、谓语和宾语的关系表；步骤4，建立关系图G；步骤5，对关系图G采用图神经网络GNN进行训练，更新关系表。本发明方法有助于提高机器人的智能程度，增强推理能力，增强工业生产的智能化程度、提高生产效率。

主权项：1.一种工业机器人感知外界的方法，其特征在于，包括以下步骤：步骤1，工业机器人对外界进行视频采集，获得视频流，对所述视频流采样生成图像数据集，通过所述视频流提取语音获得语音数据集，分别对图像数据集和语音数据集进行预处理；步骤2，对图像数据集采用卷积神经网络CNN生成每张图像中不同对象的向量表示，再通过多层感知机MLP生成不同对象的低维嵌入；所述对象指存在的各种实体；步骤3，对语音数据集采用隐马尔可夫HMM模型捕捉每条语音隐变量的值，再通过序列到序列S2S模型完成编码与解码，获得主语、谓语和宾语的关系表；从语音数据集中解析出声纹，通过声纹能够确定主语；步骤4，建立关系图G；步骤5，对关系图G采用图神经网络GNN进行训练，更新关系表和关系图G；所述步骤4包括：步骤4.1，将步骤2中所有不同对象作为关系图G中的节点，关系图像G中节点的集合记为V，将所述对象的低维嵌入作为节点的特征向量；步骤4.2，为节点绑定标签，所述标签为步骤3中获得的主语或宾语；将主语和宾语绑定到对应的节点上，将一对主语和宾语所在节点连线形成边，将对应的谓语表示成边的标签，所述谓语也称为关系，关系具有方向性，箭头方向由主语指向宾语；将关系图G中边的集合记为E，节点的标签集合记为Lv，边的标签集合记为Le，关系图G表示成GV,E,Lv,Le；所述节点的特征向量、节点的标签、节点的边、节点的边标签均为该节点的属性；所述步骤5中的图神经网络GNN采用图采样聚合模型graphsage，所述图采样聚合模型graphsage的A矩阵采用有向图的邻接矩阵，聚合器采用LSTM，损失函数采用交叉熵；所述图采样聚合模型graphsage能够对关系图G中的节点标签Lv和边标签Le进行聚类，生成节点分类标签；在图采样聚合模型graphsage进行训练过程中采用对正则化PN减少过光滑现象；所述步骤5包括：步骤5.1，图采样聚合模型graphsage利用步骤3中获得的关系表对关系图G中不相邻的节点进行关系推断，所述不相邻的节点指两个节点之间没有边，同时两个节点均和第三个节点存在关系；如果通过推断发现两个不相邻的节点存在关系，则更新关系表，并更新关系图G，将这两个节点连线形成边，并在边集合E中增加此边，在边的标签集合Le中增加这两个节点的关系；步骤5.2，节点分类标签推断，根据已有的关系表，通过图采样聚合模型graphsag进行图分类，如果关系图G中一个节点的属性和另一个节点的属性相似，且两个节点均和第三个节点有相同的关系，则判断该节点和另一个节点分类相同，具有相同的分类标签。

全文数据：

权利要求：

百度查询： 南京大学 一种工业机器人感知外界的方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD