申请/专利权人：清华大学

申请日：2021-06-21

公开（公告）日：2024-04-12

公开（公告）号：CN113536945B

主分类号：G06V20/50

分类号：G06V20/50;G06N5/02;G10L15/26

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2021.11.09#实质审查的生效;2021.10.22#公开

摘要：本发明属于图像处理技术领域，特别涉及一种面向盲人的物体寻找系统及方法。本明的目的是为克服已有技术的不足之处，提出一种面向盲人的物体寻找系统及方法。本发明能够将目标检测技术、场景图生成技术与知识图谱技术结合起来，为盲人提供所需要寻找的物体的详细信息，包括其在视野中的相对位置及其在场景图中的相对位置，并在未找到目标时在知识图谱中主动查找相似的替代品，尽可能满足用户的真实需求。本发明从盲人用户的现实需求出发，解决寻找一类物品的问题，可以部署于盲人视觉辅助眼镜、服务机器人等诸多设备。

主权项：1.一种面向盲人的物体寻找方法，其特征在于，该方法包括以下步骤：（1）选定一个目标检测数据集，采用由该数据集训练的目标检测模型；将该目标检测模型D能够检测到的目标集合记为可检测物体；（2）对步骤（1）的目标检测模型中的可检测物体进行标定，得到一个可检测物体的常识知识图谱，其中，为实体集合，该实体集合包含所有可识别物体，为实体之间的关系集合，为知识图谱中的三元组集合，三元组表示实体之间的关系，三元组的格式为，为三元组的头部实体，为关系类型，为三元组的尾部实体；为实体的嵌入向量矩阵，其中为嵌入向量的维度，表示第个实体的嵌入向量；（3）采用一个场景图谱生成模型；（4）初始化场景图谱为空，初始化物体寻找状态为无目标状态，初始化待汇报文字信息为空；（5）等待由盲人所持设备传来的图像信息或文字信息；（6）收到步骤（5）的信息时，对信息类型进行判断：若接收到的信息为图像信息，则执行步骤（7），若接收到的信息为文字信息，则执行步骤（8）；（7）将步骤（6）接收的图像信息输入步骤（1）的目标检测模型，得到目标检测结果，将该目标检测结果输入步骤（3）的场景图谱生成模型，得到一个新的场景图谱，进行步骤（9）；（8）根据设定的规则，将步骤（6）接收的文字信息解析为指令，并根据物体寻找状态和指令进行以下判断：若当前物体寻找状态处于无目标状态，且指令为设置目标，则进行步骤（8-1）；若当前物体寻找状态处于待确认指令状态，且指令为确认否认，则进行步骤（8-2）；若当前物体寻找状态处于有目标状态，且指令为停止，则进行步骤（8-3）；若当前物体寻找状态处于有目标状态，且指令为汇报文字信息，则进行步骤（10）；（8-1）使当前物体寻找状态转变为待确认状态，并将指令中的目标设为待确认目标，返回步骤（5）；（8-2）若指令为确认，则使当前物体寻找状态转变为搜寻目标状态，将待确认目标设为搜寻目标，并从步骤（2）的常识知识图谱中检索搜寻目标实体的近似实体；若指令为否认，则使当前物体寻找状态恢复为进入待确认状态前的原状态，返回步骤（5）；（8-3）使当前物体寻找状态转变为无目标状态，返回步骤（5）；（9）当前物体寻找状态为有目标状态时，根据当前盲人所持设备传来的图像、步骤（1）的目标检测模型以及步骤（7）的场景图谱，生成待汇报文字信息，具体步骤如下：（9-1）若当前盲人所持设备传来的图像的目标检测结果中存在要寻找的物体，则根据该物体在场景图谱中的相对关系和该物体在图像中的相对位置，产生相应的汇报物体位置的文字信息；跳转步骤（10）；（9-2）若当前盲人所持设备传来的图像的目标检测结果中不存在要寻找的物体，而步骤（7）的场景图谱中存在该类物体，则产生提示用户曾经看到过该类物体的文字信息；（9-3）若当前盲人所持设备传来的图像的目标检测结果中不存在要寻找的物体，且步骤（7）的场景图谱中也不存在该类物体，但步骤（7）的场景图谱中或当前盲人所持设备传来的图像的目标检测结果中存在步骤（8-2）的近似实体，则产生询问用户是否将寻找目标转变为找到的近似实体的文字信息；（9-4）若当前盲人所持设备传来的图像的目标检测结果中不存在要寻找的物体或步骤（8-2）的近似实体，且步骤（7）的场景图谱中也不存在要寻找的物体或步骤（8-2）的近似实体，则提示用户未找到目标的文字信息；（9-5）记录步骤（9-1）至步骤（9-4）所产生的文字信息作为汇报内容，并返回步骤（6）；（10）将生成的文字信息通过通信模块传输到客户端；若传输的文字信息为询问用户是否将寻找目标转变为找到的近似实体的文字信息，则将当前状态转变为待确认状态，将找到的近似实体设为待确认目标，跳转步骤（5）；若汇报物体位置的文字信息，则通过通信模块传输到客户端，完成盲人的物体寻找过程。

全文数据：

权利要求：

百度查询： 清华大学 一种面向盲人的物体寻找系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD