申请/专利权人：清华大学

申请日：2020-10-31

公开（公告）日：2021-02-23

公开（公告）号：CN112396653A

主分类号：G06T7/73(20170101)

分类号：G06T7/73(20170101);G06T1/00(20060101);G06N20/00(20190101);B25J9/16(20060101)

优先权：

专利状态码：有效-授权

法律状态：2022.10.18#授权;2021.03.12#实质审查的生效;2021.02.23#公开

摘要：本发明提出的目标场景导向的机器人操作策略生成方法，包括：1对初始任务场景、目标任务场景进行分析，得到操作任务场景中的物体个数及属性信息、物体位姿信息、物体间的相对位姿关系和操作任务场景的难度等级；对操作任务元素包括机器人操作类型和操作任务空间进行分析，得到机器人操作类型集合和多块操作任务空间；2以步骤1得到的结果作为输入，以每个操作所涉及的操作物体、操作类型和操作位姿以及各个操作在时间上的先后顺序所表征的操作任务策略作为输入，构建操作任务策略生成模型并设定其目标函数；3求解得到操作任务策略。本发明通过目标场景导向的机器人操作策略生成方法，可以适应不同操作任务场景和操作任务需求。

主权项：1.一种目标场景导向的机器人操作策略生成方法，其特征在于，包括以下步骤：1对初始任务场景、目标任务场景以及操作任务元素进行分析，具体步骤如下：1.1对初始任务场景和目标任务场景进行分析1.1.1根据机器人的操作任务场景，分别对初始任务场景Sstart和目标任务场景Starget，采用视觉传感器进行相应操作任务场景的图像采集；1.1.2对采集的图像进行处理，识别初始任务场景Sstart和目标任务场景Starget中的所有物体，记为Oi，scene，其中，i表示物体的编号，i＝1，2，…，n，n为操作任务场景中物体的总个数，设初始任务场景和目标任务场景中的物体个数相等；scene为操作任务场景，取start或者target，前者对应初始任务场景，后者对应目标任务场景；将操作任务场景中物体Oi，scene的属性值记为Qi，scene；定义OOi，scene，Qi，scene为操作任务场景scene中的物体个数和属性信息；1.1.3对初始任务场景Sstart和目标任务场景Starget中的各物体进行位姿估计，得到每个物体的初始位姿Ti，start和目标位姿Ti，target；其中，物体位姿是指其在三维空间中的位置和姿态；定义TTi，start，Ti，target为操作任务场景中物体i的位姿信息；1.1.4根据初始任务场景Sstart和目标任务场景Starget中各物体的位姿信息，对同一操作任务场景中物体间的相对位姿关系进行分析，以反映该操作任务场景中各物体的叠放关系，具体为：定义Rij，scene表示某一操作任务场景scene中物体Oi和物体Oj的相对位姿量，即Rij，scene＝Ti，scene-Tj，scene，i，j＝1，2，…，n，且i≠j；定义Rij，scene，c表示物体Oi和物体Oj在某一操作任务场景scene中的相对位姿关系类别，反映某一操作任务场景scene中物体Oi相对于物体Oj的叠放关系；定义RRij，scene，Rij，scene，c为某一操作任务场景中物体间的相对位姿关系；1.1.5根据初始任务场景Sstart和目标任务场景Starget中物体的个数、各物体的位姿状态和相对位姿关系，对操作任务场景的难度等级进行分析，定义Ll为操作任务场景的操作任务难度等级；1.1.6根据步骤1.1.1～1.1.5得到的相关参数定义操作任务场景分析结果为DOOi，scene，Qi，scene，TTi，start，Ti，target，RRij，scene，Rij，scene，c，Ll；1.2对操作任务元素包括机器人操作类型和操作任务空间进行分析，具体步骤如下：1.2.1根据操作任务场景中所需的机器人操作类型，定义机器人操作类型集合M＝{M1，M2，…，Mk，…Mm}，其中，k＝1，2，…，m，m为操作任务场景中涉及的机器人操作类型总个数，Mk为第k个机器人操作类型；1.2.2在机器人操作任务场景中，定义操作任务空间为Ω，表示由任务场景限制可以进行操作任务的空间，将操作任务空间进行分块处理：首先，根据操作任务空间内是否存在物体，可以将操作任务空间Ω分为两部分：物体区域Ω0和空白区域Ωb，其中，物体区域Ω0表示存在物体的操作任务空间，空白区域Ωb表示不存在物体的操作任务空间，随着操作任务的不断进行，物体区域Ω0和空白区域Ωb是动态变化的；空白区域Ωb用于操作任务中物体的暂时摆放；根据目标任务场景Starget中各物体的目标位姿Ti，target，将操作任务空间Ω分为两部分：目标任务区域Ωtarget和非目标任务区域Ωnon-target，其中，目标任务区域Ωtarget对应目标任务场景Starget中各物体的所在区域；2构建操作任务策略生成模型并设定目标函数，具体步骤如下：2.1构建操作任务策略生成模型，该模型的输入为：步骤1得到的操作任务场景分析结果，即DOOi，scene，Qi，scene，TTi，start，Ti，target，RRij，scene，Rij，scene，c，Ll和操作任务元素分析结果，即机器人操作类型Mk和操作任务空间Ω，操作任务策略生成模型的输出为：生成的操作任务策略P，体现为操作序列W，包括每个操作所涉及的操作物体Oh、操作类型Mh和操作位姿Th以及各个操作在时间上的先后顺序Uh·，即P＝W{UhOh，Mh，Th}；2.2根据操作任务需求，设定操作任务策略生成模型的目标函数，具体如下：以由初始任务场景至目标任务场景过程中目标位姿匹配程度、操作时间和机器人操作空间匹配程度之和最小为生成操作任务策略的目标函数，计算公式如下： 其中：J1为机器人目标位姿匹配程度，Ti，real和Ti，target分别表示操作任务完成后，物体Oi的实际位姿和目标位姿；J2为机器人完成所有操作任务所花费的操作时间，其中，th表示机器人完成操作任务类型Mh对应的操作任务所需要的时间，h＝1，2，…，q，q为操作任务场景中所需机器人操作的总数；J3为机器人操作空间匹配程度，Bh为操作任务场景中机器人完成操作任务类型Mh对应的操作任务时涉及的实际操作任务空间边界值BΩ，h，real与给定操作任务空间边界值BΩ，h的差值，当BΩ，h，real-BΩ，h＜0时，令Bh＝0；当BΩ，h，real-BΩ，h＞0时，令Bh＝BΩ，h，real-BΩ，h；αw为权重系数；3利用动态规划或强化学习方法对操作任务策略生成模型进行求解，最终得到操作任务策略P。

全文数据：

权利要求：

百度查询： 清华大学 一种目标场景导向的机器人操作策略生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD