申请/专利权人：武汉库柏特科技有限公司

申请日：2018-11-19

公开（公告）日：2023-06-23

公开（公告）号：CN109712215B

主分类号：G06T11/20

分类号：G06T11/20;G06V40/16;G06V10/34;G06V10/44

优先权：

专利状态码：有效-授权

法律状态：2023.06.23#授权;2019.05.28#实质审查的生效;2019.05.03#公开

摘要：本发明涉及一种基于机器人的线框图绘制方法及系统，其方法包括以下步骤：获取拍摄图像上的简笔线条序列；根据预设的空间关系变换方程对简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；机器人根据变换线条序列在机器人坐标系中绘制与拍摄图像对应的线框图。本发明提供的基于机器人的线框图绘制方法及系统，机器人可以长时间连续绘制线框图，相比于传统的人工绘制和线框图提取软件，能够更加稳定的自动绘制线框图，大大提高了线框图的绘制效率。

主权项：1.一种基于机器人的线框图绘制方法，其特征在于，包括以下步骤：步骤100、获取拍摄图像上的简笔线条序列；步骤200、根据预设的空间关系变换方程对所述简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；步骤300、机器人根据所述变换线条序列在所述机器人坐标系中绘制与所述拍摄图像对应的线框图；所述步骤100具体包括：步骤110、获取拍摄图像，所述拍摄图像包含有人脸区域和除所述人脸区域之外的非人脸区域；步骤120、应用脸部特征检测模型对所述拍摄图像进行特征点检测，得到所述人脸区域内的脸部特征点以及所述脸部特征点在所述拍摄图像上的位置信息；步骤130、根据所述脸部特征点判断所述人脸区域的完整性，若所述人脸区域不完整，则返回至步骤110，若所述人脸区域完整，则继续执行步骤140；步骤140、根据所述脸部特征点和所述位置信息确定脸部简笔线条，并应用图像提取方法从所述拍摄图像上提取所述非人脸区域内的图像线条图；步骤150，根据所述脸部简笔线条和所述图像线条图生成所述简笔线条序列；在所述步骤200中，所述空间关系变换方程表示为： 其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标；所述变换关系矩阵T表示为： 其中，x和y代表所述简笔线条序列对应平面变换的平移量，α代表所述简笔线条序列对应尺度变换的缩放因子。

全文数据：一种基于机器人的线框图绘制方法及系统技术领域本发明涉及机器人技术领域，尤其涉及一种基于机器人的线框图绘制方法及系统。背景技术线框图是以简要线条描绘事物的简图，在一些应用领域发挥着重要作用，例如：针对工业生产领域的产品设计、针对互联网领域的网页设计和针对美术领域的人物肖像。目前，主要通过人工绘制线框图或者通过线框图提取软件提取与拍摄图像对应的线框图，人工绘制线框图的速度较慢且针对同一目标的不同线框图具有较大的差异化，具有不稳定性，线框图提取软件需要用户多次操作用户界面才能得到线框图，自动化程度较低。发明内容本发明所要解决的技术问题是针对现有技术中绘制线框图的稳定性差且自动化程度较低的不足，提供一种基于机器人的线框图绘制方法及系统。本发明解决上述技术问题的技术方案如下：依据本发明的第一方面，提供了一种基于机器人的线框图绘制方法，包括以下步骤：步骤100、获取拍摄图像上的简笔线条序列；步骤200、根据预设的空间关系变换方程对所述简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；步骤300、机器人根据所述变换线条序列在所述机器人坐标系中绘制与所述拍摄图像对应的线框图。相比于现有技术，本发明的一种基于机器人的线框图绘制方法带来的有益效果是：通过空间关系变换方程将简笔线条序列从图像空间变换到机器人可达的物理空间，得到机器人坐标系下的变换线条序列，机器人根据变换线条序列绘制线框图，能够连续快速绘制线框图，相比于传统的人工和线框图提取软件，机器人能够更加稳定的自动绘制线框图，大幅度提高了线框图的绘制效率。在上述技术方案的基础上，可以做出进一步得到如下技术方案：进一步，所述步骤100具体包括：步骤110、获取拍摄图像，所述拍摄图像包含有脸部区域和除所述脸部区域之外的非脸部区域；步骤120、应用脸部特征检测模型对所述拍摄图像进行特征点检测，得到所述脸部区域内的脸部特征点以及所述脸部特征点在所述拍摄图像上的位置信息；步骤130、根据所述脸部特征点判断所述人脸区域的完整性，若所述人脸区域不完整，则返回至步骤110，若所述人脸区域完整，则继续执行步骤140；步骤140、根据所述脸部特征点和所述位置信息确定脸部简笔线条，并应用图像提取方法从所述拍摄图像上提取所述非脸部区域内的图像线条图；步骤150，根据所述脸部简笔线条和所述图像线条图生成所述简笔线条序列。上述进一步技术方案带来的技术效果是：通过脸部特征检测模型快速、准确地检测脸部特征点及位置信息，通过脸部特征点判断人脸区域的完整性，在人脸区域不完整时重新获取人脸图像，有效保证了脸部特征点的准确性；在人脸区域完整时，通过图像提取方法从拍摄图像上提取非脸部区域内的图像线条图，实现对图像线条图和脸部特征点进行分开提取，保证了图像线条图清晰。进一步，所述步骤130中，根据所述脸部特征点判断所述人脸区域的完整性具体包括：若所述脸部特征点包含有人脸局部器官上的所有特征点，则判定所述人脸区域完整，否则，判定所述人脸区域不完整。上述进一步技术方案带来的技术效果是：通过匹配脸部特征点中是否包含人脸局部器官上的所有特征点，判断人脸区域的完整性，提高了人脸区域的判断准确性。进一步，所述步骤140中，根据所述脸部特征点和所述位置信息确定脸部简笔线条具体包括：根据所述位置信息在所述拍摄图像上定位所述脸部区域的人脸局部器官；应用预定的特征点插值方法分别对在所述人脸局部器官上的相邻所述人脸特征点进行特征点插值，得到人脸插值特征点；应用预定的线条平滑方法对所有所述人脸特征点和所有所述人脸插值特征点进行平滑连接，得到所述脸部简笔线条。上述进一步技术方案带来的技术效果是：通过位置信息快速、准确地在拍摄图像上定位出人脸局部器官，通过特征点插值方法对特征点插值方法进行特征点插值处理，并且通过线条平滑方法对脸部特征点进行平滑处理，使得脸部简笔线条连续平滑。进一步，所述脸部简笔线条包括五官简笔线条和脸型轮廓线条，所述步骤150具体包括：按照预定的线条存储顺序，将所述脸部简笔线条中的五官简笔线条和脸型轮廓线条依次存储在线条存储器中；应用预定的线条离散方法对所述图像线条图进行线条离散，得到多个离散线条；按照所述线条存储顺序，将多个所述离散线条依序存储在所述线条存储器；所述五官简笔线条、所述脸型轮廓线条和多个所述离散线条在所述线条存储器中依次存储形成所述简笔线条序列。上述进一步技术方案带来的技术效果是：通过线条离散方法将图像线条图离散为多个离散线条，增强了离散线条的离散度，并且通过线条存储器先后有序存储多个离散线条和脸部简笔线条，便于机器人绘制线框图。进一步，在所述步骤200中，所述空间关系变换方程表示为：其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标；所述变换关系矩阵T表示为：其中，x和y代表所述简笔线条序列对应平面变换的平移量，α代表所述简笔线条序列对应尺度变换的缩放因子。上述进一步技术方案带来的技术效果是：通过空间关系变换方程将拍摄图像上的图像平面空间对应的简笔线条序列变换到机器人坐标系下的变换线条矩阵，并且通过变换关系矩阵对简笔线条序列进行平面变换和尺度变换，实现将图像平面空间以合适平面位移和尺度转换到预先设置好的绘制纸张范围内，方便机器人绘制线框图。进一步，所述步骤300具体包括：应用机器人逆运动学数值方法对所述变换线条序列进行求解，得到运动路径；所述机器人中的末端执行器沿着所述运动路径依次绘制所述变换线条序列中的每个线条，得到所述线框图。上述进一步技术方案带来的技术效果是：通过机器人中的末端执行器沿着运动路径依次绘制变换线条序列中的每个线条，能够连续平滑地绘制出每个线条，末端执行器的运行效率高且绘制时间长，能够实现模拟人手臂绘制线框图，线框图具有较好的清晰度。依据本发明的第二方面，提供了一种基于机器人的线框图绘制系统，包括：简笔线条序列获取模块、变换线条序列获取模块和机器人；所述简笔线条序列获取模块，用于获取拍摄图像上的简笔线条序列；所述变换线条序列获取模块，用于根据预设的空间关系变换方程对所述简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；所述机器人，用于根据所述变换线条序列在所述机器人坐标系中绘制与所述拍摄图像对应的线框图。进一步，所述简笔线条序列获取模块具体用于：获取拍摄图像，所述拍摄图像包含有脸部区域和除所述脸部区域之外的非脸部区域；应用脸部特征检测模型对所述拍摄图像进行特征点检测，得到所述脸部区域内的脸部特征点以及所述脸部特征点在所述拍摄图像上的位置信息；根据所述脸部特征点判断所述人脸区域的完整性，若所述人脸区域不完整，则重新获取所述拍摄图像；若所述脸部区域完整，则根据所述脸部特征点和所述位置信息确定脸部简笔线条，并应用图像提取方法从所述拍摄图像上提取所述非脸部区域内的图像线条图；根据所述脸部简笔线条和所述图像线条图生成所述简笔线条序列。进一步，所述空间关系变换方程表示为：其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标；所述变换关系矩阵T表示为：其中，x和y代表所述简笔线条序列对应平面变换的平移量，α代表所述简笔线条序列对应尺度变换的缩放因子。相比于现有技术，本发明的一种基于机器人的线框图绘制方法带来的有益效果是：变换线条序列获取模块通过空间关系变换方程将简笔线条序列从图像空间变换到机器人可达的物理空间，得到机器人坐标系下的变换线条序列，机器人根据变换线条序列绘制线框图，相比于传统的人工和线框图提取软件，机器人能够更加稳定的自动绘制线框图，大幅度提高了线框图的绘制效率，并且能够实现快速绘制与任意拍摄图像对应的线框图，线框图具有线条流畅、清晰和与拍摄图像相似度较高等优点。附图说明图1为本发明实施例一提供的一种基于机器人的线框图绘制方法的流程示意图；图2为对应于图1中步骤100的流程示意图；图3为本发明实施例一提供的从人脸图像中提取图像线条图的流程示意图；图4为本发明实施例一提供的从人脸图像提取脸部简笔线条的流程示意图；图5为本发明实施例二提供的一种基于机器人的线框图绘制系统的结构示意图；图6为本发明实施例二提供的另一种基于机器人的线框图绘制系统的结构示意图；图7为本发明实施例三提供的一种基于机器人的线框图系统的结构示意图。附图中，各标号所代表的部件列表如下：1-高清相机，2-上位机，3-下位机，4-机器人，5-末端执行器。具体实施方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。实施例一如图1所示，本发明实施例的一种基于机器人的线框图绘制方法的流程示意图，本实施例以人脸图像作为拍摄图像、以肖像简图作为线框图进行实例描述，包括以下步骤：步骤100、获取拍摄图像上的简笔线条序列；步骤200、根据预设的空间关系变换方程对简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；步骤300、机器人根据变换线条序列在机器人坐标系中绘制与拍摄图像对应的线框图。通过空间关系变换方程将简笔线条序列从图像空间变换到机器人可达的物理空间，得到机器人坐标系下的变换线条序列，机器人根据变换线条序列绘制线框图，能够连续快速绘制线框图，相比于传统的人工和线框图提取软件，机器人能够更加稳定的自动绘制线框图，大幅度提高了线框图的绘制效率，并且能够实现快速绘制与任意拍摄图像对应的线框图，线框图具有线条流畅、清晰和与拍摄图像相似度较高等优点。优选地，如图2所示，步骤100具体包括：步骤110、获取拍摄图像，拍摄图像包含有脸部区域和除脸部区域之外的非脸部区域；步骤120、应用脸部特征检测模型对拍摄图像进行特征点检测，得到脸部区域内的脸部特征点以及脸部特征点在拍摄图像上的位置信息；步骤130、根据脸部特征点判断人脸区域的完整性，若人脸区域不完整，则返回步骤110，若人脸区域完整，则继续执行步骤140；步骤140、根据脸部特征点和位置信息确定脸部简笔线条，并应用图像提取方法从拍摄图像上提取非脸部区域内的图像线条图；步骤150，根据脸部简笔线条和图像线条图生成简笔线条序列。脸部特征检测模型利用预训练模型对大量人脸数据进行学习训练得到的，预训练模型根据人脸局部器官的形状描述特征以及距离描述特征所形成，人脸局部器官包括眉毛、眼睛、鼻子、嘴和脸型轮廓，人脸数据包括静态人脸图像、动态人脸图像、具有不同人脸区域的人脸图像和具有不同人脸表情的人脸图像等。脸部特征点包括眉毛、眼睛、鼻子、嘴和脸型轮廓上的64个特征点，位置信息包括与64个特征点中的每个特征点一一对应的特征点编号，每个特征点编号表示特征点在人脸图像上的相对位置。图像提取方法包括图像滤波、图像边缘检测、图像形态学操作和连通域等方法，如图3所示为本发明实施例一提供的从人脸图像中提取图像线条图的流程示意图。通过脸部特征检测模型快速、准确地检测脸部特征点及位置信息，通过脸部特征点判断人脸区域的完整性，在人脸区域不完整时重新获取人脸图像，有效保证了脸部特征点的准确性；在人脸区域完整时，通过图像提取方法从拍摄图像上提取非脸部区域内的图像线条图，实现对图像线条图和脸部特征点进行分开提取，保证了图像线条图清晰。优选地，步骤130中，根据脸部特征点判断人脸区域的完整性具体包括：若脸部特征点包含有人脸局部器官上的所有特征点，则判定人脸区域完整，否则，判定人脸区域不完整。通过匹配脸部特征点中是否包含人脸局部器官上的所有特征点，判断人脸区域的完整性，提高了人脸区域的判断准确性。优选地，步骤140中，根据脸部特征点和位置信息确定脸部简笔线条具体包括：根据位置信息在拍摄图像上定位脸部区域的人脸局部器官；应用预定的特征点插值方法分别对在人脸局部器官上的相邻人脸特征点进行特征点插值，得到人脸插值特征点；应用预定的线条平滑方法对所有人脸特征点和所有人脸插值特征点进行平滑连接，得到脸部简笔线条。特征点插值方法是在人脸局部器官上的相邻特征点之间插入预设个数的特征点，预设个数可以是1个或者2个，线条平滑方法可以采用平均平滑连线方法，如图4所示为本发明实施例一提供的从人脸图像提取脸部简笔线条的流程示意图。通过位置信息快速、准确地在拍摄图像上定位出人脸局部器官，通过特征点插值方法对特征点插值方法进行特征点插值处理，并且通过线条平滑方法对脸部特征点进行平滑处理，使得脸部简笔线条连续平滑。优选地，脸部简笔线条包括五官简笔线条和脸型轮廓线条，步骤150具体包括：按照预定的线条存储顺序，将脸部简笔线条中的五官简笔线条和脸型轮廓线条依次存储在线条存储器中；应用预定的线条离散方法对图像线条图进行线条离散，得到多个离散线条；按照线条存储顺序，将多个离散线条依序存储在线条存储器中；五官简笔线条、脸型轮廓线条和多个离散线条在线条存储器中依次存储形成简笔线条序列。线条存储顺序可以是人脸图像从上到下、从外到内的顺序，或者从内到外、从下到上的顺序；线条离散方法可以采用连通域方法，用于将图像线条图中的每个简笔线条离散成一笔绘制的离散线条，例如：将具有小锐角或者分叉的一个简笔线条断开为两个离散线条；多个离散线条和脸部简笔线条中的多个简笔线条以数据组的形式存储在线条存储器中，并且多个离散线条可以在脸部简笔线条之后的存储位置上。通过线条离散方法将图像线条图离散为多个离散线条，增强了离散线条的离散度，并且通过线条存储器先后有序存储多个离散线条和脸部简笔线条，便于机器人绘制线框图。优选地，在步骤200中，空间关系变换方程表示为：其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标。变换关系矩阵T表示为：其中，x和y代表简笔线条序列对应平面变换的平移量，α代表简笔线条序列对应尺度变换的缩放因子。通过空间关系变换方程将拍摄图像上的图像平面空间对应的简笔线条序列变换到机器人坐标系下的变换线条矩阵，并且通过变换关系矩阵对简笔线条序列进行平面变换和尺度变换，实现将图像平面空间以合适平面位移和尺度转换到预先设置好的绘制纸张范围内，方便机器人绘制线框图。优选地，步骤300具体包括：应用机器人逆运动学数值方法对变换线条序列进行求解，得到运动路径；机器人中的末端执行器沿着运动路径依次绘制变换线条序列中的每个线条，得到所述线框图。机器人可以是六轴机器人，六轴机器人包括末端执行器，末端执行器包括多个关节；末端执行器按照运动路径中的每个路径点依次旋转角度，以到达对应的预定位置，在相邻路径点之间平滑移动，直至遍历完所有路径点，实现绘制线框图。通过机器人中的末端执行器沿着运动路径依次绘制变换线条序列中的每个线条，能够连续平滑地绘制出每个线条，末端执行器的运行效率高且绘制时间长，能够实现模拟人手臂绘制线框图，线框图具有较好的清晰度。实施例二如图5所示，本发明实施例的一种基于机器人的线框图绘制系统的结构示意图，包括：简笔线条序列获取模块、变换线条序列获取模块和机器人；简笔线条序列获取模块，用于获取拍摄图像上的简笔线条序列；变换线条序列获取模块，用于根据预设的空间关系变换方程对简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；机器人，用于根据变换线条序列在机器人坐标系中绘制与拍摄图像对应的线框图。优选地，简笔线条序列获取模块具体用于：获取拍摄图像，拍摄图像包含有脸部区域和除脸部区域之外的非脸部区域；应用脸部特征检测模型对拍摄图像进行特征点检测，得到脸部区域内的脸部特征点以及脸部特征点在拍摄图像上的位置信息；根据脸部特征点判断人脸区域的完整性，若人脸区域不完整，则重新获取拍摄图像；若脸部区域完整，则根据脸部特征点和位置信息确定脸部简笔线条，并应用图像提取方法从拍摄图像上提取非脸部区域内的图像线条图；根据脸部简笔线条和图像线条图生成简笔线条序列。优选地，简笔线条序列获取模块具体用于：若脸部特征点包含有人脸局部器官上的所有特征点，则判定人脸区域完整，否则，判定人脸区域不完整。优选地，简笔线条序列获取模块具体用于：根据位置信息在拍摄图像上定位脸部区域的人脸局部器官；应用预定的特征点插值方法分别对在人脸局部器官上的相邻人脸特征点进行特征点插值，得到人脸插值特征点；应用预定的线条平滑方法对所有人脸特征点和所有人脸插值特征点进行平滑连接，得到脸部简笔线条。优选地，如图6所示，还包括线条存储器，脸部简笔线条包括五官简笔线条和脸型轮廓线条，简笔线条序列获取模块具体用于：按照预定的线条存储顺序，将脸部简笔线条中的五官简笔线条和脸型轮廓线条依次存储在线条存储器中；应用预定的线条离散方法对图像线条图进行线条离散，得到多个离散线条；按照线条存储顺序，将多个离散线条依序存储在线条存储器中；五官简笔线条、脸型轮廓线条和多个离散线条在线条存储器中依次存储形成简笔线条序列。优选地，变换线条序列获取模块存储有空间关系变换方程和变换关系矩阵，空间关系变换方程表示为：其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标。变换关系矩阵T表示为：其中，x和y代表简笔线条序列对应平面变换的平移量，α代表简笔线条序列对应尺度变换的缩放因子。优选地，如图6所示，还包括运动路径获取模块，运动路径获取模块用于应用机器人逆运动学数值方法对所述变换线条序列进行求解，得到运动路径；控制机器人中的末端执行器沿着运动路径运动；机器人中的末端执行器沿着运动路径依次绘制变换线条序列中的每个线条，得到线框图。本实施例二提供的一种基于机器人的线框图绘制系统，变换线条序列获取模块通过空间关系变换方程将简笔线条序列从图像空间变换到机器人可达的物理空间，得到机器人坐标系下的变换线条序列，机器人根据变换线条序列绘制线框图，相比于传统的人工和线框图提取软件，机器人能够更加稳定的自动绘制线框图，大幅度提高了线框图的绘制效率，并且能够实现快速绘制与任意拍摄图像对应的线框图，线框图具有线条流畅、清晰和与拍摄图像相似度较高等优点。实施例三如图7所示，本发明实施例的一种基于机器人的线框图绘制系统的结构示意图，包括高清相机、上位机、下位机和机器人。高清相机，用于采集拍摄图像并向上位机发送拍摄图像。上位机，用于接收拍摄图像；获取拍摄图像上的简笔线条序列；根据预设的空间关系变换方程对简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；将变换线条序列同步发送给下位机和机器人；下位机，用于应用机器人逆运动学数值方法对变换线条序列进行求解，得到运动路径；按照运动路径发送绘制指令给机器人；机器人，用于接收绘制指令；根据绘制指令，控制机器人中的末端执行器沿着运动路径在机器人坐标系中依次绘制变换线条序列中的每个线条，得到线框图。在采集拍摄图像之前，将高清相机、上位机、下位机和机器人安装在操作台上，高清相机位于操作台的侧边，方便采集拍摄图像；上位机分别与下位机和机器人通过通信电缆连接，以实现上位机将变换线条序列同步传输给下位机和机器人；下位机通过通信电缆与机器人连接，用于控制末端执行器按照运动路径运动。在初始化高清相机时，调节高清相机的焦距、分辨率、窗口显示等参数，使得拍摄图像更加清晰、拍摄图像上的脸部特征更加明显，方便机器人绘制线框图；机器人可以是六轴机器人，通过初始化六轴机器获得变换关系矩阵。优选地，上位机具体用于：应用脸部特征检测模型对拍摄图像进行特征点检测，得到脸部区域内的脸部特征点以及脸部特征点在拍摄图像上的位置信息；根据脸部特征点判断人脸区域的完整性，若人脸区域不完整，则重新接收拍摄图像；若脸部区域完整，则根据脸部特征点和位置信息确定脸部简笔线条，并应用图像提取方法从拍摄图像上提取非脸部区域内的图像线条图；根据脸部简笔线条和图像线条图生成简笔线条序列。优选地，上位机具体用于：若脸部特征点包含有人脸局部器官上的所有特征点，则判定人脸区域完整，否则，判定人脸区域不完整。优选地，上位机具体用于：根据位置信息在拍摄图像上定位脸部区域的人脸局部器官；应用特征点插值方法对在人脸局部器官上的所有相邻人脸特征点进行特征点插值，得到人脸插值特征点；应用预定的线条平滑方法对所有人脸特征点和所有人脸插值特征点进行平滑连接，得到脸部简笔线条。优选地，上位机具体用于：按照预定的线条存储顺序，将脸部简笔线条中的五官简笔线条和脸型轮廓线条依次存储在线条存储器中；应用预定的线条离散方法对图像线条图进行线条离散，得到多个离散线条；按照线条存储顺序，将多个离散线条依序存储在线条存储器中；五官简笔线条、脸型轮廓线条和多个离散线条在线条存储器中依次存储形成简笔线条序列。优选地，上位机存储有空间关系变换方程和变换关系矩阵，空间关系变换方程表示为：其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标。变换关系矩阵T表示为：其中，x和y代表简笔线条序列对应平面变换的平移量，α代表简笔线条序列对应尺度变换的缩放因子。本实施例三提供的一种基于机器人的线框图绘制系统，上位机通过空间关系变换方程将简笔线条序列从图像空间变换到机器人可达的物理空间，得到机器人坐标系下的变换线条序列，机器人根据变换线条序列绘制线框图，相比于传统的人工和线框图提取软件，机器人能够更加稳定的自动绘制线框图，大幅度提高了线框图的绘制效率，能够实现快速绘制与任意拍摄图像对应的线框图，线框图具有线条流畅、清晰和与拍摄图像相似度较高等优点。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种基于机器人的线框图绘制方法，其特征在于，包括以下步骤：步骤100、获取拍摄图像上的简笔线条序列；步骤200、根据预设的空间关系变换方程对所述简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；步骤300、机器人根据所述变换线条序列在所述机器人坐标系中绘制与所述拍摄图像对应的线框图。2.根据权利要求1所述的一种基于机器人的肖像简图绘制方法，其特征在于，所述步骤100具体包括：步骤110、获取拍摄图像，所述拍摄图像包含有脸部区域和除所述脸部区域之外的非脸部区域；步骤120、应用脸部特征检测模型对所述拍摄图像进行特征点检测，得到所述脸部区域内的脸部特征点以及所述脸部特征点在所述拍摄图像上的位置信息；步骤130、根据所述脸部特征点判断所述人脸区域的完整性，若所述人脸区域不完整，则返回至步骤110，若所述人脸区域完整，则继续执行步骤140；步骤140、根据所述脸部特征点和所述位置信息确定脸部简笔线条，并应用图像提取方法从所述拍摄图像上提取所述非脸部区域内的图像线条图；步骤150，根据所述脸部简笔线条和所述图像线条图生成所述简笔线条序列。3.根据权利要求2所述的一种基于机器人的线框图绘制方法，其特征在于，所述步骤130中，根据所述脸部特征点判断所述人脸区域的完整性具体包括：若所述脸部特征点包含有人脸局部器官上的所有特征点，则判定所述人脸区域完整，否则，判定所述人脸区域不完整。4.根据权利要求2所述的一种基于机器人的线框图绘制方法，其特征在于，所述步骤140中，根据所述脸部特征点和所述位置信息确定脸部简笔线条具体包括：根据所述位置信息在所述拍摄图像上定位所述脸部区域的人脸局部器官；应用预定的特征点插值方法分别对在所述人脸局部器官上的相邻所述人脸特征点进行特征点插值，得到人脸插值特征点；应用预定的线条平滑方法对所有所述人脸特征点和所有所述人脸插值特征点进行平滑连接，得到所述脸部简笔线条。5.根据权利要求2所述的一种基于机器人的线框图绘制方法，其特征在于，所述脸部简笔线条包括五官简笔线条和脸型轮廓线条，所述步骤150具体包括：按照预定的线条存储顺序，将所述五官简笔线条和脸型轮廓线条依次存储在线条存储器中；应用预定的线条离散方法对所述图像线条图进行线条离散，得到多个离散线条；按照所述线条存储顺序，将多个所述离散线条依序存储在所述线条存储器中；所述五官简笔线条、所述脸型轮廓线条和多个所述离散线条在所述线条存储器中依次存储形成所述简笔线条序列。6.根据权利要求1-5任一项所述的一种基于机器人的线框图绘制方法，其特征在于，在所述步骤200中，所述空间关系变换方程表示为：其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标；所述变换关系矩阵T表示为：其中，x和y代表所述简笔线条序列对应平面变换的平移量，α代表所述简笔线条序列对应尺度变换的缩放因子。7.根据权利要求1-5任一项所述的一种基于机器人的线框图绘制方法，其特征在于，所述步骤300具体包括：应用机器人逆运动学数值方法对所述变换线条序列进行求解，得到运动路径；所述机器人中的末端执行器沿着所述运动路径依次绘制所述变换线条序列中的每个线条，得到所述线框图。8.一种基于机器人的线框图绘制系统，其特征在于，包括：简笔线条序列获取模块、变换线条序列获取模块和机器人；所述简笔线条序列获取模块，用于获取拍摄图像上的简笔线条序列；所述变换线条序列获取模块，用于根据预设的空间关系变换方程对所述简笔线条序列进行空间关系变换，得到机器人坐标系所对应的变换线条序列；所述机器人，用于根据所述变换线条序列在所述机器人坐标系中绘制与所述拍摄图像对应的线框图。9.根据权利要求8所述的一种基于机器人的线框图绘制系统，其特征在于，所述简笔线条序列获取模块具体用于：获取拍摄图像，所述拍摄图像包含有脸部区域和除所述脸部区域之外的非脸部区域；应用脸部特征检测模型对所述拍摄图像进行特征点检测，得到所述脸部区域内的脸部特征点以及所述脸部特征点在所述拍摄图像上的位置信息；根据所述脸部特征点判断所述人脸区域的完整性，若所述人脸区域不完整，则重新获取所述拍摄图像；若所述脸部区域完整，则根据所述脸部特征点和所述位置信息确定脸部简笔线条，并应用图像提取方法从所述拍摄图像上提取所述非脸部区域内的图像线条图；根据所述脸部简笔线条和所述图像线条图生成所述简笔线条序列。10.根据权利要求8-9任一项所述的一种基于机器人的线框图绘制系统，其特征在于，所述空间关系变换方程表示为：其中，X、Y和Z代表世界坐标系中与互为垂直的三个方向轴对应的坐标，T代表变换关系矩阵，u和v代表图像坐标系中与互为垂直的两个方向轴对应的坐标；所述变换关系矩阵T表示为：其中，x和y代表所述简笔线条序列对应平面变换的平移量，α代表所述简笔线条序列对应尺度变换的缩放因子。

百度查询： 武汉库柏特科技有限公司 一种基于机器人的线框图绘制方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD