申请/专利权人：浙江致晟信息科技有限公司

申请日：2015-07-23

公开（公告）日：2019-06-14

公开（公告）号：CN105160296B

主分类号：G06K9/00(2006.01)I

分类号：G06K9/00(2006.01)I

优先权：

专利状态码：失效-未缴年费专利权终止

法律状态：2022.07.08#未缴年费专利权终止;2016.01.13#实质审查的生效;2015.12.16#公开

摘要：本发明涉及图像处理领域，尤其涉及的是一种运笔动作捕捉系统、装置及绘画风格仿真方法，系统包括主控制模块、视频采集模块、影像投射模块、数据存储模块和处理模块，用于笔刷的运笔姿态数据的采样、提取和同步化处理以及形成艺术风格化结果。根据绘画风格仿真方法的步骤，用户输入的照片形成如上艺术风格化的结果，本发明的绘画风格仿真方法不仅可以将任意输入的照片都形成该艺术风格，而且实现了立体化、整体化、连续化的风格分析。

主权项：1.一种运笔动作捕捉系统,包括：主控制模块，用于产生控制信号；视频采集模块，用于采集图像数据；影像投射模块，用于视频信号播放；数据存储模块，用于运笔视频数据的存储；处理模块，用于笔刷的运笔姿态数据的采样、提取和同步化处理；其特征在于：所述的处理模块还设置有为所述的视频采集模块采集得到的图像数据构建的用于生成原子特征信息样本的特征向量表达函数和用于分析并形成特定风格的反馈式风格行为特征表达函数；且设置有智能辅助手绘风格化优化策略；所述的特征向量表达函数由原子特征构建而来 ，其中为原子特征向量：；x为M维的二进制标记符，表征原子向量是否参与某一反馈特征构建中；Z和U代表先验知识，Z具体标记某些原子特征参与反馈特征，U表示针对反馈特征，某一对原子特征同时出现的概率分布；反馈式风格行为特征表达函数R：其中，s表示某一时刻的状态，a表示某一时刻的动作，f表示笔刷在某一时刻的姿态信息，具体地，，所述的智能辅助手绘风格化优化策略包括确定性决策，决策参数是由具有超参数的先验分布得来的；期望的反馈值可以表示为超参数的形式：，其中，为一组状态和动作的数据，可以表示为；超参数最优化从而得到最大值，。

全文数据：一种运笔动作捕捉系统、装置及绘画风格仿真方法技术领域本发明涉及图像处理领域，尤其涉及的是一种运笔动作捕捉系统、装置及绘画风格仿真方法。背景技术近年来，中国数字内容产业飞跃蓬勃发展，尤其是动画、游戏等数字娱乐产品水平进步飞速，已经有逐步赶超外国产品势头。然而，随着市场的日趋成熟，消费者对于数字娱乐产品不论是数量还是质量的要求不断提升。由此，在数字娱乐产品（游戏、动漫）生产环节中，对内容创作平台及数字内容数据处理技术提出了更加严苛的要求。为此，如何能够加速动漫、游戏等高质量数字娱乐产品的生产成为目前行业面临的挑战。从数码手绘技术角度，着重解决数码绘画风格化效果质量和产量的提升问题。计算机图形学被广泛地应用于数字内容处理领域。尤其是非真实绘制技术、手绘艺术风格化绘制被广泛地实现在数字创意软件工具（如：AdobePhotoshop，CorelPainter和GIMP绘画工具软件等）当中。艺术家利用这些软件，创作出了动漫、游戏中栩栩如生的角色、宏大逼真的场景和美轮美奂的视觉特效。在众多仿自然手绘效果算法当中，基于笔画的绘制方式是被应用最为广泛的方式，被大量应用在动画、游戏的角色、道具和场景可视化效果中。现有相关绘画软件产品当中的工作流程主要采用笔刷纹理位图复用的方式，即：将现有笔触纹理贴图进行剪裁、变形及拼接来完成预生成新的笔触效果生成。然而，为了创作出更加逼真的角色和宏大的场景，设计师不得不对每个笔触进行精细的手动调整。这一过度依赖手动且繁琐而耗时的操作成为了制约数字内容创作瓶颈之一。更重要的是，为了同一系列数字娱乐作品在艺术风格上的统一性，设计师团队需要对参数调整进行一系列严格的流程化规范操作。在本方法中认定此类定制化的操作均视为“风格化行为”。对于多人团队来说，想要实现作品的艺术风格统一，每个成员都要进行十分繁琐和耗时的标准化手动操作。由此可见，作品风格化的手动设定操作成为了制约数字内容创作的另一个大瓶颈。综上所述，由于创意软件的数字内容智能处理能力不足，导致“过度依赖手动操作”和“艺术风格化设定难”成为了阻碍文化创意产业，尤其是高质量手绘风格数字内容（动漫、游戏）产品生产的瓶颈。急需数字内容的智能化处理技术来破解困局。针对数字媒体内容平台的数字内容智能处理及创作媒体软件的关键技术，解决绘画行为风格学习与模拟本身就是一个非常具有挑战性的工作。而且传统的艺术风格化算法集中在于对画作本身的分析与风格特点表达。这类方法只是单纯的对静态作品的分析，而且对风格的分析是平面化、局部化和非连续化的。发明内容本发明的目的在于提供一种运笔动作捕捉系统、装置及绘画风格仿真方法，旨在设计设备捕捉画家的运笔行为并通过计算机程序学习并模拟绘画进行辅助创作。本发明的上述技术目的是通过以下技术方案得以实现的：一种运笔动作捕捉系统，包括：主控制模块，用于产生控制信号；视频采集模块，用于采集图像数据；影像投射模块，用于视频信号播放；数据存储模块，用于运笔视频数据的存储；处理模块，用于笔刷的运笔姿态数据的采样、提取和同步化处理；所述的处理模块设置有为所述的视频采集模块采集得到的图像数据构建的用于生成原子特征信息样本的特征向量表达函数和反馈式风格行为特征表达函数；且设置有智能辅助手绘风格化优化策略。视频采集模块采集到的图像数据通过影像投射模块视频信号播放，然后处理模块根据特征向量表达函数、反馈式风格行为特征表达函数和智能辅助手绘风格化优化策略进行运笔姿态数据的采样、提取和同步化处理，形成特定风格并记录在数据存储模块中。作为优选，所述的特征向量表达函数由原子特征构建而来，其中为原子特征向量：；x为M维的二进制标记符，表征原子向量是否参与某一反馈特征构建中；Z和U代表先验知识，Z具体标记某些原子特征参与反馈特征，U表示针对反馈特征，某一对原子特征同时出现的概率分布。作为优选，所述的反馈式风格行为特征表达函数R为其中，s表示某一时刻的状态，a表示某一时刻的动作，f表示笔刷在某一时刻的姿态信息，具体地，作为优选，所述的智能辅助手绘风格化优化策略包括确定性决策，决策参数是由具有超参数的先验分布得来的；期望的反馈值可以表示为超参数的形式：其中，为一组状态和动作的数据，可以表示为；超参数最优化从而得到最大值，运笔动作捕捉系统进行绘画风格仿真方法，其特征在于，所述的方法包括如下步骤：步骤1，影像投射模块进行视频信号播放。步骤2，视频采集模块采集记录笔触绘制过程的图像数据。步骤3，处理模块进行笔触绘制过程中笔刷的运笔姿态的采样、提取和同步化处理。步骤4，处理模块根据步骤3采集的运笔姿态进行原子特征抽取和分析。步骤5，处理模块根据步骤4中原子特征，构建特征向量表达函数和反馈式风格行为特征表达函数R并形成特定风格。步骤6，引入所述步骤5形成特定风格的行为特征表达函数，采用确定性决策，并且在绘画先验知识的基础上，对模型中的绘画行为参数引入随机性模式形成智能辅助手绘风格化优化策略。步骤7，设置笔刷智能代理，根据以上步骤形成的运笔姿态进行绘画得出所述步骤2图像数据的艺术风格化结果。作为优选，所述的步骤4中原子特征抽取的方法包括以下步骤：1）将步骤2采集的图像数据分割成rgbRed，Green，Blue图像；2）将步骤2采集的图像数据分割成hsv（Hue,Saturation,Value），grab，sat图像；3）根据步骤1）中的red部分图像与步骤2）hsv模型下饱和度saturation分量进行对比进行图像寻找目标足迹点，若red和saturation颜色差异较小，则说明目标足迹点已经寻找到；4）与提前设定的阈值进行比较，所述的阈值是指red和saturation颜色差异的差值；若不大于阈值，则重新执行步骤4）；若大于阈值，则寻找基于主成分分析（PCA）算法提取笔触的原子特征；5）建立子文件夹，将采集来的图像数据自动保存；6）保存灰度图像。作为优选，所述步骤7中的笔刷智能代理是指将笔刷进行建模，形成基于纸面的笔刷印记模型，对于所述的模型赋予自主策略，实现不用人控制，笔刷印记可以自动运笔书写笔触完成自主位移、方向变化及大小变化的动作。具体地将所述步骤4抽取的原子特征信息样本的特征向量形成训练集数据D数据，然后按照所述步骤5形成特定风格，利用训练集数据D数据对参数进行学习并赋值，随后，针对反馈式风格行为特征表达函数R对所述的笔刷智能代理的策略进行自主优化学习，从而使之达到可以实现图片辅助手绘风格化操作。作为优选，所述的步骤4）中寻找基于主成分分析（PCA）算法提取笔触的原子特征的方法包括：将视频拆分成为一组帧，进而分析笔刷运动过程中笔划的生成过程，对于其中的每一帧，利用主成分分析（PCA）算法计算运动中笔刷的主轴信息，依据所述的主轴信息来定位计算出控制的笔刷的运动姿态信息，包括运动速度、笔头所指方向、笔触姿态和同环境（目标笔触形状）的相对位置信息以及随时间变化的规律要素。一种根据绘画风格仿真方法采集图像数据的运笔动作捕捉装置，包括设置有笔触绘制工作区域的框架、设置在所述笔触绘制工作区域用于运笔姿态捕捉的采集板、用于记录绘画动作的图像采集设备、用于将图像投影在所述笔触绘制工作区域内的投影设备和用于整个装置的控制及数据存储与处理相关工作的主控制电脑，所述的主控制电脑设置有数据存储模块和处理模块。为了方便运笔姿态的捕捉，在笔触绘制工作区域采用透明亚克力板支撑。绘画时，选用毛笔、普通宣纸和墨水等传统绘画材料为绘画工具进行。所述的图像采集设备包括照相机，设置在框架的底面中心位置。所述的投影设备使得用户可以在绘制的同时，观察都所要绘制物体的真实图片，设置在框架的底面中心位置。综上所述，本发明具有以下有益效果：1、由于本发明通过运笔动作捕捉系统和装置记录一副普通的照片的艺术风格并形成艺术风格化结果，根据本发明的绘画风格仿真方法可以将任意输入的照片都形成该艺术风格。2、本发明将人手绘过程中运笔动作的动作行为习惯通过进行有效捕捉分析，不仅适用于静态作品，而且实现了立体化、整体化、连续化的风格分析。附图说明图1是本发明根据运笔动作捕捉系统进行绘画风格仿真方法的工作流程示意图。图2是本发明步骤3中原子特征抽取方法的工作流程示意图。图3是本发明的一种运笔动作捕捉装置的示意图。图4是本发明基于主成分分析（PCA）算法提取笔触的原子特征的示意图。图5是本发明的笔刷智能代理的结构示意图。图中，1、框架；2、采集板；3、图像采集设备；4、投影设备；5、主控制电脑。具体实施方式以下结合附图对本发明作进一步详细说明。一种运笔动作捕捉系统,包括：主控制模块，用于产生控制信号；视频采集模块，用于采集图像数据；影像投射模块，用于视频信号播放；数据存储，用于运笔视频数据的存储；处理模块，用于笔刷的运笔姿态数据的采样、提取和同步化处理，设置有为所述的视频采集模块采集得到的图像数据构建的特征向量表达函数、反馈式风格行为特征表达函数R和智能辅助手绘风格化优化策略P。具体的，特征向量表达函数，其中为原子特征向量：；x为M维的二进制标记符，表征原子向量是否参与某一反馈特征构建中；Z和U代表先验知识，Z具体标记某些原子特征参与反馈特征，U表示针对反馈特征，某一对原子特征同时出现的概率分布。反馈式风格行为特征表达函数R:其中，s表示某一时刻的状态，a表示某一时刻的动作，f表示笔刷在某一时刻的姿态信息，具体地，确定性决策，决策参数是由具有超参数的先验分布得来的；期望的反馈值可以表示为超参数的形式：其中，为一组状态和动作的数据，可以表示为；超参数最优化从而得到最大值，如图1所示，根据如上一种运笔动作捕捉系统和装置进行绘画风格仿真方法包括如下步骤：步骤1，影像投射模块进行视频信号播放。步骤2，视频采集模块采集笔触绘制过程的图像数据。步骤3，处理模块进行笔触绘制过程中笔刷的运笔姿态的采样、提取和同步化处理。步骤4，处理模块根据步骤3采集的运笔姿态进行原子特征抽取和分析，具体如图2所示，包括以下步骤：1）将步骤2采集的图像数据分割成rgbRed，Green，Blue图像；2）将步骤2采集的图像数据分割成hsv（Hue,Saturation,Value），grab，sat图像；3）根据步骤1）中的red部分图像与步骤2）hsv模型下饱和度saturation分量进行对比进行图像寻找目标足迹点，若red和saturation颜色差异较小，则说明目标足迹点已经寻找到；4）与提前设定的阈值进行比较，所述的阈值是指red和saturation颜色差异的差值；若不大于阈值，则重新执行步骤3）；若大于阈值，则寻找基于主成分分析（PCA）算法提取笔触的原子特征，将视频拆分成为一组帧，进而分析笔刷运动过程中笔划的生成过程，对于其中的每一帧，利用主成分分析（PCA）算法计算运动中笔刷的主轴信息，依据所述的主轴信息来定位计算出控制的笔刷的运动姿态信息，包括运动速度、笔头所指方向、笔触姿态和同环境（目标笔触形状）的相对位置信息以及随时间变化的规律要素；5）建立子文件夹，将采集来的图像数据自动保存；6）保存灰度图像。步骤5，处理模块根据步骤4中原子特征，构建特征向量表达函数和反馈式风格行为特征表达函数R并形成特定风格。步骤6，引入所述步骤5形成特定风格的行为特征表达函数，采用确定性决策，并且在绘画先验知识的基础上，对模型中的绘画行为参数引入随机性模式形成智能辅助手绘风格化优化策略。步骤7，设置笔刷智能代理，根据以上步骤形成的运笔姿态进行绘画得出所述步骤2图像数据的艺术风格化结果。如图3所示，运笔动作捕捉装置包括：包括设置有笔触绘制工作区域的框架1、设置在所述笔触绘制工作区域用于运笔姿态捕捉的采集板2、用于记录绘画动作的图像采集设备3、用于将图像投影在所述笔触绘制工作区域内的投影设备4和用于整个装置的控制及数据存储与处理相关工作的主控制电脑5，所述的主控制电脑5设置有数据存储模块和处理模块。具体使用时，步骤1，投影设备4将图像数据投影到采集板2上。步骤2，图像采集设备3采集记录笔触绘制过程的图像数据。步骤3，绘画工具绘画时，主控制电脑5的处理模块进行笔触绘制过程中笔刷的运笔姿态的采样、提取和同步化处理。步骤4，主控制电脑5的处理模块的对步骤3采集的运笔姿态进行原子特征抽取和分析，具体如图4所示。步骤5，主控制电脑5的处理模块根据步骤4中原子特征构建特征向量表达函数和反馈式风格行为特征表达函数R并形成特定风格。步骤6，引入所述步骤5形成特定风格的行为特征表达函数，采用确定性决策，并且在绘画先验知识的基础上，对模型中的绘画行为参数引入随机性模式形成智能辅助手绘风格化优化策略。步骤7，设置笔刷智能代理，根据以上步骤形成的运笔姿态进行绘画得出所述步骤2图像数据的艺术风格化结果。绘画过程具体是指将笔刷进行建模，形成基于纸面的笔刷印记模型，对于所述的模型赋予自主策略，实现不用人控制，笔刷印记可以自动运笔书写笔触完成自主位移、方向变化及大小变化的动作。具体地如图5所示，将所述步骤4抽取的原子特征信息样本的特征向量形成训练集数据D数据，然后按照所述步骤5形成特定风格，利用训练集数据D数据对参数进行学习并赋值，随后，针对反馈式风格行为特征表达函数R对所述的笔刷智能代理的策略进行自主优化学习，从而使之达到可以实现图片辅助手绘风格化操作。当用户输入一张真实的照片时，可以根据笔刷智能代理将其形成如上艺术风格化的结果。本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

权利要求：1.一种运笔动作捕捉系统,包括：主控制模块，用于产生控制信号；视频采集模块，用于采集图像数据；影像投射模块，用于视频信号播放；数据存储模块，用于运笔视频数据的存储；处理模块，用于笔刷的运笔姿态数据的采样、提取和同步化处理；其特征在于：所述的处理模块还设置有为所述的视频采集模块采集得到的图像数据构建的用于生成原子特征信息样本的特征向量表达函数和用于分析并形成特定风格的反馈式风格行为特征表达函数；且设置有智能辅助手绘风格化优化策略；所述的特征向量表达函数由原子特征构建而来，其中为原子特征向量：；x为M维的二进制标记符，表征原子向量是否参与某一反馈特征构建中；Z和U代表先验知识，Z具体标记某些原子特征参与反馈特征，U表示针对反馈特征，某一对原子特征同时出现的概率分布；反馈式风格行为特征表达函数R：其中，s表示某一时刻的状态，a表示某一时刻的动作，f表示笔刷在某一时刻的姿态信息，具体地，，所述的智能辅助手绘风格化优化策略包括确定性决策，决策参数是由具有超参数的先验分布得来的；期望的反馈值可以表示为超参数的形式：，其中，为一组状态和动作的数据，可以表示为；超参数最优化从而得到最大值，。2.一种绘画风格仿真方法，其特征在于，所述的方法包括如下步骤：步骤1，影像投射模块进行视频信号播放；步骤2，视频采集模块采集记录笔触绘制过程的图像数据；步骤3，处理模块进行笔触绘制过程中笔刷的运笔姿态的采样、提取和同步化处理；步骤4，处理模块根据步骤3采集的运笔姿态进行原子特征抽取和分析；步骤5，处理模块根据步骤4中原子特征，构建特征向量表达函数和反馈式风格行为特征表达函数R并形成特定风格：步骤6，引入所述步骤5形成特定风格的行为特征表达函数，采用确定性决策，并且在绘画先验知识的基础上，对模型中的绘画行为参数引入随机性模式形成智能辅助手绘风格化优化策略；步骤7，设置笔刷智能代理，根据以上步骤形成的运笔姿态进行绘画得出所述步骤2图像数据的艺术风格化结果；所述的特征向量表达函数由原子特征构建而来，其中为原子特征向量：；x为M维的二进制标记符，表征原子向量是否参与某一反馈特征构建中；Z和U代表先验知识，Z具体标记某些原子特征参与反馈特征，U表示针对反馈特征，某一对原子特征同时出现的概率分布；反馈式风格行为特征表达函数R：其中，s表示某一时刻的状态，a表示某一时刻的动作，f表示笔刷在某一时刻的姿态信息，具体地，，所述的智能辅助手绘风格化优化策略包括确定性决策，决策参数是由具有超参数的先验分布得来的；期望的反馈值可以表示为超参数的形式：，其中，为一组状态和动作的数据，可以表示为；超参数最优化从而得到最大值，。3.根据权利要求2所述的绘画风格仿真方法，其特征在于，所述的步骤4中原子特征抽取的方法包括以下步骤：1）将步骤2采集的图像数据分割成rgbRed，Green，Blue图像；2）将步骤2采集的图像数据分割成hsv（Hue,Saturation,Value），grab，sat图像；3）根据步骤1）中的red部分图像与步骤2）hsv模型下饱和度saturation分量进行对比进行图像寻找目标足迹点，若red和saturation颜色差异较小，则说明目标足迹点已经寻找到；4）与提前设定的阈值进行比较，所述的阈值是指red和saturation颜色差异的差值；若不大于阈值，则重新执行步骤3）；若大于阈值，则寻找基于主成分分析（PCA）算法提取笔触的原子特征；5）建立子文件夹，将采集来的图像数据自动保存；6）保存灰度图像。4.根据权利要求2或3所述的绘画风格仿真方法，其特征在于，所述步骤7中的笔刷智能代理是指将笔刷进行建模，形成基于纸面的笔刷印记模型，对于所述的模型赋予自主策略，实现不用人控制，笔刷印记可以自动运笔书写笔触完成自主位移、方向变化及大小变化的动作。

百度查询： 浙江致晟信息科技有限公司 一种运笔动作捕捉系统、装置及绘画风格仿真方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD