买专利,只认龙图腾
首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种基于视频动态信息的多人美颜调整方法和系统_深圳市梦网视讯有限公司_201811069179.0 

申请/专利权人:深圳市梦网视讯有限公司

申请日:2018-09-13

公开(公告)日:2021-10-12

公开(公告)号:CN109190576B

主分类号:G06K9/00(20060101)

分类号:G06K9/00(20060101)

优先权:

专利状态码:有效-授权

法律状态:2021.10.12#授权;2019.02.12#实质审查的生效;2019.01.11#公开

摘要:本发明提出一种基于视频动态信息的多人美颜调整方法和系统。本发明方法首先找到同一场景图像的主人脸,并确定主人脸的美颜强度;接着根据其余人脸与主人脸的年龄跨度分析,确定当前场景图像中其余人脸的美颜强度;然后依据每个人脸的美颜强度进行美颜处理,从而提升大年龄跨度多人图像的美颜效果。同时设立场景检测,当发生场景变化时,则重新更新,可减少视频中无人脸场景的全局检测美颜的计算量。

主权项:1.一种基于视频动态信息的多人美颜调整方法,其特征在于,所述方法包括:步骤K1:对当前帧进行人脸检测和五官定位;步骤K2:确定当前帧主人脸;步骤K3:确定当前帧主人脸的美颜强度,包括:Step31:判断如果加速变量mode=0,则设定当前帧主人脸的美颜强度为系统默认的美颜强度;否则,进入Step32;Step32:首先设定当前帧主人脸的初始美颜强度为系统默认的美颜强度,然后对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度;其中,mode是加速变量,可由使用者按需求自行设定;所述对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度包括以下步骤:步骤A1:为当前帧主人脸划定表情区域re:如果当前帧主人脸仅左眼定位成功,划定表情区域为re=reL;否则如果仅右眼定位成功,划定表情区域为re=reR;否则如果左右眼均定位成功,则划定表情为re=reL或re=reR或re=reL∪reR;其中,reL={bki,j|ielmax+Thres1≤i≤ielmax且jelmin-Thres2≤j≤jelmax}reR={bki,j|iermax+Thres1≤i≤iermax且jermin≤j≤jermax+Thres2};bki,j表示当前帧第i行第j列块;ielmax、jelmax、jelmin分别表示当前帧主人脸左眼区域内块的最大行号、最大列号、最小列号;iermax、jermax、jermin分别表示当前帧主人脸右眼区域内块的最大行号、最大列号、最小列号;Thres1、Thres2分别表示第一、第二阈值,用于限定人脸表情区域划分浮动范围,可根据需求自行选定;步骤A2:构建当前帧主人脸第一、第二表情判断集合:fre1={mvrefi,j|bki,j∈reL}、fre2={mvrefi,j|bki,j∈reR};其中,bkrefi,j表示以bki,j为参考块的某一帧的块;mvxrefi,j、mvyrefi,j分别为mvrefi,j的x轴、y轴分量;mvrefi,j=mvxrefi,j、mvyrefi,j表示bkrefi,j的运动向量;步骤A3:计算表情变化趋势变量temp1、temp2;具体方法如下: 及 其中,条件1:mvrefi,j∈fre1且mvxrefi,j>0和mvyrefi,j>0、条件2:mvrefi,j∈fre1且mvxrefi,j<0和mvyrefi,j<0、条件3:mvrefi,j∈fre2且mvxrefi,j<0和mvyrefi,j>0、条件4:mvrefi,j∈fre2且mvxrefi,j>0和mvyrefi,j<0;sum变量表示对变量求和、表示集合内块包含的运动向量数量;步骤A4:根据表情变化趋势变量,调整主人脸的美颜强度;具体方法如下:如果temp1>temp2*Thres3,则下调美颜强度;否则如果temp2>temp1*Thres3,则上调美颜强度;否则,保持原始美颜强度;调整幅度可由使用者根据第一、第二表情判断集合内最大运动向量幅值确定;步骤K4:根据使用倾向,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度;步骤K5:对当前帧主人脸和非主人脸,采用对应的美颜强度进行美颜处理;步骤K6:对当前帧的下一帧进行场景变化检测设置;步骤K7:根据所述下一帧的场景变化及人脸数量变化重新更新处理。

全文数据:一种基于视频动态信息的多人美颜调整方法和系统技术领域本发明涉及图像处理技术领域,尤其涉及一种基于视频动态信息的多人美颜调整方法和系统。背景技术在美颜的实际应用中,存在两大问题:人们发现过度的美颜强度会产生视觉不舒适感,而过低的强度,则达不到用户的美化需求。此外,视频图像中存在单人、多人的情况,若仅对一个视频图像采用一类美颜强度,则无法满足图像内不同年龄层人的对美颜的不同需求。而这类矛盾在年龄跨度很大的合拍视频上,将急剧凸显。发明内容本发明实施例的目的在于提出一种基于视频动态信息的多人美颜调整方法,旨在解决现有技术动态视频中存在单人、多人情况时,美颜效果不理想的问题。本发明实施例是这样实现的,一种基于视频动态信息的多人美颜调整方法,所述方法包括:步骤K1:对当前帧进行人脸检测和五官定位;步骤K2:确定当前帧主人脸;步骤K3:确定当前帧主人脸的美颜强度;步骤K4:根据使用倾向,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度;步骤K5:对当前帧主人脸和非主人脸,采用对应的美颜强度进行美颜处理。步骤K6:对当前帧的下一帧进行场景变化检测设置;步骤K7:根据所述下一帧的场景变化及人脸数量变化重新更新处理。所述步骤K6:对当前帧的下一帧进行场景变化检测设置具体为:如果下一帧不存在,则结束;否则进一步判定下一帧和当前帧是否为同一场景,若是同一场景,则设置下一帧为当前帧,然后进入步骤K7;否则,设置下一帧为当前帧,然后重新进入步骤K1;所述步骤K7:根据所述下一帧的场景变化及人脸数量变化重新更新处理具体为:对当前帧所有帧内预测块判定是否存在新增的人脸,若不存在,则对当前帧所有人脸直接用前一帧对应的美颜强度进行美颜,然后重新进步骤K6;若存在,则首先采用前一帧美颜强度,对非新增人脸进行美颜,然后使用步骤K4中的方法,对新增人脸进行美颜,接着进入步骤K6。步骤K2之前还包括步骤:如果当前帧存在人脸,则记当前帧人脸数量为nump,然后进入步骤K2;否则,步骤K7;步骤K4之前还包括步骤:如果nump=1,则用确定的美颜强度对主人脸进行美颜,然后进入步骤K6;否则,则进入步骤K4。本发明实施例的另一目的在于提出一种基于视频动态信息的多人美颜调整系统。所述系统包括:人脸检测及五官定位模块,用于对当前帧进行人脸检测和五官定位;第一判断处理模块,用于判断如果当前帧存在人脸,则记当前帧人脸数量为nump,然后进入主人脸确定模块;否则,进入新增人脸判断处理模块;主人脸确定模块,用于确定当前帧主人脸;第一人脸美颜强度确定模块,用于确定当前帧主人脸的美颜强度;第二判断处理模块,用于判断如果nump=1,则用确定的美颜强度对主人脸进行美颜,然后进入场景判断处理模块;否则,则进入第二人脸美颜强度确定模块;第二人脸美颜强度确定模块,用于根据使用倾向;,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度;美颜处理模块,用于对当前帧主人脸和非主人脸,采用对应的美颜强度进行美颜处理;场景判断处理模块,用于判断如果下一帧不存在,则结束;否则进一步判定下一帧和当前帧是否为同一场景,若是同一场景,则设置下一帧为当前帧,然后进入新增人脸判断处理模块;否则,设置下一帧为当前帧,然后重新进入人脸检测及五官定位模块;新增人脸判断处理模块,用于对当前帧所有帧内预测块判定是否存在新增的人脸,若不存在,则对当前帧所有人脸直接用前一帧对应的美颜强度进行美颜,然后重新进场景判断处理模块;若存在,则首先采用前一帧美颜强度,对非新增人脸进行美颜,然后使用第二人脸美颜强度确定模块中的方法,对新增人脸进行美颜,接着进入场景判断处理模块。本发明的有益效果本发明提出一种基于视频动态信息的多人美颜调整方法和系统。本发明方法首先找到同一场景图像的主人脸,并确定主人脸的美颜强度;接着根据其余人脸与主人脸的年龄跨度分析,确定当前场景图像中其余人脸的美颜强度;然后依据每个人脸的美颜强度进行美颜处理,从而提升大年龄跨度多人图像的美颜效果。同时设立场景检测,当发生场景变化时,则重新更新,可减少视频中无人脸场景的全局检测美颜的计算量。附图说明图1是本发明优选实施例一种基于视频动态信息的多人美颜调整方法流程图;图2是图1中Step3的详细方法流程图;图3是图2中Step32中对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度的详细方法流程图;图4是图1的Step5中当使用倾向于速度时,确定当前帧非主人脸的美颜强度的详细方法流程图;图5是本发明优选实施例一种基于视频动态信息的多人美颜调整系统结构图。图6是图5中第一人脸美颜强度确定模块详细结构图;图7是图6中第一美颜强度调整模块详细结构图;图8是图5的第二人脸美颜强度确定模块中非速度模式美颜强度确定模块详细结构图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本发明进行进一步详细说明,为了便于说明,仅示出了与本发明实施例相关的部分。应当理解,此处所描写的具体实施例,仅仅用于解释本发明,并不用以限制本发明。本发明提出一种基于视频动态信息的多人美颜调整方法和系统。本发明方法首先找到同一场景图像的主人脸,并确定主人脸的美颜强度;接着根据其余人脸与主人脸的年龄跨度分析,确定当前场景图像中其余人脸的美颜强度;然后依据每个人脸的美颜强度进行美颜处理,从而提升大年龄跨度多人图像的美颜效果。同时设立场景检测,当发生场景变化时,则重新更新,可减少视频中无人脸场景的全局检测美颜的计算量。实施例一图1是本发明优选实施例一种基于视频动态信息的多人美颜调整方法流程图;所述方法包括:Step0:对当前帧进行人脸检测和五官定位。Step1:如果当前帧存在人脸,则记当前帧人脸数量为nump,然后进入Step2;否则,Step8。Step2:确定当前帧主人脸;所述设置当前帧主人脸具体为:如果当前帧为单人脸图像,则直接设置当前帧主人脸为该单人脸;否则选取当前帧正中心区域的人脸为当前帧主人脸;Step3:确定当前帧主人脸的美颜强度。图2是图1中Step3的详细方法流程图;所述确定当前帧主人脸的美颜强度具体为:Step31:判断如果加速变量mode=0,则设定当前帧主人脸的美颜强度为系统默认的美颜强度;否则,进入Step32。Step32:首先设定当前帧主人脸的初始美颜强度为系统默认的美颜强度,然后对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度。其中,mode是加速变量,可由使用者按需求自行设定。图3是图2中Step32中对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度的详细方法流程图;所述对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度包括以下步骤:步骤A1:为当前帧主人脸划定表情区域re:如果当前帧主人脸仅左眼定位成功,划定表情区域为re=reL;否则如果仅右眼定位成功,划定表情区域为re=reR;否则即左右眼均定位成功,则可以划定表情为re=reL或re=reR或re=reL∪reR。其中,reL={bki,j|ielmax+Thres1≤i≤ielmax且jelmin-Thres2≤j≤jelmax}reR={bki,j|iermax+Thres1≤i≤iermax且jermin≤j≤jermax+Thres2};bki,j表示当前帧第i行第j列块;ielmax、jelmax、jelmin分别表示当前帧主人脸左眼区域内块的最大行号、最大列号、最小列号;iermax、jermax、jermin分别表示当前帧主人脸右眼区域内块的最大行号、最大列号、最小列号;Thres1、Thres2分别表示第一、第二阈值,用于限定人脸表情区域划分浮动范围,可根据需求自行选定。步骤A2:构建当前帧主人脸第一、第二表情判断集合:fre1={mvrefi,j|bki,j∈reL}、fre2={mvrefi,j|bki,j∈reR}。其中,bkrefi,j表示以bki,j为参考块的某一帧的块;mvxrefi,j、mvyrefi,j分别为mvrefi,j的x轴、y轴分量;mvrefi,j=mvxrefi,j、mvyrefi,j表示bkrefi,j的运动向量。步骤A3:计算表情变化趋势变量temp1、temp2。具体方法如下:及其中,条件1:mvrefi,j∈fre1且mvxrefi,j>0和mvyrefi,j>0、条件2:mvrefi,j∈fre1且mvxrefi,j<0和mvyrefi,j<0、条件3:mvrefi,j∈fre2且mvxrefi,j<0和mvyrefi,j>0、条件4:mvrefi,j∈fre2且mvxrefi,j>0和mvyrefi,j<0;sum变量表示对变量求和、num集合表示集合内块包含的运动向量数量。步骤A4:根据表情变化趋势变量,调整主人脸的美颜强度。具体方法如下:如果temp1>temp2*Thres3,则下调美颜强度;否则如果temp2>temp1*Thres3,则上调美颜强度;否则,保持原始美颜强度。调整幅度可由使用者根据第一、第二表情判断集合内最大运动向量幅值确定。Step4:如果nump=1,则用确定的美颜强度对主人脸进行美颜,然后进入Step7;否则,则进入Step5。Step5:根据使用倾向质量或速度,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度。图4是图1Step5中当使用倾向于速度时,确定当前帧非主人脸的美颜强度的详细方法流程图;具体为:当使用倾向于速度时,确定当前帧非主人脸的美颜强度包括:步骤B1:设置临时变量为图像主人脸美颜强度值。步骤B2:为当前帧非主人脸划定表情区域,记为rek;具体方法与步骤A1中“为当前帧主人脸划定表情区域”的方法相同,在此不再赘述。步骤B3:计算当前帧非主人脸的年龄跨度变量stddk:stddk=stdrek-stdre。其中,std变量表示对变量对应的亮度像素值求均方差;年龄跨度变量stddk也可用边缘强度差求取,即stddk=gradrek-gradre,grad表示对变量对应的亮度像素求边缘强度,可用业内公开的Laplacian算子、Sobel算子等计算边缘强度。步骤B4:根据非主人脸的年龄跨度变量,调整所述临时变量。具体如下:如果absstddk≤Thres4,则进入“步骤B5”;否则如果stddk>Thres4,则上调临时变量,然后进入“步骤B5”;否则,则下调临时变量,然后进入“步骤B5”;。其中,Thres4分别表示第四阈值,用于限定年龄差美颜调整浮动范围,可根据需求自行选定;“步骤B4”中调整幅度可根据需要设定,且“步骤B4”中上调和下调可设置多阶段调节,例如将“stddk>Thres4”细分为stddk>Thres5、Thres4<stddk≤Thres5,那么上述这两种情况均需要上调临时变量值,但调整幅度需依次下降,同样“stddk<-Thres4”也可类似作细分;Thres4、Thres5表示第四第五阈值。步骤B5:设置非主人脸的美颜强度为所述临时变量。当使用倾向于质量时,确定当前帧非主人脸的美颜强度的方法与Step32中的方法相同,在此不再赘述。Step6:对当前帧主人脸和非主人脸,采用对应的美颜强度进行美颜处理。Step7:如果下一帧不存在,则结束;否则进一步判定下一帧和当前帧是否为同一场景,若是同一场景,则设置下一帧为当前帧,然后进入Step8;否则,设置下一帧为当前帧,然后重新进入Step0。Step8:对当前帧所有帧内预测块判定是否存在新增的人脸,若不存在,则对当前帧所有人脸直接用前一帧对应的美颜强度进行美颜,然后重新进Step7;若存在,则首先采用前一帧美颜强度,对非新增人脸进行美颜,然后使用Step5中的方法,对新增人脸进行美颜,接着进入Step7。实施例二图5是本发明优选实施例一种基于视频动态信息的多人美颜调整系统结构图。所述系统包括:人脸检测及五官定位模块,用于对当前帧进行人脸检测和五官定位。第一判断处理模块,用于判断如果当前帧存在人脸,则记当前帧人脸数量为nump,然后进入主人脸确定模块;否则,进入新增人脸判断处理模块。主人脸确定模块,用于确定当前帧主人脸;具体为:如果当前帧为单人脸图像,则直接设置当前帧主人脸为该单人脸;否则选取当前帧正中心区域的人脸为当前帧主人脸;第一人脸美颜强度确定模块,用于确定当前帧主人脸的美颜强度。第二判断处理模块,用于判断如果nump=1,则用确定的美颜强度对主人脸进行美颜,然后进入场景判断处理模块;否则,则进入第二人脸美颜强度确定模块。第二人脸美颜强度确定模块,用于根据使用倾向质量或速度,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度。美颜处理模块,用于对当前帧主人脸和非主人脸,采用对应的美颜强度进行美颜处理。场景判断处理模块,用于判断如果下一帧不存在,则结束;否则进一步判定下一帧和当前帧是否为同一场景,若是同一场景,则设置下一帧为当前帧,然后进入新增人脸判断处理模块;否则,设置下一帧为当前帧,然后重新进入人脸检测及五官定位模块。新增人脸判断处理模块,用于对当前帧所有帧内预测块判定是否存在新增的人脸,若不存在,则对当前帧所有人脸直接用前一帧对应的美颜强度进行美颜,然后重新进场景判断处理模块;若存在,则首先采用前一帧美颜强度,对非新增人脸进行美颜,然后使用第二人脸美颜强度确定模块中的方法,对新增人脸进行美颜,接着进入场景判断处理模块。图6是图5中第一人脸美颜强度确定模块详细结构图;进一步地,第一人脸美颜强度确定模块包括:加速变量判断处理模块,用于判断如果加速变量mode=0,则进入第二美颜强度设置模块;否则,进入第一美颜强度设置模块。其中,mode是加速变量,可由使用者按需求自行设定。第二美颜强度设置模块,用于设定当前帧主人脸的美颜强度为系统默认的美颜强度,然后进入第二判断处理模块;第一美颜强度设置模块,用于设定当前帧主人脸的初始美颜强度为系统默认的美颜强度,然后进入第一美颜强度调整模块。第一美颜强度调整模块,用于对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度。图7是图6中第一美颜强度调整模块详细结构图;进一步地,所述第一美颜强度调整模块包括第一表情区域划定模块,用于为当前帧主人脸划定表情区域re:如果当前帧主人脸仅左眼定位成功,划定表情区域为re=reL;否则如果仅右眼定位成功,划定表情区域为re=reR;否则即左右眼均定位成功,则可以划定表情为re=reL或re=reR或re=reL∪reR。其中,reL={bki,j|ielmax+Thres1≤i≤ielmax且jelmin-Thres2≤j≤jelmax}reR={bki,j|iermax+Thres1≤i≤iermax且jermin≤j≤jermax+Thres2};bki,j表示当前帧第i行第j列块;ielmax、jelmax、jelmin分别表示当前帧主人脸左眼区域内块的最大行号、最大列号、最小列号;iermax、jermax、jermin分别表示当前帧主人脸右眼区域内块的最大行号、最大列号、最小列号;Thres1、Thres2分别表示第一、第二阈值,用于限定人脸表情区域划分浮动范围,可根据需求自行选定。表情判断集合构建模块,用于构建当前帧主人脸第一、第二表情判断集合:fre1={mvrefi,j|bki,j∈reL}、fre2={mvrefi,j|bki,j∈reR}。其中,bkrefi,j表示以bki,j为参考块的某一帧的块;mvxrefi,j、mvyrefi,j分别为mvrefi,j的x轴、y轴分量;mvrefi,j=mvxrefi,j、mvyrefi,j表示bkrefi,j的运动向量。表情变化趋势变量计算模块,用于计算表情变化趋势变量temp1、temp2。具体方法如下:及其中,条件1:mvrefi,j∈fre1且mvxrefi,j>0和mvyrefi,j>0、条件2:mvrefi,j∈fre1且mvxrefi,j<0和mvyrefi,j<0、条件3:mvrefi,j∈fre2且mvxrefi,j<0和mvyrefi,j>0、条件4:mvrefi,j∈fre2且mvxrefi,j>0和mvyrefi,j<0;sum变量表示对变量求和、num集合表示集合内块包含的运动向量数量。第二美颜强度调整模块,用于根据表情变化趋势变量,调整主人脸的美颜强度。具体方法如下:如果temp1>temp2*Thres3,则下调美颜强度;否则如果temp2>temp1*Thres3,则上调美颜强度;否则,保持原始美颜强度。调整幅度可由使用者根据第一、第二表情判断集合内最大运动向量幅值确定。图8是图5的第二人脸美颜强度确定模块中的速度模式美颜强度确定模块详细结构图。进一步地,所述第二人脸美颜强度确定模块包括速度模式美颜强度确定模块和质量模式美颜强度确定模块图中未示出,其中,质量模式美颜强度确定模块,用于确定当前帧非主人脸的美颜强度的方法与第一美颜强度设置模块+第一美颜强度调整模块中的方法相同,在此不再赘述。其中,速度模式美颜强度确定模块包括:美颜强度值临时变量设置模块,用于设置临时变量为图像主人脸美颜强度值。第二表情区域划定模块,用于为当前帧非主人脸划定表情区域,记为rek;具体方法与第一表情区域划定模块中“为当前帧主人脸划定表情区域”的方法相同,在此不再赘述。非主人脸年龄跨度变量计算模块,用于计算当前帧非主人脸的年龄跨度变量stddk:stddk=stdrek-stdre。其中,std变量表示对变量对应的亮度像素值求均方差;年龄跨度变量stddk也可用边缘强度差求取,即stddk=gradrek-gradre,grad表示对变量对应的亮度像素求边缘强度,可用业内公开的Laplacian算子、Sobel算子等计算边缘强度。临时变量调整模块,用于根据非主人脸的年龄跨度变量,调整所述临时变量。具体如下:如果absstddk≤Thres4,则进入第三美颜强度设置模块;否则如果stddk>Thres4,则上调临时变量,然后进入第三美颜强度设置模块;否则,则下调临时变量,然后进入第三美颜强度设置模块。其中,Thres4分别表示第四阈值,用于限定年龄差美颜调整浮动范围,可根据需求自行选定;临时变量调整模块中调整幅度可根据需要设定,且临时变量调整模块中上调和下调可设置多阶段调节,例如将“stddk>Thres4”细分为stddk>Thres5、Thres4<stddk≤Thres5,那么上述这两种情况均需要上调临时变量值,但调整幅度需依次下降,同样“stddk<-Thres4”也可类似作细分;Thres4、Thres5表示第四第五阈值。第三美颜强度设置模块,用于设置非主人脸的美颜强度为所述临时变量;本领域的普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质可以为ROM、RAM、磁盘、光盘等。以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

权利要求:1.一种基于视频动态信息的多人美颜调整方法,其特征在于,所述方法包括:步骤K1:对当前帧进行人脸检测和五官定位;步骤K2:确定当前帧主人脸;步骤K3:确定当前帧主人脸的美颜强度;步骤K4:根据使用倾向,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度;步骤K5:对当前帧主人脸和非主人脸,采用对应的美颜强度进行美颜处理。步骤K6:对当前帧的下一帧进行场景变化检测设置;步骤K7:根据所述下一帧的场景变化及人脸数量变化重新更新处理。2.如权利要求1所述的基于视频动态信息的多人美颜调整方法,其特征在于,所述步骤K6:对当前帧的下一帧进行场景变化检测设置具体为:如果下一帧不存在,则结束;否则进一步判定下一帧和当前帧是否为同一场景,若是同一场景,则设置下一帧为当前帧,然后进入步骤K7;否则,设置下一帧为当前帧,然后重新进入步骤K1;所述步骤K7:根据所述下一帧的场景变化及人脸数量变化重新更新处理具体为:对当前帧所有帧内预测块判定是否存在新增的人脸,若不存在,则对当前帧所有人脸直接用前一帧对应的美颜强度进行美颜,然后重新进步骤K6;若存在,则首先采用前一帧美颜强度,对非新增人脸进行美颜,然后使用步骤K4中的方法,对新增人脸进行美颜,接着进入步骤K6。3.如权利要求1所述的基于视频动态信息的多人美颜调整方法,其特征在于,步骤K2之前还包括步骤:如果当前帧存在人脸,则记当前帧人脸数量为nump,然后进入步骤K2;否则,步骤K7;步骤K4之前还包括步骤:如果nump=1,则用确定的美颜强度对主人脸进行美颜,然后进入步骤K6;否则,则进入步骤K4。4.如权利要求1所述的基于视频动态信息的多人美颜调整方法,其特征在于,步骤K2:确定当前帧主人脸具体为:如果当前帧为单人脸图像,则直接设置当前帧主人脸为该单人脸;否则选取当前帧正中心区域的人脸为当前帧主人脸。5.如权利要求1所述的基于视频动态信息的多人美颜调整方法,其特征在于,步骤K3:确定当前帧主人脸的美颜强度具体为:Step31:判断如果加速变量mode=0,则设定当前帧主人脸的美颜强度为系统默认的美颜强度;否则,进入Step32;Step32:首先设定当前帧主人脸的初始美颜强度为系统默认的美颜强度,然后对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度;其中,mode是加速变量,可由使用者按需求自行设定。6.如权利要求4所述的基于视频动态信息的多人美颜调整方法,其特征在于,所述对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度包括以下步骤:步骤A1:为当前帧主人脸划定表情区域re:如果当前帧主人脸仅左眼定位成功,划定表情区域为re=reL;否则如果仅右眼定位成功,划定表情区域为re=reR;否则如果左右眼均定位成功,则划定表情为re=reL或re=reR或re=reL∪reR;其中,reL={bki,j|ielmax+Thres1≤i≤ielmax且jelmin-Thres2≤j≤jelmax}reR={bki,j|iermax+Thres1≤i≤iermax且jermin≤j≤jermax+Thres2};bki,j表示当前帧第i行第j列块;ielmax、jelmax、jelmin分别表示当前帧主人脸左眼区域内块的最大行号、最大列号、最小列号;iermax、jermax、jermin分别表示当前帧主人脸右眼区域内块的最大行号、最大列号、最小列号;Thres1、Thres2分别表示第一、第二阈值,用于限定人脸表情区域划分浮动范围,可根据需求自行选定;步骤A2:构建当前帧主人脸第一、第二表情判断集合:fre1={mvrefi,j|bki,j∈reL}、fre2={mvrefi,j|bki,j∈reR};其中,bkrefi,j表示以bki,j为参考块的某一帧的块;mvxrefi,j、mvyrefi,j分别为mvrefi,j的x轴、y轴分量;mvrefi,j=mvxrefi,j、mvyrefi,j表示bkrefi,j的运动向量;步骤A3:计算表情变化趋势变量temp1、temp2;具体方法如下:及其中,条件1:mvrefi,j∈fre1且mvxrefi,j>0和mvyrefi,j>0、条件2:mvrefi,j∈fre1且mvxrefi,j<0和mvyrefi,j<0、条件3:mvrefi,j∈fre2且mvxrefi,j<0和mvyrefi,j>0、条件4:mvrefi,j∈fre2且mvxrefi,j>0和mvyrefi,j<0;sum变量表示对变量求和、num集合表示集合内块包含的运动向量数量;步骤A4:根据表情变化趋势变量,调整主人脸的美颜强度;具体方法如下:如果temp1>temp2*Thres3,则下调美颜强度;否则如果temp2>temp1*Thres3,则上调美颜强度;否则,保持原始美颜强度。调整幅度可由使用者根据第一、第二表情判断集合内最大运动向量幅值确定。7.如权利要求1所述的基于视频动态信息的多人美颜调整方法,其特征在于,所述根据使用倾向,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度;当使用倾向于速度时,确定当前帧非主人脸的美颜强度包括:步骤B1:设置临时变量为图像主人脸美颜强度值;步骤B2:为当前帧非主人脸划定表情区域,记为rek;具体方法与步骤A1中“为当前帧主人脸划定表情区域”的方法相同;步骤B3:计算当前帧非主人脸的年龄跨度变量stddk:stddk=stdrek-stdre;其中,std变量表示对变量对应的亮度像素值求均方差;年龄跨度变量stddk也可用边缘强度差求取,即stddk=gradrek-gradre,grad表示对变量对应的亮度像素求边缘强度,用业内公开的Laplacian算子、Sobel算子计算边缘强度;步骤B4:根据非主人脸的年龄跨度变量,调整所述临时变量;具体如下:如果absstddk≤Thres4,则进入“步骤B5”;否则如果stddk>Thres4,则上调临时变量,然后进入“步骤B5”;否则,则下调临时变量,然后进入“步骤B5”;其中,Thres4分别表示第四阈值,用于限定年龄差美颜调整浮动范围,根据需求自行选定;“步骤B4”中调整幅度可根据需要设定,且“步骤B4”中上调和下调设置多阶段调节,Thres4、Thres5表示第四第五阈值;步骤B5:设置非主人脸的美颜强度为所述临时变量;当使用倾向于质量时,确定当前帧非主人脸的美颜强度的方法与Step32中的方法相同。8.一种基于视频动态信息的多人美颜调整系统,其特征在于,所述系统包括:人脸检测及五官定位模块,用于对当前帧进行人脸检测和五官定位;第一判断处理模块,用于判断如果当前帧存在人脸,则记当前帧人脸数量为nump,然后进入主人脸确定模块;否则,进入新增人脸判断处理模块;主人脸确定模块,用于确定当前帧主人脸;第一人脸美颜强度确定模块,用于确定当前帧主人脸的美颜强度;第二判断处理模块,用于判断如果nump=1,则用确定的美颜强度对主人脸进行美颜,然后进入场景判断处理模块;否则,则进入第二人脸美颜强度确定模块;第二人脸美颜强度确定模块,用于根据使用倾向;,以及当前帧中非主人脸与主人脸的年龄跨度分析,确定当前帧非主人脸的美颜强度;美颜处理模块,用于对当前帧主人脸和非主人脸,采用对应的美颜强度进行美颜处理;场景判断处理模块,用于判断如果下一帧不存在,则结束;否则进一步判定下一帧和当前帧是否为同一场景,若是同一场景,则设置下一帧为当前帧,然后进入新增人脸判断处理模块;否则,设置下一帧为当前帧,然后重新进入人脸检测及五官定位模块;新增人脸判断处理模块,用于对当前帧所有帧内预测块判定是否存在新增的人脸,若不存在,则对当前帧所有人脸直接用前一帧对应的美颜强度进行美颜,然后重新进场景判断处理模块;若存在,则首先采用前一帧美颜强度,对非新增人脸进行美颜,然后使用第二人脸美颜强度确定模块中的方法,对新增人脸进行美颜,接着进入场景判断处理模块。9.如权利要求8所述的基于视频动态信息的多人美颜调整系统,其特征在于,第一人脸美颜强度确定模块包括:加速变量判断处理模块,用于判断如果加速变量mode=0,则进入第二美颜强度设置模块;否则,进入第一美颜强度设置模块;第二美颜强度设置模块,用于设定当前帧主人脸的美颜强度为系统默认的美颜强度,然后进入第二判断处理模块;第一美颜强度设置模块,用于设定当前帧主人脸的初始美颜强度为系统默认的美颜强度,然后进入第一美颜强度调整模块;第一美颜强度调整模块,用于对当前帧主人脸进行表情分析,调整并最终确定当前帧主人脸的美颜强度。10.如权利要求9所述的基于视频动态信息的多人美颜调整系统,其特征在于,所述第一美颜强度调整模块包括第一表情区域划定模块,用于为当前帧主人脸划定表情区域re:如果当前帧主人脸仅左眼定位成功,划定表情区域为re=reL;否则如果仅右眼定位成功,划定表情区域为re=reR;否则如果左右眼均定位成功,则可以划定表情为re=reL或re=reR或re=reL∪reR;其中,reL={bki,j|ielmax+Thres1≤i≤ielmax且jelmin-Thres2≤j≤jelmax}reR={bki,j|iermax+Thres1≤i≤iermax且jermin≤j≤jermax+Thres2};bki,j表示当前帧第i行第j列块;ielmax、jelmax、jelmin分别表示当前帧主人脸左眼区域内块的最大行号、最大列号、最小列号;iermax、jermax、jermin分别表示当前帧主人脸右眼区域内块的最大行号、最大列号、最小列号;Thres1、Thres2分别表示第一、第二阈值,用于限定人脸表情区域划分浮动范围,根据需求自行选定;表情判断集合构建模块,用于构建当前帧主人脸第一、第二表情判断集合:fre1={mvrefi,j|bki,j∈reL}、fre2={mvrefi,j|bki,j∈reR};其中,bkrefi,j表示以bki,j为参考块的某一帧的块;mvxrefi,j、mvyrefi,j分别为mvrefi,j的x轴、y轴分量;mvrefi,j=mvxrefi,j、mvyrefi,j表示bkrefi,j的运动向量;表情变化趋势变量计算模块,用于计算表情变化趋势变量temp1、temp2;具体方法如下:及其中,条件1:mvrefi,j∈fre1且mvxrefi,j>0和mvyrefi,j>0、条件2:mvrefi,j∈fre1且mvxrefi,j<0和mvyrefi,j<0、条件3:mvrefi,j∈fre2且mvxrefi,j<0和mvyrefi,j>0、条件4:mvrefi,j∈fre2且mvxrefi,j>0和mvyrefi,j<0;sum变量表示对变量求和、num集合表示集合内块包含的运动向量数量;第二美颜强度调整模块,用于根据表情变化趋势变量,调整主人脸的美颜强度;具体方法如下:如果temp1>temp2*Thres3,则下调美颜强度;否则如果temp2>temp1*Thres3,则上调美颜强度;否则,保持原始美颜强度;调整幅度可由使用者根据第一、第二表情判断集合内最大运动向量幅值确定。11.如权利要求8所述的基于视频动态信息的多人美颜调整系统,其特征在于,所述第二人脸美颜强度确定模块包括速度模式美颜强度确定模块和质量模式美颜强度确定模块,其中,质量模式美颜强度确定模块,用于确定当前帧非主人脸的美颜强度的方法与第一美颜强度设置模块+第一美颜强度调整模块中的方法相同;其中,速度模式美颜强度确定模块包括:美颜强度值临时变量设置模块,用于设置临时变量为图像主人脸美颜强度值;第二表情区域划定模块,用于为当前帧非主人脸划定表情区域,记为rek;具体方法与第一表情区域划定模块中“为当前帧主人脸划定表情区域”的方法相同;非主人脸年龄跨度变量计算模块,用于计算当前帧非主人脸的年龄跨度变量stddk:stddk=stdrek-stdre;其中,std变量表示对变量对应的亮度像素值求均方差;年龄跨度变量stddk可用边缘强度差求取,即stddk=gradrek-gradre,grad表示对变量对应的亮度像素求边缘强度,用业内公开的Laplacian算子、Sobel算子计算边缘强度;临时变量调整模块,用于根据非主人脸的年龄跨度变量,调整所述临时变量;具体如下:如果absstddk≤Thres4,则进入第三美颜强度设置模块;否则如果stddk>Thres4,则上调临时变量,然后进入第三美颜强度设置模块;否则,则下调临时变量,然后进入第三美颜强度设置模块;其中,Thres4分别表示第四阈值,用于限定年龄差美颜调整浮动范围,根据需求自行选定;临时变量调整模块中调整幅度可根据需要设定,且临时变量调整模块中上调和下调可设置多阶段调节;Thres4、Thres5表示第四第五阈值;第三美颜强度设置模块,用于设置非主人脸的美颜强度为所述临时变量。

百度查询: 深圳市梦网视讯有限公司 一种基于视频动态信息的多人美颜调整方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。