申请/专利权人：深圳市潮流网络技术有限公司;潮流网络有限公司

申请日：2018-12-18

公开（公告）日：2024-04-16

公开（公告）号：CN109819182B

主分类号：H04N5/272

分类号：H04N5/272;H04N7/15

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2021.11.09#实质审查的生效;2019.05.28#公开

摘要：本发明披露了一种视频背景替换方法，包括以下步骤：步骤a:获取当前视频帧或图像Vori，确定主色；步骤b：对图像颜色、图像边沿主色进行量化统计、比较，得到图像的背景颜色值bgr,bgb,bgg和背景颜色的主色bgM；步骤c：透明度计算：依次得到一层透明度A1、二层透明度A2、综合透明度A；步骤d：将指定的背景图像Vb和所述综合透明度A采用算式进行背景替换，得到背景替换后的图像Vm。本发明提供的方案在获取背景颜色的过程中，根据视频的场景特征进行了背景颜色确认过程，提高了获取的背景颜色的准确性。

主权项：1.一种视频背景替换方法，其特征在于，具体包括以下步骤：步骤a:获取当前图像Vori；步骤b：对图像颜色、图像边沿主色进行量化统计、比较，得到图像的背景颜色值bgr,bgb,bgg和背景颜色的主色bgM；步骤c：透明度计算：依次得到一层透明度A1、二层透明度A2、综合透明度A；所述透明度计算进一步包括，将所述背景颜色值作为抠图算法的输入进行处理，得到处理图像Vp和所述一层透明度A1；将所述图像Vori当前像素的主色Mi与所述图像背景颜色的主色bgM进行比较，如果一致则将当前像素的主色通道值mi进行分段处理，段内的颜色值再进行颜色饱和值分级判断，颜色饱和值是指当前像素主色和另外两种颜色的比值，对当前像素进行所在级对应的透明值计算，得到当前像素二层透明值a2i，否则所述当前像素二层透明值a2i为255；将下一个像素作为当前像素依次计算，得到所述二层透明度A2；对所述二层透明度A2进行数值范围收缩得到二层透明度A2'；将所述一层透明度A1和所述二层透明度A2'进行叠加，对叠加后的透明度进行数值范围收缩并进行归一化处理，得到所述综合透明度A；步骤d：将指定的背景图像Vb和所述综合透明度A采用算式进行背景替换，得到背景替换后的图像Vm。

全文数据：一种视频背景替换方法技术领域本发明属于多媒体领域，尤其涉及多媒体视频背景管理技术。背景技术视频或图像的背景替换技术广泛应用于视频编辑和视频分割等视频处理专业领域，通常背景替换技术采用纯色蓝绿幕背景视频作为视频源，从而降低替换过程的难度。由于采用蓝绿幕视频进行处理，本发明方法基于RGB颜色空间提出，RGB颜色空间中每个像素的颜色通过RGB三个通道值表示。本发明方法中的图像的像素颜色值即指图像RGB通道值，即红色通道R值、绿色通道G值和蓝色通道B值。在计算机存储系统中，每个通道值都使用8比特位进行表示，即数值范围是[0,255]。在蓝绿幕背景下的图像背景替换技术通常也称为抠图算法，采用估计alpha通道透明度的方式，透明度表示图像的透明程度，每个像素在图像透明度中对应的透明值取值范围为[0,255]，0值不透明，255值表示全透明，介于0和255之间的透明值表示相应程度的透明。抠图算法将与背景颜色相同的像素从图像去除，达到透明的效果，从而显示出期望的背景像素，同时，将与背景颜色不同的像素作为前景保留，即不透明，最终达到背景替换的效果。目前，现有背景替换技术一般采用用户指定背景颜色，根据背景颜色进行抠图算法的操作，需要用户参与部分交互过程，使用不够简洁。同时，抠图算法的实际效果受环境光照，幕布背景的平坦程度等因素的影响，存在替换背景后图片主观效果不理想以及抠图不准确的问题。综上，需要提出适用于视频会议场景，且便于用户使用的背景替换方法。发明内容本发明目的在于提供一种视频背景替换方法，设计视频背景替换方法，可以根据用户的需要将视频会议中的背景替换为指定的场景，在保证视频画面前景的主观效果的条件下，达到用户自选会议背景，并与前景的自然融合效果。为了实现本发明目的，公开了一种视频背景替换方法，具体包括以下步骤：步骤a:获取当前视频帧或图像Vori；步骤b：对图像颜色、图像边沿主色进行量化统计、比较，得到图像的背景颜色值bgr,bgb,bgg和背景颜色的主色bgM；步骤c：透明度计算：依次得到一层透明度A1、二层透明度A2、综合透明度A；步骤d：将指定的背景图像Vb和所述综合透明度A采用算式进行背景替换，得到背景替换后的图像Vm。优选的，上述步骤b中进一步包括：统计图像三种分布最多的颜色值，作为三种可能的背景颜色值bgr1,bgb1,bgg1、bgr2,bgb2,bgg2和bgr3,bgb3,bgg3，得到三种可能的背景颜色主色bgm1bgm1＝RorGorB、bgm2和bgm3，并保存对应背景颜色出现的统计个数。优选的，上述步骤b中进一步包括：统计图像边沿主色bgMbase，并保存对应的颜色值bgrbase,bgbbase,bggbase。优选的，上述步骤b中进一步包括：图像边沿计算过程按照边沿像素块进行，即将图像边沿划分为临接不重叠的像素块；统计图像颜色值时，采用量化后的数值进行统计；统计图像边沿颜色值时，采用每个边沿块的平均值进行统计。优选的，上述步骤b中进一步包括：将可能的背景颜色主色bgm1、bgm2和bgm3与图像边沿主色bgMbase进行比较，取与图像边沿主色bgMbase一致且颜色值统计个数最多的一种作为图像的背景颜色，若与图像边沿主色bgMbase都不一致，将边沿颜色作为图像背景颜色，从而得到图像的背景颜色值bgr,bgb,bgg和背景颜色的主色bgM。优选的，所述步骤c中进一步包括：将背景颜色值作为抠图算法的输入进行处理，得到处理图像Vp和所述一层透明度A1。优选的，上述步骤c中进一步包括：将图像Vori当前像素的主色为Mi图像背景颜色的主色bgM进行比较，如果一致则将当前像素的主色通道mi值进行分段处理，段内的颜色值再进行颜色饱和值分级判断，颜色饱和值是值当前像素主色和另外两种颜色的比值，对当前像素进行所在级对应的透明值计算，得到当前像素二层透明值a2i，否则当前像素二层透明值a2i为255；将下一个像素作为当前像素依次计算，得到二层透明度A2。优选的，上述步骤c中进一步包括：对二层透明度A2进行数值范围收缩二层透明度A2'；将一层透明度A1和二层透明度A2'进行叠加，对叠加后的透明度进行数值范围收缩并进行归一化处理，得到综合透明度A。优选的，上述步骤c中进一步包括：数值范围收缩采用等比例数值映射的方式进行收缩，A2和A的数值映射范围可设置为不同的阈值。本发明提供的一种视频背景替换方法通过在实施背景替换前进行图像颜色量化统计和背景颜色确认的过程，从而可自动获取图像背景颜色，减少了用户交互的过程，使用方法简洁。此外，本发明方法在计算图像透明度时，进行了颜色分级判断得到二层透明度，并结合抠图算法的一层透明度得到综合透明度，保证了背景替换结果的主观效果和稳定性。在背景颜色的统计过程中都采用量化颜色值进行计算，有效减少了计算量。附图说明图1为本发明具体实施例中视频背景替换方法主流程。具体实施方式本发明提供了一种视频背景替换方法，适用于蓝绿幕视频，可以有效地对视频会议场景中的视频帧或者图像进行背景替换。该方法的基本原理为：对输入图像进行自动背景颜色获取，然后，对图像颜色进行分级判断得到透明度，最后，进行图像的背景替换。该方法首先分析输入图像的背景颜色，再进行背景颜色确认，根据最终背景颜色值进行图像的逐像素颜色分级判断，结合抠图算法得到综合透明度，通过综合透明度进行图像背景的替换，将原始的蓝绿幕背景替换为用户指定的背景。下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是此时所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了方便描述，附图中仅示出于本发明相关的部分而非全部结构。图1为本发明具体实施例中视频背景替换方法主流程。由该图可知，本发明方法主要内容包括以下操作步骤：步骤1：获取当前视频帧或图像Vori，定义RGB三通道值中最大的一个对应的颜色为主色。步骤2：统计图像Vori三种分布最多的颜色值，作为三种可能的背景颜色值bgr1,bgb1,bgg1、bgr2,bgb2,bgg2和bgr3,bgb3,bgg3。同时，得到三种背景颜色对应的主色bgm1bgm1＝RorGorB、bgm2和bgm3，并保存对应背景颜色出现的统计个数。步骤3：统计图像Vori边沿主色bgMbase图像边沿:具体含义可参考下述步骤3-a中的说明，并保存对应的颜色值bgrbase,bgbbase,bggbase。步骤4：将步骤2中图像三种可能的背景颜色值对应的主色与步骤3中图像边沿主色bgMbase进行比较，取与后者一致且颜色值统计个数最多的一种，作为图像的背景颜色；若与后者都不一致，将边沿颜色作为图像背景颜色。最终，得到图像的背景颜色值bgr,bgb,bgg及背景颜色的主色bgM。步骤5：将图像背景颜色值作为抠图算法的输入进行处理，得到处理后的图像Vp和图像的一层透明度A1。步骤6：记图像Vori当前像素的主色为Mi，Mi∈RorGorB，i＝1....W*H，对应的主色通道值为mi∈[0,255]，i＝1...W*H。判断Mi是否与图像背景颜色的主色bgM一致，若一致，则执行步骤7，否则将当前像素二层透明值置a2i为255，执行步骤8。步骤7：将当前像素的主色通道mi值进行分段处理，段内的颜色值再进行颜色饱和值分级判断，颜色饱和值是值当前像素主色和另外两种颜色的比值。对当前像素进行所在级对应的透明值计算，得到当前像素二层透明值a2i。步骤8：将下一个像素作为当前像素，继续执行步骤6，直到当前图像Vori所有像素计算完毕，得到图像的二层透明度A2。步骤9：对二层透明度A2进行数值范围收缩二层透明度A2'，每个像素对应的二层透明值为a2i∈[0,255]，i＝1...W*H。其中W表示图像宽度，H表示图像高度。步骤10：将步骤5的图像一层透明度A1和步骤9二层透明度A2'进行叠加，对叠加后的透明度进行数值范围收缩并进行归一化处理，得到综合透明度A，即得到每个像素对应的透明值ai∈[0,1]，i＝1...W*H。步骤11：用户指定需要使用的新背景图像，记指定的背景图像为Vb，结合求得的综合透明度A，采用下式进行背景替换Vm＝A×Vp+1-A×Vb，即得到背景替换后的图像Vm。具体实施方案如下所述：步骤1：获取当前视频帧或图像Vori，定义RGB三通道值中最大的一个对应的颜色为主色。步骤2：统计图像三种分布最多的颜色值，作为三种可能的背景颜色值bgr1,bgb1,bgg1、bgr2,bgb2,bgg2和bgr3,bgb3,bgg3。同时，得到三种背景颜色对应的主色bgm1、bgm2和bgm3，并保存对应背景颜色出现的统计个数。bgm1∈RorGorB，bgm2和bgm1同理。2-a在本发明具体实施例中，统计过程首先对图像颜色值进行N位量化，取每个颜色通道值对应二进制的高N位的数据进行组合，得到3*N位的三通道组合量化数据，三通道的组合顺序任意。本实例中采用RGB式的三通道组合方式，量化位数N取3，则组合量化数据为9位。2-b对图像量化后的数据进行直方图统计，取分布最高的3个量化数据。2-c分别对上述3个量化数据进行通道拆分，并对拆分后的数据进行低8-N位补零，即得到三种可能的背景颜色值。步骤3：统计图像边沿主色bgMbase，并保存对应的颜色值bgrbase,bgbbase,bggbase。3-a本实例中定义图像边沿为距离图像上下左右边距离小于TD的像素的集合，统计时将图像边沿划分为临接不重叠的像素块，即得到边沿像素块，本实例中像素块的大小设为TD*TD，其中TD设为16。3-b求取像素块内对应颜色值的均值，作为当前像素块的颜色值。对所有边沿像素块对应的主色进行直方图统计，统计过程中对属于同一主色的像素块颜色值进行累加，保存对应颜色通道的累加值以及对应像素个数。最后，将分布最高的主色作为边沿主色bgMbase，对应的颜色值为累加值对应像素个数。步骤4：将步骤2中图像三种可能的背景颜色值对应的主色bgm1，bgm2，bgm3与步骤3中图像边沿主色bgMbase进行比较，取与bgMbase一致，且颜色对应统计个数较多的一种作为图像的背景颜色；若与bgMbase都不一致，直接将边沿颜色作为图像背景颜色。即得到图像的背景颜色值bgr,bgb,bgg及背景颜色的主色bgM，记背景颜色主色对应的通道值为bgm，bgm∈[0,255]，非主色通道值记为bgo1和bgo2。步骤5：将图像背景颜色值作为抠图算法的输入进行处理，得到处理后的图像Vp和图像的一层透明度A1。定义图像的二层透明度A2，每个像素对应的二层透明值为a2i∈[0,255]，i＝1...W*H。5-a本实例中抠图算法使用常用的色差键方法colordifferencekey，抠图算法通常采用用户指定背景颜色的方式进行前背景分离，本实例结合步骤4得到的背景颜色bgr,bgb,bgg，无需用户操作，进行初步抠图算法处理，得到处理后的图像Vp和一层透明度A1。步骤6：记图像Vori当前像素的主色为Mi，Mi∈RorGorB，i＝1....W*H，对应的主色通道值为mi∈[0,255]，i＝1...W*H。判断Mi是否与图像背景颜色的主色bgM一致，若一致，则执行步骤7，否则将当前像素二层透明值置a2i为255，执行步骤8。步骤7：将当前像素的主色通道值mi进行分段处理，段内的颜色值再进行颜色饱和值分级判断。对当前像素进行所在级对应的透明值计算，得到当前像素二层透明值a2i。7-a本实例中当前像素分段处理的区间为S1∈[0,0.5*bgm，S2∈[0.5*bgm,bgm，S3∈[bgm,255]。7-b本实例中记非主色通道的两个通道的值为o1i，o2i，若当前像素主通道值mi属于S1区间，则透明值如下式所示:a2i＝THm×CLIPmi-bgm+THo×CLIPo1i-bgo1+THo×CLIPo2i-bgo2。若当前像素主通道值mi属于S2区间，则对颜色饱和值分级判断后，再进行计算。本实例中所指的颜色饱和值是主色通道值与非主色通道值的比值，即st1i＝mio1i，st2i＝mio2i。具体过程如下式：若mi属于S3区间，采用和区间S2相同的计算方式处理。本实例中S2区间预设的阈值Tst为0.25，To为0.6；S3区间预设的阈值Tst为0.3，To为0.4。式中的CLIP指将小于0的数值置零，将大于255的数值置255。步骤8：将下一个像素作为当前像素，继续执行步骤6，直到当前图像所有像素计算完毕，得到图像的二层透明度A2。步骤9：对二层透明度进行数值范围收缩二层透明度A2'。9-a本实例中数值范围收缩采用简单的等比例数值映射的方式：其中，Tl取0.18，Th取0.55。步骤10：将步骤5的图像一层透明度A1和步骤9二层透明度A2'进行叠加，对叠加后的透明度进行数值范围收缩，收缩方式与9-a所述相同，其中，Tl取0.1，Th取0.6。然后进行归一化处理，得到综合透明度A，即得到每个像素对应的透明值ai∈[0,1]，i＝1...W*H。步骤11：记用户指定的背景图像为Vb，结合求得的综合透明度A，采用下式方式进行背景替换Vm＝A×Vp+1-A×Vb，即得到背景替换后的图像Vm。注意，上述仅为本发明的较佳实施例以及所运用技术原理。本领域技术人员会理解，本发明不限于所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

权利要求：1.一种视频背景替换方法，其特征在于，具体包括以下步骤：步骤a:获取当前视频帧或图像Vori；步骤b：对图像颜色、图像边沿主色进行量化统计、比较，得到图像的背景颜色值bgr,bgb,bgg和背景颜色的主色bgM；步骤c：透明度计算：依次得到一层透明度A1、二层透明度A2、综合透明度A；步骤d：将指定的背景图像Vb和所述综合透明度A采用算式进行背景替换，得到背景替换后的图像Vm。2.根据权利要求1所述的方法，其特征在于，在所述步骤b中进一步包括：统计图像三种分布最多的颜色值，作为三种可能的背景颜色值bgr1,bgb1,bgg1、bgr2,bgb2,bgg2和bgr3,bgb3,bgg3，得到三种可能的背景颜色主色bgm1bgm1=RorGorB、bgm2和bgm3，并保存对应背景颜色出现的统计个数。3.根据权利要求2所述的方法，其特征在于，在所述步骤b中进一步包括：统计图像边沿主色bgMbase，并保存对应的颜色值bgrbase,bgbbase,bggbase。4.根据权利要求3所述的方法，其特征在于，在所述步骤b中进一步包括：图像边沿计算过程按照边沿像素块进行，即将图像边沿划分为临接不重叠的像素块。5.根据权利要求4所述的方法，其特征在于，在所述步骤b中进一步包括：统计图像颜色值时，采用量化后的数值进行统计；统计图像边沿颜色值时，采用每个边沿块的平均值进行统计。6.根据权利要求5所述的方法，其特征在于，在所述步骤b中进一步包括：将所述可能的背景颜色主色bgm1、bgm2和bgm3与所述图像边沿主色bgMbase进行比较，取与所述图像边沿主色bgMbase一致且所述颜色值统计个数最多的一种作为图像的背景颜色，若与所述图像边沿主色bgMbase都不一致，将所述边沿颜色作为图像背景颜色，从而得到图像的所述背景颜色值bgr,bgb,bgg和所述背景颜色的主色bgM。7.根据权利要求6所述的方法，其特征在于，在所述步骤c中进一步包括：将所述背景颜色值作为抠图算法的输入进行处理，得到处理图像Vp和所述一层透明度A1。8.根据权利要求7所述的方法，其特征在于，在所述的步骤c中进一步包括：将所述图像Vori当前像素的主色为Mi与所述图像背景颜色的主色bgM进行比较，如果一致则将当前像素的主色通道mi值进行分段处理，段内的颜色值再进行颜色饱和值分级判断，颜色饱和值是值当前像素主色和另外两种颜色的比值，对当前像素进行所在级对应的透明值计算，得到当前像素二层透明值a2i，否则所述当前像素二层透明值a2i为255；将下一个像素作为当前像素依次计算，得到所述二层透明度A2。9.根据权利要求8所述的方法，其特征在于，在所述的步骤c中进一步包括：对所述二层透明度A2进行数值范围收缩二层透明度A2'；将所述一层透明度A1和所述二层透明度A2'进行叠加，对叠加后的透明度进行数值范围收缩并进行归一化处理，得到所述综合透明度A。10.根据权利要求9所述的方法，其特征在于，在所述步骤c中进一步包括：数值范围收缩采用等比例数值映射的方式进行收缩，A2和A的数值映射范围可设置为不同的阈值。

百度查询： 深圳市潮流网络技术有限公司;潮流网络有限公司 一种视频背景替换方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD