申请/专利权人：北京市商汤科技开发有限公司

申请日：2018-07-12

公开（公告）日：2020-09-15

公开（公告）号：CN108900788B

主分类号：H04N5/262(20060101)

分类号：H04N5/262(20060101);G06K9/00(20060101);G06N3/04(20060101);G06K9/62(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.09.15#授权;2018.12.21#实质审查的生效;2018.12.21#实质审查的生效 ;2018.11.27#公开

摘要：本发明实施例涉及图像处理技术领域，公开了一种视频生成方法、视频生成装置、电子装置及存储介质。其中，该方法包括：获取输入图像与目标动作类型，根据输入图像与目标动作类型生成第一姿态序列，再根据输入图像与第一姿态序列生成动态视频；由此可见，实施本发明实施例，可以避免噪声和异常姿态使得生成的视频中包含突变的视频帧，从而提高视频生成的可控性。

主权项：1.一种视频生成方法，其特征在于，包括：获取输入图像与目标动作类型，所述输入图像包括第一初始姿态；根据所述输入图像与所述目标动作类型生成第一姿态序列，所述第一姿态序列为与所述目标动作类型关联的多个不同动作对应的姿态的序列；根据所述输入图像与所述第一姿态序列生成动态视频。

全文数据：视频生成方法、视频生成装置、电子装置及存储介质技术领域[0001]本发明涉及图像处理技术领域，尤其涉及一种视频生成方法、视频生成装置、电子装置及存储介质。背景技术[0002]随着图像处理领域的基础技术的发展，视频生成技术也方兴未艾。视频生成可以利用单张或多张图像生成连续的动态视频，其不仅可以应用于互动应用之中，还可以在数据量缺乏的情况下，用来生成更多数据以提高数据数量，减少人工标注的工作量。[0003]随着生成对抗网络^GenerativeAdversarialNetwork，GAN的出现，视频生成技术获得巨大突破。视频生成的常用思路为分别进行视频的运动建模和内容建模，通过两步处理最终获得动态视频。然而，在进行运动建模的过程中，会受噪声和异常姿态pose的影响，导致生成的动态视频不可控;而在实际的应用场景中，噪声和异常姿态普遍存在，因而这样的视频生成方法难以部署到实际的应用场景中。发明内容[0004]本发明实施例提供了一种视频生成方法、视频生成装置、电子装置及存储介质，可以提尚视频生成的可控性。[0005]第一方面，本发明实施例提供了一种视频生成方法，包括：[0006]获取输入图像与目标动作类型；[0007]根据所述输入图像与所述目标动作类型生成第一姿态序列；[0008]根据所述输入图像与所述第一姿态序列生成动态视频。[0009]作为一种可选的实施方式，所述根据所述输入图像与所述目标动作类型生成第一姿态序列，包括：[0010]从所述输入图像提取第一初始姿态；[0011]将所述第一初始姿态以及所述目标动作类型输入姿态序列生成网络，获得第一姿态序列。[0012]作为一种可选的实施方式，所述根据所述输入图像与所述第一姿态序列生成动态视频，包括：[0013]提取所述输入图像中的外观特征；[0014]将所述外观特征与所述第一姿态序列输入语义一致生成网络，获得动态视频。[0015]作为一种可选的实施方式，所述姿态序列生成网络包括长短期记忆LSTM网络。[0016]作为一种可选的实施方式，在所述根据所述输入图像与所述目标动作类型生成第一姿态序列之前，所述方法还包括：[0017]解析训练视频以获取真实姿态序列；[0018]将第二初始姿态和所述训练视频对应的动作类型输入所述姿态序列生成网络，获得第二姿态序列，所述第二初始姿态为所述真实姿态序列中的任一姿态；[0019]根据所述真实姿态序列和所述第二姿态序列计算第一损失函数；[0020]优化所述第一损失函数以训练所述姿态序列生成网络。[0021]作为一种可选的实施方式，在所述根据所述输入图像与所述第一姿态序列生成动态视频之前，所述方法还包括：[0022]根据所述训练视频和所述语义一致生成网络，生成第一生成图像和第二生成图像，所述第一生成图像和所述第二生成图像为所述训练视频中两帧不同图像对应的生成图像；[0023]根据所述第一生成图像和所述第二生成图像计算第二损失函数；[0024]优化所述第二损失函数以训练所述语义一致生成网络。[0025]作为一种可选的实施方式，所述根据所述训练视频和所述语义一致生成网络，生成第一生成图像和第二生成图像包括：[0026]将所述训练视频中第一帧图像确定为真实图像，所述第一帧图像为所述第二初始姿态对应的图像；[0027]提取所述训练视频中第二帧图像的姿态为真实姿态，所述第二帧图像与所述第一帧图像不同；[0028]将所述真实图像和所述真实姿态输入所述语义一致生成网络，获得第一生成图像；[0029]根据所述真实图像和所述真实姿态，确定生成姿态；[0030]将所述真实图像和所述生成姿态输入所述语义一致生成网络，获得第二生成图像。[0031]第二方面，本发明实施例提供了一种视频生成装置，包括：[0032]获取单元，用于获取输入图像与目标动作类型；[0033]第一生成单元，用于根据所述输入图像与所述目标动作类型生成第一姿态序列；[0034]第二生成单元，用于根据所述输入图像与所述第一姿态序列生成动态视频。[0035]作为一种可选的实施方式，所述第一生成单元，包括：[0036]第一提取子单元，用于从所述输入图像提取第一初始姿态；[0037]第一输入子单元，用于将所述第一初始姿态以及所述目标动作类型输入姿态序列生成网络，获得第一姿态序列。[0038]作为一种可选的实施方式，所述第二生成单元，包括：[0039]第二提取子单元，用于提取所述输入图像中的外观特征；[0040]第二输入子单元，用于将所述外观特征与所述第一姿态序列输入语义一致生成网络，获得动态视频。[0041]作为一种可选的实施方式，所述姿态序列生成网络包括长短期记忆LSTM网络。[0042]作为一种可选的实施方式，所述装置还包括：[0043]解析单元，用于在所述第一生成单元根据所述输入图像与所述目标动作类型生成第一姿态序列之前，解析训练视频以获取真实姿态序列；[0044]第一输入单元，用于将所述第二初始姿态和所述训练视频对应的动作类型输入所述姿态序列生成网络，获得第二姿态序列，所述第二初始姿态为所述真实姿态序列中的任一姿态；[0045]第一计算单元，用于根据所述真实姿态序列和所述第二姿态序列计算第一损失函数；[0046]第一优化单元，用于优化所述第一损失函数以训练所述姿态序列生成网络。[0047]作为一种可选的实施方式，所述装置还包括：[0048]第三生成单元，用于根据所述训练视频和所述语义一致生成网络，生成第一生成图像和第二生成图像，所述第一生成图像和所述第二生成图像为所述训练视频中两帧不同图像对应的生成图像；[0049]第二计算单元，用于根据所述第一生成图像和所述第二生成图像计算第二损失函数；[0050]第二优化单元，用于优化所述第二损失函数以训练所述语义一致生成网络。[0051]作为一种可选的实施方式，所述第三生成单元包括：[0052]第一确定子单元，用于将所述训练视频中第一帧图像确定为真实图像，所述第一帧图像为所述第二初始姿态对应的图像；[0053]第三提取子单元，用于提取所述训练视频中第二帧图像的姿态作为真实姿态，所述第二帧图像与所述第一帧图像不同；[0054]第三输入子单元，用于将所述真实图像和所述真实姿态输入所述语义一致生成网络，获得第一生成图像；[0055]第二确定子单元，用于根据所述真实图像和所述真实姿态，确定生成姿态；[0056]第四输入子单元，用于将所述真实图像和所述生成姿态输入所述语义一致生成网络，获得第二生成图像。[0057]第三方面，本发明实施例提供了一种电子装置，所述电子装置包括存储器、处理器以及存储在所述存储器中的程序，所述程序被配置成由所述处理器执行，所述处理器执行所述程序时实现如上述第一方面所述的视频生成方法的步骤。[0058]第四方面，本发明实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的视频生成方法的步骤。[0059]本发明实施例中，获取输入图像与目标动作类型，根据输入图像与目标动作类型生成第一姿态序列，再根据输入图像与第一姿态序列生成动态视频，通过这种方式，可以避免噪声和异常姿态使得生成的视频中包含突变的视频帧，从而提高视频生成的可控性。附图说明[0060]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。[0061]图1为本发明实施例公开的一种视频生成方法的流程示意图；[0062]图2为本发明实施例公开的一种生成的第一姿态序列和动态视频的示意图；[0063]图3A为本发明实施例公开的另一种视频生成方法的流程示意图；[0064]图3B为本发明实施例公开的一种训练姿态序列生成网络方法的流程示意图；[0065]图3C为本发明实施例公开的一种训练语义一致生成网络方法的流程示意图；[0066]图3D为本发明实施例公开的一种生成第一生成图像和第二生成图像方法的流程示意图；[0067]图4A为本发明实施例公开的一种视频生成装置的结构示意图；[0068]图4B为本发明实施例公开的一种第一生成单元的结构示意图；[0069]图4C为本发明实施例公开的一种第二生成单元的结构示意图；[0070]图5为本发明实施例公开的另一种视频生成装置的结构示意图；[0071]图5A为本发明实施例公开的一种第三生成单元的结构示意图；[0072]图6为本发明实施例公开的一种电子装置的结构示意图。具体实施方式[0073]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。[0074]本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。[0075]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。[0076]本发明实施例所涉及到的电子装置可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备（UserEquipment，UE，移动台（MobiIeStation，MS，终端设备（terminaldevice、计算机、个人电脑等等。为方便描述，上面提到的设备统称为电子装置。[0077]本发明实施例提供了一种视频生成方法、视频生成装置、电子装置及存储介质，可以提高视频生成的可控性。以下分别进行详细说明。[0078]请参阅图1，图1为本发明实施例公开的一种视频生成方法的流程示意图。如图1所示，该视频生成方法可以包括如下步骤：[0079]101、获取输入图像与目标动作类型。[0080]本发明实施例中，上述输入图像可为人体图像或人脸图像，当输入图像为人体图像时，输出的动态视频可为包含人体动作的动态视频；当输入图像为人脸图像时，输出的动态视频可为包含人脸表情变化的动态视频。[0081]而上述目标动作类型可为从多种预设的动作类型中选择出的。其中，可选的动作类型可以包括:跳跃、打太极、大笑、眨眼等。[0082]102、根据输入图像与目标动作类型生成第一姿态序列。[0083]本发明实施例中，将视频生成过程分为运动建模和内容建模两个步骤。其中，在进行运动建模时，通过输入图像提取出用户的姿态，根据用户的姿态和已经确定好的目标动作类型生成预测姿态序列。[0084]具体地，电子装置可以从输入图像中提取第一初始姿态pose，将第一初始姿态以及目标动作类型输入姿态序列PoseSequence生成网络，获取姿态序列生成网络根据第一初始姿态以及目标动作类型输出的第一姿态序列。姿态序列生成网络可以为姿态序列生GAN〇[0085]具体地，可以采用OpenPose从输入图像中提取一定数量的关键点坐标。举例来说，我们可以设置所需的关键点的数量为18个，在提取关键点坐标的过程中，如果检测到的关键点的个数少于18个，则重复执行该提取过程直至关键点的个数满足条件。[0086]进一步地，在获取到足够的关键点坐标之后，可以将关键点坐标转换为18个热图heatmap，热图在关键点的位置的值为1，其他位置的值为0。在此之后，将18个关键点所对应的18个热图合并为一个18通道C=18的张量tensor。该张量即可表示上述第一初始姿态。[0087]为了更好地阐述本技术方案，以下对姿态序列生成网络进行详细介绍。[0088]本发明实施例中，姿态序列生成网络应用了一种编码器-解码器架构。其中，尺寸为C*W*H的第一初始姿态和目标动作类型被输入到多个卷积层之中，其中，目标动作类型为η维向量，η表示可选的动作类型的数量；由卷积层输出之后，信号被嵌入到多个特征地图之中，特征地图将由解码器完成时域扩展，从而获得一个尺寸为C*T*W*H的张量。[0089]进一步地，为了强化时空连续性，我们可以在姿态序列生成网络中引入长短期记忆Long-ShortTermMemory，LSTM网络。具体地，可以将姿态序列生成网络输出的尺寸为C*T*W*H的张量沿时间维度展开成T个C*W*H的特征图，然后嵌入LSTM网络，从而输出第一姿态序列。[0090]103、根据输入图像与第一姿态序列生成动态视频。[0091]本发明实施例中，在进行内容建模的过程中，可以根据输入图像和第一姿态序列生成动态视频。[0092]具体地，电子装置提取输入图像中的外观appearance特征，将外观特征以及第一姿态序列输入语义一致SematicConsistent生成网络，获取语义一致生成网络根据外观特征以及第一姿态序列输出的动态视频。语义一致生成网络可以为语义一致GAN。[0093]本发明实施例中，通过保持生成图像的姿态与真实图像的姿态语义一致，可以提高视频生成方法对异常姿态的鲁棒性，从而提高生成的视频质量。[0094]请参阅图2,图2为利用本发明实施例所提供的方法生成第一姿态序列和动态视频的示意图。如图2所示，从输入图像中提取出第一初始姿态之后，利用第一初始姿态和目标动作类型生成第一姿态序列；在此之后，利用第一姿态序列和输入图像生成动态视频的多个视频帧。[0095]由此可见，实施上述方法，获取输入图像与目标动作类型，根据输入图像与目标动作类型生成第一姿态序列，再根据输入图像与第一姿态序列生成动态视频，可以生成流畅、高质量的动态视频。[0096]请参阅图3A，图3A为本发明实施例公开的另一种视频生成方法的流程示意图，如图3A所示，该视频生成方法可以包括如下步骤：[0097]301、利用训练视频训练姿态序列生成网络。[0098]本发明实施例中，训练姿态序列生成网络的方法将在图3B所对应的内容中进行详细描述，在此不再赘述。需要说明的是，训练姿态序列生成网络和训练语义一致生成网络的步骤没有先后顺序之分，在此仅通过301以及302对两个步骤进行区分。[0099]302、利用训练视频训练语义一致生成网络。[0100]本发明实施例中，训练语义一致生成网络的方法将在图3C所对应的内容中进行详细描述，在此不再赘述。[0101]303、获取输入图像与目标动作类型。[0102]本发明实施例中，上述输入图像可为人体图像或人脸图像，当输入图像为人体图像时，输出的动态视频可为包含人体动作的动态视频；当输入图像为人脸图像时，输出的动态视频可为包含人脸表情变化的动态视频。[0103]而上述目标动作类型可为从多种预设的动作类型中选择出的。其中，可选的动作类型可以包括:跳跃、打太极、大笑、眨眼等。[0104]304、根据输入图像与目标动作类型生成动态视频。[0105]本发明实施例中，生成动态视频的步骤可以参考步骤102以及103中的详细描述，在此不再赘述。[0106]进一步地，请参阅图3B，图3B为本发明实施例公开的一种训练姿态序列生成网络方法的流程示意图。如图3B所示，该方法可以包括如下步骤：[0107]311、解析训练视频以获取真实姿态序列；[0108]本发明实施例中，可以采用多种运动类型的训练视频对姿态序列生成网络进行训练。具体地，可以解析训练视频，从训练视频中提取真实姿态序列P。[0109]312、将第二初始姿态和训练视频对应的动作类型输入姿态序列生成网络，获得第二姿态序列。[0110]本发明实施例中，将第二初始姿态p和训练视频对应的动作类型a输入需训练的姿态序列生成网络，从而获得姿态序列生成网络输出的第二姿态序列Gp，a。其中，第二初始姿态为真实姿态序列中的任一姿态。[0111]313、根据真实姿态序列和第二姿态序列计算第一损失函数。[0112]本发明实施例中，可以根据真实姿态序列P以及第二姿态序列Gp，a计算第一损失函数L1，通过优化第一损失函数L1来训练姿态序列生成网络。具体地，第一损失函数1^的表达式为：[0113]Li=Ep[IogDP]+Ep,a[log1~DGp,a]+EP,a[logDGp,a],[0114]其中，D为监督函数，用于分辨第二姿态序列Gp，a与真实姿态序列P，E为数学期望。[0115]314、优化第一损失函数以训练姿态序列生成网络。[0116]由此可见，通过图3B所描述的训练方法，可以优化姿态序列生成网络模型，使得通过姿态序列生成网络输出的姿态序列更为接近于真实姿态序列。[0117]进一步地，请参阅图3C，图3C为本发明实施例公开的一种训练语义一致生成网络方法的流程示意图。如图3C所示，该方法可以包括如下步骤：[0118]321、根据训练视频和语义一致生成网络，生成第一生成图像和第二生成图像。[0119]进一步地，请参阅图3D，图3D为本发明实施例公开的一种生成第一生成图像和第二生成图像方法的流程示意图。如图3D所示，该方法可以包括如下步骤：[0120]3211、将训练视频中第一帧图像确定为真实图像。[0121]本发明实施例中，可以采用多种运动类型的训练视频对语义一致生成网络进行训练，可以先将训练视频中第一帧图像确定为真实图像[0122]3212、提取训练视频中第二帧图像的姿态为真实姿态。[0123]本发明实施例中，提取训练视频中第二帧图像的姿态为真实姿态Ptl，步骤3211和步骤3212可以并行执行，也可以串行执行，本实施例不作限定。[0124]3213、将真实图像和真实姿态输入语义一致生成网络，获得第一生成图像。[0125]3214、根据真实图像和真实姿态确定生成姿态。[0126]本发明实施例中，根据真实图像和真实姿态确定生成姿态Pti,可以是先根据真实图像和训练视频对应的动作类型生成第三姿态序列，之后获取第三姿态序列中第二帧图像对应的姿态作为生成姿态。[0127]3215、将真实图像和生成姿态输入语义一致生成网络，获得第二生成图像。[0128]其中，第一生成图像和第二生成图像为训练视频中两帧不同图像对应的生成图像，第一帧图像为第二初始姿态对应的图像，第二帧图像与第一帧图像不同。第一生成图像的表达式可为：[0130]第二生成图像的表达式可为：[0132]322、根据第一生成图像和第二生成图像计算第二损失函数。[0133]本发明实施例中，第二损失函数1^2的表达式可为：[0134][0136]其中，Iti为训练视频在第二帧图像;DjPD2为监督函数，用于判别生成的图像是否为真;Dwhldl为用于判别生成的图像是根据真实姿态生成或根据生成姿态生成。[0137]323、优化第二损失函数以训练语义一致生成网络。[0138]由此可见，通过图3C所描述的训练方法，可以优化语义一致生成网络模型，使得通过语义一致生成网络输出的动态视频中的视频帧与输入图像的语义一致性更强。[0139]请参阅图4A，图4A为本发明实施例公开的一种视频生成装置的结构示意图。如图4A所示，视频生成装置400可以包括获取单元401、第一生成单元402以及第二生成单元403，其中，[0140]获取单元401，用于获取输入图像与目标动作类型。[0141]第一生成单元402，用于根据输入图像与目标动作类型生成第一姿态序列。[0142]第二生成单元403,用于根据输入图像与第一姿态序列生成动态视频。[0143]具体地，请参阅图4B，图4B为本发明实施例公开的一种第一生成单元402的结构示意图。如图4B所示，第一生成单元402可以包括第一提取子单元4021和第一输入子单元4022,其中：[0144]第一提取子单元4021，用于从输入图像提取第一初始姿态。[0145]第一输入子单元4022,用于将第一初始姿态以及目标动作类型输入姿态序列生成网络，获得第一姿态序列。[0146]具体地，请参阅图4C，图4C为本发明实施例公开的一种第二生成单元403的结构示意图。如图4C所示，第二生成单元403可以包括第二提取子单元4031和第二输入子单元4032,其中：[0147]第二提取子单元4031，用于提取输入图像中的外观特征。[0148]第二输入子单元4032,用于将外观特征与第一姿态序列输入语义一致生成网络，获得动态视频。[0149]由此可见，利用图4A〜图4C所描述的视频生成装置，可以避免噪声和异常姿态使得生成的视频中包含突变的视频帧，从而提高视频生成的可控性。[0150]请参阅图5,图5为本发明实施例公开的另一种视频生成装置的结构示意图。如图5所示，视频生成装置500可以在视频生成装置400的基础上获得，与视频生成装置400相比，装置500还可以包括解析单元404、第一输入单元405、第一计算单元406、第一优化单元407、第三生成单元408、第二计算单元409以及第二优化单元410,其中：[0151]解析单元404、第一输入单元405、第一计算单元406以及第一优化单元407可用于训练姿态序列生成网络模型，具体地：[0152]解析单元404,用于在第一生成单元402根据输入图像与目标动作类型生成第一姿态序列之前，解析训练视频以获取真实姿态序列；[0153]第一输入单元405,用于将第二初始姿态和训练视频对应的动作类型输入姿态序列生成网络，获得第二姿态序列，第二初始姿态为真实姿态序列中的任一姿态；[0154]第一计算单元406,用于根据真实姿态序列和第二姿态序列计算第一损失函数。[0155]第一优化单元407,用于优化第一损失函数以训练姿态序列生成网络。[0156]由此可见，通过上述装置，可以优化姿态序列生成网络模型，使得通过姿态序列生成网络输出的姿态序列更为接近于真实姿态序列。[0157]而第三生成单元408、第二计算单元409以及第二优化单元410可用于训练语义一致生成网络，具体地：[0158]第三生成单元408,用于根据训练视频和语义一致生成网络，生成第一生成图像和第二生成图像，第一生成图像和第二生成图像为训练视频中两帧不同图像对应的生成图像；[0159]第二计算单元409,用于根据第一生成图像和第二生成图像计算第二损失函数。[0160]第二优化单元410,用于优化第二损失函数以训练语义一致生成网络。[0161]具体地，请参阅图5A，图5A为本发明实施例公开的一种第三生成单元408的结构示意图。如图5A所示，第三生成单元408可以包括第第一确定子单元4081、第三提取子单元4082、第三输入子单元4083、第二确定子单元4084和第四输入子单元4085，其中：[0162]第一确定子单元4081，用于将训练视频中第一帧图像确定为真实图像，第一帧图像为第二初始姿态对应的图像；[0163]第三提取子单元4082,用于提取训练视频中第二帧图像的姿态作为真实姿态，第二帧图像与第一帧图像不同；[0164]第三输入子单元4083,用于将真实图像和真实姿态输入语义一致生成网络，获得第一生成图像；[0165]第二确定子单元4084,用于根据真实图像和真实姿态，确定生成姿态；[0166]第四输入子单元4085,用于将真实图像和生成姿态输入语义一致生成网络，获得第二生成图像。[0167]由此可见，通过上述装置，可以优化语义一致生成网络模型，使得通过语义一致生成网络输出的动态视频中的视频帧与输入图像的语义一致性更强。[0168]请参阅图6,图6为本发明实施例公开的一种电子装置的结构示意图。其中，电子装置600包括处理器601以及存储器602，其中，存储器602中存储有程序，该程序被配置成由处理器601执行，处理器601执行该程序时实现上述图1、图3A〜图3C所描述的视频生成方法。[0169]由此可见，电子装置600可以获取输入图像与目标动作类型，根据输入图像与目标动作类型生成第一姿态序列，再根据输入图像与第一姿态序列生成动态视频，通过这种方式，可以避免噪声和异常姿态使得生成的视频中包含突变的视频帧，从而提高视频生成的可控性。[0170]本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括手提电脑、以及移动终端等，上述计算机具有处理器。[0171]本发明实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。[0172]需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。[0173]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。[0174]在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。[0175]上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0176]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。[0177]上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备可为个人计算机、服务器或者网络设备等执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器R0M，Read-0nlyMemory、随机存取存储器RAM，RandomAccessMemory、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。[0178]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器英文=Read-OnlyMemory，简称:ROM、随机存取器英文：RandomAccessMemory，简称:RAM、磁盘或光盘等。[0179]以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

权利要求：1.一种视频生成方法，其特征在于，包括：获取输入图像与目标动作类型；根据所述输入图像与所述目标动作类型生成第一姿态序列；根据所述输入图像与所述第一姿态序列生成动态视频。2.根据权利要求1所述的方法，其特征在于，所述根据所述输入图像与所述目标动作类型生成第一姿态序列，包括：从所述输入图像提取第一初始姿态；将所述第一初始姿态以及所述目标动作类型输入姿态序列生成网络，获得第一姿态序列。3.根据权利要求2所述的方法，其特征在于，所述根据所述输入图像与所述第一姿态序列生成动态视频，包括：提取所述输入图像中的外观特征；将所述外观特征与所述第一姿态序列输入语义一致生成网络，获得动态视频。4.根据权利要求2或3所述的方法，其特征在于，所述姿态序列生成网络包括长短期记忆LSTM网络。5.根据权利要求2〜4中任意一项所述的方法，其特征在于，在所述根据所述输入图像与所述目标动作类型生成第一姿态序列之前，所述方法还包括：解析训练视频以获取真实姿态序列；将第二初始姿态和所述训练视频对应的动作类型输入所述姿态序列生成网络，获得第二姿态序列，所述第二初始姿态为所述真实姿态序列中的任一姿态；根据所述真实姿态序列和所述第二姿态序列计算第一损失函数；优化所述第一损失函数以训练所述姿态序列生成网络。6.根据权利要求5所述的方法，其特征在于，在所述根据所述输入图像与所述第一姿态序列生成动态视频之前，所述方法还包括：根据所述训练视频和所述语义一致生成网络，生成第一生成图像和第二生成图像，所述第一生成图像和所述第二生成图像为所述训练视频中两帧不同图像对应的生成图像；根据所述第一生成图像和所述第二生成图像计算第二损失函数；优化所述第二损失函数以训练所述语义一致生成网络。7.根据权利要求6所述的方法，其特征在于，所述根据所述训练视频和所述语义一致生成网络，生成第一生成图像和第二生成图像包括：将所述训练视频中第一帧图像确定为真实图像，所述第一帧图像为所述第二初始姿态对应的图像；提取所述训练视频中第二帧图像的姿态为真实姿态，所述第二帧图像与所述第一帧图像不同；将所述真实图像和所述真实姿态输入所述语义一致生成网络，获得第一生成图像；根据所述真实图像和所述真实姿态，确定生成姿态；将所述真实图像和所述生成姿态输入所述语义一致生成网络，获得第二生成图像。8.—种视频生成装置，其特征在于，包括：获取单元，用于获取输入图像与目标动作类型；第一生成单元，用于根据所述输入图像与所述目标动作类型生成第一姿态序列；第二生成单元，用于根据所述输入图像与所述第一姿态序列生成动态视频。9.一种电子装置，其特征在于，所述电子装置包括存储器、处理器以及存储在所述存储器中的程序，所述程序被配置成由所述处理器执行，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的视频生成方法的步骤。10.—种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的视频生成方法的步骤。

百度查询： 北京市商汤科技开发有限公司 视频生成方法、视频生成装置、电子装置及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD