申请/专利权人：武汉大学

申请日：2020-11-05

公开（公告）日：2024-02-09

公开（公告）号：CN112417873B

主分类号：G06F40/295

分类号：G06F40/295;G06F40/30;G06F16/33;G06N3/044;G06N3/049;G06N3/08;G06T5/50;G06T11/60

优先权：

专利状态码：有效-授权

法律状态：2024.02.09#授权;2021.03.16#实质审查的生效;2021.02.26#公开

摘要：本发明提供一种基于BBWC模型和MCMC的自动漫画生成方法和系统，首先对中文数据集进行扩充范围的实体标注；然后设计一个BERT‑BiLSTM+WS‑CRF命名实体识别模型，在标注好的数据集上进行训练，用于识别包括人名、地名、机构名、普通名词、数词、介词、方位词这七类实体，以此获得前景物体类型、背景模板以及它们的数量和位置关系等信息；定义不同的场景模板来描述不同的场景，用来补充场景信息；然后根据之前获得的信息选择合适的模板；再通过MCMC方法来控制场景布局，生成完整的场景信息；使用泊松融合算法，实现多图像素材的无缝融合；最后，将文本输入到最终模型中，自动生成一张符合语义的漫画。本发明可合理控制各图像的大小、比例和位置关系；可使多图像素材无缝融合。

主权项：1.一种基于BBWC模型和MCMC的自动漫画生成方法，其特征在于，包括以下步骤：步骤1，对一份由童话、寓言和小说构成的中文数据集中的人名、地名、机构名、普通名词、数词、介词、方位词都进行标注，用于训练自然语言处理阶段的命名实体识别模型；步骤2，构建并训练基于BBWC和MCMC的自动漫画生成模型，具体包括如下子步骤：步骤2.1，设计一个BERT-BiLSTM+WS-CRF命名实体识别模型，在步骤1标注的训练集上进行训练，用于识别包括人名、地名、机构名、普通名词、数词、介词、方位词这七类实体，以此获得前景物体类型、背景模板信息以及它们的数量和位置关系信息；步骤2.1中所述的BERT-BiLSTM+WS-CRF命名实体识别模型包括BERT层、BiLSTM-CRF层和WS-CRF层，其中BERT作为特征表示层，用来获取语料上下文相关的字向量表示进而提取文本全局特征和局部特征，然后结果输入到并列的WS-CRF层和BiLSTM-CRF层中获得标签，最后通过一定比例加权得到概率最大的标签序列；在BiLSTM-CRF层中设CRF层的输入序列为H＝h1,h2,...,hn，其中n为输入语句中字的个数，对应的输出的标签序列为y＝y1,y2,...,yn，设BiLSTM和CRF之间的一个状态转移过渡矩阵A作为CRF层的参数，即转移得分矩阵，其中Ai,j为标签i转移到标签j的得分，设CRF输出层的得分矩阵为P，其中Pi,j为一个输入序列中，第i个词在第j个标签下的输出得分，则标签序列的得分为： 再将所有可能性的序列归一化，得到输出序列y的概率分布为： 其中YH为CRF的输入序列的所有可能的标签序列的集合，因此BiLSTM-CRF层的损失函数即为：LCRF＝-logpy|H设WS-CRF层的输入为B＝b1,b2,...,bn，即BERT层的输出，输出的标签序列为yws＝w1,w2,...,wn，因此WS-CRF层的损失函数即为： 因此，设置BBWC模型整体的损失函数为： 其中α为加权系数，α的值越大，模型对WS-CRF层的损失函数的参考程度越大，即分词任务的结果对最终识别结果的影响越大；步骤2.2，建立一个图像数据集，根据步骤2.1获得的前景物体类型和背景模板信息，在图像数据集中选取相应的前景图像；步骤2.3，定义不同场景模板来描述不同的场景，用来补充场景信息，指定场景中的背景信息和默认的前景信息，也为之后的场景布置提供初始的位置范围；步骤2.4，根据步骤2.1获得的背景模板信息，在步骤2.3定义的模板中，选择合适的模板；步骤2.4中对模板的选择包括两种不同情况：如果图像数据集中已定义的背景模版类型名称与步骤2.1中提取出的背景类型信息存在直接对应的关系，则选择名称相同的模版为匹配模版；如果提取信息不直接包含已定义模版，则根据处理得到的信息选择一个合适的模板，即如果一个模板中可能出现的物体中包含了步骤2.1中提取出的前景物体类型，则为合适的模板；步骤2.5，通过MCMC方法控制场景布局，确定前景图像中各图像的大小、比例和位置关系，生成完整的场景信息；步骤2.6，使用泊松融合算法，实现多图像素材的无缝融合，减少图像合成的融合痕迹；步骤3，将文本输入到训练好的基于BBWC和MCMC的自动漫画生成模型中，自动生成一张符合语义的漫画。

全文数据：

权利要求：

百度查询： 武汉大学 基于BBWC模型和MCMC的自动漫画生成方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD