申请/专利权人：天津大学

申请日：2019-01-09

公开（公告）日：2023-03-24

公开（公告）号：CN109801237B

主分类号：G06T5/00

分类号：G06T5/00

优先权：

专利状态码：有效-授权

法律状态：2023.03.24#授权;2019.06.18#实质审查的生效;2019.05.24#公开

摘要：本发明公开了一种基于MRF的快速图像修复方法，所述方法包括：利用改进的置信度传播算法，在未访问节点中选取优先级最高的节点，将其标记为已访问，计算该节点与其所有未访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均被标记为已访问；按照上述被访问的相反顺序，将当前节点恢复为未访问，计算该节点与其所有已访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均恢复为未访问。本发明利用低分辨率图像的“预修复”结果，来粗略估计破损区域中MRF内部节点的初始值，并利用改进的置信度计算公式对MRF节点的候选块进行筛选，最后利用MRF来确定最优匹配块，可有效提高修复效果和运行时间。

主权项：1.一种基于MRF的快速图像修复方法，其特征在于，所述方法包括：1利用改进的置信度传播算法，在未访问节点中选取优先级最高的节点，将其标记为已访问，计算该节点与其所有未访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均被标记为已访问；2按照上述被访问的相反顺序，将当前节点恢复为未访问，计算该节点与其所有已访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均恢复为未访问；所述改进的置信度传播算法具体为：在消息传递过程中，从任意节点p发送给其相邻节点q的消息定义为： 式中，V'pqxp,xq代表邻域一致性函数，xp是节点p的候选块，xq是节点p的相邻节点q的候选块，代表节点p与其相邻节点的消息之和，Vp'xp代表自相似性函数，Mp代表图像块I'p的二值图模板，K为高斯金字塔的层数；L代表候选块xp数量；所述改进的置信度函数为： 式中，代表任意节点p与其所有相邻节点r的消息值之和，ε是MRF边缘组成的一个4邻域系统。

全文数据：一种基于MRF的快速图像修复方法技术领域本发明涉及计算机图像处理领域，尤其涉及一种基于MRF马尔可夫随机场的快速图像修复方法，可广泛用于文物保护、影视特效制作等领域。背景技术数字图像修复技术是计算机视觉领域的研究热点，在文物保护、影视制作、老照片修复、目标移除等方面都得到了广泛的应用。数字图像修复技术大致可以分为2类：1基于偏微分方程的小区域图像修复技术；2基于样本块的较大破损区域的纹理合成技术。基于偏微分方程的图像修复，主要是利用热扩散方程来建立图像的偏微分方程。传统基于样本块的纹理合成方法通常按照一定的顺序来进行修复，容易产生错误的纹理或结构传播。为此，Komodakis等[1]提出基于MRF的全局优化方法来解决这个问题，采用优先级置信度传播priority-BeliefPropagation，p-BP最优化能量函数。该算法较好地解决了结构传播的问题，但算法计算量大，执行效率较低。发明内容本发明提供了一种基于MRF的快速图像修复方法，本发明利用低分辨率图像的“预修复”结果，来粗略估计破损区域中MRF内部节点的初始值，并利用改进的置信度计算公式对MRF节点的候选块进行筛选，最后利用MRF来确定最优匹配块，可有效提高修复效果和运行时间，详见下文描述：一种基于MRF的快速图像修复方法，所述方法包括：1利用改进的置信度传播算法，在未访问节点中选取优先级最高的节点，将其标记为已访问，计算该节点与其所有未访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均被标记为已访问；2按照上述被访问的相反顺序，将当前节点恢复为未访问，计算该节点与其所有已访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均恢复为未访问。其中，在步骤1之前该方法还包括：利用改进的置信度函数计算任意节点的初始置信度，根据破损块源区域的纹理复杂程度，计算每个节点的候选块数量，并根据候选块置信度选取初始候选块；计算每个节点的优先级，将所有节点标记为未访问节点。进一步地，在步骤1之前该方法还包括：采用对高斯金字塔顶层低分辨图像进行预修复，将预修复结果进行上采样插值，得到预处理后的图像为MRF内部节点提供初始置信度。所述采用对高斯金字塔顶层低分辨图像进行预修复，将预修复结果进行上采样插值，得到预处理后的图像为MRF内部节点提供初始信息具体为：将原始图像I设为金字塔底层的高分辨率图像G0，对其进行下采样，得到顶层低分辨率图像GK，其中，K代表金字塔层数；利用自适应样本块修复算法对图像GK进行修复，得到预修复图像G'K；对预修复图像G'K进行上采样插值，获得初始修复图像G'0；原始图像I中破损区域的像素用初始修复图像G'0中相同位置的像素替代，得到预处理图像I'，为MRF内部节点提供粗略的初始信息。本发明提供的技术方案的有益效果是：1本发明提出了对低分辨率图像进行“预修复”的方法，来获取内部节点的粗略初始值，克服了传统方法中内部节点初始信息空白的缺点，相当于给定了消息传递之前的约束条件，有助于加快相邻节点间的消息传递及收敛速度。2本发明提出了改进的置信度计算公式，并根据纹理复杂度来确定MRF节点候选块数量，能够提高所有节点的交互运算效率，有效的减少了运行时间；3实验仿真结果表明，与传统基于MRF算法相比，本发明方法的修复效果更为合理，运算时间平均减少75％以上。附图说明图1为一种基于MRF的快速图像修复方法的流程图；图2为节点消息传递及优先级更新示意图；其中，a为第一次节点消息传递及优先级更新示意图；b为第二次节点消息传递及优先级更新示意图。图3为邻域一致性函数示意图；图4为预处理方法示意图及“赛马图像”的实验结果图；其中，a为破损图像示意图；b为预处理图像示意图；c为“赛马图像”破损图像；d为“赛马图像”预处理图像。图5为不同修复方法对“赛马图像”的修复效果图；其中，a为原始图像；b为破损图像；c为p-BP算法效果；d为Meur算法效果；e为Non-Local算法效果；f为本发明方法效果。图6为不同修复方法对“雕塑图像”的修复效果图；其中，a为原始图像；b为破损图像；c为p-BP算法效果；d为Meur算法效果；e为Non-Local算法效果；f为本发明方法效果。图7为本发明对4幅不同纹理的图像修复效果图。其中，a为原始图像；b为破损图像；c为本发明方法效果。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。实施例1本发明实施例提出了一种基于MRF的快速图像修复方法，如图1所示，具体步骤和原理如下：101：采用对高斯金字塔顶层低分辨图像进行“预修复”，将“预修复”结果进行上采样插值，得到预处理后的图像I'；首先，将原始图像I设为金字塔底层的高分辨率图像G0，对其进行下采样，得到顶层低分辨率图像GK，其中，K代表金字塔层数。其次，利用自适应样本块修复算法[2]对图像GK进行修复，得到预修复图像G'K；对预修复图像G'K进行上采样插值，获得初始修复图像G'0尺寸与G0相同。最后，原始图像I中破损区域的像素用初始修复图像G'0中相同位置的像素替代，得到预处理图像I'，为MRF内部节点提供粗略的初始信息。102：利用改进的置信度函数计算任意节点的初始置信度，同时根据破损块源区域的纹理复杂程度，计算每个节点的候选块数量，并根据候选块置信度从大到小选取初始候选块；其中，改进的置信度函数具体为：式中，Vp'xp代表自相似性函数；Vp'xp＝∑MpI'p-I'xp2，即表示I'p与I'xp的方差和SSD，I'p代表以节点p为中心的图像块，I'xp代表候选块xp；Mp代表图像块I'p的二值图模板，在源区域内为1，破损区域内0；K为高斯金字塔的层数，本发明中K＝3；代表任意节点p与其所有相邻节点r的消息值之和，在消息迭代之前，ε是MRF边缘组成的一个4邻域系统。另外，候选块xp数量的计算具体为：L＝Lmax×1-11+μz1032式中，Lmax表示最大候选块数量，本发明中Lmax＝30；μz表示图像块直方图的二阶矩[3]：其中，zi表示灰度，pzi为直方图，H表示灰度级数量，本发明利用破损块中的源区域来确定μz。103：计算每个节点的优先级，将所有节点标记为未访问，设置预定迭代次数k，本发明中k＝8；104：利用改进的置信度传播算法，在未访问的节点中选取优先级最高的节点，将其标记为已访问，计算该节点与其所有“未访问”的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点都被标记为“已访问”为止，如图2a所示；105：利用改进的置信度传播算法，按照步骤104中所有节点被访问的相反顺序，将当前节点由“已访问”恢复为未访问，计算该节点与其所有“已访问”的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点都恢复为未访问，如图2b所示；其中，步骤104和步骤105中的改进的置信度传播算法具体为：在消息传递过程中，从任意节点p发送给其相邻节点q的消息定义为：式中，λVp'xp与式1中定义相同；V'pqxp,xq代表邻域一致性函数，Vpq'xp,xq＝∑I'sxp-I'sxq2，即表示I'sxp与I'sxq的方差和SSD，xp是节点p的候选块，xq是节点p的相邻节点q的候选块，以节点p和节点q为中心的图像块存在重叠的部分，如图3中预处理后的破损区域内的斜线部分，I'sxp和I'sxq分别表示该重叠部分在候选块xp、xq中相对应的区域，如图3中源区域内的斜线部分；代表节点p与其相邻节点的消息之和不包括节点q。重复步骤104和步骤105直至完成预定迭代次数，对于每一个节点p，可找到其候选块中置信度最大的样本块，即每一个MRF节点的最优匹配块：用最优匹配块xp替代以节点p为中心的图像块，直至所有节点都被替换完成为止，即完成最终修复，输出图像。实施例2为获得MRF内部节点的初始信息，本方法提出“预修复”的预处理方法来达到该目的，预处理方法示意图如图4a和图4b所示：图a是输入的破损图像I示意图，图中φ为源区域，Ω为破损区域，虚线正方形中波浪线部分表示已知信息，白色区域部分表示未知信息；图b是预处理图像I'示意图，白底黑点部分表示预处理后获得的初始信息。本发明选取了1幅图像展示预处理方法结果，如图4c和图4d所示：图c是破损图像I实例“赛马图像”，被涂抹的部分代表破损区域，图d是预处理图像I'实例结果，从图中可以看出，经过预处理，原破损区域处获得了有效的初始信息。本方法中涉及到的候选块、破损块和图像块大小均设为h×w。下面通过仿真实验验证本方法的鲁棒性和有效性，本方法的参数设置如下：{h,w,K,Lmax,k}＝{8,8,3,30,8}，效果分别如图5～7所示，实验运行时间数据如表1所示。从图5中可以看出，图5c中p-BP算法[1]较好地修复了水平粗栏杆，但在竖直细栏杆圆圈内部区域处出现了断裂；图5d的Meur算法[4]和图5e的Non-Local算法[5]在水平粗栏杆和竖直细栏杆处的修复结果产生了扭曲及断裂现象；而图5f中本方法则比较理想地恢复了两部分的栏杆结构。其中，上述p-BP算法，Meur算法和Non-Local算法均为本领域技术人员所公知，本发明实施例对此不再赘述。图6中矩形框内部区域放大后可以看出：图6c中p-BP算法成功修复了灌木丛的结构，但在灰色墙壁的结构中有明显的断层；图6d的Meur算法在修复灰色墙壁和灌木丛时均出现了模糊；图6e的Non-Local算法合理修复了灰色墙壁的部分结构，但在墙壁和灌木丛交接处出现了结构不连续；而图6f中本发明方法则有效改善了p-BP算法中的部分断层现象，修复结果更为理想。为了进一步验证本方法的有效性，选取了另外4幅图像进行修复，效果如图7所示。从图7c中可以看出，本方法对不同结构和纹理的图像均取得了理想的修复效果。本发明实施例中不同方法的运行时间如表1所示。表1中图片序号1～6分别代表实施例中图5～图7中的6组图片。表1列出了传统基于MRF算法p-BP、Meur算法、Non-Local算法，以及本方法的运行时间对比结果。从表1中可以看出，p-BP算法时间消耗过大；Meur算法虽然大大减少了算法的时间消耗，但容易产生模糊现象；Non-Local算法的运行速度最快，但修复效果不够理想；而本方法在保证修复效果的同时，平均运行时间比p-BP算法减少了75％以上，也小于Meur算法，大大提高了运算效率。表1不同方法修复时间对比以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。参考文献[1]KomodakisN,TziritasG.Imagecompletionusingefficientbeliefpropagationviapriorityschedulinganddynamicpruning[J].IEEETransactionsonImageProcessing,2007,1611：2649–2661.[2]何凯，牛俊慧，沈成南，卢雯霞.基于SSIM的自适应样本块图像修复算法[J].天津大学学报自然科学与工程技术版，2018，5107：763-767.[3]StrickerM,OrengoM.Similarityofcolorimages[J].Proc.SPIE,StorageandRetrievalforImageandVideoDatabasesIII,1995,2420：381—392.[4]MeurOL,EbdelliM,GuillemotC.Hierarchicalsuperresolution-basedinpainting[J].IEEETransactionsonImageProcessing,2013,2210：3779–3790.[5]NewsonA,AlmansaA,GousseauY.Non-localpatch-basedimageinpainting.ImageProcessingOnLine,2017,7：373–385.本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

权利要求：1.一种基于MRF的快速图像修复方法，其特征在于，所述方法包括：1利用改进的置信度传播算法，在未访问节点中选取优先级最高的节点，将其标记为已访问，计算该节点与其所有未访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均被标记为已访问；2按照上述被访问的相反顺序，将当前节点恢复为未访问，计算该节点与其所有已访问的相邻节点的消息，更新当前相邻节点的置信度和优先级，直至所有节点均恢复为未访问。2.根据权利要求1所述的一种基于MRF的快速图像修复方法，其特征在于，在步骤1之前该方法还包括：利用改进的置信度函数计算任意节点的初始置信度，根据破损块源区域的纹理复杂程度，计算每个节点的候选块数量，并根据候选块置信度选取初始候选块；计算每个节点的优先级，将所有节点标记为未访问节点。3.根据权利要求1所述的一种基于MRF的快速图像修复方法，其特征在于，在步骤1之前该方法还包括：采用对高斯金字塔顶层低分辨图像进行预修复，将预修复结果进行上采样插值，得到预处理后的图像为MRF内部节点提供初始置信度。4.根据权利要求1所述的一种基于MRF的快速图像修复方法，其特征在于，所述改进的置信度传播算法具体为：在消息传递过程中，从任意节点p发送给其相邻节点q的消息定义为：式中，V'pqxp,xq代表邻域一致性函数，xp是节点p的候选块，xq是节点p的相邻节点q的候选块，代表节点p与其相邻节点的消息之和，Vp'xp代表自相似性函数，Mp代表图像块I'p的二值图模板，K为高斯金字塔的层数。5.根据权利要求4所述的一种基于MRF的快速图像修复方法，其特征在于，所述改进的置信度函数为：6.根据权利要求2所述的一种基于MRF的快速图像修复方法，其特征在于，所述计算每个节点的候选块数量具体为：L＝Lmax×1-11+μz103式中，Lmax表示最大候选块数量，μz表示图像块直方图的二阶矩。7.根据权利要求3所述的一种基于MRF的快速图像修复方法，其特征在于，所述采用对高斯金字塔顶层低分辨图像进行预修复，将预修复结果进行上采样插值，得到预处理后的图像为MRF内部节点提供初始信息具体为：将原始图像I设为金字塔底层的高分辨率图像G0，对其进行下采样，得到顶层低分辨率图像GK，其中，K代表金字塔层数；利用自适应样本块修复算法对图像GK进行修复，得到预修复图像G'K；对预修复图像G'K进行上采样插值，获得初始修复图像G'0；原始图像I中破损区域的像素用初始修复图像G'0中相同位置的像素替代，得到预处理图像I'，为MRF内部节点提供粗略的初始信息。

百度查询： 天津大学 一种基于MRF的快速图像修复方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD