申请/专利权人：中国科学技术大学

申请日：2021-12-28

公开（公告）日：2024-04-02

公开（公告）号：CN114445290B

主分类号：G06T5/70

分类号：G06T5/70;G06T5/20;G06T5/90;G06T3/4015

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.05.24#实质审查的生效;2022.05.06#公开

摘要：本发明公开了一种面向硬件的联合去噪去马赛克方法，其步骤包括：1、在以红色或者蓝色为中心的窗口中根据BayerRaw数据的特性，计算出左右上下四个方向的准确权重，然后插值出所有缺失的绿色信息；2、计算插值绿色通道所需要的高频系数；3、计算全局方向权重和表决方向权重；4、对绿色通道进行插值；5、对绿色通道进行边缘保持的方向小波去噪；6、采用针对颜色通道设计的插值矩阵，对颜色通道进行插值；7、对颜色通道进行方向小波去噪。本发明在移动硬件平台能接受的低代价范围内，在去马赛克的同时也能去除噪声，从而能提升现有方案的图像质量，并改善运算复杂度和功耗。

主权项：1.一种面向硬件的联合去噪去马赛克方法，其特征按如下步骤进行：步骤1，获取二维Bayer图像IBayer，其中，所述二维Bayer图像IBayer是以维度为2×2的阵列排列而成，每个阵列中的第一行第一列像素为B像素，第一行第二列像素和第二行第一列像素均为G像素，第二行第二列像素为R像素；步骤2，设定滑动窗口的尺寸为9×9；从所述二维Bayer图像IBayer中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下进行滑动窗口处理，得到每个滑动窗口所对应的图像块，且当滑动窗口中的中心像素点为R像素或者B像素，则计算对应图像块的中心像素点在其左右上下四方向的权重WL，WR，WU，WD，当中心像素点所在的图像块内的像素点不满足9×9的尺寸，则采用镜像的方式填补；步骤3，对每个滑动窗口内的R像素、G像素和B像素分别计算其平均值MR，MG，MB；并分别计算R像素的白平衡系数和B像素的白平衡系数再对滑动窗口内的R像素和B像素分别乘以对应的白平衡系数，从而得到每个滑动窗口内更新后的图像块；步骤4，自动镜像反转：步骤4.1，利用式1计算任一滑动窗口内更新后的图像块中的中心像素点在其左右上下四个方向的梯度和TDL，TDR，TDU，TDD： 式1中，A表示9×9的图像块，i，j表示中心像素点的坐标，m，n表示图像块中任意一个像素点；步骤4.2，将左右梯度值的差异与所设定的阈值T进行比较，如果则将更新后的图像块中右半部分的像素点赋值给左半部份的像素点，如果则将更新后的图像块中左半部分的像素点赋值给右半部份的像素点；步骤4.3，将上下梯度值的差异与所设定的阈值T进行比较，如果则更新后的图像块中下半部分的像素点赋值给上半部分的像素点，如果则更新后的图像块中上半部分的像素点赋值给下半部分的像素点，从而得到镜像反转后的图像块；步骤5，根据式1计算镜像反转后的图像块的中心像素点i，j在其左右上下四个方向的梯度和TD′L，TD′R，TD′U，TD′D；再利用单调下降函数将梯度和TD′L，TD′R，TD′U，TD′D转换成对应四个方向的局部梯度权重WL-Local，WR-Local，WU-Local，WD-Local；步骤6，计算镜像反转后的图像块在水平方向和竖直方向的全局方向权重WH-global，WV-global：步骤6.1、获取镜像反转后的图像块的中心像素点i，j所在的5×5尺寸的Raw数据块，利用式2计算所述Raw数据块中像素点m，n处的水平方向和竖直方向的全局梯度H1m，n，V1m，n，从而得到所述Raw数据块的15个水平方向和竖直方向的全局梯度：H1m，n＝|A′i+m，j+n-A′i+m，j+n+2|2V1m，n＝|A′i+m，j+n-A′i+m+2，j+n|式2中，A’表示5×5尺寸的Raw数据块；步骤6.2、从15个水平方向和竖直方向的全局梯度中剔除最大的3个水平方向和竖直方向的全局梯度以及最小的6个水平方向和竖直方向的全局梯度，用剩下的6个水平方向和竖直方向的全局梯度的平均值即为计算所述Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重WH-global，WV-global；步骤7，计算镜像反转后的图像块在水平方向和竖直方向的通道间权重WH-Var，WV-Var：步骤7.1、利用式3计算所述Raw数据块中像素点m，n处的水平方向和竖直方向的通道间梯度H2m，n，V2m，n，从而得到所述Raw数据块的20个水平方向和竖直方向的全局梯度：H2m，n＝|A′i+m，j+n-A′i+m，j+n+1|3V2m，n＝|A′i+m，j+n-A′i+m+1，j+n|步骤7.2、从20个水平方向和竖直方向的全局梯度中剔除最大的4个水平方向和竖直方向的全局梯度以及最小的8个水平方向和竖直方向的全局梯度，用剩下的8个水平方向和竖直方向的全局梯度的平均值即为所述Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重WH-Var，WV-Var；步骤8，计算镜像反转后的图像块在水平方向和竖直方向的颜色方差权重WH-VarCbr，WV-VarCbr和绝对颜色权重WH-AbsCbr，WV-AbsCbr：步骤8.1，获取镜像反转后的图像块的中心像素点i，j所在的7×7尺寸的数据块，利用式4得到所述数据块中像素点m，n处水平方向和竖直方向的插值结果GHm，n，GVm，n：GHm，n＝Gi+m，j+n-1+Gi+m，j+n+124GVm，n＝Gi+m-1，j+n+Gi+m+1，j+n2式4中，G表示经过镜像反转后的7×7数据块中的G像素点的值；步骤8.2，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的标准方差以及R像素与G像素之差的标准方差；计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的标准方差以及R像素与G像素之差的标准方差；再利用单调下降函数将水平方向和竖直方向的标准方差转换成对应的颜色方差权重WH-VarCbr，WV-VarCbr；步骤8.3，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；再利用单调下降函数将水平方向和竖直方向的均值转换成对应的绝对颜色权重WH-AbsCbr，WV-AbsCbr；步骤9，利用式5计算镜像反转后的图像块的中心像素点i，j在其四个方向的融合权重WL-init，WR-init，WU-init，WD-init： 步骤10，利用式6计算计算镜像反转后的图像块在水平方向和竖直方向的颜色权重WH-Color，WV-Color：WH-Color＝WH-VarCbr.WH-AbsCbr6WV-Color＝WV-VarCbr.WV-AbsCbr步骤11，定义颜色阈值为Thre_Color，如果或者则利用式7得到融合权重WL，WR，WU，WD；否则，直接将WL-init，WR-init，WU-init，WD-init依次赋值给融合权重WL，WR，WU，WD；WL＝WR＝WH-Color7WU＝WD＝WH-Color步骤12，利用融合权重WL，WR，WU，WD对二维Bayer图像IBayer进行插值，得到初始绿色目标图像IGreen-Init：对二维Bayer图像IBayer中原始的图像块，若其中心像素点i，j为G像素，则将中心像素点i，j的值复制给绿色目标图像IGreen-Init的中心像素点的值GV；若其中心像素点i，j为B像素，则按照式8得到绿色目标图像IGreen-Init的中心像素点的值GV；若其中心像素点i，j采样点为R像素，则将式8的B像素替换成R像素后，计算得到绿色目标图像IGreen-Init的中心像素点的值GV； 式8中，GL表示原始的图像块的中心像素点i，j左侧G像素点的值，GR表示原始的图像块的中心像素点i，j右侧的G像素点的值，GU表示原始的图像块的中心像素点i，j上方的G像素点的值，GD表示原始的图像块的中心像素点i，j下方的G像素点的值；B表示9×9尺寸的原始的图像块中B像素点的值；步骤13，计算绿色目标图像IGreen的自适应高频系数β*：步骤13.1：对二维Bayer图像IBayer中原始的图像块，若其中心像素点i，j为R像素或者B像素，则执行步骤13.2；否则，步骤13.2：获取中心像素点i，j所在的3×3区域，并初始化高频系数β＝min；步骤13.3：利用公式9计算高频系数β在3×3区域内所有非G像素的绿色通道： 式9中，G′L表示3×3区域内中心像素点i，j左侧的G像素点的值，G′R表示3×3区域内中心像素点i，j右侧的G像素点的值，G′U表示3×3区域内中心像素点i，j上方的G像素点的值，G′D表示3×3区域内中心像素点i，j下方的G像素点的值，GV1表示在3×3区域内任意一个非G像素的绿色通道；步骤13.4：所述中心像素点i，j的绿色通道与3×3区域内其余八个绿色通道进行比较，如果中心像素点i，j的绿色通道小于八个绿色通道的最小值或者大于八个绿色通道的最大值，则表示中心像素点i，j为奇异点，并执行步骤13.5；反之，表示中心像素点i，j为正常点；并执行步骤步骤13.6；步骤13.5：将当前的高频系数β作为自适应高频系数β*，并执行步骤14；否则，执行步骤13.6；步骤13.6：将β+s赋值给β后，判断β＞max是否成立，若成立，则将当前的β作为自适应高频系数β*，并执行步骤14；否则返回步骤13.3；其中，s表示步长；min表示高频系数的下限值，max表示高频系数的上限值；步骤14，计算绿色目标图像IGreen-Init在水平0度、竖直90度、45度和135度四个方向的初始梯度权重W0-Init，W90-Init，W45-Init，W135-Init；步骤14.1，设定滑动窗口的尺寸为5×5；从所述对绿色目标图像IGreen-Init中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下对绿色目标图像IGreen-Init进行滑动窗口处理，得到若干个G像素数据块；当中心像素点所在的G像素数据块内的像素点不满足5×5的尺寸，则采用镜像的方式填补；步骤14.2，利用式10计算每个G像素数据块的中心像素点i，j在其四个方向的平均梯度TD0，TD90，TD45，TD135，并通过单调下降函数将四个方向的平均梯度TD0，TD90，TD45，TD135依次转换成四个方向的权重W0-Init，W90-Init，W45-Init，W135-Init； 步骤15，在绿色目标图像IGreen-Init上计算四个方向的表决权重，得到更新后的权重W0，W90，W45，W135；步骤15.1，设定滑动窗口的尺寸为9×9；并对绿色目标图像IGreen-Init进行滑动窗口处理，得到若干个G像素图像块；步骤15.2，在所述G像素图像块的中心像素点所在的7×7区域内，计算7×7区域内的每个像素点在其3×3的邻域内水平0度、竖直90度、45度和135度的四个方向的梯度；步骤15.3，寻找7×7区域内的每个像素点在其3×3的邻域内最小梯度；若存在一个最小梯度，则令相应方向的权重为4；若存在两个最小梯度，则令相应方向的权重均为2；若存在两个以上的最小梯度，则令所有方向的权重均为1；步骤15.4，将7×7区域内的所有49个像素点在每个方向上的权重进行累加，得到所述G像素图像块的中心像素点在四个方向上的表决权重V0，V45，V90，V135；步骤15.5，利用式11得到更新后的权重W0，W90，W45，W135： 步骤16，对二维Bayer图像IBayer图进行方向中值滤波，得到滤波后的二维Bayer图像I′Bayer；步骤16.1，设定滑动窗口的尺寸为5×5；并对二维Bayer图像IBayer按照从左到右，从上到下进行滑动窗口处理，得到若干个窗口图像；步骤16.2，所述窗口图像的中心像素点在水平0度、竖直90度、45度和135度四个方向上取包括自身的最近邻的同颜色通道的三个像素点；步骤16.3，对三个像素点进行中值滤波，得到每个方向的中值滤波结果；步骤16.4，利用更新后的权重W0，W90，W45，W135对每个方向的中值滤波结果进行加权平均，得到滤波后的二维Bayer图像I′Bayer；步骤17，对滤波后的二维Bayer图像I′Bayer的绿色通道进行插值，得到插值后的绿色图像IGreen；步骤17.1、设定滑动窗口的尺寸为9×9；并对滤波后的二维Bayer图像I′Bayer按照从左到右，从上到下进行滑动窗口处理，得到若干个滑窗图像；步骤17.2、如果滑窗图像的中心像素点i，j为G像素，则将滑窗图像的中心像素点i，j赋值插值后的绿色图像IGreen的中心像素点；再执行步骤18；否则，利用式12更新滑窗图像的中心像素点i，j在左右上下四个方向上的权重WL′，WR′，WU′，WD′； 步骤17.3；如果滑窗图像的中心像素点i，j为B像素，则按照式13计算插值滑窗图像的中心像素点i，j的G像素，并赋给插值后的绿色图像IGreen的中心像素点；否则，表示窗图像的中心像素点i，j为R像素，则将式13的B替换成R后，计算插值滑窗图像的中心像素点i，j的G像素，并赋给插值后的绿色图像IGreen的中心像素点； 式13中，G″L表示9×9尺寸滑窗图像的中心像素点i，j左侧的G像素点的值，G″R表示9×9尺寸滑窗图像的中心像素点i，j右侧的G像素点的值，G″U表示9×9尺寸滑窗图像的中心像素点i，j上方的G像素点的值，G″D表示9×9尺寸滑窗图像的中心像素点i，j下方的G像素点的值；步骤18，对插值后的绿色图像IGreen进行方向小波去噪，得到去噪后的绿色图像IGreen-DNS；步骤18.1，设定滑动窗口的尺寸为5×5，并对插值后的绿色图像IGreen按照从左到右，从上到下进行滑动窗口遍历，得到若干个绿色窗口图像；步骤18.2，在绿色窗口图像的中心像素点的水平0度、竖直90度、45度和135度方向上分别取5个像素点，其中一个方向上的5个像素点记为D[0]，D[1]，D[2]，D[3]，D[4]；步骤18.3，计算式14一个方向上5个像素点的一维小波变换值D’[0]，D’[1]，D’[2]，D’[3]，D’[4]； 步骤18.4，令D’[0]，D’[2]，D’[4]分别为三个高频系数，并分别进行软阈值操作，若当前的高频系数大于阈值T，则计算当前的高频系数与阈值T的差值并赋值给当前的高频系数，若当前的高频系数小于-T，则计算当前的高频系数与-T的累加和并赋值给当前的高频系数，否则令当前的高频系数为0；步骤18.5，利用式15对一维小波变换值D’[0]，D’[1]，D’[2]，D’[3]，D’[4]进行反变换，得到一个方向上去噪后的中心像素点D”[2]：D”[2]＝D’[1]+D’[3]2+D’[2]×6-D’[0]-D’[4]815步骤18.6，将4个方向上去噪后的中心像素点记为DNS0，DNS45，DNS90，DNS135，利用式16对去噪后的中心像素点进行加权平均，得到去噪后的绿色图像IGreen-DNS： 步骤19，对滤波后的二维Bayer图像I′Bayer和去噪后的绿色图像IGreen-DNS进行插值，得到蓝色图像IBlue和红色图像IRed；步骤19.1，定义R像素点或B像素点的基本插值矩阵为： 定义G像素点的基本插值矩阵为： 步骤19.2，在R像素点上插值出蓝色值，在B像素点上插值出红色值：步骤19.2.1，设定滑动窗口的尺寸为9×9，并分别对滤波后的二维Bayer图像I′Bayer和去噪后的绿色图像IGreen-DNS按照从左到右，从上到下进行滑动窗口遍历，得到相应若干个9×9的Bayer数据块和绿色数据块；步骤19.2.2，如果Bayer数据块的中心像素点为G像素，则执行步骤19.3；否则将Bayer数据块和绿色数据块内所有对应的像素点相减后，得到色差块；步骤19.2.3，利用基本插值矩阵WBR-RB作为权重，计算色差块的中心像素点的色差信息；并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色红色值；步骤19.2.4，如果Bayer数据块的中心像素点为B像素点，则将Bayer数据块的中心像素点的值赋值蓝色图像IBlue的中心像素点，将恢复出绿色数据块的蓝色红色值赋给红色图像IRed的中心像素点；如果Bayer数据块的中心像素点为R像素点，则将Bayer数据块的中心像素点的值赋值红色图像IRed的中心像素点，将恢复出绿色数据块的蓝色红色值赋给蓝色图像IBlue的中心像素点；步骤19.3，在G像素点插值出的红色值和蓝色值；步骤19.3.1，设定滑动窗口的尺寸为9×9，并分别对蓝色图像IBlue和红色图像IRed按照从左到右，从上到下进行滑动窗口遍历，相应得到若干个蓝色数据块和红色数据块；步骤19.3.2，如果Bayer数据块的中心像素点为G像素点，则计算蓝色数据块和绿色数据块的中心像素点的差值得到蓝色色差矩阵，计算红色数据块和绿色数据块的中心像素点的差值得到红色色差矩阵；步骤19.3.3，以G像素点的基本插值矩阵WBR-G作为权重，计算中心像素点的蓝色和红色色差，并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色值和红色值，并将蓝色值赋给蓝色图像IBlue的中心像素点，将红色值赋给红色图像IRed的中心像素点；步骤20，对蓝色图像IBlue和红色图像IRed的R像素和B像素行色差域的方向小波去噪，得到去噪后的蓝色图像IBlue-DNS和红色图像IRed-DNS；步骤20.1，利用式17分别对蓝色图像IBlue和红色图像IRed中的每个像素点进行处理，从而得到转换后的蓝色差图像ICb和红色差图像ICr；Cb＝BB-GG；Cr＝RR-GG；17式17中，BB、GG和RR分别表示IBlue、IGreen-DNS和IRed中同一位置的三个颜色通道的像素值；Cb和Cr分别表示同一位置的像素点的蓝色色差和红色色差；步骤20.2，按照步骤18的过程分别对所述蓝色差图像ICb和红色差图像ICr进行方向小波去噪；得到去噪后的蓝色差图像I′Cb和红色差图像I′Cr；步骤20.3，利用式18对去噪后的蓝色差图像I′Cb和红色差图像I′Cr分别进行反变换，将BB’和RR’分别赋给去噪后的蓝色图像IBlue-DNS和红色图像IRed-DNS相应的位置：BB′＝Cb′+GG；RR′＝Cr′+GG；18式18中，Cb′、Cr′分别表示I′Cb、I′Cr中同一位置的去噪后的色差，BB’、RR’分别表示去噪后的蓝色像素和红色像素值。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种面向硬件的联合去噪去马赛克方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD