申请/专利权人：电子科技大学;徐州新川智能科技有限公司

申请日：2023-12-29

公开（公告）日：2024-03-29

公开（公告）号：CN117788626A

主分类号：G06T11/00

分类号：G06T11/00;G06N3/0475;G06N3/045;G06N3/094;G06N3/0464;G06N3/048

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明公开了一种基于循环对抗生成网络的无监督传感器色彩空间映射方法，先通过两种不同传感器获取的RAW格式图像，经过处理后构建成训练数据集，需要训练基于颜色映射参数估计网络的循环对抗生成网络使其收敛，收敛后的色彩空间映射模型能够实现两种传感器色彩空间之间的相互映射，且在色彩空间映射任务上性能强，达到实际应用的需要。

主权项：1.一种基于循环对抗生成网络的无监督传感器色彩空间映射方法，其特征在于，包括以下步骤：1、图像采集及预处理；1.1、设置传感器A与传感器B的图像采集格式为RAW格式，采集后的图片以RGGB阵列形式排列；1.2、在相似场景条件下，分别使用传感器A与传感器B采集若干张图片，将传感器A采集到的图片保存在图像集合A中，将传感器B采集的图片保存在图像集合B中；1.3、对于任意一个图像集合，将图像集合中的每一张图片先进行归一化处理，再进行通道转换，使每一张图片由原来的一通道转换为四通道，最后将通道转换后的图片裁剪成m*n大小的图块；最终，由传感器A采集的图片进行处理后得到训练图块集记为Seta，由传感器B采集的图片进行处理后得到训练图块集记为Setb；2、搭建基于颜色映射参数估计网络的循环对抗生成网络；循环对抗生成网络包括生成器和判别器，生成器又由两个颜色映射参数估计网络组成，其中，一个颜色映射参数估计网络Ga-＞b用于将传感器A颜色空间下的图片映射至传感器B的颜色空间，另一个颜色映射参数估计网络Gb-＞a用于将传感器B颜色空间下的图片映射至传感器A的颜色空间；判别器共计两个，记为Da、Db；每个判别器均由一个五层卷积神经网络和一个平均池化层组成；其中，五层卷积神经网络的每层选用LeakyReLU作为激活函数，每层卷积核的大小为4*4，通道数分别为64、128、256、512、1，并在最后一层卷积过后接平均池化层，从而将特征图池化为判别概率；另外，每个颜色映射参数估计网络均由一个四层卷积神经网络、一个平均池化层和两层线性层组成；其中，四层卷积神经网络的每层选用激活函数relu，每层的卷积核大小为5*5，每层的通道数分别为32、64、128、128，每层卷积后接2*2的最大池化层；图片I输入至颜色映射参数估计网络时，先通过四层卷积神经网络提取特征图I'∈R16×16×128，再通过平均池化层将特征图池化为特征向量V∈R1×1×128，最后，两层线性层将特征向量映射为颜色映射参数向量C∈R56；将颜色映射参数向量C∈R56重新排列为颜色映射参数矩阵CCM∈R4×14； 其中，Wi,j表示颜色映射系数，i＝1,2,3,4，j＝1,2,…,14；然后根据CCM对图片I进行通道级别的颜色变换，得到变换后的图片3、训练基于颜色映射参数估计网络的循环对抗生成网络；3.1、从Seta中随机取样一张图块，记为Ia；从Setb中随机取样一张图块，记为Ib；3.2、将图像Ia输入颜色映射参数估计网络Ga-＞b，并根据网络输出的颜色映射参数，对图像Ia进行色彩空间转换，得到图像Ia-＞b；同理，将图像Ib输入颜色映射参数估计网络Gb-＞a，得到图像Ib-＞a；再将图像Ib输入颜色映射参数估计网络Ga-＞b，得到图像Ib-＞b，将图像Ia输入颜色映射参数估计网络Gb-＞a，得到图像Ia-＞a；然后计算一致性损失Lossiden；Lossiden＝MSEIb-＞b,Ib+MSEIa-＞a,Ia其中，MES表示计算两幅图像中各像素点的均方差；3.3、将图像Ia-＞b输入判别器Da，得出判别概率将图像Ib-＞a输入判别器Db，得出判别概率然后计算生成器的对抗损失Lossgen_gan； 3.4、将图像Ia-＞b输入颜色映射参数估计网络Gb-＞a，得到图像Ia-＞b-＞a，将图像Ib-＞a输入颜色映射参数估计网络Ga-＞b，得到图像Ib-＞a-＞b，然后计算循环一致损失Losscycle；Losscycle＝MSEIa-＞b-＞a,Ia+MSEIb-＞a-＞b,Ib3.5、计算循环对抗生成网络中生成器的总损失Lossgen；Lossgen＝Lossiden+Lossgen_gan+Losscycle3.6、将图像Ia输入判别器Db，得出判别概率将图像Ib输入判别器Da，得出判别概率然后计算循环对抗生成网络中判别器的总损失Lossdis； 并使用梯度下降法，根据判别器总损失函数Lossdis更新网络Da，Db的参数；3.7、根据生成器的总损失Lossgen，利用梯度下降法更新颜色映射参数估计网络Ga-＞b、Gb-＞a的参数；根据判别器的总损失Lossdis，利用梯度下降法更新判别器Da、Db的参数；3.8、一轮训练完毕后，重复步骤3.1-3.7直到循环对抗生成网络收敛，得到训练完成后的循环对抗生成网络；4、传感器间无监督的色彩空间映射；传感器A与传感器B实时采集图片，然后按照步骤1.3先进行归一化处理，再进行通道转换，最后将通道转换后的图片输入至训练完成后的循环对抗生成网络，通过颜色映射参数估计网络Ga-＞b、Gb-＞a实现色彩空间的相互映射。

全文数据：

权利要求：

百度查询： 电子科技大学;徐州新川智能科技有限公司 基于循环对抗生成网络的无监督传感器色彩空间映射方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD