申请/专利权人：杭州电子科技大学

申请日：2023-11-09

公开（公告）日：2024-02-06

公开（公告）号：CN117522813A

主分类号：G06T7/00

分类号：G06T7/00;G06V10/80;G06V10/44;G06V10/764;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.02.27#实质审查的生效;2024.02.06#公开

摘要：本发明公开了一种基于ViT进行空域和频域特征融合的光场图像质量评价方法。本发明包括如下步骤：步骤S1：对光场图像进行预处理；步骤S2：对预处理后的光场图像，提取空间‑角度信息和频域‑角度信息并进行融合，得到融合特征图；步骤S3：将融合特征图输入到小样本Transformer编码网络提取失真特征；步骤S4：将得到的失真特征送入分数预测模块，得到客观质量评价分数。本发明提取米字型光场子孔径图像，并将每个方向的子孔径图像拆分成三个堆栈分别输入，在尽可能提供更多的光场角度信息的同时，控制了模型计算的复杂度。本发明使模型能够获取融合了空域、频域以及角度的特征信息。丰富的特征信息有利于模型对失真特征的提取。

主权项：1.基于ViT进行空域和频域特征融合的光场图像质量评价方法，其特征在于，包括如下步骤：步骤S1：对光场图像进行预处理；步骤S2：对预处理后的光场图像，提取空间-角度信息和频域-角度信息并进行融合，得到融合特征图；步骤S3：将融合特征图输入到小样本Transformer编码网络提取失真特征；步骤S4：将得到的失真特征送入分数预测模块，得到客观质量评价分数；所述步骤S1具体实现包括：步骤S1-1：使用Win5-LID数据集作为实验集；该数据集包含不同种类和程度的失真光场图像220张，并提供了每个失真光场图像的平均主观分数；将其随机拆分成80％的数据集和20％的测试集；对每一个失真光场图像，采用光场双平面表示法，将光场图像定义为LFu,v,x,y,c，其中u,v为光场角度坐标，x,y是光场空间坐标，c为颜色通道，u的取值范围为[-U,U]，v的取值范围为[-V,V]，x的取值范围为[0,W-1]，y的取值范围为[0,H-1]，则光场图像包含了一组2U+1×2V+1的子光圈图像阵列；步骤S1-2：从9*9的光场子孔径图像阵列中提取米字型的四个方向的子孔径图像，所提取的米字型子孔径图像阵列包含的子孔径图像为：水平方向子孔径图像Iu,0x,y,c，垂直方向子孔径图像I0,vx,y,c，45度方向子孔径图像Iu,ux,y,c和135度方向子孔径图像Iu,-ux,y,c；其中，u的取值范围为[-U,U]，v的取值范围为[-V,V]；将米字型每个方向的子孔径图像阵列，分成三个堆栈，每个堆栈含有三张子孔径图像：水平方向：I-4,0x,y,c、I-3,0x，y，c、I-2,0x,y,c为一个堆栈，I-1,0x，y,c、I0,0x,y,c、I1,0x,y，c为一个堆栈，I2，0x，y，c、I3，0x，y，c、I4，0x，y，c为一个堆栈；垂直方向：I0，-4x，y，c、I0，-3x，y,c、I0，-2x，y，c为一个堆栈，I0，-1x,y，c、I0，0x,y，c、I0，1x,y,c为一个堆栈，I0,2x,y,c、I0,3x,y,c、I0,4x,y,c为一个堆栈；45度方向：I-4,-4x,y,c、I-3,-3x,y,c、I-2,-2x,y,c为一个堆栈，I-1,-1x,y,c、I0,0x，y，c、I1,1x,y,c为一个堆栈，I2,2x,y,c、I3,3x,y,c、I4,4x,y,c为一个堆栈；135度方向：I4,-4x,y,c、I3,-3x,y,c、I2,-2x,y,c为一个堆栈，I1,-1x,y，c、I0,0x,y,c、I-1,1x,y,c为一个堆栈，I-2,2x,y,c、I-3,3x，y,c、I-4,4x，y,c为一个堆栈；步骤S1-3：以光场失真图像作为整体进行50％概率的随机左右翻转，并进行随机裁剪，转换成灰度图像，使每张子孔径图像H＝W＝224，c＝1；将转换后的子孔径图像按照步骤S1-2所分的堆栈进行组合，形成大小为224*224*3的堆栈；步骤S1-4：将步骤S1-3得到的子孔径图像堆栈进行离散余弦变换，得到频率域信号；对步骤S1-3得到的子孔径图像堆栈以及平均主观分数进行归一化处理。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于ViT进行空域和频域特征融合的光场图像质量评价方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD