申请/专利权人：湖南大学

申请日：2023-09-26

公开（公告）日：2024-01-19

公开（公告）号：CN116990243B

主分类号：G01N21/25

分类号：G01N21/25;G01N33/15;G06T5/70;G06V10/30;G06V10/58;G06V10/77;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.01.19#授权;2023.11.21#实质审查的生效;2023.11.03#公开

摘要：本发明公开了一种基于GAP框架的轻量化注意力高光谱计算重构方法，包括医药高光谱图像在经过编码孔径快照式光谱成像后获得医药高光谱测量值，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、医药高光谱测量值以及向量化后的函数关系；基于广义交替投影法和向量化后的函数关系对向量化后的医药高光谱图像进行优化求解得到优化求解表达式，进而得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，结合向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，达到预设迭代次数时，得到最终的医药高光谱图像的重构值。

主权项：1.一种基于GAP框架的轻量化注意力高光谱计算重构方法，其特征在于，所述方法包括以下步骤：S100：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系；其中，H、W、B、d分别表示图像的高、宽、光谱波段数和编码孔径成像模型的光谱偏移度；S200：基于广义交替投影法以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系对向量化后的医药高光谱图像进行优化求解，得到优化求解表达式；S300：搭建基于GAP框架的轻量化非局部注意力网络，轻量化非局部注意力网络包括SVD光谱特征提取模块、前馈特征提取层、自编码器模块、第一Light-Nonlocal注意力模块、数据重构层和第二Light-Nonlocal注意力模块；S400：采用迭代求解的方法对优化求解表达式进行转换，得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；S500：将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值；S500具体为：S510：将向量化后的医药高光谱图像进行处理后得到X2发送至SVD光谱特征提取模块进行光谱维特征的提取和降维得到SVD的输出特征图，将SVD的输出特征图进行处理后得到X3输入至前馈特征提取层；S520：前馈特征提取层将X3中的光谱低秩数据进行特征的升维，将升维后的特征图X4输出发送至自编码模块；S530：自编码器模块用于对前馈特征提取层输出的X4中的高维特征数据进行空间特征的提取，将提取了空间特征后的特征图X5发送至第一Light-Nonlocal注意力模块；S540：第一Light-Nonlocal注意力模块用于轻量化地使当前网络节点关注X5的空间语义信息，捕获更丰富的空间特征信息，将输出特征图X6与前馈特征提取层的输出特征图X4进行相加后输入至数据重构层；S550：数据重构层用于将X6和X4相加后的特征图进行降维，实现光谱低秩数据的重构，得到重构后的特征图X7，并发送至第二Light-Nonlocal注意力模块；S560：第二Light-Nonlocal注意力模块用于轻量化使当前网络节点关注重构后的特征图X7中的空间语义信息，得到输出特征图X8；S570：将输出特征图X8与X3相加后得到最终的输出特征图X9，根据最终的输出特征图得到对偶变量，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值；S510具体为：将向量化后的医药高光谱图像进行矩阵变换得到重构中间值X1，X1数据尺寸为（H，W，Nλ），其中Nλ=B；对于高光谱图像重构中间值X1，其图像噪声水平服从（0，Σ）分布，因此，用和X1相乘得到图像噪声水平独立分布的X2；利用SVD分解，对X2进行矩阵分解： （13）其中K表示K阶矩阵，和分别表示SVD分解的左右正交矩阵，表示奇异值特征矩阵；令，将输入到前馈特征提取层；S520具体为：第1步是3D张量批归一化，将X3中的所有元素归一化到0和1之间；第2步是激活函数线性整流操作，通过ReLU函数，即： （14）第3步是3D张量卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为16；经过前馈特征提取层后，原输入的张量数据大小为（1,H,W,K），输出的张量数据X4大小为（C,H,W,K），C=16，C表示张量数据的通道数；经过前馈特征提取层输出的张量数据X4，送入自编码器模块进行光谱特征降维后的空间特征提取；S530中的自编码器模块包括5层编码层和5层解码层，具体如下：第1编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（C,H,W,K）；第2编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（2C,H2,W2,K）；第3编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（2C,H2,W2,K），输出的张量数据大小为（2C,H2,W2,K）；第4编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（2C,H2,W2,K），输出的张量数据大小为（4C,H4,W4,K）；第5编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H4,W4,K），输出的张量数据大小为（4C,H4,W4,K）；第1解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（4C,H4,W4,K），输出的张量数据大小为（4C,H4,W4,K）；第2解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第4编码层和第1解码层输出的和，大小为（4C,H4,W4,K），输出的张量数据大小为（2C,H2,W2,K）；第3解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第3编码层和第2解码层输出的和，大小为（2C,H2,W2,K），输出的张量数据大小为（2C,H2,W2,K）；第4解码层，包括3D张量批归一化、ReLU激活函数、3D张量转置卷积和上采样层，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），上采样的尺度因子为（2,2,1）；输入的张量数据为第2编码层和第3解码层输出的和，大小为（2C,H2,W2,K），输出的张量数据大小为（C,H,W,K）；第5解码层，包括3D张量批归一化、ReLU激活函数和3D张量转置卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据为第1编码层和第4解码层输出的和，大小为（C,H,W,K），输出的张量数据X5大小为（C,H,W,K），将输出的张量数据X5送入第一Light-Nonlocal注意力模块；S540具体为：定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子和空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；其中，、对于轻量化核矩阵L_reduced=X5[:,::nl_s,::nl_s,::nl_cs]，其中L_reduced矩阵的第1维的大小与X5保持一致，第2维的尺寸在X5的基础上缩减nl_s倍，第3维的尺寸在X5的基础上缩减nl_s倍，第4维的尺寸在X5的基础上缩减nl_cs倍； 、、X5s=L_reduced，其中，X5c的尺寸为，X5sc的尺寸为，X5s的尺寸为（C,Hl_s,Wl_s,Kl_cs）；将X5sc和X5s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X5c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（C,H,W,K）；对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理，其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X6，数据尺寸为（C,H,W,K）；X6与前馈特征提取层输出的张量数据X4相加后输入到数据重构层；S550具体为：第1步是3D张量批归一化，将输入的所有元素归一化到0和1之间；第2步是激活函数线性整流操作，通过ReLU函数；第3步是3D张量转置卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为1；经过数据重构层后，原输入的张量数据大小为（C,H,W,K），输出的张量数据X7,尺寸大小为（1,H,W,K），C=16，C表示张量数据的通道数，将输出的张量数据X7送入第二Light-Nonlocal注意力模块；S560具体为：定义nl_c、nl_cs、nl_s分别为通道数尺度因子、波段数尺度因子、空间尺度因子，定义reduced_HWK为总和尺度因子，L_reduced为轻量化核矩阵；其中，nl_c=1、nl_cs=1、nl_s=2、、对于轻量化核矩阵L_reduced=X7[:,::nl_s,::nl_s,::nl_cs]，其中L_reduced矩阵的第1维的大小与X7保持一致，第2维的尺寸在X7的基础上缩减nl_s倍，第3维的尺寸在X7的基础上缩减nl_s倍，第4维的尺寸在X7的基础上缩减nl_cs倍； 、、X7s=L_reduced；其中，X7c的尺寸为，X7sc的尺寸为，X7s的尺寸为（1,Hl_s,Wl_s,Kl_cs）；将X7sc和X7s做爱因斯坦矩阵乘法，得到输出尺寸大小为的中间值，随后将中间值与X7c做爱因斯坦矩阵乘法，得到输出值，尺寸大小为（1,H,W,K）；对输出的值进行深度下采样卷积，卷积核尺寸为（3,3,1），步长为（1,1,1），补零为（1,1,0），对下采样的结果依次做批归一化处理和ReLU激活函数处理；其中，批归一化是将输入的矩阵数据归一化到0-1之间，ReLU激活函数将批归一化后的数据进行线性整流，输出的结果记为X8，数据尺寸为（1,H,W,K）；S570具体为：将输出特征图X8与X3相加后得到最终的输出特征图X9；根据最终的输出特征图得到对偶变量为： （15）其中，为S200中的广义交替投影法引入的变偶对量，为迭代次数；将（15）式代入S400中得到的向量化后的医药高光谱图像与对偶变量之间的关系表达式，可得 （16）其中，S表示轻量化非局部注意力网络，表示SVD分解的左正交矩阵；由S400中得到的转换后的迭代求解表达式和（16）式依次迭代完成，直至迭代次数达到预设次数，输出最后的值得到医药高光谱图像的重构值；其中，A为编码矩阵，表示向量化后的医药高光谱测量值，表示向量化后的医药高光谱图像。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于GAP框架的轻量化注意力高光谱计算重构方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD