申请/专利权人：安徽农业大学

申请日：2022-05-31

公开（公告）日：2024-04-16

公开（公告）号：CN114818985B

主分类号：G06V10/74

分类号：G06V10/74;G06V10/58;G06V10/774;G06V10/82;G06N3/045;G06N3/0464;G06N3/084;G06N3/096

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.08.16#实质审查的生效;2022.07.29#公开

摘要：本发明公开了一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法，其步骤包括：1、获取茶叶的高光谱图像并从中提取光谱信息与图像信息；2、采用伪孪生卷积神经网络和双锚点三元组的结构构建网络，并将训练集数据送入模型进行训练，得到光谱信息与图像信息到新的特征空间的映射；3、根据训练得到的模型，送入待检测样的高光谱数据，通过其输出的特征向量度量其距离并判断样品相似性。本发明能根据茶叶的高光谱数据计算度量空间下的光谱特征与图像特征，从而计算不同茶样间的距离，表征茶样的相似性。

主权项：1.一种基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法，其特征在于，是按照以下步骤进行：步骤1、采集茶叶样本的高光谱数据集，并从所述高光谱数据集中提取光谱数据集及其对应的图像数据集；对所述光谱数据集进行MSC预处理，得到预处理后的光谱数据集；将所述预处理后的光谱数据集划分为训练集和标准集；令所述训练集中的n个训练光谱数据记为Fmsc_train_1，...，Fmsc_train_i，...Fmsc_train_n，其中，Fmsc_train_i表示第i个训练光谱数据；i∈1，n，所述训练集对应的标签集为Lt＝{Lt_1，...，Lt_i，...，Lt_n}，其中，Lt_i表示第i个训练光谱数据Fmsc_train_i对应的标签；令所述标准集中nn个标准样光谱记为Fmsc_std_1，...，Fmsc_std_ii，...，Fmsc_std_nn，其中，Fmsc_std_ii表示第ii个标准光谱数据；ii∈1，nn，所述标准集对应的标签集为Ls＝{Ls_1，...，Ls_ii，...，Ls_n}，其中，Ls_ii表示第ii个标准光谱数据Fmsc_std_ii对应的标签；对所述预处理后的光谱数据集中每个光谱数据在所述图像数据集中对应的各波段的高光谱图像进行主成分分析，得到每个光谱数据在各个波段的高光谱图像的贡献率，并选出每个光谱数据在各个波段的高光谱图像的中贡献率最高的三张图像；分别计算每个光谱数据在各个波段的高光谱图像中贡献率最高的三张图像的灰度共生矩阵，从而得到相应光谱数据的三个图像特征；其中，所述训练集中的n个训练光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_train_1_1st，Pmsc_train_1_2nd，Pmsc_train_1_3rd，...，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i_3rd，...，Pmsc_train_n_1st，Pmsc_train_n_2nd，Pmsc_train_n_3rd，其中，Pmsc_train_i_1st，Pmsc_train_i_2nd，Pmsc_train_i_3rd分别代表第i个训练光谱数据Fmsc_train_i所对应的贡献率最高的三张图像的图像特征；令所述标准集中nn个标准光谱数据所对应的贡献率最高的三张图像的图像特征记为Pmsc_std_1_1st，Pmsc_std_1_2nd，Pmsc_std_1_3rd，...，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd，...，Pmsc_std_nn_1st，Pmsc_std_nn_2nd，Pmsc_std_nn_3rd，其中，Pmsc_std_ii_1st，Pmsc_std_ii_2nd，Pmsc_std_ii_3rd分别代表第ii个标准光谱数据Fmsc_std_ii所对应的贡献率最高的三张图像的图像特征；步骤2、构建迁移度量学习网络，包括：一对伪孪生卷积神经网络和中心锚点三元组损失函数；其中，任意一个伪孪生卷积神经网络包括：两个卷积层，两个池化层、一个dropout层及一个全连接层；一对伪孪生卷积神经网络的各个参数不同，其中一个伪孪生卷积神经网络的第一个卷积层cov1包含c个大小均为b×1的一维卷积核g1，...，gu，...，gc，gu表示第u个一维卷积核；第一个池化层为最大池化方式，池化核的大小与步长均为P；第二个卷积层cov2包含c′个大小均为b′×1×c的卷积核q1，...，qu′，...，qc′，其中，qu′表示第u′个大小为b′×1×c的卷积核，且qu′包含c个大小为b′×1的卷积核qu′1，...，qu′v，...，qu′c，qu′v表示qu′的第v个大小为b′×1的卷积；第二个池化层为最大池化方式，池化核的大小与步长均为R；dropout层的神经元失活率为γ；步骤2.1、每次训练过程中均从训练集中选择3个训练光谱数据及其对应的各波段的高光谱图像并输入所述迁移度量学习网中进行训练：令第w次训练过程中所输入的3个训练光谱数据Fw为第m1、m2、m3个训练光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}，其中，第w次训练过程中的第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1与第m2个训练集光谱数据Fmsc_train_m2的标签Lt_m2相同，第w次训练过程中的第m3个训练集光谱数据Fmsc_train_m3的标签Lt_m3与第m1个训练集光谱数据Fmsc_train_m1的标签Lt_m1不同；令第w次训练过程中所输入的3个训练集光谱数据Fw所对应的的各波段的高光谱图像Pw＝{Pmsc_train_m1_1st，Pmsc_train_m1_2nd_，Pmsc_train_m1_3rd，Pmsc_train_m2_1st，Pmsc_train_m22nd，Pmsc_train_m2_3rd，Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m33rd}，其中，Pmsc_train_m1_1st，Pmsc_train_m1_2nd，Pmsc_train_m1_3rd分别表示第w次训练过程中的第m1个训练光谱数据Fmsc_train_m1所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m2_1st，Pmsc_train_m2_2nd，Pmsc_train_m2_3rd分别表示第w次训练过程中的第m2个训练光谱数据Fmsc_train_m2所对应的贡献率最高的三张图像的图像特征；Pmsc_train_m3_1st，Pmsc_train_m3_2nd，Pmsc_train_m3_3rd分别表示第w次训练过程中的第m3个训练光谱数据Fmsc_train_m3所对应的贡献率最高的三张图像的图像特征；步骤2.2、将3个训练集光谱数据Fw送入第一个伪孪生卷积神经网络Net1中，并先通过第一个卷积层cov1的处理后得到三样本单次光谱卷积特征FC1w＝{Fgm1，Fgm2，Fgm3}，其中，Fgm1为Fmsc_train_m1经过卷积处理后的单样本单次光谱卷积特征，且Fgm1＝{Fgm1_1，...，Fgm1_u，...，Fgm1_c}，Fgm1_u为Fmsc_train_m1与第u个卷积核gu计算得到的单次光谱卷积特征，并利用式1得到Fgm1_u中的第n个单次卷积值Fgm1_un，Fgm2为Fmsc_train_m2经过卷积处理后的单样本单次光谱卷积特征，且Fgm2＝{Fgm2_1，...，Fgm2_u，...，Fgm2_c}，Fgm3为Fmsc_train_m3经过卷积处理后的单样本单次光谱卷积特征，且Fgm3＝{Fgm3_1，...，Fgm3_u，...，Fgm3_c}； 式1中，guτ表示gu的第τ个光谱卷积核的值，Fmsc_train_m_1τ+n-1表示Fmsc_train_m_1的第τ+n-1个波段下的光谱值；所述三样本单次光谱卷积特征FC1w经过第一个池化层pool1的最大池化处理后得到三样本单次光谱池化特征FP1w＝{Fpm1，Fpm2，Fpm3}，其中，Fpm1表示Fgm1经过pool1得到的单样本单次光谱池化特征，且Fpm1＝{Fpm1_1，...，Fpm1_u，...，Fpm1_c}，Fpm1_u为单次光谱池化特征，并利用式2得到Fpm1_u中的第n个单次池化值Fpm1_un；Fpm2表示Fgm2经过pool1得到的单样本单次光谱池化特征，Fpm3表示Fgm3经过pool1得到的单样本单次光谱池化特征；Fpm1_un＝max{Fgm1_un，...，Fgm1_un+P}2式2中，Fgm1_un与Fgm1_un+P分别表示Fgm1_u中的第n与第n+P个波段光谱的单次池化值；所述三样本单次光谱池化特征FP1w经过sigmoid激活函数后，得到三样本单次激活光谱特征Fsig1w＝{Fsigm1，Fsigm2，Fsigm3}，其中，Fsigm1表示Fpm1经过sigmoid激活函数后得到单样本单次激活光谱特征，且Fsigm1＝{Fsigm1_1，...，Fsigm1_u，...，Fsigm1_c}，其中，Fsigm1_u表示单次激活光谱特征，并由式3得到Fsigm1_u中的第n个单次激活值Fsigm1_un；Fsigm2表示Fpm2经过sigmoid激活函数后得到单样本单次激活光谱特征，Fsigm3表示Fpm3经过sigmoid激活函数后得到单样本单次激活光谱特征； Fsig1w送入第二卷积层cov2后得到三样本二次卷积光谱特征FC2w＝{Fqm1，Fqm2，Fqm3}，其中，Fqm1为Fsigm1经过卷积处理得到的单样本二次卷积光谱特征，且Fqm1＝{Fqm1_1，...，Fqm1_u′，...，Fqm1_c′}，Fqm1_u′为Fsigm1与qu′计算卷积得到的二次卷积光谱特征，并利用式4得到Fqm1_u′中的第n个二次光谱值Fqm1_u′n；Fqm2为Fsigm2经过卷积处理得到的单样本二次卷积光谱特征，Fqm3为Fsigm3经过卷积处理得到的单样本二次卷积光谱特征； 式4中，Fsigm1_uτ+n-1表示Fsigm1中第u个单次激活光谱特征Fsigm1_u的第τ+n-1个单次激活值，qu′uτ表示qu′的第u个大小为b′×1的卷积的第τ个光谱卷积核的值；FC2w经过池化层pool2后得到三样本二次池化光谱特征FP2w＝{Frm1，Frm2，Frm3}，其中Frm1表示Fqm1经过pool2后得到的单样本二次池化光谱特征，且Frm1＝{Frm1_1，...，Frm1_u′，...，Frm1_c′}，Frm1_u′为Fqm1_u′经过池化层pool2后得到的二次池化光谱特征，并利用式5得到Frm1_u′中的第n个二次池化值Frm1_u′n；Frm2表示Fqm2经过pool2后得到的单样本二次池化光谱特征，Frm3表示Fqm3经过pool2后得到的单样本二次池化光谱特征；Frm1_u′n＝max{Fqm1_u′n，...，Fqm1_u′n+R}5式5中，Fqm1_u′n和Fqm1_u′n+R分别为Fqm1_u′的第n和n+R个二次光谱值；所述三样本二次池化光谱特征FP2w经过sigmoid激活函数后，得到三样本二次激活光谱特征Fsig2w＝{Fsig2m1，Fsig2m2，Fsig2m3}，其中，Fsig2m1表示Frm1经过sigmoid激活函数后得到单样本二次激活光谱特征，其中，Fsig2m1＝{Fsig2m1_1，...，Fsig2m1_u′，...，Fsig2m1_c′}，其中，Fsig2m1_u′表示Frm1_u′经过sigmoid激活函数后得到的二次激活光谱特征，并由式6得到Fsig2m1_u′中的第n个二次激活值Fsig2m1_u′n；Fsig2m2表示Frm2经过sigmoid激活函数后得到单样本二次激活光谱特征，Fsig2m3表示Frm3经过sigmoid激活函数后得到单样本二次激活光谱特征； 所述三样本二次池化光谱特征Fsig2w送入dropout层进行处理后再经过所述全连接层，并输出度量空间光谱特征Fdw＝{Fdm1，Fdm2，Fdm3}，其中，Fdm1，Fdm2，Fdm3分别第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}经过第一个伪孪生卷积神经网络Net1后得到的单样本度量空间光谱特征；将第m1、m2、m3个训练集光谱数据{Fmsc_train_m1，Fmsc_train_m2，Fmsc_train_m3}所对应的图像数据Pw送入第二个伪孪生卷积神经网络Net2中进行处理，从而得到度量空间图像特征FIm＝{FIm1_1st，FIm1_2nd，FIm1_3rd，FIm2_1st，FIm2_2nd，FIm2_3rd，FIm3_1st，FIm3_2nd，FIm3_3rd}，其中，Flm1_1st，FIm1_2nd，FIm1_3rd分别第m1个训练集光谱数据Fmsc_train_m1在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；FIm2_1st，FIm2_2nd，FIm2_3rd为第m2个训练集光谱数据Fmsc_train_m2在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征，FIm3_1st，FIm3_2nd，FIm3_3rd为第m3个训练集光谱数据Fmsc_train_m3在各个波段的高光谱图像中贡献率最高的三张图像的度量空间图像特征；步骤2.3、利用式7构建中心锚点的三元组损失函数L： 式7中，||.，.||表示马氏距离函数；步骤2.4、基于所述训练集，利用梯度下降法对所述迁移度量学习网络进行训练，并计算所述中心锚点三元组损失函数L，用于更新网络参数，当训练达到所设定的次数或所述三元组损失函数L收敛时，训练停止，从而得到最优茶叶品质度量模型；步骤3、将标准样与待测茶叶的高光谱数据输入所述最优茶叶品质度量模型中进行处理，分别输出相应的度量空间光谱特征和度量空间图像特征，并根据标准样与待测茶叶的马氏距离对茶叶之间的相似性进行品质度量。

全文数据：

权利要求：

百度查询： 安徽农业大学 基于中心锚点三元组优化伪孪生网络的茶叶品质评价方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD