申请/专利权人：电子科技大学

申请日：2023-06-25

公开（公告）日：2023-09-29

公开（公告）号：CN116824246A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/774;G06V10/82;G06V10/80;G06N3/0464;G06N3/045;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.10.24#实质审查的生效;2023.09.29#公开

摘要：本发明公开了一种基于注意力机制的昆中细粒度图片分类方法，采集不同种类昆虫的不同形态的细粒度图片，经过人工筛选方式删除重复、模糊、过曝的低质量图片，使剩余的图片满足类内差异大、类间差异小的特点，然后进行昆虫主体增强处理，并建立带有类别标签的数据集；接着搭建用于昆虫分类的基于注意力机制的分类网络并训练，最后通过训练完成的神经网络模型对待检测的细粒度昆虫图片进行分类检测，从而直接输出图片中昆虫属于类别。

主权项：1.一种基于注意力机制的昆中细粒度图片分类方法，其特征在于，包括以下步骤：1、图像采集及预处理；采集不同种类昆虫的不同形态的细粒度图片，经过人工筛选方式删除重复、模糊、过曝的低质量图片，使剩余的图片满足类内差异大、类间差异小的特点；2、图片增强处理；2.1、图片的标准增强，包括：图片缩放、图片随机旋转、图片随机水平或竖直翻转和图片随机裁剪；2.2、昆虫主体增强；2.2.1、生成二维的类激活图；利用训练完成的ResNet-101网络对标准增强后的每张图片Pi进行图像特征的提取，再通过对图像特征进行梯度的反向计算，得到图像特征在对应图片Pi上不同空间位置的响应，从而生成二维的类激活图Ci，i＝1，2，…表示图片编号；2.2.2、基于类激活图生成二维的主体掩码图；设置阈值β；遍历类激活图Ci中每个像素点的像素值，如果像素点的像素值小于阈值β，那么该像素点在主体掩码图Mi中的像素值设置为0，否则，设置为1，从而得到主体掩码图Mi2.2.3、实现主体增强；将图片Pi与主体掩码图Mi对应像素值相乘，得到表征昆虫主体区域的图片Hi；基于昆虫主体区域图片Hi，对图片Pi中的背景进行高斯模糊及灰度处理，从而实现每张图片Pi的主体增强；3、制作数据集；将增强处理后的图片进行逐一分类，并将同类别的昆虫放在同一文件夹中，文件夹以昆虫的学术名称进行命名并赋予对应的类别标签，然后将所有样本图片的保存路径逐行写入到文本文件中；4、搭建并训练基于注意力机制的分类网络；4.1、基于注意力机制的分类网络以神经网络在ResNet-101为基础，在ResNet-101的输出端增设RS通道注意力模块，从而搭建出基于注意力机制的分量网络；4.2、在每一轮训练过程中，通过读取文本文件的保存路径，先使用平均采样策略对所有图片进行采样，每次随机获取n个不同的类别，且每个类别中随机挑选m张样本图片，共计n×m张样本图片作为单批次训练数据；4.3、训练数据先输入至ResNet-101网络的卷积层，通过卷积层将每个样本图片编码成大小为w×h×c的三维张量Xk，其中，k＝1，2，…，n×m，w，h为样本图片的长和宽，c为通道数；三维张量Xk再通过池化层压缩成大小为1×c的张量将经过全连接层后使用softmax函数处理得到样本图片中昆虫属于各个类别的预测概率向量res，然后将输入至RS通道注意力模块；4.4、在RS通道注意力模块中，先通过类内特征或类间特征完成n×m个张量的配对，得到n×m对张量对；再通过多层感知机MLP计算每一对张量对的通道权重向量Wk： 其中，表示第k对张量对，k1，k2∈[1，n×m]且k1≠k2；计算包含全局信息的通道注意力权重 其中，fk表示Xk输入至全连接层后根据Xk的标签分类编号找出全连接层中对应编号所在行的参数所组成的一维向量；基于通道注意力权重对张量进行加权，得到第k张样本图片加权后的特征张量最后，将特征张量经过全连接层后输入至softmax函数，计算出样本图片中昆中属于各个类别的预测概率值向量4.5、利用多种损失函数计算多个损失；4.5.1、计算三元组损失值Loss1； 其中，表示以为基准通过类内特征配对方式匹配成功的张量，表示以为基准通过类间特征配对方式匹配成功的张量；4.5.2、计算排序损失值Loss2； 其中，y是由1或-1组成的指示向量，当向量内的元素值为1时，表示res大于反之则为-1；4.5.3、计算损失值Loss3；Loss3＝-1-pkγlgpk其中，pk表示向量中对应类别的预测概率值；γ为放缩尺度因子；4.5.4、计算总损失值Loss；Loss＝Loss1+Loss2+Loss34.6、得到基于注意力机制的分类网络；判断网络的总损失值Loss是否收敛或当前迭代次数到达预设的最大值，如果满足，则迭代停止，得到训练完成的基于注意力机制的分类网络；否则，利用lossfin进行反向传播，并更新网络参数，然后返回步骤4.2，进行下一轮的训练；5、昆虫图片的实时分类；采集某类昆虫的细粒度图片，按照步骤1和2进行图片预处理和增强处理，然后输入至基于注意力机制的分类网络，从而输出昆虫类别。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于注意力机制的昆中细粒度图片分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD