申请/专利权人：山东宇影光学仪器有限公司

申请日：2023-11-03

公开（公告）日：2024-02-06

公开（公告）号：CN117191821B

主分类号：G01N21/958

分类号：G01N21/958;G01M11/02

优先权：

专利状态码：有效-授权

法律状态：2024.02.06#授权;2023.12.26#实质审查的生效;2023.12.08#公开

摘要：本发明涉及数字图像处理技术领域，具体公开了一种基于Deformable‑DAB‑DETR的高透光菲涅尔透镜实时检测方法，包括：采用ResNet50‑v2作为主干网络对预处理后的图像进行特征提取，选取不同尺度特征序列将其输入至网络的编码器中；编码器在2‑stage模式下对特征序列做增强处理，通过正余弦位置编码并利用权重矩阵生成增强后的特征序列，将输出结果输入到解码器中；通过可变形的自注意力机制与交叉注意力机制在每层输出四维预测框的偏移量并矫正其位置与大小；采用匈牙利匹配算法进行二分匹配得到高透光菲涅尔透镜训练模型，根据获得的训练模型对待检测的高透光菲涅尔透镜进行测试。本发明将Transformer架构应用于目标检测领域并结合多头交叉注意力机制实现对高透光菲涅尔透镜实时检测。

主权项：1.一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法，其特征在于：包括以下步骤：S1：制作高透光菲涅尔透镜数据集，选用适配的工业相机在背光环境下进行拍摄，并对拍摄的图像进行图像增强处理；S2：图像特征提取：采用ResNet50-v2作为主干网络对预处理后的图像进行多尺度特征提取，选取不同尺度特征序列输入至网络的编码器中；S3：图像特征增强：编码器在2-stage模式下对特征序列做特征增强处理，通过正余弦位置编码并利用权重矩阵生成增强后的特征序列，将输出结果输入到解码器中；S4：图像特征学习：通过可变形的自注意力机制与交叉注意力机制，在每层输出包括将宽和高加入到位置先验中的四维预测框的偏移量，并矫正其位置与大小；S5：图像特征匹配：采用匈牙利匹配算法进行二分匹配得到高透光菲涅尔透镜训练模型，根据获得的训练模型对待检测的高透光菲涅尔透镜进行测试；在步骤S2中，图像数据的所述预处理具体包括以下步骤：采用包括缩放、平移、旋转的几何变换方法以及加入包括高斯噪声、直方图均衡化的像素变换方法对小样本进行扩充操作；引用YOLOv5中的Mosaic数据增强对高透光菲涅尔透镜数据集做进一步增强，提高模型的泛化能力；在步骤S2中，所述多尺度特征图提取包括以下步骤：由主干网络ResNet50-v2选取适用于高分辨率图像的第C3、C4和C5层的特征图；将S23中选取的特征图输入至Transformer模型的编码器中；其中，所述Transformer模型的编码器包括若干个层，每一层均由多头自注意力模块和前馈网络模块组成，每层均会进行残差连接和归一化；在步骤S3中，所述特征增强处理的具体步骤包括：将输入的特征图使用的卷积将其压缩至，得到新的特征图，然后将压缩后的特征图展平得到特征序列；对位置信息进行正余弦位置编码，公式如下所示：；其中为温度参数，下标和表示编码向量中的指标；D表示特征图的维度；将与PE相加，获得特征序列，再通过三个权重矩阵、和分别转化为Query向量、Key向量和Value向量，点积Query向量和Key向量得到权重矩阵，权重矩阵乘以Value向量得到多头注意力输出向量，特征序列表示为：；其中，为注意力头的长度，为归一化指数函数；所述前馈网络模块包含两个线性层、一个非线性激活函数和一个解决过拟合的dropout，其中dropout在每个训练批次中，通过忽略一半隐层节点从而减少网络参数，具体计算过程为：；其中，和是两个线性层的参数矩阵，和为线性层的偏置参数；上述计算的输出结果经过残差连接和归一化输出具有长距离依赖的特征序列；在步骤S4中，所述特征学习的具体步骤包括：将宽和高加入到位置先验中与anchorbox的中心点x，y组成可学习的四维位置编码，并与内容编码组成对象查询；将特征序列与可学习的对象查询编码输入到Transformer模型的解码器中获得每个对象查询的特征向量y，其中，解码器包括若干层，每一层包含多头自注意力模块、可变形多头交叉注意力模块、前馈神经网络模块、残差连接模块和归一化模块，每层均会进行残差连接和归一化；其中，所述可变形多头注意力模块包括多头自注意力模块和多头交叉注意力模块，对输入的特征向量矩阵进行线性变换生成Query、Key、Value三个矩阵，对于每个Query，仅在全局位置中采样部分位置的Key，并且Value也是基于这些位置进行采样插值得到的，最后将该部分位置稀疏的注意力权重施加在对应的Value上，得到多头注意力输出向量O；将特征序列O经过残差连接和归一化后输入前馈神经网络，最终解码器得到每个对象查询对应的特征向量y；上述步骤所述的残差连接以及归一化的计算方法与编码器中计算方法相同；解码器中可变形多头注意力机制公式如下：；其中，表示由向量线性变换得到的目标查询，代表多尺度特征，代表第L层的特征，是对应查询的索引，是键的索引，表示有几个注意力头部，是对注意力施加在值后的结果进行线性变换从而得到不同头部的输出结果，用于将变换为值，代表归一化后的位置，后者代表采样集合点相对于参考点的位置偏移；在步骤S5中，所述特征匹配包括：所述特征向量输入到MLP预测头得到预测的高透光菲涅尔透镜ROI区域，MLP预测头中共有两个前馈神经网络，其中一个前馈神经网络使用匈牙利算法预测最终的输出标签，另一个前馈神经网络输出N个预测框，其中N为之前解码器输入的可学习对象查询编码的个数，构造了一个新类，表示没有目标物体的背景类，便得到两个等容量的集合；具体是通过以下方法实现的：采用匈牙利算法对N个预测框以及数据集标注的真实框进行最优二部图匹配，即对预测集合和真实集合的元素进行一一对应，使得匹配损失最小，最后根据匹配的结果计算损失来对模型进行优化，优化方法如下：S51：将预测结果看作是一个长度为N的集合，；同时将数据集标注的真实框也视作一个序列，；其中表示该目标所属的真实类别，是四维向量，包含了标注预测框的中心点坐标和宽高，接下来采用匈牙利算法作为求解算法，其中最小匹配策略定义为：；其中表示计算数据集标注的真实框和索引为的预测框之间匹配的损失，包含分类损失以及预测框和真实框之间的损失；对于索引为的预测，定义表示其属于的概率，定义为预测框，表示没有目标物体的背景类，于是：；S52：损失函数计算为公式为：；S53：使用进行反向传播即可优化神经网络模型。

全文数据：

权利要求：

百度查询： 山东宇影光学仪器有限公司 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD