申请/专利权人：无锡九霄科技有限公司

申请日：2023-10-18

公开（公告）日：2024-04-05

公开（公告）号：CN117409077B

主分类号：G06T7/73

分类号：G06T7/73;G06T7/00;G06V10/26;G06V10/28;G06V10/44;G06V10/50;G06V10/75;G06V10/764;G06V10/80;G06V10/82;G06V20/70

优先权：

专利状态码：有效-授权

法律状态：2024.04.05#授权;2024.02.02#实质审查的生效;2024.01.16#公开

摘要：本发明公开了基于多尺度残差UNet分割的芯片姿态检测方法，属于数字图像处理技术领域。本发明提出了一种多级位姿检测算法；对于位姿变化较大的芯片，提出了一种基于SVM分类器的显著性位姿检测方法，对于位姿变化较小的芯片，提出一种基于显著特征点的精定位方法，计算其与料盘关键点的相对距离以实现微小位姿检测。此外，还提出了一种轻量化多尺度残差UNet语义分割网络MR‑UNet，实现了变位姿下不同尺度芯片与料盘的精准分割，将复杂表观的彩喷芯片图像统一，仅保留轮廓。试验结果表明，本发明的检测准确率达到99.804％，具备良好的鲁棒性和实时性，能够满足工业现场大批量生产的要求。

主权项：1.一种芯片姿态检测方法，其特征在于，所述方法包括：步骤1：采集待测芯片的图像，并根据固定坐标对待测芯片的显著特征点和料盘关键点进行粗定位；步骤2：粗定位后，利用多尺度残差UNet模型MR-UNet对芯片与料盘进行图像分割；步骤3：分割后利用多级位姿检测方法，利用SVM分类器和模板匹配算法对芯片的位姿进行实时精确检测；所述步骤2中的MR-UNet模型将原UNet网络编码器阶段的两层3×3卷积层的第二层卷积替换为多尺度残差卷积模块MRC；每次3×3卷积之前，在图像周围进行padding等于1的像素填充操作；在每次卷积操作后引入BN层，对输入的图像数据进行标准化处理，使得每一层的数据符合均值为0，方差为1的分布；然后将所述BN层后的特征图经过ReLU函数激活；最后将下采样通道数减半；所述多尺度残差卷积模块MRC首先使用四种具有不同大小感受野的卷积核以并行的方式对输入图像进行特征提取，并对图像进行padding像素填充操作；然后对提取的特征分别经过批归一化操作和ReLU激活函数后进行特征融合，然后对融合后的特征图再次进行1×1的卷积操作，将通道数降维至与输入图像相同；最后将输入特征图与降维后的特征图对应通道进行逐像素相加，将相加后的特征图进行ReLU激活后输出；所述多级位姿检测方法包括：步骤31：统计分割后的图像中前景像素个数，若所述前景像素个数小于预设阈值，则判断为“少料”；若所述前景像素个数大于所述预设阈值，则采用步骤32继续检测；步骤32：采用SVM分类器对待检测芯片图像进行分类，根据分类模型预测所属类别，若输出结果为0，则初步判断为正常位姿，并采用步骤33继续检测；若输出结果为1，则直接输出判断结果为“严重翘起位姿”；步骤33：对所述步骤32中初步判断为正常位姿的图像，通过计算芯片显著特征点和料盘关键点之间的相对距离，若相对距离在预设的容忍范围内，则初步判断为正常位姿，并采用步骤34继续检测；若所述相对距离超出所述容忍范围，则直接输出检测结果为“偏移位姿”；步骤34：对所述步骤33初步判断为正常位姿的图像，通过获取图像最小外接矩形，计算其旋转角度，通过角度值最终判断芯片为“旋转位姿”或“正常位姿”；所述步骤33中的基于相对距离的方法包括：首先，利用模板匹配算法精定位到芯片显著特征点px,y和料盘关键点qx,y；然后，用所述芯片显著特征点px,y相对于芯片区域左上角点O1x1,y1的绝对坐标加上O1x1,y1相对于图像原点Ox,y的绝对坐标，得到px,y相对于Ox,y的绝对坐标；用所述料盘关键点qx,y相对于料盘区域左上角点O2x2,y2的绝对坐标加上O2x2,y2相对于图像原点Ox,y的绝对坐标，得到qx,y相对于Ox,y的绝对坐标；最后，用所述芯片显著特征点px,y的x和y绝对坐标值减去qx,y的x和y绝对坐标值得到二者之间的x相对距离xrelative和y相对距离yrelative；利用上述步骤得到所有图像相同行列位置的x和y相对距离，将它们相加除以图像数量得到平均x和平均y相对距离xaverage和yaverage；由于芯片在卡槽内会出现小幅度晃动，所以在xaverage和yaverage的基础上前后增加n个像素的容忍度，那么x和y方向的容忍范围分别为：[xaverage-n，xaverage+n]、[yaverage-n，yaverage+n]，重复上述步骤得到图像中其余行列位置的容忍范围；在检测过程中，若x和y相对距离均在容忍范围内，则初步判断检测结果为正常位姿，若有一个超出容忍范围，则直接输出检测结果为“偏移位姿”。

全文数据：

权利要求：

百度查询： 无锡九霄科技有限公司 基于多尺度残差UNet分割的芯片姿态检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD