申请/专利权人：广州番禺职业技术学院

申请日：2020-09-22

公开（公告）日：2024-03-29

公开（公告）号：CN112129783B

主分类号：G01N21/958

分类号：G01N21/958;G01N21/01;G06T7/00;G06T7/90;G06T7/13;G06T3/02;G06T5/00;G06F18/2413;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.03.29#授权;2021.01.12#实质审查的生效;2020.12.25#公开

摘要：本发明公开的基于深度学习的透明药瓶底部缺陷检测装置包括工业计算机、精密调节机构、精密限位机构、药瓶加紧机构、图像采集装置、图像处理与检测系统、工业相机精密调节平台和成像机构，检测方法包括获取彩色图像；采用直方图均衡化、拉普拉斯算子、对数Log变换、伽马变换等图像增强；寻找灰度图的目标边缘轮廓并做边界定位；通过角度得到仿射变换矩阵，对图像进行矫正；判断出目标所处图像的位置，并做定位点；采用矩形框选目标区域，并截取出目标；获得最终数据漂洗后的图像；漂洗后的图像导入药瓶图像深度学习检测算法中，得到合格药瓶概率值与缺陷药瓶概率值的两个概率值并做归一化，比较两概率值的大小，获得最优决策的概率值。

主权项：1.一种基于深度学习的透明药瓶底部缺陷检测方法，其特征在于：其通过检测装置进行检测，所述检测装置包括工业计算机、精密调节机构、精密限位机构、药瓶夹紧机构、图像采集装置、图像处理与检测系统和成像机构，所述成像机构包括高亮球积分光源、高亮背光光源和光路筛选机构，所述图像采集装置包括工业相机和光电传感器，所述精密调节机构包含高亮球积分光源调节支架，高亮背光光源调节支架，相机调节支架和光电传感器调节支架，所述工业计算机根据工业相机摄像的图像，通过图像处理与检测系统得到药瓶是否合格的结果，其检测方法包括以下步骤：深度学习算法的运行流程包括训练、推理两个过程，数据漂洗方法包含于训练与推理部分中：对于第一个过程：在训练中，采用了Python语言在Pycharm的集成开发环境下，进行开发实现，对于深度学习的模型，采用了Tensorflow、Keras、Theano、Caffe开源框架，构建了具有高识别率的深度学习网络模型，其主要流程为：第一步：收集训练图像并筛选出优质图像，使得网络模型具有更好的学习特征；第二步：对图像进行数据漂洗，包括以下步骤：步骤1、获取透明药瓶底部积料区域的彩色图像；步骤2、将所述彩色图像做一个线性变换，具体采用直方图均衡化、拉普拉斯算子、对数Log变换、伽马变换；步骤3、将所述彩色图像分解为R、G、B三个单通道图像，并获取G通道灰度图像后，通过特征提取分析，提取边缘图像，寻找灰度图的目标边缘轮廓并做边界定位；步骤4、通过定位的边缘轮廓和角度，得到仿射变换矩阵，对图像进行矫正；步骤5、通过目标边缘轮廓，可以判断出目标所处图像的位置，并做定位点；步骤6、通过定位点，框选整个药瓶，并截取出目标；步骤7、截取的目标的每一个像素，每一个通道做增强，从而获得最终数据漂洗后的图像，具体见公式（1）： （1）其中，公式中的物理量含义为，Img:为原图，Dst：为目的图，Blank为背景图像，alpha为原图的权重，beta为背景图像的权重，gamma为灰度偏移值；第三步：数据增强，扩充数据集，具体的方法包括水平翻转、垂直翻转、90度旋转、-90度旋转、180度旋转、-180度旋转、平移、随机截取；第四步：将合格药瓶图像和缺陷药瓶图像进行数据分类和数据标注，采用监督深度学习获得更好的学习特征；第五步：采用Mobilenet、VGG16、AlexNet、GoogleNet、SSD-Mobilenet、ResNet、YOLO-v3模型训练，获得推理文件；第六步：通过测试训练模型，得到模型的准确率，判断准确率是否达到要求，如果达不到要求就调节模型中的超参数，所述超参数包括迭代次数、学习率和doupout参数，然后继续训练并做测试，直到准确率符合要求为止；第七步：固化模型，训练得出准确率符合要求的训练结果的推理权重文件，从而得到一个高识别率的深度学习网络结构；对于第二个过程，在推理中，用C++语言在Visualstudio2015、2017、2019开发环境上，进行开发实现，通过加载在pycharm集成开发环境中已经训练好的模型，并对模型进行优化，实现硬件的加速推理，其主要步骤为：第一步：在Visualstudio2015、2017、2019开发环境上，采用优化工具套件，C++读取深度学习训练模型文件；第二步：得到图像后进行数据漂洗，包括以下步骤：步骤1、获取透明药瓶底部积料区域的彩色图像；步骤2、将所述彩色图像做一个线性变换，具体采用直方图均衡化、拉普拉斯算子、对数Log变换、伽马变换；步骤3、将所述彩色图像分解为R、G、B三个单通道图像，并获取G通道灰度图像后，通过特征提取分析，提取边缘图像，寻找灰度图的目标边缘轮廓并做边界定位；步骤4、通过定位的边缘轮廓和角度得到仿射变换矩阵，对图像进行矫正；步骤5、通过目标边缘轮廓，可以判断出目标所处图像的位置，并做定位点；步骤6、通过定位点，框选整个药瓶，并截取出目标；步骤7、截取的目标的每一个像素，每一个通道做增强，从而获得最终数据漂洗后的图像，具体见公式（1）： （1）其中，公式中的物理量含义为，Img:为原图，Dst：为目的图，Blank为背景图像，alpha为原图的权重，beta为背景图像的权重，gamma为灰度偏移值；第三步：漂洗后的图像导入药瓶图像深度学习检测算法中，得到合格药瓶概率值与缺陷药瓶概率值的两个概率值并做归一化，比较两概率值的大小，获得最优决策的概率值，见公式（2）： 其中，若判断为合格药瓶，不对其药瓶进行剔除工作，若相反，判断为缺陷药瓶，就会对运动控制卡发出信号，对其药瓶进行剔除；所述高亮球积分光源、高亮背光光源连接光源控制器，所述高亮球积分光源位于所述透明药瓶的下方，并与透明药瓶保持10-15cm的距离；所述高亮背光光源在相机的水平方向上，并距离药瓶最外径距离为5cm-10cm的距离，呈垂直状态；所述图像采集装置，工业相机距离透明药瓶距离为32.2cm-36.7cm，所述工业相机还连接有光电传感器，所述光电传感器正对所述透明药瓶的瓶口位置并与瓶口的距离为5cm-10cm的距离；所述药瓶夹紧机构包括两只机械臂，所述机械臂后面连接一套弹簧张紧机构，所述两只机械臂夹持着一个透明药瓶，夹持的位置在瓶口下方11cm，所述机械臂上方有连环锁紧机构，可供每一个夹紧机构环环相扣，当判定透明药瓶为缺陷药瓶时，弹簧张紧机构就不张紧，从而导致机械臂无夹紧力，药瓶就会自动掉落；精密限位机构包括同步轮、光学定制同步带，同步轮上装置有光学定制同步带，所述同步轮可以根据需求，调节光学定制同步带的张紧程度，所述精密调节机构可以调节X轴与Z轴的位姿，当透明药瓶运动到经过所述限位机构，空间成像姿态被光学定制同步带所固定，为后续图像采集提供优质图像。

全文数据：

权利要求：

百度查询： 广州番禺职业技术学院 基于深度学习的透明药瓶底部缺陷检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD