申请/专利权人：北京工业大学

申请日：2021-08-20

公开（公告）日：2024-03-12

公开（公告）号：CN113837166B

主分类号：G06V10/22

分类号：G06V10/22;G06V30/14;G06V30/148;G06V10/82;G06N3/0464;G06N3/08;G06T5/70;G06T7/11

优先权：

专利状态码：有效-授权

法律状态：2024.03.12#授权;2022.01.11#实质审查的生效;2021.12.24#公开

摘要：本发明公开了一种基于深度学习的指针式仪表自动读数方法，训练基于Yolov4的目标检测模型，对表盘进行检测。选用网络层次较深的卷积神经网络，以获取更深层次的特征，使得定位更加准确。训练基于Unet的语义分割模型，分割指针。回顾前人对指针表自动读数的研究，发现其中大多数都是使用传统的计算机视觉方法来定位指针，获取指针的角度。本发明应用四种深度学习模型，以提高自然条件下的指针表读数精度。在对收集的5000张自然条件下拍摄的指针表图像进行读数后，本方法的错误率仅为1.57％，能够胜任在自然场景如燃气站、油田等场地等自动读数工作。

主权项：1.一种基于深度学习的指针式仪表自动读数方法，其特征在于：本方法包括以下步骤：步骤1：训练基于Yolov4的目标检测模型，对表盘进行检测；对指针式仪表进行自动检测与识别首先就是要定位它的位置；选用网络层次较深的卷积神经网络，以获取更深层次的特征；Yolov4是一种端到端的实时目标检测模型，其选择了CSPDarknet53作为骨干网络，SPP作为附加块，PANet作为实例分割网络，由基于yolov3锚点机制的头作为输出；CSPDarknet53在Darknet53的基础上，在每个大残差块的后边加入CSPnet结构；CSPnet模块增强Darknet53网络卷积层的学习能力；SPP-block不用考虑图像大小，输出图像固定长度网络结构，并且在图像变形情况下表现稳定；PANet的作用是进行参数聚合以适用于不同level的目标检测；最后，Yolov4使用Yolov3Head，提取多特征层进行目标检测；通过Yolov4，对原始图片进行目标检测，定位图中表盘的位置，并传输到后续算法中；步骤2：训练基于Unet的语义分割模型，分割指针；Unet主要分为下采样和上采样两个部分；下采样利用卷积层和池化层提取输入图像的深层特征；上采样利用反卷积操作将图像深层特征和浅层特征进行融合，修复细节信息，提高网络分割精度；通过此网络，对输入的表图片进行处理，将指针区域分割出来；将分割出来的指针区域以二值图像的形式输入，经过开操作以去除小的噪声区域，保留完整剩余区域；之后，对此剩余区域取最小外接三角形，并取其顶点和对应底边中点的连线，计算连线与垂直方向的夹角，代表指针角度；步骤3：训练基于E2E-MLT的文本检测与识别模型，对表盘文本进行识别；对于指针表的自动读数，除了要获取准确的指针角度，还需要知道各个刻度数字的位置以及其对应的刻度线位置；选用E2E-MLT模型进行文本检测与识别；E2E-MLT是一个端到端可训练的文本检测与识别模型，拥有文本定位与文本识别两个分支；训练一个网络同时实现文本的定位与识别功能；步骤4：训练基于自主设计的MSLnet的表盘主刻度线识别模型；根据获得的刻度数字文本位置，确定表盘圆心；将表盘转换为极坐标系，使得每条主刻度线水平排列；最后，根据映射到极坐标下的刻度数字位置，去除图像中的干扰部分；步骤5：基于上述检测结果，对指针表读数进行计算；最后，将极坐标系统下识别出的主刻度线还原到笛卡尔坐标系统下，结合指针角度、刻度数值、表盘单位，计算指针表的真实读数；公式1为具体计算公式；其中，Amax，Vmax和Amin，Vmin为与垂直方向夹角距离AP最近的两组主刻度线角度与对应刻度值；Amax，Vmax为刻度值较大的一组，Amin，Vmin为刻度值较小的一组；AP，Amax，Amin的数值范围都是0，360，顺时针方向增大； AP为305，Amax，Vmax为318，80，Amin，Vmin为267，60，再加上表盘单位值，综合计算结果R＝74.9℃。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于深度学习的指针式仪表自动读数方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD