申请/专利权人：哈尔滨工业大学

申请日：2021-09-27

公开（公告）日：2024-04-16

公开（公告）号：CN113971745B

主分类号：G06V10/764

分类号：G06V10/764;G06V10/774;G06V30/41;G06V30/416;G06V30/194;G06V10/82;G06N3/084;G06N3/0442;G06N3/045

优先权：

专利状态码：有效-授权

法律状态：2024.04.16#授权;2022.02.15#实质审查的生效;2022.01.25#公开

摘要：本发明提出一种基于深度神经网络的出入境验讫章识别方法及装置，所述方法首先采集图像，并对图像进行标注，然后通过回归网络对采集好的数据进行回归剪裁，对于剪裁下来的印章，再应用基于注意力机制的网络进行对国别的图像识别，之后应用参数化的Bezier曲线进行对日期的文本识别，最后再将信息整合。最终搭建前端，设计了出入境验讫章识别平台，使用十分方便。

主权项：1.一种基于深度神经网络的出入境验讫章识别方法，其特征在于：所述方法包括：对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；对于国家检测部分：通过搭建细粒度识别分类网络将检测出的国家进行识别分类；对于日期检测识别部分：定位一张完整的印章图片中所有的日期信息并且进行剪裁，分成若干个时间信息块进行日期检测，将检测出的日期信息进行识别，给出准确的日期，从而可以判断出入境人员在境外国家的活动时间；所述对目标印章进行回归剪裁，即设计回归剪裁网络，来检测印章图片中包含的国家和日期信息，并将其定位；具体为：步骤一：搭建由卷积和残差网络堆叠而成的主干网络，该主干网络由五个使用CSP网络的分块组成；步骤二：搭建池化网络；所述池化网络分为四支线，前三支线对池化网络的输入特征分别进行5*5、9*9、13*13步长为1的最大池化，第四支线不对池化网络的输入特征进行池化，最后把四条支线的池化结果进行route相加；步骤三：搭建上采样网络，共上采样两次：首先对池化网络的输出特征进行卷积，而后进行上采样操作，对所得到的输出特征再次进行卷积，并将卷积后的特征再次进行上采样；步骤四：搭建头部网络；共有三个头部作为输出：前两个头部网络分别进行2次1步长卷积，第三个头部网络进行1次1步长卷积；步骤五：输入图片数据通过步骤一至步骤四搭建的网络进行特征提取，对提取后的特征应用特征金字塔，采用三个尺度再次提取特征，得到印章的特征图，对得到的印章的特征图进行国家检测和日期检测识别；所述国家检测部分具体流程为：搭建国家检测网络：设置网络层数和节点数，设置输入输出的格式，输入为步骤五得到的印章的特征图，输出为印章对应的类别；在区域预测阶段，将步骤五得到的与国家检测相关的多尺度特征图的每一层用ReLu激活，而后maxpooling，接着采用RPN来产生anchors，而后用非极大值抑制选出最能影响最后结果的前N个预测框从而得到预测区域；该网络在进行区域预测训练时，采用的loss函数为： 其中，Ii,Ij∈{I1,I2,…,IM}为预测出来的M个预测框和其带有的信息量，Ci,Cj∈{C1,C2,…,CM}为将这M个预测框输入全连接网络+softmax网络后的置信度，fx＝max{1-x,0}；将预测出来的区域剪裁出来并进行缩放至步骤五的输入大小；在网络矫正训练阶段，将缩放后的特征图输入全连接网络，而后接softmax进行预测从而对预测出来的区域进行矫正，所述矫正训练阶段的映射函数记为gx，该网络在进行矫正训练时的loss函数为： 其中，Ri∈{R1,R2,…,RM}为预测出来的预测框，X为原图；在类别预测阶段，将缩放后的特征图和原图的特征图输入卷积层提取特征后，将所提取特征连在一起，输入全连接层后利用softmax输出其预测的类别，所述类别预测阶段的映射函数记为hx，其loss函数为：L3＝-loghX,R1,R2,…,RM将区域预测阶段、矫正训练阶段和类别预测阶段的loss函数进行整合，得到最后的loss函数为：L＝L1+L2+L3对日期进行检测识别具体为：步骤十二：将训练集中的图像年月日分开打标签，以文本阅读顺序，记录左上、右上、右下和左下的边界点，分别记为P0,P1,P2和P3；计算P0和P1的三等分点P00和P01，计算P2和P3的三等分点P20和P21，将{P0,P00,P01,P1}的坐标代入下述参数方程： 利用最小二乘法，计算四个最佳的控制点坐标： 同理将{P2,P20,P21,P3}代入参数方程计算控制点坐标，同文本内容一起作为标签；步骤十三：搭建日期检测网络，所述日期检测网络分为两个部分，依次为日期检测部分和日期识别部分；输入的特征图为步骤五得到的与日期检测相关的特征图；步骤十四：在文字检测部分，在五个分辨率为18、116、132、164和1128特征图上利用ROI对齐将不同尺度的特征输出为相同的大小，后接固定通道数的特征层以预测控制点坐标；步骤十五：在文字识别部分，首先将特征对齐，对三个尺寸为14、18和116的特征图采用Bezier曲线进行对齐；假设文本的上边界的参数方程为c1t＝1-t3b0+31-t2tb1+31-tt2b2+t3b3，同理假设文本的下边界的参数方程c2t；将步骤十四得到的控制点坐标代入以上两个边界参数方程，如果输出的矩形特征图尺寸为hout×wout，其中hout为特征图的高，wout为特征图的宽，则从特征层中选取一个像素点gi＝giw,gih，通过计算t，将t带入上边界和下边界的参数方程，得到上边界点c1t＝tp和下边界点c2t＝bp，通过公式获得输出矩形特征图的采样点op；其次，在矩形特征图后接入4个卷积核大小为3×3、步长为1的卷积层，2个卷积核大小为3×3、步长为2,1的卷积层和最大池化层，最后接入BLSTM和全连接层，输出文字的预测序列。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种基于深度神经网络的出入境验讫章识别方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD