申请/专利权人：北京智元未来科技有限公司

申请日：2017-01-17

公开（公告）日：2020-07-03

公开（公告）号：CN106874901B

主分类号：G06K9/20(20060101)

分类号：G06K9/20(20060101);G06K9/32(20060101);G06K9/68(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.07.03#授权;2017.07.14#实质审查的生效;2017.06.20#公开

摘要：本发明实施例提供了一种行驶证识别方法及装置，其中，所述方法包括：接收、并预处理行驶证图像；确定行驶证图像上印章区域的位置；根据印章区域与行驶证双码区域的位置关系，以及印章区域的位置，粗定位行驶证双码区域；通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域；按照每一个单个字符所呈形状、以及预设形状规则，将字符行区域进行分割，得到分割后的单个字符图像；通过深度字符识别模型，对单个字符图像进行识别，得到行驶证图像对应的行驶证双码字符串。通过本发明实施例方法及装置，提高行驶证的识别准确率。

主权项：1.一种行驶证识别方法，其特征在于，包括：接收、并预处理行驶证图像；确定所述行驶证图像上印章区域的位置；根据印章区域与行驶证双码区域的位置关系，以及所述印章区域的位置，粗定位行驶证双码区域，其中，所述行驶证双码区域包括车辆识别代号和发动机号码；通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，其中，细定位经过粗定位的行驶证双码区域包括：从行驶证图像中分离出行驶证双码所在的字符行区域；按照每一个单个字符所呈形状、以及预设形状规则，将所述字符行区域进行分割，得到分割后的单个字符图像；通过深度字符识别模型，对所述单个字符图像进行识别，得到所述行驶证图像对应的行驶证双码字符串；其中，所述通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的所述行驶证双码区域，包括：对所述行驶证双码区域进行水平方向投影，在字符行和字符行间隔区域对应的位置上，分别得到最大像素点灰度值对应的波峰和最小像素点灰度值对应的波谷，对所述波峰和所述波谷进行垂直方向投影，粗分离出第一字符行区域；根据字符与背景的对比度，并利用像素点灰度值变化的极值，确定所述极值的个数超过预设个数的第一字符行区域为第二候选字符行区域；利用训练完成的字符分类器，从至少一个所述第二候选字符行区域中，筛选出分类可信度最大的区域为第二字符行区域；其中，所述字符分类器包括根据图像特征进行训练完成的字符分类器。

全文数据：一种行驶证识别方法及装置技术领域[0001]本发明涉及计算机视觉技术领域，特别是涉及一种行驶证识别方法及装置。背景技术[0002]在车险理财业务、二手车交易业务、掌上投保等应用中，都涉及到车主行驶证信息的录入，由于行驶证是一种没有芯片的证件，只能通过手动录入，如果手动去输入车辆识别码和发动机信息，速度非常慢，且用户体验差，效率低。为了提高在输入行驶证信息的速度和准确性，OCROpticalCharacterRecognition，光学字符识别）技术逐渐被应用到行驶证信息的识别中，以满足应用需求，给用户带来更好的体验。[0003]但是，现有的行驶证识别方法是基于通用的OCR框架或者离线的OCR分类器，只利用打印字符图像如楷体宋体等或者电脑生成的字符图像进行训练，得到行驶证上信息对应的模板，再然后通过根据模板匹配对行驶证图像进行截取获得行驶证上信息对应的图像，进而根据OCR识别进行行驶证上信息的识别，如此使得只能实现行驶证信息的粗略定位、识别，使得识别准确率低；同时，现有的行驶证识别方法对图像角度光照等自然条件要求严格，使得对于自然环境下行驶证图像的识别效果欠佳，识别准确率低。发明内容[0004]本发明实施例的目的在于提供一种行驶证识别方法及装置，以提高行驶证的识别准确率。具体技术方案如下：[0005]一方面，本发明实施例提供了一种行驶证识别方法，包括：[0006]接收、并预处理行驶证图像；[0007]确定所述行驶证图像上印章区域的位置；[0008]根据印章区域与行驶证双码区域的位置关系，以及所述印章区域的位置，粗定位行驶证双码区域，其中，所述行驶证双码区域包括车辆识别代号和发动机号码；[0009]通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，其中，细定位经过粗定位的行驶证双码区域包括:从行驶证图像中分离出行驶证双码所在的字符行区域；[0010]按照每一个单个字符所呈形状、以及预设形状规则，将所述字符行区域进行分割，得到分割后的单个字符图像；[0011]通过深度字符识别模型，对所述单个字符图像进行识别，得到所述行驶证图像对应的行驶证双码字符串。[0012]可选的，所述确定所述行驶证图像上印章区域的位置，包括：[0013]检测所述行驶证图像上的显著性区域，其中，所述显著性区域包括预设形状且颜色突出的显著性区域；[0014]利用训练完成的支持向量机分类器，从至少一个所述显著性区域中，筛选出分类可信度最大的区域为所述印章区域，其中，所述支持向量机分类器是根据所述行驶证图像的颜色直方图特征以及方向梯度直方图特征，训练得到的。[0015]可选的，所述根据印章区域与行驶证双码的位置关系，以及所述印章区域的位置，粗定位所述行驶证双码区域，包括：[0016]从预先建立的印章区域与行驶证双码区域的位置关系中，得到所述印章区域与行驶证双码区域的位置关系；[0017]根据所述位置关系以及所述印章区域的位置，粗定位所述行驶证双码区域。[0018]可选的，所述通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的所述行驶证双码区域，包括：[0019]对所述行驶证双码区域进行水平方向投影，在字符行和字符行间隔区域对应的位置上，分别得到最大像素点灰度值对应的波峰和最小像素点灰度值对应的波谷，对所述波峰和所述波谷进行垂直方向投影，粗分离出第一字符行区域；[0020]根据字符与背景的对比度，并利用像素点灰度值变化的极值，确定所述极值的个数超过预设个数的第一字符行区域为第二候选字符行区域；[0021]利用训练完成的字符分类器，从至少一个所述第二候选字符行区域中，筛选出分类可信度最大的区域为第二字符行区域;其中，所述字符分类器包括根据图像特征进行训练完成的字符分类器。[0022]可选的，所述按照每一个单个字符所呈形状、以及预设形状规则，将所述字符行区域进行分割，得到分割后的单个字符图像，包括：[0023]按照长方形规则，将所述第二字符行区域进行分割，得到数字或者字母对应的单个字符图像；f〇〇24]按照正方形规则，将所述第二字符行区域进行分割，得到汉字对应的单个字符图像。[0025]可选的，所述通过深度字符识别模型，对所述单个字符图像进行识别，最终得到所述行驶证图像对应的行驶证双码字符串，包括：[0026]分别对每个所述单个字符图像，通过所述深度字符识别模型进行识别，返回每个所述单个字符图像的识别结果以及每个所述单个字符图像的识别结果对应的单个概率；[0027]根据所述单个概率，得到识别整个所述行驶证图像的整体概率；[0028]确定所述整体概率最大时对应的字符串，为所述行驶证图像对应的行驶证双码字符串。[0029]可选的，在所述通过所述深度字符识别模型进行识别，返回每个所述单个字符图像的识别结果，之后，所述方法还包括：[0030]检查所述单个字符图像的识别结果，是否符合行驶证双码的双码规则；[0031]在所述单个字符图像的识别结果不符合所述双码规则时，将所述单个字符图像的识别结果调整为符合所述双码规则的结果；[0032]在所述确定所述整体概率最大时对应的字符串，为所述行驶证图像对应的行驶证双码字符串，之后，所述方法还包括：[0033]检查所述行驶证双码字符串的结果是否符合所述双码规则，在所述行驶证双码字符串的结果不符合所述双码规则时，重新识别所述行驶证双码字符串。[0034]可选的，所述根据印章区域与行驶证双码区域的位置关系，以及所述印章区域的位置，粗定位所述行驶证双码区域，包括：[0035]根据所述印章区域的直线检测的结果，确定所述行驶证图像的摆放位置；[0036]基于所述摆放位置，对所述行驶证图像进行版面位置分析，得到所述印章区域与行驶证双码区域的位置关系；[0037]根据所述位置关系以及所述印章区域的位置，粗定位所述行驶证双码区域。[0038]另一方面，本发明实施例还提供了一种行驶证识别装置，包括：[0039]接收处理模块，用于接收、并预处理行驶证图像；[0040]确定模块，用于确定所述行驶证图像上印章区域的位置；[0041]粗定位模块，用于根据印章区域与行驶证双码区域的位置关系，以及所述印章区域的位置，粗定位行驶证双码区域，其中，所述行驶证双码区域包括车辆识别代号和发动机号码；[0042]细定位模块，用于通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，其中，细定位经过粗定位的行驶证双码区域包括:从行驶证图像中分离出行驶证双码所在的字符行区域；[0043]分割模块，用于按照每一个单个字符所呈形状、以及预设形状规则，将所述字符行区域进行分割，得到分割后的单个字符图像；[0044]识别模块，用于通过深度字符识别模型，对单个字符图像进行识别，得到行驶证图像对应的行驶证双码字符串。[0045]可选的，所述确定模块包括：[0046]检测子模块，用于检测行驶证图像上的显著性区域，其中，显著性区域包括预设形状且颜色突出的显著性区域；[0047]筛选子模块，用于利用训练完成的支持向量机分类器，从至少一个显著性区域中，筛选出分类可信度最大的区域为印章区域，其中，支持向量机分类器是根据行驶证图像的颜色直方图特征以及方向梯度直方图特征，训练得到的。[0048]本发明实施例提供的一种行驶证识别方法及装置，可以根据行驶证图像的颜色和形状，定位行驶证图像上的印章区域;根据印章区域的位置，粗定位行驶证双码区域，通过灰度投影，细定位行驶证双码区域;按照字符的形状规则，将字符行区域进行分割，得到分割后的单个字符图像;进而通过深度字符识别模型，对各个单个字符图像进行识别，最终得到行驶证图像对应的行驶证双码字符串。提高自然环境下行驶证的识别准确率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。附图说明[0049]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0050]图1为本发明实施例行驶证识别方法流程图；[0051]图2为本发明实施例行驶证识别装置的结构示意图。具体实施方式[0052]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0053]图1为本发明实施例行驶证识别方法流程图，参照图1对本发明实施行驶证识别方法进行详细说明，包括：[0054]步骤101:接收、并预处理行驶证图像。[0055]在需要对行驶证进行识别时，可以直接使用实际的行驶证图片进行识别；同时，也可以通过图像采集技术，得到行驶证图像，通过对行驶证图像进行识别，完成对实际的行驶证的识别。其中，采集行驶证图像可以通过照相机对实际的行驶证图片拍照完成，当然，这不是采集行驶证图像的唯一实现方式，本发明实施例不对图像采集的方式进行限制，任何可以米集到行驶证图像的方式都在本发明实施例保护范围内。[0056]需要说明的是，本发明实施例中将采集的行驶证图像和实际的行驶证图片，统称为行驶证图像。当接收到行驶证图像后，首先对该行驶证图像进行预处理，其中，对行驶证图像进行预处理包括:降除噪声、光照归一化以及倾斜规正等。[0057]步骤102,确定行驶证图像上印章区域的位置。[0058]行驶证图像上包括车牌号码、车型、车辆所有人以及车辆识别代号和发动机编号等信息，同时，还包括印章。通过观察实际的行驶证可以发现，印章与车牌号码、车型、所有人以及车辆识别代号和发动机编号等信息相比较，十分突出。[0059]所以本发明实施例考虑，通过印章查找行驶证图像上的其他信息。印章区域具有显著的特征，比如颜色、形状、字符纹理等。具体地可以通过印章的这些特征，从行驶证图像上确定出印章区域的位置，进而根据印章区域的位置，确定出需要的行驶证图像上的信息的位置，为后面行驶证的准确识别提供良好的条件。[0060]步骤103,根据印章区域与行驶证双码区域的位置关系，以及印章区域的位置，粗定位行驶证双码区域，其中，行驶证双码区域包括车辆识别代号和发动机号码。[0061]根据上面的步骤可以确定行驶证图像上印章区域的位置，印章区域的位置确定后，根据印章区域与行驶证上其他信息的位置关系，就可以确定出对应的其他信息的位置。[0062]在实际的应用过程中，车辆识别代号和发动机号码是很重要的信息，通过车辆识别代号和发动机号码可以唯一地定位到具体的一辆车，进而为实际生活中办理保险、维修以及违章缴费等提供方便。同时，从实际的行驶证中可以发现，车辆识别代号和发动机号码的位置与印章区域的位置也更加亲密，所以本发明实施例重点针对车辆识别代号和发动机号码进行定位、识别。[0063]需要说明的是，通过印章区域的位置定位行驶证图像上、除行驶证双码区域之外的其他信息的位置的方法、与通过印章区域的位置定位行驶证图像上行驶证双码区域位置的方法类似，这里就不再赘述。需要对行驶证图像上的其他信息进行识别时，参照通过印章区域的位置定位行驶证图像上行驶证双码区域的位置方法，确定其他信息的位置，进而对其他信息进行识别。[0064]需要说明的是，在自然环境中，行驶证的摆放位置不同，对行驶证图像上印章区域位置的定位以及根据印章区域的位置，定位行驶证双码区域的过程，有着很大的影响。所以，在本发明一种可选的实施方式中，通过首先对行驶证的摆放位置进行确定，根据行驶证摆放位置的不同，粗定位行驶证双码区域，具体地过程，包括：[0065]首先，根据印章区域的直线检测的结果，确定行驶证图像的摆放位置。[0066]然后，基于行驶证图像的摆放位置，对行驶证图像进行版面位置分析，得到印章区域与行驶证双码区域的位置关系。[0067]最后，根据印章区域与行驶证双码区域的位置关系，以及印章区域的位置，粗定位行驶证双码区域。[0068]例如，正常摆放的行驶证的印章区域，其印章区域内的汉字从左到右逐行排列，因此容易检测到水平方向直线。如此可根据直线检测的结果，对行驶证摆放方向进行判断，然后结合印章区域与整个行驶证图像的相对位置关系，判断出行驶证的摆放方向（如与水平方向直线的夹角为:〇度、90度、180度或者270度等）。[0069]确定行驶证图像的摆放位置后，然后按照实际的行驶证图像的摆放位置，找到印章区域与行驶证双码区域的相对关系，进而粗定位行驶证双码区域。如此使得，本发明实施例行驶证识别方法，不受限于自然环境下行驶证摆放位置的影响，提高自然环境下行驶证识别结果的准确率。[0070]步骤104,通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，其中，细定位经过粗定位的行驶证双码区域包括:从行驶证图像中分离出行驶证双码所在的字符行区域。[0071]根据印章区域与行驶证双码区域的位置关系，以及印章区域的位置，粗定位行驶证双码区域，仅是从位置上粗定位行驶证双码区域。为了更加准确地定位行驶证双码区域的位置，通过更加细节性的特征细定位行驶证双码区域，其中，细节性的特征可以是行驶证图像上，行驶证双码区域内像素点的灰度值、与整个行驶证图像的背景的对比度。[0072]另外，定位到行驶证双码区域的位置后，从行驶证图像上分离出行驶证双码，因为，行驶证双码是以字符的形式存在于行驶证图像上，所以最后得到的细定位行驶证双码区域的结果是，分离出行驶证双码所在的字符行区域。[0073]步骤105,按照每一个单个字符所呈形状、以及预设形状规则，将字符行区域进行分割，得到分割后的单个字符图像。[0074]上述得到行驶证双码所在的字符行区域后，接下来就是对所有字符在一起的字符行区域进行处理，得到单独的每个字符。因为每一个字符显示在行驶证图像上都呈一定的形状，例如可以看成汉字呈正方形形状、数字呈长方形形状。所以在将字符行区域进行分割的过程中，可以根据每个字符所呈的形状，将字符行区域进行分割，进而得到每一个单独的字符图片。[0075]具体地，在本发明实施例的一种可选的实施例中，按照每一个单个字符所呈形状、以及预设形状规则，将字符行区域进行分割，得到分割后的单个字符图像，包括：[0076]—方面，按照长方形规则，将第二字符行区域进行分割，得到数字或者字母对应的单个字符图像。[0077]另一方面，按照正方形规则，将第二字符行区域进行分割，得到汉字对应的单个字符图像。[0078]具体的，可以通过预设形状规则定义的预设形状、与字符行区域的不同部分分别进行匹配，在结果匹配时，分割、提取出对应的区域即为单个字符，如此重复，直至分割得到所有的单个字符。或者可以首先以几个像素值为间隔，判断字符行区域不同部分的形状，再然后比较得到的形状结果是否符合预设形状规则，如果符合，则说明该部分是正确的单个字符区域，进而将该单个字符分离出来，如此重复，直至分割得到所有的单个字符。[0079]步骤1〇6，通过深度字符识别模型，对单个字符图像进行识别，得到行驶证图像对应的行驶证双码字符串。[0080]得到每一个单独的字符图片后，将单个字符图片输入到训练好的深度字符识别模型中应用OCR技术，即可返回识别结果。其中，深度字符识别模型通过CNNconvolutionaiNeuralNetwork，卷积神经网络进行训练得到，具体的通过CNN训练得到深度字符识别模型是现有技术，这里就不再赘述;同时，OCR技术是行驶证识别领域很成熟的技术，这里也不再赘述。[0081]对单个字符图像进行识别，得到行驶证图像对应的行驶证双码字符串，即行驶证图像上行驶证双码所在的字符行区域，完成识别，得到的结果就是分离的车辆识别代号、发动机号码以及后面具体的数字和字母组成的号码。[0082]本发明实施例行驶证识别方法，通过确定行驶证图像上印章区域的位置，根据印章区域与行驶证双码区域的位置关系，粗定位出行驶证双码区域;接着通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域;在定位得到行驶证双码区域所在的字符行区域之后，按照每一个单个字符所呈形状、以及预设形状规贝1J，将字符行区域进行分割，得到分割后的单个字符图像，最后通过深度字符识别模型，对单个字符图像进行识别，得到行驶证图像对应的行驶证双码区域字符串，完成行驶证识别。通过本发明实施例行驶证识别方法，提高行驶证的识别准确率。[0083]本发明的一种可选的实施例中，确定行驶证图像上印章区域的位置，包括：[0084]首先，检测行驶证图像上的显著性区域，其中，显著性区域包括预设形状且颜色突出的显著性区域。[0085]检测行驶证图像上预设形状且颜色突出的显著性区域，其中，预设形状可以是正方形，因为通过统计观察实际的行驶证可以发现，印章区域一般是正方形，当然，在实际的应用过程中，预设形状还可以是其他的形状，只要是符合印章区域的形状规则，都在本发明实施例的保护范围内。同时，实际应用过程中的行驶证上的印章一般是区别于其他区域黑色的红色，所以在本发明实施例的一种可选的实施方式中，显著性区域即指正方形且红色区域。[0086]然后，利用训练完成的支持向量机分类器，从至少一个显著性区域中，筛选出分类可信度最大的区域为印章区域，其中，支持向量机分类器是根据行驶证图像的颜色直方图特征以及方向梯度直方图特征，训练得到的。[0087]通过上述的检测显著性区域过程，可以得到多个疑似印章区域。从多个疑似印章区域中，进一步找到确定的印章区域，还需要进一步的处理。[0088]本发明实施例中，从多个疑似印章区域中最终定位找到确定的印章区域，通过下面具体的步骤完成，包括：LU089J第一步，提取多尺度的行驶证图像的颜色直方图特征以及方向梯度直方图特征，将该颜色直方图特征以及方向梯度直方图特征，串联作为图像特征。[0090]第一步，通过该图像特征，训练svmSupportVectorMachine，支持向量机）分类器。[0091]第三步，在印章精确定位阶段，利用训练好的svm分类器，对所有的疑似印章区域进行筛选，选取分类可信度最大的区域，作为精确地印章区域位置。[0092]在确定印章区域之后，根据印章区域与行驶证双码区域的位置关系，以及印章区域的位置，粗定位行驶证双码区域，包括：[0093]从预先建立的印章区域与行驶证双码区域的位置关系中，得到印章区域与行驶证双码区域的位置关系。[0094]根据位置关系以及印章区域的位置，粗定位行驶证双码区域。[0095]其中，印章区域与行驶证双码区域的位置关系，即印章区域与行驶证双码区域的相对关系，一般情况下，印章区域与行驶证双码区域的相对关系是确定的，例如，印章区域后多少个像素点是行驶证双码区域，这都是确定的，所以印章区域的位置确定后，根据印章区域与行驶证双码区域的相对关系，即可得到行驶证双码区域的位置。[0096]从上面的描述不难看出，通过印章区域的位置，定位行驶证双码区域的位置，得到的结果只是粗定位的结果。为了更加精确地定位包含行驶证双码区域的字符行区域，还需要更加详细地处理过程，具体的处理过程如下。[0097]通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，包括：[0098]首先，对行驶证双码区域进行水平方向投影，在字符行和字符行间隔区域对应的位置上，分别得到最大像素点灰度值对应的波峰和最小像素点灰度值对应的波谷，对波峰和波谷进行垂直方向投影，粗分离出第一字符行区域。[00"]字符区域存在于行驶证图像上，往往具有明显的纹理或者边缘信息，对粗定位的包含行驶证双码区域的图像，进行水平方向投影，在字符行和字符行间隔区域对应的位置上，可以分别得到最大像素点灰度值对应的波峰和最小像素点灰度值对应的波谷，再然后对波峰和波谷进行垂直方向投影，即可粗略分离出字符行区域。[0100]然后，根据字符与背景的对比度，并利用像素点灰度值变化的极值，确定极值的个数超过预设个数的区域为第二候选字符行区域。[0101]另外，字符区域存在于行驶证图像上，不仅仅具有明显的纹理或者边缘信息，而且与行驶证图像上有很大的对比度，所以在上述的基础上，还可以利用像素点灰度值变化的极值，确定极值的个数超过预设个数的区域为字符行区域。对上述的通过灰度投影得到的字符行区域结果进行进一步的精确。[0102]最后，利用训练完成的字符分类器，从至少一个第二候选字符行区域中，筛选出分类可信度最大的区域为第二字符行区域;其中，字符分类器包括根据图像特征进行训练完成的字符分类器。[0103]通过对大量的行驶证进行人工标记，利用字符特征训练得到字符分类器，进而将上述通过灰度投影以及字符与背景的对比度，得到的字符行区域进行最终的定位。[0104]本发明实施例行驶证识别方法的目的就是为了更加精确地对行驶证进行识别，而定位出行驶证双码图片是其中的重要过程，本发明实施例通过结合灰度投影、字符与背景的对比度以及训练完成的字符分类器，递进地定位行驶证双码区域，使得精确地定位行驶证双码区域，进而为最终精确地行驶证识别提供了重要的基础。[0105]细定位行驶证双码区域，即从行驶证图像中分离出行驶证双码所在的字符行区域，接下来就需要对整个的字符行区域进行分割，得到单个字符图像，具体的，按照每一个单个字符所呈形状、以及预设形状规则，将字符行区域进行分割，得到分割后的单个字符图像，上文已经对该内容进行了详细地介绍，这里就不再赘述。[0106]将字符行区域进行分割，得到分割后的单个字符图像，接下来需要完成的就是最后的识别过程，具体地，在本发明实施例的一种可选的实施例中，通过深度字符识别模型，对单个字符图像进行识别，最终得到行驶证图像对应的行驶证双码字符串，包括：[0107]第一步，分别对每个单个字符图像，通过深度字符识别模型进行识别，返回每个单个字符图像的识别结果以及每个单个字符图像的识别结果对应的单个概率。[0108]第二步，根据单个概率，得到识别整个行驶证图像的整体概率。[0109]第三步，确定整体概率最大时对应的字符串，为行驶证图像对应的行驶证双码字符串。[0110]对通过字符行区域进行分割，得到的所有单个字符图像，进行识别，可以得到每个单个字符图像的识别结果；同时，在识别过程中，对具体的一个单个字符按不同的概率，可以被识别成不同的字符，所以，再返回识别结果的同时，返回将该单个字符的图像识别为具体字符的概率。对每一个单个字符都进行同样的处理，最后可以得到所有单个字符的识别结果、以及识别成对应的字符的概率。然后，将每一个单个字符识别成对应的字符的所有概率，通过运算得到识别整个行驶证图像的整体概率，具体的运算过程可以是简单地将所有的单个概率相加，或者计算所有单个概率的加权和，具体的权重可以在实际的使用过程中，根据需要选取。当然，计算识别整个行驶证图像的整体概率的运算不限于这里所说的这两种方式，任何可以计算出识别整个行驶证图像的整体概率的方式都是允许的。[0112]针对每一个单个字符识别为不同的具体的字符，计算对应的识别整个行驶证图像的整体概率，最终确定整体概率最大时对应的字符串，为行驶证图像对应的行驶证双码字符串，完成整个的行驶证双码的识别过程。[0113]需要说明的是，在实际的识别过程中，不可避免地会出现识别出的字符是行驶证双码在实际中不可能出现的字符，为了使识别结果更加准确，本发明实施例还将对识别结果进行优化。具体地优化过程可以是在对每个单个字符识别之后，即检查是否识别错误;或者也可以在整个识别过程己经完成后，对整个的识别结果进行优化。具体地，在通过深度字符识别模型进行识别，返回每个单个字符图像的识别结果，之后，包括：[0114]检查单个字符图像的识别结果，是否符合行驶证双码的双码规则；[0115]在单个字符图像的识别结果不符合双码规则时，将单个字符图像的识别结果调整为符合双码规则的结果。[0116]比如车辆识别号中，第一个位置代表生产国家或地区代码，只能为123469wtjsklvryz其中之一，如果识别结果不是其中的字符，则说明识别结果有误，则重新识别，对结果进行调优。[0117]同样地，在确定整体概率最大时对应的字符串，为行驶证图像对应的行驶证双码字符串，之后，包括：[0118]检查行驶证双码字符串的结果是否符合双码规则，在行驶证双码字符串的结果不符合双码规则时，重新识别行驶证双码字符串。例如，检查得到的车辆识别号、对应的字符串的识别结果，是否满足具有I7个字符等等，具体的行驶证双码规则是本领域技术人员熟知的技术，这里就不再赘述。[0119]本发明一种可选的实施例中，可以将本发明实施例行驶证识别方法应用于由客户端和后端服务器组成的系统中。客户端基于ios系统开发，用户通过客户端选择具体的工作模式，具体的工作模式可以包括:标准行驶证识别、旋转行驶证识别、行驶证图片的采集以及识别结果显不等模式。后端服务器运行本发明实施例识别方法。如此后端服务器，针对行驶证双码识别场景，进行算法定制，识别精度高，识别速度快;客户端不需要执行具体的计算过程，只需要向后端交付任务，使得客户端轻便，复杂计算交给服务器处理，低功耗。同时，本发明实施例行驶证识别方法易于扩展，便于扩展到其他待识别条目，或者待识别证件。[0120]另外，本发明实施例还提供了一种行驶证识别装置，图2为本发明实施例行驶证识别装置的结构示意图，参照图2对本发明实施例行驶证识别装置进行详细说明。包括：[0121]接收处理模块201，用于接收、并预处理行驶证图像。[0122]确定模块202，用于确定行驶证图像上印章区域的位置。[0123]粗定位模块2〇3,用于根据印章区域与行驶证双码区域的位置关系，以及印章区域的位置，粗定位行驶证双码区域，其中，行驶证双码区域包括车辆识别代号和发动机号码。[0124]细定位模块204,用于通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，其中，细定位经过粗定位的行驶证双码区域包括:从行驶证图像中分离出行驶证双码所在的字符行区域。[0125]分割模块205，用于按照每一个单个字符所呈形状、以及预设形状规则，将字符行区域进行分割，得到分割后的单个字符图像。[0126]识别模块206，用于通过深度字符识别模型，对单个字符图像进行识别，得到行驶证图像对应的行驶证双码字符串。[0127]本发明实施例行驶证识别装置，通过接收处理模块2〇1、确定模块202、粗定位模块203、细定位模块204、分割模块205以及识别模块206,确定行驶证图像上印章区域的位置，根据印章区域与行驶证双码区域的位置关系，粗定位出行驶证双码区域;接着通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域;在定位得到行驶证双码所在的字符行区域之后，按照每一个单个字符所呈形状、以及预设形状规则，将字符行区域进行分割，得到分割后的单个字符图像，最后通过深度字符识别模型，对单个字符图像进行识别，得到行驶证图像对应的行驶证双码字符串，完成行驶证识别，通过本发明实施例行驶证识别装置，提高行驶证的识别准确率。[0128]在本发明实施例一种可选的实施例中，行驶证识别装置中确定模块202,包括：[0129]检测子模块，用于检测行驶证图像上的显著性区域，其中，显著性区域包括预设形状且颜色突出的显著性区域。[0130]筛选子模块，用于利用训练完成的支持向量机分类器，从至少一个显著性区域中，筛选出分类可信度最大的区域为印章区域，其中，支持向量机分类器是根据行驶证图像的颜色直方图特征以及方向梯度直方图特征，训练得到的。[0131]在本发明实施例一种可选的实施例中，行驶证识别装置中粗定位模块203，包括：[0132]第一位置关系得到子模块，用于从预先建立的印章区域与行驶证双码区域的位置关系中，得到印章区域与行驶证双码区域的位置关系。[0133]第一粗定位子模块，用于根据位置关系以及印章区域的位置，粗定位行驶证双码区域。[0134]在本发明实施例一种可选的实施例中，行驶证识别装置中细定位模块204,包括：[0135]粗分离子模块，用于对行驶证双码区域进行水平方向投影，在字符行和字符行间隔区域对应的位置上，分别得到最大像素点灰度值对应的波峰和最小像素点灰度值对应的波谷，对波峰和波谷进行垂直方向投影，粗分离出第一字符行区域。[0136]确定字符行子模块，用于根据字符与背景的对比度，并利用像素点灰度值变化的极值，确定极值的个数超过预设个数的第一字符行区域为第二候选字符行区域。[0137]筛选字符行子模块，用于利用训练完成的字符分类器，从至少一个第二候选字符行区域中，筛选出分类可信度最大的区域为第二字符行区域;其中，字符分类器包括根据图像特征进行训练完成的字符分类器。[0138]在本发明实施例一种可选的实施例中，行驶证识别装置中分割模块205,包括：[0139]第一分割子模块，用于按照长方形规则，将第二字符行区域进行分割，得到数字或者字母对应的单个字符图像。[0140]第二分割子模块，用于按照正方形规则，将第二字符行区域进行分割，得到汉字对应的单个字符图像。[0141]在本发明实施例一种可选的实施例中，行驶证识别装置中识别模块206,包括：[0142]单个结果返回子模块，用于分别对每个单个字符图像，通过深度字符识别模型进行识别，返回每个单个字符图像的识别结果以及每个单个字符图像的识别结果对应的单个概率。[0143]整体概率计算子模块，用于根据单个概率，得到识别整个行驶证图像的整体概率。[0144]结果确定子模块，用于确定整体概率最大时对应的字符串，为行驶证图像对应的行驶证双码字符串。[0145]在本发明实施例一种可选的实施例中，行驶证识别装置还包括：[0146]检查模块，用于检查单个字符图像的识别结果，是否符合行驶证双码的双码规则。[0147]第一调整模块，用于在单个字符图像的识别结果不符合双码规则时，将单个字符图像的识别结果调整为符合双码规则的结果。[0148]第二调整模块，用于检查行驶证双码字符串的结果是否符合双码规则，在行驶证双码字符串的结果不符合双码规则时，重新识别行驶证双码字符串。[0149]在本发明实施例一种可选的实施例中，行驶证识别装置中粗定位模块203,还包括：[0150]摆放位置确定子模块，用于根据印章区域的直线检测的结果，确定行驶证图像的摆放位置。[0151]第二位置关系得到子模块，用于基于摆放位置，对行驶证图像进行版面位置分析，得到印章区域与行驶证双码区域的位置关系。[0152]第二粗定位子模块，用于根据位置关系以及印章区域的位置，粗定位行驶证双码区域。[0153]需要说明的是，本发明矣施例的装置是应用上述彳丁驶证识别方法的装置，则上述行驶证识别方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。[0154]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。[0155]本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。[0156]以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

权利要求：1.一种行驶证识别方法，其特征在于，包括：接收、并预处理行驶证图像；确定所述行驶证图像上印章区域的位置；根据印章区域与行驶证双码区域的位置关系，以及所述印章区域的位置，粗定位行驶证双码区域，其中，所述行驶证双码区域包括车辆识别代号和发动机号码；通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，其中，细定位经过粗定位的行驶证双码区域包括:从行驶证图像中分离出行驶证双码所在的字符行区域；按照每一个单个字符所呈形状、以及预设形状规则，将所述字符行区域进行分割，得到分割后的单个字符图像；通过深度字符识别模型，对所述单个字符图像进行识别，得到所述行驶证图像对应的行驶证双码字符串。2.根据权利要求1所述的行驶证识别方法，其特征在于，所述确定所述行驶证图像上印章区域的位置，包括：检测所述行驶证图像上的显著性区域，其中，所述显著性区域包括预设形状且颜色突出的显著性区域；利用训练完成的支持向量机分类器，从至少一个所述显著性区域中，筛选出分类可信度最大的区域为所述印章区域，其中，所述支持向量机分类器是根据所述行驶证图像的颜色直方图特征以及方向梯度直方图特征，训练得到的。3.根据权利要求2所述的行驶证识别方法，其特征在于，所述根据印章区域与行驶证双码的位置关系，以及所述印章区域的位置，粗定位所述行驶证双码区域，包括：从预先建立的印章区域与行驶证双码区域的位置关系中，得到所述印章区域与行驶证双码区域的位置关系；根据所述位置关系以及所述印章区域的位置，粗定位所述行驶证双码区域。4.根据权利要求3所述的行驶证识别方法，其特征在于，所述通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的所述行驶证双码区域，包括：对所述行驶证双码区域进行水平方向投影，在字符行和字符行间隔区域对应的位置上，分别得到最大像素点灰度值对应的波峰和最小像素点灰度值对应的波谷，对所述波峰和所述波谷进行垂直方向投影，粗分离出第一字符行区域；根据字符与背景的对比度，并利用像素点灰度值变化的极值，确定所述极值的个数超过预设个数的第一字符行区域为第二候选字符行区域；利用训练完成的字符分类器，从至少一个所述第二候选字符行区域中，筛选出分类可信度最大的区域为第二字符行区域;其中，所述字符分类器包括根据图像特征进行训练完成的字符分类器。5.根据权利要求4所述的行驶证识别方法，其特征在于，所述按照每一个单个字符所呈形状、以及预设形状规则，将所述字符行区域进行分割，得到分割后的单个字符图像，包括：按照长方形规则，将所述第二字符行区域进行分割，得到数字或者字母对应的单个字符图像；按照正方形规则，将所述第二字符行区域进行分割，得到汉字对应的单个字符图像。6.根据权利要求1所述的行驶证识别方法，其特征在于，所述通过深度字符识别模型，对所述单个字符图像进行识别，最终得到所述行驶证图像对应的行驶证双码字符串，包括：分别对每个所述单个字符图像，通过所述深度字符识别模型进行识别，返回每个所述单个字符图像的识别结果以及每个所述单个字符图像的识别结果对应的单个概率；根据所述单个概率，得到识别整个所述行驶证图像的整体概率；确定所述整体概率最大时对应的字符串，为所述行驶证图像对应的行驶证双码字符串。7.根据权利要求6所述的行驶证识别方法，其特征在于，在所述通过所述深度字符识别模型进行识别，返回每个所述单个字符图像的识别结果，之后，所述方法还包括：检查所述单个字符图像的识别结果，是否符合行驶证双码的双码规则；在所述单个字符图像的识别结果不符合所述双码规则时，将所述单个字符图像的识别结果调整为符合所述双码规则的结果；在所述确定所述整体概率最大时对应的字符串，为所述行驶证图像对应的行驶证双码字符串，之后，所述方法还包括：检查所述行驶证双码字符串的结果是否符合所述双码规则，在所述行驶证双码字符串的结果不符合所述双码规则时，重新识别所述行驶证双码字符串。8.根据权利要求1所述的行驶证识别方法，其特征在于，所述根据印章区域与行驶证双码区域的位置关系，以及所述印章区域的位置，粗定位所述行驶证双码区域，包括：根据所述印章区域的直线检测的结果，确定所述行驶证图像的摆放位置；基于所述摆放位置，对所述行驶证图像进行版面位置分析，得到所述印章区域与行驶证双码区域的位置关系；根据所述位置关系以及所述印章区域的位置，粗定位所述行驶证双码区域。9.一种行驶证识别装置，其特征在于，包括：接收处理模块，用于接收、并预处理行驶证图像；确定模块，用于确定所述行驶证图像上印章区域的位置；粗定位模块，用于根据印章区域与行驶证双码区域的位置关系，以及所述印章区域的位置，粗定位行驶证双码区域，其中，所述行驶证双码区域包括车辆识别代号和发动机号码；细定位模块，用于通过灰度投影、以及字符的像素点灰度值与背景的对比度，细定位经过粗定位的行驶证双码区域，其中，细定位经过粗定位的行驶证双码区域包括:从行驶证图像中分离出行驶证双码所在的字符行区域；分割模块，用于按照每一个单个字符所呈形状、以及预设形状规则，将所述字符行区域进行分割，得到分割后的单个字符图像；识别模块，用于通过深度字符识别模型，对单个字符图像进行识别，得到行驶证图像对应的行驶证双码字符串。10.根据权利要求9所述的行驶证装置，其特征在于，所述确定模块包括：检测子模块，用于检测行驶证图像上的显著性区域，其中，显著性区域包括预设形状且颜色突出的显著性区域；筛选子模块，用于利用训练完成的支持向量机分类器，从至少一个显著性区域中，筛选出分类可信度最大的区域为印章区域，其中，支持向量机分类器是根据行驶证图像的颜色直方图特征以及方向梯度直方图特征，训练得到的。

百度查询： 北京智元未来科技有限公司 一种行驶证识别方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD