申请/专利权人：北京交通大学;赛尔网络有限公司

申请日：2020-03-17

公开（公告）日：2024-04-09

公开（公告）号：CN111460927B

主分类号：G06V30/412

分类号：G06V30/412;G06V30/413;G06V30/14;G06T7/11;G06T7/136

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2020.08.21#实质审查的生效;2020.07.28#公开

摘要：本发明提供了一种对带表格的图像进行结构化信息提取的方法。该方法包括：提取带表格的图像中的表格区域，对表格区域进行单元格分割；对单元格进行文本行检测和归类；对文本行进行单字分割并识别单字内容，拼接得到文本行内容，根据所述文本行的内容和所述表格区域的单元格分割结果得到所述带表格的图像中的结构化信息。本发明实施例的方法可以有效地提取出房产证图像等带表格的图像中的表格区域、文本行中的单字以及结构化信息。本发明可以帮助人们在进行二手房交易、房产证抵押、贷款买车、落户、适龄儿童入学、出国旅游办签证等行为时，实现自动化的业务流程。

主权项：1.一种对带表格的图像进行结构化信息提取的方法，其特征在于，包括：提取带表格的图像中的表格区域，对表格区域进行单元格分割；对单元格进行文本行检测和归类；对文本行进行单字分割并识别单字内容，拼接得到文本行内容，根据所述文本行内容和所述表格区域的单元格分割结果得到所述带表格的图像中的结构化信息；所述的提取带表格的图像中的表格区域，包括：对带表格的图像进行灰度化处理，得到灰度图像，取灰度图像中的所有像素点的灰度值的平均值作为阈值T，将灰度图像中的灰度值大于阈值T的像素值设为1，灰度值小于或者等于阈值T的像素值设为0，对所述灰度图像进行二值化处理，得到二值化后的图像；使用开运算分别提取二值化后的图像中的横向表格线和纵向表格线，将横向表格线和纵向表格线叠加得到交叉横纵线条，提取横纵线条的交点，找到包围所有交点的最小轮廓区域，根据其形状和大小判断此最小轮廓区域是否为表格，如果是表格区域，则将该表格区域从带表格的图像上裁剪下来，得到表格区域；所述的对表格区域进行单元格分割，包括：将一个表格区域中所有的表格线交点对应的横坐标存储于列表X中，对应的纵坐标存储于列表Y中，取列表X中的每一个横坐标点，对表格区域纵切，得到若干个纵列；再取列表Y中的每一个纵坐标点，对每个纵列进行横切，得到若干个单元格；将单元格存储为子图，子图以单元格所在行数row和列数col命名，如果单元格的宽度或者高度小于某个阈值，则认为其不是单元格，获得并记录每个单元格图像在带表格的图像中的位置坐标信息，该位置坐标信息包括单元格图像的左上顶点与右下顶点的坐标信息；所述的对单元格进行文本行检测和归类包括：根据每个文本行图像的左上顶点与右下顶点在带表格的图像中的位置坐标得到文本行的矩形边界框，其中i为序号，使用Faster-RCNN目标检测方法训练得到检测模型，再利用检测模型对单元格的矩形边界框进行全版面文本行检测，得到单元格中包含的所有文本行；对检测到的文本行进行单元格归类，如果第i个文本行全部位于第j个单元格内部或者第i个文本行位于第j个单元格内的面积大于第i个文本行面积的一部分，即满足下式： 则将第i个文本行归类于第j个单元格，即其中，texti为第i个文本行，cellj为第j个单元格，TEXT为检测到的文本行集合，CELL为分割得到的单元格集合，λ为比例因子；所述的对文本行进行单字分割并识别单字内容，拼接得到文本行内容，包括：将文本行从带表格的图像上切割下来，对文本行进行灰度化与二值化处理，使用MSER获得初步的单字区域，再使用NMS过滤重叠的矩形框，假设过滤后剩余n个矩形框，根据第i个小矩形框的左上顶点坐标与右下顶点坐标计算第i个矩形框的中心点坐标高hi与宽wi； 将所有矩形框的中心点拟合到一条直线上，由每个矩形框的中心点坐标构建一条线性回归线，求得如下线性回归式，其中a为直线的斜率，b为直线的截距，k为未知数； 计算所有矩形框的中心点坐标的平均值xmean，ymean，则上述线性回归式S3-3必过均值点，即满足式S3-5； ymean＝a*xmean+bS3-5接下来计算a和b两个未知数，假设直线斜率a存在； b＝ymean-a*xmeanS3-7如果满足条件，则直线斜率a存在，按照上述方法计算，否则，直线斜率a不存在，按照式S3-8计算；k＝xmeanS3-8计算出线性回归线之后，将所有矩形框的中心点投影到线性回归线上，计算出各个矩形框的新的中心点坐标分为以下三种情况考虑：①直线斜率a存在且a≠0：已知线性回归线y＝a*x+b的斜率为a，则与其垂直的直线的斜率为且经过点那么设这条垂线为： 式S3-3与式S3-9的交点即为所求，即： ②直线斜率a存在且a＝0：已知线性回归线为y＝b，则与其垂直的直线的斜率不存在，且经过点那么这条垂线为： 那么③直线斜率不存在：已知线性回归线为x＝k，则与其垂直的直线的斜率为0，且经过点那么这条垂线为： 那么得到所有矩形框的新的中心点坐标之后，对所有矩形框的宽与高正规化，计算所有矩形框的宽与高的平均值wmean，hmean： 计算矩形框的新的左上顶点坐标与右下顶点坐标 将所有正规化后的矩形框分割下来，使用了LeNet深度卷积网络识别出矩形框中的单字信息；所述的根据所述文本行的内容和所述表格区域的单元格分割结果得到所述带表格的图像中的结构化信息，包括：将文本行中所有矩形框的单字信息按从左至右的顺序进行拼接，得到此文本行的识别结果，根据文本行与单元格的归类关系，得到单元格内所有文本行的识别结果，再根据单元格所在的区域、行数与列数对单元格内所有文本行的识别结果进行结构化处理，得到所述带表格的图像的结构化信息。

全文数据：

权利要求：

百度查询： 北京交通大学;赛尔网络有限公司 对房产证图像进行结构化信息提取的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD