申请/专利权人：辽宁大学

申请日：2019-01-14

公开（公告）日：2023-05-30

公开（公告）号：CN109815948B

主分类号：G06V30/148

分类号：G06V30/148;G06V30/19;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2023.05.30#授权;2019.06.21#实质审查的生效;2019.05.28#公开

摘要：一种复杂场景下的试卷分割算法，其步骤为：1由原始图像通过灰度变换以及边缘检测算法得到图像边缘；2通过图像边缘计算连通区域以及其外接矩形；3根据不同连通区域外接矩形的IOU合并连通区域；4基于卷积神经网络构建字符判别模型，指导连通区域合并，合并后连通区域外接矩形分割字符区域；5利用步骤4分割结果，通过文本线构造法分割文本行区域；6基于卷积神经网络构建题号判别模型，结合步骤5分割结果分割试题区域。本发明提供的分割算法，在复杂场景下的试卷分割任务中具有很好的分割效果，可以很好的把字符区域、文本行区域、试题区域分割出来。

主权项：1.一种复杂场景下的试卷分割算法，其特征在于，其步骤为：1由原始图像通过灰度变换以及边缘检测算法得到图像边缘；2通过图像边缘计算连通区域以及其外接矩形；2.1提取E的连通区域集A,其中A由n个小连通区域Ai组成，即A＝{Ai},i∈[1,n]，且当i≠j时Ai≠Aj；2.2计算Ai的外接矩形Di，记作Di＝FAi，其中Di＝Xi,Yi,Wi,Hi，Xi,Yi,Wi,Hi分别表示Di左上顶点横坐标、左上顶点纵坐标、Di的宽度、Di的高度；3根据不同连通区域外接矩形的IOU合并连通区域；3.1计算Di与Dj的IOU，其中Dj∈{Di|i∈[1,n],i≠j}；3.2设置阀值α，如果IOU＞α，则Di←FAi∪Aj且D←D-{Dj}；4基于卷积神经网络构建字符判别模型，指导连通区域合并，合并后连通区域外接矩形分割字符区域；4.1通过卷积神经网络构建二分类字符判别模型M1；4.2M1判别结果4.3设置参数β，如果R1＝M1Di＝0且K＝{Aj|j∈[1,n],i≠j,Di与Dj中心距离＜β}，则计算R'1＝M1FAi∪K；其中K为：与元素Ai外接矩形Di中心距离β的元素Aj的集合；如果R'1＝0,则D←D-{Di}，否则Di←FAi∪K且D←D-K；5利用步骤4分割结果，通过文本线构造法分割文本行区域；6基于卷积神经网络构建题号判别模型，结合步骤5分割结果分割试题区域；6.1通过卷积神经网络构建二分类题号判别模型M2；6.2M2判别结果6.3按照Yi由小到大排序，以Xi,Yi为左上顶点，取Hi×Hi大小矩形区域记为Ti，计算R2＝M2Ti，如果R2＝1，则合并{Lk|k∈[1,i-1]}且L←L-{Lk|k∈[1,i-1]}，合并结果记为Q。

全文数据：一种复杂场景下的试卷分割算法技术领域本发明属于电子图像分割技术以及卷积神经网络领域，特别涉及一种复杂场景下的试卷分割算法。背景技术随着智慧教育以及人工智能的发展，在诸多应用场景中，移动设备拍摄的试卷图像分割是其中一个关键环节。由于移动设备拍摄场景和角度不固定，图像的尺寸、清晰度、局部曝光程度往往具有不确定性，试卷本身存在手写体打印体混合等复杂场景。目前已经出现了上千种图像分割的方法，但是在复杂场景下的试卷分割任务中，对于字符区域、文本行区域、试题区域分割效果往往难以满足需求。发明内容为了解决上述问题，本发明针对复杂场景下的试卷图像，提供一种能够很好的将字符区域、文本行区域、试题区域分割出来的复杂场景下的试卷分割算法。为了实现上述目的，本发明创造采用的技术方案为：一种复杂场景下的试卷分割算法，其特征在于，其步骤为：1由原始图像通过灰度变换以及边缘检测算法得到图像边缘；2通过图像边缘计算连通区域以及其外接矩形；3根据不同连通区域外接矩形的IOU合并连通区域；4基于卷积神经网络构建字符判别模型，指导连通区域合并，合并后连通区域外接矩形分割字符区域；5利用步骤4分割结果，通过文本线构造法分割文本行区域；6基于卷积神经网络构建题号判别模型，结合步骤5分割结果分割试题区域。所述的步骤1中，具体方法为：1.1将原始图像O通过颜色图像空间转换为灰度图像G；1.2通过边缘检测算法提取G的图像边缘E。所述的步骤2中，具体方法为：2.1提取E的连通区域集A,其中A由n个小连通区域Ai组成，即A＝{Ai},i∈[1,n]，且当i≠j时Ai≠Aj；2.2计算Ai的外接矩形Di，记作Di＝FAi，其中Di＝Xi,Yi,Wi,Hi，Xi,Yi,Wi,Hi分别表示Di左上顶点横坐标、左上顶点纵坐标、Di的宽度、Di的高度。所述的步骤3中，具体方法为：3.1计算Di与Dj的IOU，其中Dj∈{Di|i∈[1,n],i≠j}；3.2设置阀值α，如果IOU＞α，则Di←FAi∪Aj且D←D-{Dj}。所述的步骤4中，具体方法为：4.1通过卷积神经网络构建二分类字符判别模型M1；4.2M1判别结果4.3设置参数β，如果R1＝M1Di＝0且K＝{Aj|j∈[1,n],i≠j,Di与Dj中心距离＜β}，则计算R'1＝M1FAi∪K；其中，K为:与元素Ai外接矩形Di中心距离β的元素Aj的集合；如果R'1＝0,则D←D-{Di}，否则Di←FAi+K且D←D-K。所述的步骤5中，具体方法为：5.1D中每两个相近的元素Di与Dj形成一组，合并不同组直到无法合并为止，将合并结果记为L，即L←D；5.2设置参数γ和δ，Di与Dj形成一组需要DiΘDj且DjΘDi成立，其中DiΘDj需要满足：①Di是D中距离Dj最小元素，且距离小于γ，②Di和Dj的垂直重合度大于δ。所述的步骤6中，具体方法为：6.1通过卷积神经网络构建二分类题号判别模型M2；6.2M2判别结果6.3按照Yi由小到大排序，以Xi,Yi为左上顶点，取Hi×Hi大小矩形区域记为Ti，计算R2＝M2Ti，如果R2＝1，则合并{Lk|k∈[1,i-1]}且L←L-{Lk|k∈[1,i-1]}，合并结果记为Q。本发明创造的有益效果为：本发明提供的基于卷积神经网络的字符判别模型指导连通区域合并以及基于卷积神经网络的题号判别模型划分试题区域的方法，在复杂场景下的试卷分割任务中具有很好的分割效果，可以很好的把字符区域、文本行区域、试题区域分割出来。附图说明图1：本发明创造算法流程图。图2：本发明创造提出的复杂场景下的试卷图像。图3：本发明创造提出的复杂场景下的试卷图像字符区域分割效果图。图4：本发明创造提出的复杂场景下的试卷图像文本行区域分割效果图。图5：本发明创造提出的复杂场景下的试卷图像试题区域分割效果图。具体实施方式1由原始图像通过灰度变换以及边缘检测算法得到图像边缘，具体方法为：1.1将原始图像O通过颜色图像空间转换为灰度图像G；1.2通过边缘检测算法提取G的图像边缘E。2通过图像边缘计算连通区域以及其外接矩形，具体方法为：2.1提取E的连通区域集A,其中A由n个小连通区域Ai组成，即A＝{Ai},i∈[1,n]，且当i≠j时Ai≠Aj；2.2计算Ai的外接矩形Di，记作Di＝FAi，其中Di＝Xi,Yi,Wi,Hi，Xi,Yi,Wi,Hi分别表示Di左上顶点横坐标、左上顶点纵坐标、Di的宽度、Di的高度。3根据不同连通区域外接矩形的IOU合并连通区域，具体方法为：3.1计算Di与Dj的IOU，其中Dj∈{Di|i∈[1,n],i≠j}；3.2设置阀值α，如果IOU＞α，则Di←FAi∪Aj且D←D-{Dj}。4基于卷积神经网络构建字符判别模型，指导连通区域合并，合并后连通区域外接矩形分割字符区域，具体方法为：4.1通过卷积神经网络构建二分类字符判别模型M1；4.2M1判别结果4.3设置参数β，β代表Di与Dj中心允许最大距离，通常设置为10；如果R1＝M1Di＝0且K＝{Aj|j∈[1,n],i≠j,Di与Dj中心距离＜β}，则计算R'1＝M1FAi∪K；其中K为:与元素Ai外接矩形Di中心距离β的元素Aj的集合；如果R'1＝0，则D←D-{Di}，否则Di←FAi∪K且D←D-K。5利用步骤4分割结果，通过文本线构造法分割文本行区域，具体方法为：5.1D中每两个相近的元素Di与Dj形成一组，合并不同组直到无法合并为止，将合并结果记为L，即L←D；5.2设置参数γ和δ，Di与Dj形成一组需要DiΘDj且DjΘDi成立，其中DiΘDj需要满足：①Di是D中距离Dj最小元素，且距离小于γ，②Di和Dj的垂直重合度大于δ。γ代表文本线构造时，Di与Dj之间最小距离的最大值，通常设置为10；δ代表文本线构造时，Di与Dj垂直方向重叠度最小值，通常设置为0.7；6基于卷积神经网络构建题号判别模型，结合步骤5分割结果分割试题区域，具体方法为：6.1通过卷积神经网络构建二分类题号判别模型M2；6.2M2判别结果6.3按照Yi由小到大排序，以Xi,Yi为左上顶点，取Hi×Hi大小矩形区域记为Ti，计算R2＝M2Ti，如果R2＝1，则合并{Lk|k∈[1,i-1]}且L←L-{Lk|k∈[1,i-1]}，合并结果记为Q。实施例1：下面结合附图对本发明作进一步描述。以下实施仅用于更加清楚的说明本发明的技术方案，而不能以此来限制本发明的保护范围。图2为本发明提出的复杂场景下的试卷图像，经过灰度变换以及边缘检测算法得到图像边缘；通过图像边缘计算连通区域以及其外接矩形；根据不同连通区域外接矩形的IOU合并连通区域；基于卷积神经网络构建字符判别模型，指导连通区域合并，合并后连通区域外接矩形分割字符区域；利用字符区域分割结果通过文本线构造法分割文本行区域；基于卷积神经网络构建题号判别模型，结合文本行分割结果分割试题区域。本发明提出的复杂场景下的试卷图像分割算法流程图如图1所示，该算法具体实施包括以下步骤：步骤一：将图2通过颜色图像空间转换为灰度图像G；然后通过Canny算法提取G的边缘，生成图像边缘E。步骤二：提取步骤一结果E的连通区域集A，其中A由n个小连通区域Ai组成，即A＝{Ai},i∈[1,n]，且当i≠j时Ai≠Aj；计算Ai的外接矩形Di即Di＝FAi，其中Di＝Xi,Yi,Wi,Hi，Xi,Yi,Wi,Hi分别表示Di左上顶点横坐标、左上顶点纵坐标、Di的宽度、Di的高度。步骤三：计算Di与Dj的IOU，其中Dj∈{Di|i∈[1,n],i≠j}；[且修改为，]设置阀值α＝0.5，如果IOU＞α，则Di←FAi∪Aj且D←D-{Dj}。步骤四：通过卷积神经网络构建二分类字符判别模型M1；M1由三个卷积池化组加一个全连接层和softmax分类器组成；其中一个卷积池化组按照序列顺序由一个5×5卷积层，步长设置为1，padding设置为2、一个BN层、一个RELU激活层、一个3×3卷积层，步长设置为1，padding设置为1、一个BN层、一个RELU激活层、一个2×2最大池化层组成；三个卷积池化组中第一组16通道，第二组32通道，第三组64通道；softmax分类器分为0,1两类表示非字符，字符。M1所有参数采用正态分布初始化，学习率设置为0.001，训练轮数设置为10，采用Adam优化器，损失函数为其中px表示模型预测值，qx表示数据标签值；M1输入为单通道48×48像素大小图像，训练集采用楷体、宋体、微软雅黑、TimesNewRoman字体库随机生成20000张48×48像素大小打印体字符图像，同时在HWDB1.1数据集中随机抽取20000张手写字符图像标准化为48×48像素大小，共计40000张字符图像，将这40000张图像随机扣除部分区域，生成40000张非字符图像，将40000张字符图片以及40000张非字符图片采用步骤一的方式进行处理后，用于M1训练。设置参数β＝10，如果R1＝M1Di＝0且K＝{Aj|j∈[1,n],i≠j,Di与Dj中心距离＜β}，则计算R'1＝M1FAi∪K，如果R'1＝0,则D←D-{Di}，否则Di←FAi∪K且D←D-K，即可生成字符区域分割图像，如图3所示。步骤五：将D中每两个相近的元素Di与Dj形成一组，合并不同组直到无法合并为止，将合并结果记为L，即L←D，即可生成文本行区域分割图像，如图4所示；其中，设置参数γ＝10和δ＝0.7，Di与Dj形成一组需要DiΘDj且DjΘDi成立，其中DiΘDj需要满足：①Di是D中距离Dj最小元素，且距离小于γ，②Di和Dj的垂直重合度大于δ；步骤六：通过卷积神经网络构建二分类题号判别模型M2；M2由两个卷积池化组加一个全连接层和softmax分类器组成；其中一个卷积池化组按照序列顺序由一个3×3卷积层，步长设置为1，padding设置为1、一个BN层、一个RELU激活层、一个3×3卷积层，步长设置为1，padding设置为1、一个BN层、一个RELU激活层、一个2×2最大池化层组成；两个卷积池化组中第一组32通道，第二组64通道；softmax分类器分为0,1两类表示非题号，题号。M2所有参数采用均匀分布初始化，学习率设置为0.001，训练轮数设置为50，采用Adam优化器，损失函数为其中px表示模型预测值，qx表示数据标签值；模型输入为单通道48×48像素大小图像，训练集采用楷体、宋体、微软雅黑、TimesNewRoman字体库生成6000张48×48像素大小题号字符图像，题号包括中文题号、英文题号、数字题号，同时随机生成6000张48×48像素大小非题号字符图像，将所生成的12000张图像采用步骤一的方式进行处理后，用于M2训练；按照Yi由小到大排序，以Xi,Yi为左上顶点，取Hi×Hi大小矩形区域记为Ti，计算R2＝M2Ti，如果R2＝1，则合并{Lk|k∈[1,i-1]}且L←L-{Lk|k∈[1,i-1]}，合并结果记为Q，即可生成试题分割区域，如图5所示。

权利要求：1.一种复杂场景下的试卷分割算法，其特征在于，其步骤为：1由原始图像通过灰度变换以及边缘检测算法得到图像边缘；2通过图像边缘计算连通区域以及其外接矩形；3根据不同连通区域外接矩形的IOU合并连通区域；4基于卷积神经网络构建字符判别模型，指导连通区域合并，合并后连通区域外接矩形分割字符区域；5利用步骤4分割结果，通过文本线构造法分割文本行区域；6基于卷积神经网络构建题号判别模型，结合步骤5分割结果分割试题区域。2.根据权利要求1所述的一种复杂场景下的试卷分割算法，其特征在于：所述的步骤1中，具体方法为：1.1将原始图像O通过颜色图像空间转换为灰度图像G；1.2通过边缘检测算法提取G的图像边缘E。3.根据权利要求1所述的一种复杂场景下的试卷分割算法，其特征在于：所述的步骤2中，具体方法为：2.1提取E的连通区域集A，其中A由n个小连通区域Ai组成，即A＝{Ai},i∈[1,n]，且当i≠j时Ai≠Aj；2.2计算Ai的外接矩形Di，记作Di＝FAi，其中Di＝Xi,Yi,Wi,Hi，Xi,Yi,Wi,Hi分别表示Di左上顶点横坐标、左上顶点纵坐标、Di的宽度、Di的高度。4.根据权利要求1所述的一种复杂场景下的试卷分割算法，其特征在于：所述的步骤3中，具体方法为：3.1计算Di与Dj的IOU，其中Dj∈{Di|i∈[1,n],i≠j}；3.2设置阀值α，如果IOU＞α，则Di←FAi∪Aj且D←D-{Dj}。5.根据权利要求1所述的一种复杂场景下的试卷分割算法，其特征在于：所述的步骤4中，具体方法为：4.1通过卷积神经网络构建二分类字符判别模型M1；4.2M1判别结果4.3设置参数β，如果R1＝M1Di＝0且K＝{Aj|j∈[1,n],i≠j,Di与Dj中心距离＜β}，则计算R'1＝M1FAi∪K；我中K为：与元素Ai外接矩形Di中心距离β的元素Aj的集合；如果R'1＝0,则D←D-{Di}，否则Di←FAi∪K且D←D-K。6.根据权利要求1所述的一种复杂场景下的试卷分割算法，其特征在于：所述的步骤5中，具体方法为：5.1D中每两个相近的元素Di与Dj形成一组，合并不同组直到无法合并为止，将合并结果记为L，即L←D；5.2设置参数γ和δ，Di与Dj形成一组需要DiΘDj且DjΘDi成立，其中DiΘDj需要满足：①Di是D中距离Dj最小元素，且距离小于γ，②Di和Dj的垂直重合度大于δ。7.根据权利要求1所述的一种复杂场景下的试卷分割算法，其特征在于：所述的步骤6中，具体方法为：6.1通过卷积神经网络构建二分类题号判别模型M2；6.2M2判别结果6.3按照Yi由小到大排序，以Xi,Yi为左上顶点，取Hi×Hi大小矩形区域记为Ti，计算R2＝M2Ti，如果R2＝1，则合并{Lk|k∈[1,i-1]}且L←L-{Lk|k∈[1,i-1]}，合并结果记为Q。

百度查询： 辽宁大学 一种复杂场景下的试卷分割算法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD