申请/专利权人：西安电子科技大学;陕西康虹交通科技有限公司;西安品码电子科技有限公司

申请日：2019-01-30

公开（公告）日：2022-09-20

公开（公告）号：CN109829856B

主分类号：G06T3/40

分类号：G06T3/40;G06T7/80;G06T7/00;G06V10/46;G01N21/88

优先权：

专利状态码：有效-授权

法律状态：2022.09.20#授权;2019.06.25#实质审查的生效;2019.05.31#公开

摘要：本发明公开了一种桥梁裂缝信息融合方法，主要解决现有的图像拼接算法对桥梁裂缝信息融合准确性差的问题；其实现方案是：获取桥梁裂缝检测标注图像；检测图像特征点并匹配特征点；根据图像匹配特征点计算图像的相机内参矩阵和旋转矩阵，并对图像做投影变换；对投影变换图像做曝光补偿及多频带融合得到拼接图像；提取拼接图像的裂缝位置坐标；细化裂缝并对裂缝分条，获取裂缝数量、长度信息；计算拼接前后坐标对应关系，获取裂缝宽度信息。本发明通过图像处理技术对桥梁裂缝检测标注图像进行图像拼接以及裂缝数量、长度、宽度的信息融合，能够提取经过图像拼接后的桥梁裂缝信息，且实用性强，准确性和可靠性高，可用于对各类桥梁裂缝的检测。

主权项：1.一种桥梁裂缝信息融合方法，其特征在于，包括如下：1获取桥梁裂缝检测标注图像：计算机读取一组经过桥梁裂缝检测的桥梁图像，得到裂缝位置和裂缝宽度，利用图像的RGB三个通道先在每幅图像裂缝点处及其周围五个像素点范围内进行标注，即在R通道赋该裂缝点对应宽度值，在G通道赋0，在B通道赋255；再在每幅图像的中点处给R通道赋255，G通道赋0，B通道赋0，作为中点标记点；2检测图像特征点及匹配特征点：2a将每幅标注图像按照输入图像数量开方的倍数缩小，并计算每幅缩小后图像的特征点及特征点描述子；2b根据特征点及特征点描述子，获取每两幅缩小后图像的匹配特征点对，根据匹配特征点对，计算每两幅缩小后图像的单应性矩阵与置信度；2c保留置信度高于设定阈值l＝1的缩小后图像，并根据置信度的高低确定保留图像的拼接顺序，得到n组匹配图像对；3计算及矫正图像的相机内参矩阵和旋转矩阵：3a根据单应性矩阵，计算所有匹配图像的整体相机焦距fu，并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri，i＝1,...,n；3b利用误差指标函数矫正相机内参矩阵和旋转矩阵；4图像投影变换：即根据旋转矩阵，将每幅匹配图像作波形矫正；根据相机内参矩阵和旋转矩阵，将每幅匹配图像作正向映射，再作反向映射，得到投影变换图像；5图像曝光补偿及多频带融合：5a计算每幅投影变换图像的增益系数，得到曝光补偿图像；5b搜索每相邻两幅曝光补偿图像的重叠区域的最佳接缝线，接缝线两侧选择各自对应的图像部分，得到融合图像；5c对每幅融合图像做金字塔变换，得到拼接图像；6拼接图像提取裂缝位置坐标：6a计算投影变换图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为投影变换裂缝点，记录投影变换裂缝点坐标；6b计算拼接图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为拼接裂缝点，记录投影变换裂缝点坐标并将其置为1，将其余点置为0，得到裂缝图像；7细化裂缝并分条，获取裂缝数量、长度信息：7a遍历拼接裂缝点，细化裂缝图像中的裂缝，搜索裂缝起始点及其对应的裂缝连续点，得到分条裂缝；7b统计裂缝条数得到裂缝数量，统计每条裂缝的裂缝点数得到裂缝长度；8计算拼接前后坐标对应关系，获取裂缝宽度信息：8a在投影变换图像和拼接图像中分别提取中点标记点坐标，计算坐标偏移量，根据坐标偏移量，计算裂缝骨架点在投影变换图像中的对应位置；8b搜索对应位置处距离最近的投影变换裂缝点并提取宽度值，计算每条裂缝平均宽度，完成对桥梁信息的融合。

全文数据：一种桥梁裂缝信息融合方法技术领域本发明属于测试技术领域，特别涉及一种信息融合方法，可用于桥梁裂缝的检测。背景技术对于桥梁裂缝检测，其方法正在由手工检测向图像自动化检测转变。目前，出现许多自动化裂缝检测算法，可以对摄像机拍摄的桥梁表面图像中存在的裂缝进行检测，测量得到裂缝的位置、数量、长度、宽度等信息。但是，自动化桥梁检测存在的一个问题是摄像机拍摄范围有限，检测结果大多是局部的，难以对桥梁某一完整结构区域作病害评估。因此，需要对桥梁某一完整结构区域拍摄多组图像，进行图像拼接与信息融合，得到全局裂缝检测结果，从而更好的评估桥梁表面病害程度。现阶段，图像拼接主要由图像配准和图像融合这两个部分组成，其中：所述图像配准分为两大类：基于灰度的模板匹配和基于轮廓的特征匹配。基于灰度的模板匹配方法较简单、速度较快，但准确性较低，当待匹配图像存在较大的噪声和灰度差异时很难获得成功，但由于其直接、易实现的特性，仍被广泛采用。基于轮廓的特征匹配方法准确性较高，但速度较慢，要求待匹配图像具有较明显的轮廓特征。基于轮廓的特征匹配的常用算法有三种：尺度不变特征变换SIFT算法、稳定特征加速SURF算法、角点检测与特征描述ORB算法。这三种算法随着精度依次递减而速度依次增加，采用SURF或ORB算法可以提高处理速度，但在匹配精度上有所下降。所述图像融合分为两大类：空间域融合和变换域融合。空间域融合方法速度较快，实现简单，但噪声干扰较多，容易出现接缝线或重影现象，融合效果较差。变换域融合方法可以针对不自然的现象进行处理，得到较完整真实的结果，融合效果较好，但运算较复杂，速度较慢。图像融合方法主要针对图像表面的轮廓融合，没有考虑图像内部的信息融合，且像素坐标和像素值要经过复杂处理，导致难以推导融合前后图像内部的信息对应关系，给裂缝信息融合造成困难。综上，目前提出的许多图像拼接方法，大都存在拼接质量与速度难以兼容，实际拼接结果不自然和准确性低的问题，且没有准确快速的融合图像内部信息的方法，影响桥梁裂缝检测的实际应用。发明内容本发明的目的在于针对上述现有技术的不足，提出一种桥梁裂缝信息融合方法，以提高桥梁图像拼接的准确性，实现对桥梁裂缝信息的快速融合。为实现上述目的，本发明采取的技术方案包括如下：1获取桥梁裂缝检测标注图像：计算机读取一组经过桥梁裂缝检测的桥梁图像，得到裂缝位置和裂缝宽度，利用图像的RGB三个通道先在每幅图像裂缝点处及其周围五个像素点范围内进行标注，即在R通道赋该裂缝点对应宽度值，在G通道赋0，在B通道赋255；再在每幅图像的中点处给R通道赋255，G通道赋0，B通道赋0，作为中点标记点；2检测图像特征点及匹配特征点：2a将每幅标注图像按照输入图像数量开方的倍数缩小，并计算每幅缩小后图像的特征点及特征点描述子；2b根据特征点及特征点描述子，获取每两幅缩小后图像的匹配特征点对，根据匹配特征点对，计算每两幅缩小后图像的单应性矩阵与置信度；2c保留置信度高于设定阈值l＝1的缩小后图像，并根据置信度的高低确定保留图像的拼接顺序，得到n组匹配图像对；3计算及矫正图像的相机内参矩阵和旋转矩阵：3a根据单应性矩阵，计算所有匹配图像的整体相机焦距fu，并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri，i＝1,...,n；3b利用误差指标函数矫正相机内参矩阵和旋转矩阵；4图像投影变换：即根据旋转矩阵，将每幅匹配图像作波形矫正；根据相机内参矩阵和旋转矩阵，将每幅匹配图像作正向映射，再作反向映射，得到投影变换图像；5图像曝光补偿及多频带融合：5a计算每幅投影变换图像的增益系数，得到曝光补偿图像；5b搜索每相邻两幅曝光补偿图像的重叠区域的最佳接缝线，接缝线两侧选择各自对应的图像部分，得到融合图像；5c对每幅融合图像做金字塔变换，得到拼接图像；6拼接图像提取裂缝位置坐标：6a计算投影变换图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为投影变换裂缝点，记录投影变换裂缝点坐标；6b计算拼接图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为拼接裂缝点，记录投影变换裂缝点坐标并将其置为1，将其余点置为0，得到裂缝图像；7细化裂缝并分条，获取裂缝数量、长度信息：7a遍历拼接裂缝点，细化裂缝图像中的裂缝，搜索裂缝起始点及其对应的裂缝连续点，得到分条裂缝；7b统计裂缝条数得到裂缝数量，统计每条裂缝的裂缝点数得到裂缝长度；8计算拼接前后坐标对应关系，获取裂缝宽度信息：8a在投影变换图像和拼接图像中分别提取中点标记点坐标，计算坐标偏移量，根据坐标偏移量，计算裂缝骨架点在投影变换图像中的对应位置；8b搜索对应位置处距离最近的投影变换裂缝点并提取宽度值，计算每条裂缝平均宽度，完成对桥梁信息的融合。本发明与现有技术相比，具有以下优点：第一、由于本发明在图像拼接中不仅实现图像坐标变换，还加入曝光补偿及多频带融合对图像像素值进行处理，增强在视觉上的图像拼接效果，不会出现明显的拼接痕迹及色调不均匀的情况，使得最终的拼接图像更真实完整。第二、由于本发明在图像拼接基础上进行桥梁裂缝融合，不仅能够准确融合多幅桥梁裂缝检测结果图像，而且能够快速融合桥梁裂缝检测结果图像中包含的裂缝信息，使得桥梁裂缝信息在经过图像拼接之后能够提取出来，弥补了桥梁裂缝检测在实际应用时难以统计裂缝信息的缺陷。附图说明图1为本发明的实现流程图；图2为本发明的仿真结果图。具体实施方式下面结合附图对本发明的实施例和效果作进一步阐述。参照图1，本发明的具体实现如下：步骤1.获取桥梁裂缝检测标注图像。计算机读取一组经过桥梁裂缝检测的桥梁图像，得到裂缝位置和裂缝宽度，利用图像的RGB三个通道先在每幅图像裂缝点处及其周围五个像素点范围内进行标注，即在R通道赋该裂缝点对应宽度值，在G通道赋0，在B通道赋255；再在每幅图像的中点处给R通道赋255，G通道赋0，B通道赋0，作为中点标记点。步骤2.检测图像特征点及匹配特征点，获得n组匹配图像对。2a将每幅标注图像按照输入图像数量开方的倍数缩小，并计算每幅缩小后图像的特征点及特征点描述子：现有的计算每幅缩小后图像的特征点及特征点描述子的算法有：尺度不变特征变换SIFT算法、稳定特征加速SURF算法、角点检测与特征描述ORB算法计算，本实例中采用但不限于尺度不变特征变换SIFT算法实现对每幅缩小后图像的特征点及特征点描述子的计算；2b根据特征点及特征点描述子，获取每两幅缩小后图像的匹配特征点对，根据匹配特征点对，计算每两幅缩小后图像的单应性矩阵与置信度：2b1对k幅缩小后图像，根据第i幅和第j幅缩小后图像的特征点描述子，计算第i幅和第j幅缩小后图像中的两个特征点之间的欧式距离，i＝1,...,k，j＝1,...,k，j≠i：其中，a表示第i幅缩小后图像中的特征点，b、c表示第j幅缩小后图像中与a的欧氏距离最近的两个特征点；Lijab表示a与b的欧式距离，Lijac表示a与c的欧式距离，x1,...,x128为a的特征点描述子，y1,...,y128为b的特征点描述子，z1,...,z128为c的特征点描述子；2b2设定匹配阈值ρ＝0.2，使用最近邻算法判断a与b是否为匹配特征点对：若LijabLijac＜1-ρ，且Lijab＜Lijac，则a与b是匹配特征点对，否则，a与b不是匹配特征点对；2b3随机抽取第i幅和第j幅缩小后图像的4对匹配特征点对，且其中任意3个匹配特征点不共线，计算第i幅和第j幅缩小后图像的单应性矩阵Hij：Hij＝Pji*Pij-1，其中，Pij表示第i幅缩小后图像中的匹配特征点坐标矩阵，Pji表示第j幅缩小后图像中的匹配特征点坐标矩阵；2b4计算第i幅和第j幅缩小后图像的所有匹配特征点对的重映射误差dij：dij＝||Pji-Hij*Pij||；2b5设定内点阈值η＝0.8，判断匹配特征点对是否为内点对：若dij＜η，则匹配特征点对为内点对，否则，匹配特征点对为外点对；2b6分别统计第i幅和第j幅缩小后图像的内点对数量Lij与外点对数量Fij；2b7计算最大迭代次数Nij：Nij＝log1-qlog[1-1-εijS]，其中，q＝0.5表示设定抽取概率，εij＝FijLij+Fij表示外点对数与匹配特征点对数的比例，S＝4表示随机抽取数量；2b8重复2b3-2b6共Nij次；2b9根据第i幅和第j幅缩小后图像的内点对，按照2b3公式重新计算第i幅和第j幅缩小后图像的单应性矩阵Hij；2b10根据内点对数量Lij与外点对数量Fij，计算第i幅和第j幅缩小后图像的置信度cij：cij＝Lij8.0+0.3*Fij；2c保留置信度高于设定阈值l＝1的缩小后图像，并根据置信度的高低确定保留图像的拼接顺序，得到n组匹配图像对。步骤3.计算及矫正图像的相机内参矩阵和旋转矩阵。3a根据单应性矩阵，计算所有匹配图像的整体相机焦距fu，并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri，i＝1,...,n：3a1对n组匹配图像对，根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij，分别计算第i幅匹配图像的两个焦距参数fai和fbi，i＝1,...,n，j＝1,...,n，j≠i：其中，h1ij-h9ij表示单应性矩阵Hij的9个数值；3a2根据第i幅匹配图像的两个焦距参数fai和fbi，计算第i幅匹配图像的相机焦距fi：3a3根据第i幅匹配图像的相机焦距fi，计算所有匹配图像的整体相机焦距fu：3a4根据所有匹配图像的整体相机焦距fu，第i幅匹配图像的两个焦距参数fai和fbi，分别计算第i幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri：其中，xi,yi表示第i幅匹配图像的中点坐标；3b利用误差指标函数矫正相机内参矩阵和旋转矩阵：现有的误差指标函数矫正方法有：重映射误差指标函数矫正方法、射线发散误差指标函数矫正方法，本实例中采用但不限于重映射误差指标函数矫正方法，其实现如下：3b1对n组匹配图像对，根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij，计算第i幅匹配图像的重映射误差eih，i＝1,...,n，j＝1,...,n，j≠i：eih＝||hj-Hij*hi||，其中，hi表示第i幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量，hj表示第j幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量；3b2根据第i幅匹配图像的重映射误差eih，计算所有匹配图像的最小重映射误差指标E：步骤4.图像投影变换。根据旋转矩阵，将每幅匹配图像作波形矫正；根据相机内参矩阵和旋转矩阵，将每幅匹配图像作正向映射，再作反向映射，得到投影变换图像：现有的图像正向映射和反向映射方法有：平面投影映射方法、柱面投影映射方法、球面投影映射方法、鱼眼投影映射方法，本实例中采用但不限于柱面投影映射方法实现对每幅匹配图像的映射。步骤5.图像曝光补偿及多频带融合。5a计算每幅投影变换图像的增益系数，得到曝光补偿图像：现有的图像曝光补偿方法有：增益补偿方法、分块增益补偿方法，本实例采用但不限于分块增益补偿方法，其实现如下：5a1将n幅投影变换图像每幅平均分成32*32大小的m块，计算第i幅投影变换图像的第m块最小增益系数ezi，i＝1,...,n，z＝1,...,m：其中，Nij表示第i幅投影变换图像与第j幅投影变换图像的重叠区域的像素点数，Iij表示第i幅投影变换图像在第j幅投影变换图像的重叠区域的强度平均值，gi表示第i幅投影变换图像的增益系数，gj表示第j幅投影变换图像的增益系数，σN＝10表示误差标准差，σg＝0.1表示增益标准差；5a2通过分割线性滤波对第i幅投影变换图像的第m块最小增益系数ezi进行平滑；5a3将第i幅投影变换图像的第m块乘上平滑后的最小增益系数，得到曝光补偿图像；5b搜索每相邻两幅曝光补偿图像的重叠区域的最佳接缝线，接缝线两侧选择各自对应的图像部分，得到融合图像：现有的图像最佳接缝线搜索算法有：逐点搜索算法、法动态规划搜索算法、最大流图割搜索算法，本实例中采用但不限于最大流图割搜索算法实现对每相邻两幅曝光补偿图像的重叠区域的最佳接缝线的搜索；5c对每幅融合图像做金字塔变换，得到拼接图像：现有的图像融合算法有：羽化融合算法、多频带融合算法，本实例采用但不限于多频带融合算法，其实现如下：5c1对n幅融合图像，分别建立第i幅融合图像的多层拉普拉斯图像，记为融合图像的拉普拉斯金字塔Yi，i＝1,...,n；5c2将每相邻两幅融合图像重叠区域的拉普拉斯金字塔进行合并，得到多层合并后的图像，记为合并金字塔Z：Z＝YI1*w1+YI2*w2w1+w2，其中，YI1表示重叠区域接缝线左侧部分的拉普拉斯金字塔，w1表示YI1的权值，YI2表示重叠区域接缝线右侧部分的拉普拉斯金字塔，w2表示YI2的权值；5c3将合并金字塔Z做逆拉普拉斯变换，得到多层变换后的图像，取最底层的变换后图像作为拼接图像。步骤6.拼接图像提取裂缝位置坐标。6a计算投影变换图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为投影变换裂缝点，记录投影变换裂缝点坐标；6b计算拼接图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为拼接裂缝点，记录投影变换裂缝点坐标并将其置为1，将其余点置为0，得到裂缝图像。步骤7.细化裂缝并分条，获取裂缝数量、长度信息。7a遍历拼接裂缝点，细化裂缝图像中的裂缝，搜索裂缝起始点及其对应的裂缝连续点，得到分条裂缝：现有的图像裂缝细化算法有：Hilditch细化算法、Deutch细化算法、索引表细化算法，本实例采用但不限于索引表细化算法，其实现如下：7a1遍历裂缝图像中的拼接裂缝点，计算拼接裂缝点八邻域内的像素点ri的加权和A，i＝1,...,8：A＝r1+8*r2+64*r3+2*r4+16+128*r5+4*r6+32*r7+256*r8；7a2根据索引表细化算法中的细化索引表，获取像素点加权和A对应的索引值γ，判断拼接裂缝点是否可以保留：若γ＝0，则不保留拼接裂缝点，即将拼接裂缝点置为0，否则，保留拼接裂缝点，得到裂缝骨架点；7a3统计每个裂缝骨架点八邻域内的裂缝骨架点个数qi，i＝1,2,...，判断裂缝骨架点是否是裂缝起始点：若qi＝1，则裂缝骨架点是裂缝起始点，记录该裂缝起始点坐标，否则，裂缝骨架点不是裂缝起始点；7a4遍历裂缝起始点，将当前裂缝起始点作为第1搜索点，并将该第1搜索点置为0；7a5统计第i搜索点八邻域内的裂缝骨架点个数pi，i＝1,2,...，判断第i搜索点八邻域内是否有裂缝连续点：若pi＝0，则第i搜索点八邻域内无裂缝连续点，若pi＝1，则第i搜索点八邻域内有1个裂缝连续点，记录该裂缝连续点坐标，将该裂缝连续点置为0，并将该裂缝连续点作为第i+1搜索点；若pi＝2，则第i搜索点八邻域内有2个裂缝连续点，记录该2个裂缝连续点坐标，将该2个裂缝连续点都置为0，并将该2个裂缝连续点分别作为第i+1搜索点和第i+2搜索点；7a6重复7a4-7a5，直到裂缝起始点遍历完毕；7b统计裂缝条数得到裂缝数量，统计每条裂缝的裂缝点数得到裂缝长度。步骤8.计算拼接前后坐标对应关系，获取裂缝宽度信息。8a在投影变换图像和拼接图像中分别提取中点标记点坐标，计算投影变换图像和拼接图像的中点标记点的坐标差值，将坐标差值记为坐标偏移量；再根据坐标偏移量，将裂缝骨架点坐标与坐标偏移量相加，得到裂缝骨架点在投影变换图像中的对应位置；8b搜索对应位置处距离最近的投影变换裂缝点，提取投影变换裂缝点处的宽度值，计算每条裂缝平均宽度。以上获取拼接图像，以及获取裂缝数量、长度和平均宽度信息后，即完成了对桥梁裂缝信息的融合。对本发明的效果可通过以下仿真进一步说明。1.仿真条件：本发明的仿真实验在CPU主频3.50GHz、内存3.88GB、Windows7的硬件环境和VisualStudio2013、OpenCV3.10的软件环境下进行的。选取一块桥梁结构体，使用图像采集设备CCD相机拍摄4*4幅桥梁图像，桥梁图像分辨率为5760*3840，对每幅桥梁图像做桥梁裂缝检测和标注，得到桥梁裂缝检测标注图像，将桥梁裂缝检测标注图作为仿真实验用图。2.仿真内容：用本发明方法对仿真实验用图进行裂缝信息融合，得到拼接图像和裂缝信息，如图2所示，其中：图2a为桥梁裂缝检测标注图；图2b为用本发明对将图2a进行裂缝信息融合后得到的拼接图像；从图2b可以看出，本发明能够对桥梁裂缝检测标注图像进行准确拼接，拼接图像中裂缝显示准确，没有接缝线和重影这些不自然的问题。对图2a进行裂缝信息融合后得到的裂缝信息进行统计，结果如表1。表1裂缝信息统计结果一览表通过表1可以看出，本发明能够对桥梁裂缝信息进行快速融合，融合得到的桥梁裂缝信息与实际测量的桥梁裂缝信息的误差较小。

权利要求：1.一种桥梁裂缝信息融合方法，其特征在于，包括如下：1获取桥梁裂缝检测标注图像：计算机读取一组经过桥梁裂缝检测的桥梁图像，得到裂缝位置和裂缝宽度，利用图像的RGB三个通道先在每幅图像裂缝点处及其周围五个像素点范围内进行标注，即在R通道赋该裂缝点对应宽度值，在G通道赋0，在B通道赋255；再在每幅图像的中点处给R通道赋255，G通道赋0，B通道赋0，作为中点标记点；2检测图像特征点及匹配特征点：2a将每幅标注图像按照输入图像数量开方的倍数缩小，并计算每幅缩小后图像的特征点及特征点描述子；2b根据特征点及特征点描述子，获取每两幅缩小后图像的匹配特征点对，根据匹配特征点对，计算每两幅缩小后图像的单应性矩阵与置信度；2c保留置信度高于设定阈值l＝1的缩小后图像，并根据置信度的高低确定保留图像的拼接顺序，得到n组匹配图像对；3计算及矫正图像的相机内参矩阵和旋转矩阵：3a根据单应性矩阵，计算所有匹配图像的整体相机焦距fu，并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri，i＝1,...,n；3b利用误差指标函数矫正相机内参矩阵和旋转矩阵；4图像投影变换：即根据旋转矩阵，将每幅匹配图像作波形矫正；根据相机内参矩阵和旋转矩阵，将每幅匹配图像作正向映射，再作反向映射，得到投影变换图像；5图像曝光补偿及多频带融合：5a计算每幅投影变换图像的增益系数，得到曝光补偿图像；5b搜索每相邻两幅曝光补偿图像的重叠区域的最佳接缝线，接缝线两侧选择各自对应的图像部分，得到融合图像；5c对每幅融合图像做金字塔变换，得到拼接图像；6拼接图像提取裂缝位置坐标：6a计算投影变换图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为投影变换裂缝点，记录投影变换裂缝点坐标；6b计算拼接图像中每个像素点处B通道与G通道的差值，将满足差值大于100的像素点记为拼接裂缝点，记录投影变换裂缝点坐标并将其置为1，将其余点置为0，得到裂缝图像；7细化裂缝并分条，获取裂缝数量、长度信息：7a遍历拼接裂缝点，细化裂缝图像中的裂缝，搜索裂缝起始点及其对应的裂缝连续点，得到分条裂缝；7b统计裂缝条数得到裂缝数量，统计每条裂缝的裂缝点数得到裂缝长度；8计算拼接前后坐标对应关系，获取裂缝宽度信息：8a在投影变换图像和拼接图像中分别提取中点标记点坐标，计算坐标偏移量，根据坐标偏移量，计算裂缝骨架点在投影变换图像中的对应位置；8b搜索对应位置处距离最近的投影变换裂缝点并提取宽度值，计算每条裂缝平均宽度，完成对桥梁信息的融合。2.根据权利要求1所述的方法，其特征在于，2a中计算每幅缩小后图像的特征点及特征点描述子，使用尺度不变特征变换SIFT算法或稳定特征加速SURF算法或角点检测与特征描述ORB算法计算。3.根据权利要求1所述的方法，其特征在于，所述2b其实现如下：2b1对k幅缩小后图像，根据第i幅和第j幅缩小后图像的特征点描述子，计算第i幅和第j幅缩小后图像中的两个特征点之间的欧式距离，i＝1,...,k，j＝1,...,k，j≠i：其中，a表示第i幅缩小后图像中的特征点，b、c表示第j幅缩小后图像中与a的欧氏距离最近的两个特征点；Lijab表示a与b的欧式距离，Lijac表示a与c的欧式距离，x1,...,x128为a的特征点描述子，y1,...,y128为b的特征点描述子，z1,...,z128为c的特征点描述子；2b2设定匹配阈值ρ＝0.2，使用最近邻算法判断a与b是否为匹配特征点对：若LijabLijac＜1-ρ，且Lijab＜Lijac，则a与b是匹配特征点对，否则，a与b不是匹配特征点对；2b3随机抽取第i幅和第j幅缩小后图像的4对匹配特征点对，且其中任意3个匹配特征点不共线，计算第i幅和第j幅缩小后图像的单应性矩阵Hij：Hij＝Pji*Pij-1，其中，Pij表示第i幅缩小后图像中的匹配特征点坐标矩阵，Pji表示第j幅缩小后图像中的匹配特征点坐标矩阵；2b4计算第i幅和第j幅缩小后图像的所有匹配特征点对的重映射误差dij：dij＝||Pji-Hij*Pij||；2b5设定内点阈值η＝0.8，判断匹配特征点对是否为内点对：若dij＜η，则匹配特征点对为内点对，否则，匹配特征点对为外点对；2b6分别统计第i幅和第j幅缩小后图像的内点对数量Lij与外点对数量Fij；2b7计算最大迭代次数Nij：Nij＝log1-qlog[1-1-εijS]，其中，q＝0.5表示设定抽取概率，εij＝FijLij+Fij表示外点对数与匹配特征点对数的比例，S＝4表示随机抽取数量；2b8重复2b3-2b6共Nij次；2b9根据第i幅和第j幅缩小后图像的内点对，按照2b3公式重新计算第i幅和第j幅缩小后图像的单应性矩阵Hij；2b10根据内点对数量Lij与外点对数量Fij，计算第i幅和第j幅缩小后图像的置信度cij：cij＝Lij8.0+0.3*Fij。4.根据权利要求1所述的方法，其特征在于，3a中计算，计算所有匹配图像的整体相机焦距fu，并计算n幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri，i＝1,...,n，其实现如下：3a1对n组匹配图像对，根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij，分别计算第i幅匹配图像的两个焦距参数fai和fbi，i＝1,...,n，j＝1,...,n，j≠i：其中，h1ij-h9ij表示单应性矩阵Hij的9个数值；3a2根据第i幅匹配图像的两个焦距参数fai和fbi，计算第i幅匹配图像的相机焦距fi：3a3根据第i幅匹配图像的相机焦距fi，计算所有匹配图像的整体相机焦距fu：3a4根据所有匹配图像的整体相机焦距fu，第i幅匹配图像的两个焦距参数fai和fbi，分别计算第i幅匹配图像的相机内参矩阵Ki和旋转矩阵Ri：其中，xi,yi表示第i幅匹配图像的中点坐标。5.根据权利要求1所述的方法，其特征在于，3b中利用误差指标函数矫正相机内参矩阵和旋转矩阵，其实现如下：3b1对n组匹配图像对，根据互为匹配图像对的第i幅和第j幅匹配图像的单应性矩阵Hij，计算第i幅匹配图像的重映射误差eih，i＝1,...,n，j＝1,...,n，j≠i：eih＝||hj-Hij*hi||，其中，hi表示第i幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量，hj表示第j幅匹配图像的相机内参矩阵参数和旋转矩阵参数向量；3b2根据第i幅匹配图像的重映射误差eih，计算所有匹配图像的最小重映射误差指标E：6.根据权利要求1所述的方法，其特征在于，5a中计算每幅投影变换图像的增益系数，得到曝光补偿图像，其实现如下：5a1将n幅投影变换图像每幅平均分成32*32大小的m块，计算第i幅投影变换图像的第m块最小增益系数ezi，i＝1,...,n，z＝1,...,m：其中，Nij表示第i幅投影变换图像与第j幅投影变换图像的重叠区域的像素点数，Iij表示第i幅投影变换图像在第j幅投影变换图像的重叠区域的强度平均值，gi表示第i幅投影变换图像的增益系数，gj表示第j幅投影变换图像的增益系数，σN＝10表示误差标准差，σg＝0.1表示增益标准差；5a2通过分割线性滤波对第i幅投影变换图像的第m块最小增益系数ezi进行平滑；5a3将第i幅投影变换图像的第m块乘上平滑后的最小增益系数，得到曝光补偿图像。7.根据权利要求1所述的方法，其特征在于，5c中对每幅融合图像做金字塔变换，得到完整拼接图像，其实现如下：5c1对n幅融合图像，分别建立第i幅融合图像的多层拉普拉斯图像，记为融合图像的拉普拉斯金字塔Yi，i＝1,...,n；5c2将每相邻两幅融合图像重叠区域的拉普拉斯金字塔进行合并，得到多层合并后的图像，记为合并金字塔Z：Z＝YI1*w1+YI2*w2w1+w2，其中，YI1表示重叠区域接缝线左侧部分的拉普拉斯金字塔，w1表示YI1的权值，YI2表示重叠区域接缝线右侧部分的拉普拉斯金字塔，w2表示YI2的权值；5c3将合并金字塔Z做逆拉普拉斯变换，得到多层变换后的图像，取最底层的变换后图像作为拼接图像。8.根据权利要求1所述的方法，其特征在于，7a中细化裂缝图像中的裂缝，搜索裂缝起始点及其对应的裂缝连续点，其实现如下：7a1遍历裂缝图像中的拼接裂缝点，计算拼接裂缝点八邻域内的像素点ri的加权和A，i＝1,...,8：A＝r1+8*r2+64*r3+2*r4+16+128*r5+4*r6+32*r7+256*r8；7a2根据索引表细化算法中的细化索引表，获取像素点加权和A对应的索引值γ，判断拼接裂缝点是否可以保留：若γ＝0，则不保留拼接裂缝点，即将拼接裂缝点置为0，否则，保留拼接裂缝点，得到裂缝骨架点；7a3统计每个裂缝骨架点八邻域内的裂缝骨架点个数qi，i＝1,2,...，判断裂缝骨架点是否是裂缝起始点：若qi＝1，则裂缝骨架点是裂缝起始点，记录该裂缝起始点坐标，否则，裂缝骨架点不是裂缝起始点；7a4遍历裂缝起始点，将当前裂缝起始点作为第1搜索点，并将该第1搜索点置为0；7a5统计第i搜索点八邻域内的裂缝骨架点个数pi，i＝1,2,...，判断第i搜索点八邻域内是否有裂缝连续点：若pi＝0，则第i搜索点八邻域内无裂缝连续点，若pi＝1，则第i搜索点八邻域内有1个裂缝连续点，记录该裂缝连续点坐标，将该裂缝连续点置为0，并将该裂缝连续点作为第i+1搜索点；若pi＝2，则第i搜索点八邻域内有2个裂缝连续点，记录该2个裂缝连续点坐标，将该2个裂缝连续点都置为0，并将该2个裂缝连续点分别作为第i+1搜索点和第i+2搜索点；7a6重复7a4-7a5，直到裂缝起始点遍历完毕。9.根据权利要求1所述的方法，其特征在于，8a中计算坐标偏移量，根据坐标偏移量，计算裂缝骨架点在投影变换图像中的对应位置，其实现如下：计算投影变换图像和拼接图像的中点标记点的坐标差值，将坐标差值记为坐标偏移量；将裂缝骨架点坐标与坐标偏移量相加，得到裂缝骨架点在投影变换图像中的对应位置。

百度查询： 西安电子科技大学;陕西康虹交通科技有限公司;西安品码电子科技有限公司 一种桥梁裂缝信息融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD