申请/专利权人：宁波工程学院

申请日：2023-12-04

公开（公告）日：2024-03-29

公开（公告）号：CN117789074A

主分类号：G06V20/40

分类号：G06V20/40;G06V10/26

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.16#实质审查的生效;2024.03.29#公开

摘要：本发明公开了一种基于自适应图像匹配的高铁转辙机缺口状态实时检测方法，其在第一阶段，从参考帧中分割出动边运动及其外拓区域，并结合参考帧中的缺口的静边确定动边运动区域，通过自适应方法确定最优匹配模板结构；在第二阶段，从待检测帧中分割出与动边运动区域的位置和尺寸一致的区域作为待检测图像块，基于待检测图像块的基础特征，在待检测图像块中找到与最优匹配模板结构最接近的匹配区域，作为最优的匹配区域，进而计算位于待检测图像块上的动边的列坐标以及待检测帧中的缺口的宽度；在第三阶段，计算动边运动速度和动边运动加速度；优点是能准确、实时地追踪到缺口位置，计算动边运动速度和加速度，为转辙机故障诊断提供数据基础。

主权项：1.一种基于自适应图像匹配的高铁转辙机缺口状态实时检测方法，其特征在于包括三个阶段，第一阶段为从参考帧中提取出最优匹配模板结构；第二阶段为确定待检测帧中与最优匹配模板结构最接近的匹配区域，并获取待检测帧中动边的位置以及缺口的宽度；第三阶段为根据相邻帧中的动边的位置，计算动边运动速度和动边运动加速度；所述第一阶段的具体步骤如下：步骤1.1：选择一个转辙机视频文件；然后在转辙机视频文件中，从缺口处于静止状态的视频片段中任意提取一帧图像作为参考帧；步骤1.2：判断参考帧中的缺口的静边和动边的位置，若静边在缺口右侧、动边在缺口左侧，则将参考帧旋转180°，确保静边在缺口左侧、动边在缺口右侧，并设置变量rotate180＝1；若静边在缺口左侧、动边在缺口右侧，则对参考帧不作处理，并设置变量rotate180＝0；其中，缺口的静边为缺口的固定侧的边界，缺口的动边为缺口的移动侧的边界；步骤1.3：在步骤1.2的基础上，从参考帧中分割出一个动边运动及其外拓区域，其宽度为参考帧中的缺口的静边与动边之间的宽度的2倍，其高度为其宽度的110至12，且在宽度方向上其覆盖参考帧中的缺口的静边与动边之间的区域，使缺口的静边与动边之间的区域大致在动边运动及其外拓区域的中间片区，其左边界在缺口的静边的左侧、右边界在缺口的动边的右侧；然后根据动边运动及其外拓区域和参考帧中的缺口的静边，确定一个动边运动区域，其为由参考帧中的缺口的静边以及动边运动及其外拓区域的右边界、上边界、下边界围成的区域；再记录动边运动区域的左上角顶点在参考帧中的坐标位置MRMBx0,MRMBy0，记录动边运动区域的宽度MRMBw、高度MRMBh，记录位于动边运动区域上的静边的列坐标fixBX，记录位于动边运动区域上的动边的列坐标mobileBX，fixBX和mobileBX都是以动边运动区域的左上角顶点为原点的相对列坐标；步骤1.4：通过自适应方法确定参考帧中的最优动边邻域图像及最优匹配模板结构，具体步骤如下：步骤1.4.1：在动边运动区域中，以mobileBX为中心列，分别向左和向右取MBRw-12列，构成候选动边邻域图像，其左上角顶点的坐标位置相对于以动边运动区域的左上角顶点为原点而言为mobileBX-MBRw-12,0，其宽度为MBRw、高度为MRMBh；其中，MBRw为大于1的奇数，设定MBRw的初始值为7；步骤1.4.2：计算候选动边邻域图像中的每一列的平均亮度，并记录于亮度列均值数组MBRintensity中，MBRintensity中的第x个元素即为候选动边邻域图像中的第x列的平均亮度，记为MBRintensity[x]，其中，MBRintensity的长度为MBRw，候选动边邻域图像中的像素点的列号为x，x＝0,1,…,MBRw-1，候选动边邻域图像中的像素点的行号为y，y＝0,1,…,MRMBh-1，MBR[x][y]表示候选动边邻域图像中第x列第y行的像素点的亮度值；步骤1.4.3：计算MBRintensity的前半段亮度之和，即候选动边邻域图像的左半部分的亮度总和，记为LIsum，并计算MBRintensity的后半段亮度之和，即候选动边邻域图像的右半部分的亮度总和，记为RIsum，如果LIsum大于RIsum，则表明候选动边邻域图像的左半部分比右半部分亮，将左右亮度对比变量MBRintensityC设为1；如果LIsum小于RIsum，则表明候选动边邻域图像的左半部分比右半部分暗，将左右亮度对比变量MBRintensityC设为2；如果LIsum等于RIsum，则表明候选动边邻域图像的左半部分与右半部分亮度相同，将左右亮度对比变量MBRintensityC设为3；步骤1.4.4：对候选动边邻域图像使用Sobel算子，得到对应的边缘纹理图像，记为MBRsobel；然后计算MBRsobel中的每一列的平均值，并记录于纹理列均值数组MBRtexture中，MBRtexture中的第x个元素即为MBRsobel中的第x列的像素值平均值，记为MBRtexture[x]，其中，MBRtexture的长度为MBRw，MBRsobel中的像素点的列号为x，x＝0,1,…,MBRw-1，MBRsobel中的像素点的行号为y，y＝0,1,…,MRMBh-1，MBRsobel[x][y]表示MBRsobel中第x列第y行的像素点的像素值；步骤1.4.5：计算MBRtexture中所有元素的方差，记为MBRtextureV；步骤1.4.6：MBRw值自增2，即以mobileBX为中心列向左和向右各增加1列的方式逐渐增大MBRw值，重复执行步骤1.4.1至步骤1.4.5，直到MBRw值取21为止；将得到的所有MBRtextureV值中的最大值对应的MBRw值、MBRintensity值、MBRtexture值、MBRintensityC值作为最优值，对应记为bestMBRw、bestMBRintensity、bestMBRtexture、bestMBRintensityC，并作为成员对象组成最优匹配模板结构；将bestMBRw确定的候选动边邻域图像作为最优动边邻域图像；所述第二阶段的具体步骤如下：步骤2.1：在步骤1.1选择的转辙机视频文件中，任意提取一帧图像作为待检测帧；然后根据步骤1.2中的rotate180的值判断待检测帧是否需要旋转，若rotate180＝1，则将待检测帧旋转180°；若rotate180＝0，则对待检测帧不作处理；步骤2.2：载入第一阶段得到的最优匹配模板结构的各成员对象：bestMBRw、bestMBRintensity、bestMBRtexture、bestMBRintensityC；步骤2.3：根据步骤1.3确定的动边运动区域，从待检测帧中自动分割出一个区域作为待检测图像块，待检测图像块在待检测帧中的位置和尺寸大小与步骤1.3确定的动边运动区域在参考帧中的位置和尺寸大小完全一致；步骤2.4：提取待检测图像块的基础特征，具体过程为：步骤2.4.1：计算待检测图像块中的每一列的平均亮度，并记录于亮度列均值数组IBDintensity中，IBDintensity中的第x′个元素即为待检测图像块中的第x′列的平均亮度，记为IBDintensity[x′]，其中，IBDintensity的长度为MRMBw，待检测图像块中的像素点的列号为x′，x′＝0,1,…,MRMBw-1，待检测图像块中的像素点的行号为y′，y′＝0,1,…,MRMBh-1，IBD[x′][y′]表示待检测图像块中第x′列第y′行的像素点的亮度值；步骤2.4.2：对待检测图像块使用Sobel算子，得到对应的边缘纹理图像，记为IBDsobel；然后计算IBDsobel中的每一列的平均值，并记录于纹理列均值数组IBDtexture中，IBDtexture中的第x′个元素即为IBDsobel中的第x′列的像素值平均值，记为IBDtexture[x′]，其中，IBDtexture的长度为MRMBw，IBDsobel中的像素点的列号为x′，x′＝0,1,…,MRMBw-1，IBDsobel中的像素点的行号为y′，y′＝0,1,…,MRMBh-1，IBDsobel[x′][y′]表示IBDsobel中第x′列第y′行的像素点的像素值；步骤2.4.3：将亮度列均值数组IBDintensity和纹理列均值数组IBDtexture作为待检测图像块的基础特征；步骤2.5：基于待检测图像块的基础特征，在待检测图像块中找到与最优匹配模板结构最接近的匹配区域，作为最优的匹配区域，具体过程为：步骤2.5.1：令M表示最优的匹配区域的左边界的列坐标，M是以待检测图像块的左上角顶点为原点的相对列坐标，令M的初始值为1；令minE表示最小总误差，令minE的初始值为10000；步骤2.5.2：在待检测图像块中确定一个左边界为第m列、右边界为第n列且宽度为bestMBRw、高度为MRMBh的匹配区域，记为然后将亮度列均值数组IBDintensity中的第m个元素至第n个元素构成的子数组记为将纹理列均值数组IBDtexture中的第m个元素至第n个元素构成的子数组记为其中，m表示的左边界的列坐标，n表示的右边界的列坐标，m和n都是以待检测图像块的左上角顶点为原点的相对列坐标，m的初始值为1，1≤m≤MRMBw-bestMBRw，n＝m+bestMBRw-1；步骤2.5.3：计算的前半段亮度之和，即的左半部分的亮度总和，记为LIsumD，并计算的后半段亮度之和，即的后半部分的亮度总和，记为RIsumD，如果LIsumD大于RIsumD，则表明的左半部分比右半部分亮，将左右亮度对比变量DintensityC设为1；如果LIsumD小于RIsumD，则表明的左半部分比右半部分暗，将左右亮度对比变量DintensityC设为2；如果LIsumD等于RIsumD，则表明的左半部分与右半部分亮度相同，将左右亮度对比变量DintensityC设为3；其中，步骤2.5.4：判断DintensityC与bestMBRintensityC是否相等，若相等，则执行步骤2.5.5：若不相等，则表明不符合左右亮度对比要求，执行步骤2.5.6；步骤2.5.5：将bestMBRintensity中的每个元素分别与中对应的元素计算绝对值误差并累加，得到亮度匹配误差，记为将bestMBRtexture中的每个元素分别与中对应的元素计算绝对值误差并累加，得到纹理匹配误差，记为然后计算亮度匹配误差和纹理匹配误差的总误差，记为再判断是否小于minE，如果是，则将m值赋给M，使M代表总误差最小时的匹配区域的左边界的列坐标，同时更新minE的值为之后执行步骤2.5.6，否则，直接执行步骤2.5.6；其中，符号“||”为取绝对值符号，表示中的第个元素，表示bestMBRintensity中的第个元素，表示中的第个元素，表示bestMBRtexture中的第个元素；步骤2.5.6：令m＝m+1，n＝m+bestMBRw-1；如果n仍未超过待检测图像块的右边界的列坐标，即m≤MRMBw-bestMBRw时，则返回步骤2.5.2继续执行；如果n超过了待检测图像块的右边界的列坐标，即m＞MRMBw-bestMBRw时，则停止匹配，至此在待检测图像块中找到与最优匹配模板结构最接近的匹配区域，作为最优的匹配区域，再执行步骤2.6；其中，m＝m+1中的“＝”为赋值符号；步骤2.6：计算位于待检测图像块上的动边的列坐标，记为DmobileBX，DmobileBX＝M+bestMBRw-12；然后计算待检测帧中的缺口的宽度，记为GAPw，GAPw＝DmobileBX-DfixBX-1，即GAPw＝M+bestMBRw-32；其中，M表示最优的匹配区域的左边界的列坐标，M是以待检测图像块的左上角顶点为原点的相对列坐标，DfixBX表示位于待检测图像块上的静边的列坐标，DmobileBX和DfixBX都是以待检测图像块的左上角顶点为原点的相对列坐标，DfixBX＝0；步骤2.7：重复执行步骤2.1至步骤2.6，获取步骤1.1选择的转辙机视频文件中的每帧图像中动边的位置以及缺口的宽度；所述第三阶段的具体步骤如下：步骤3.1：针对步骤1.1选择的转辙机视频文件中的任意连续的三帧，假设为第k帧、第k+1帧、第k+2帧，则将第k帧、第k+1帧、第k+2帧中动边的列坐标对应记为DmobileBXk、DmobileBXk+1、DmobileBXk+2；步骤3.2：设定动边向右运动时为正方向，则计算第k+1帧时的动边运动速度和第k+2帧时的动边运动速度，对应记为vk+1和vk+2，vk+1＝DmobileBXk+1-DmobileBXk×fps，vk+2＝DmobileBXk+2-DmobileBXk+1×fps；其中，fps表示转辙机视频的帧率；步骤3.3：根据vk+1和vk+2，计算第k+2帧时的动边运动加速度，记为ak+2，ak+2＝vk+2-vk+1×fps＝DmobileBXk+2-2×DmobileBXk+1+DmobileBXk×fps2。

全文数据：

权利要求：

百度查询： 宁波工程学院 基于自适应图像匹配的高铁转辙机缺口状态实时检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD