申请/专利权人：天津理工大学

申请日：2021-11-25

公开（公告）日：2024-05-17

公开（公告）号：CN114067116B

主分类号：G06V10/26

分类号：G06V10/26;G06N3/0464;G06N3/0455;G06N3/0499;G06N3/084;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2022.03.08#实质审查的生效;2022.02.18#公开

摘要：一种基于深度学习和权重分配的实时语义分割系统，包括数据采集模块、数据预处理模块、编码模块、解码模块、权重分配模块和语义分割预测模块；通过在编码‑解码模块的编码模块中引入组卷积、深度方向可分离卷积以及混洗等，以降低计算成本，同时保持特征信息的表现能力；通过在解码模块中引入多尺度融合单元，利用特征信息聚合和注意力机制精细处理编码模块输出的特征图，提升了编码‑解码模块的整体分割精度；在权重分配模块，通过利用图像中每个类别的像素点个数计算出相应类别的loss值的权重，以此达到提升整个方法的分割精度；该系统所涉及的语义分割方法简单易实现。

主权项：1.一种基于深度学习和权重分配的实时语义分割方法，其特征在于它包括以下步骤：1由数据采集模块对Cityscapes数据集的待识别图片进行图像信息采集，并输出图像信号连接到数据处理模块，对图像进行预处理；2数据预处理模块对步骤1数据采集模块采集到的图片进行预处理，输出图像信号F，利用归一化公式1将0～255区间的像素点的图像转换为0～1区间的像素点的图像，使编码模块能够在训练时接收到0～1区间的图像，并能使输入到编码模块内的图像经过训练后可与标签图像计算损失后迭代； 其中χi表示图像像素点值，maxχ，minx分别表示图像像素值的最大与最小值；3由编码模块对由步骤2得到的图像信号F进行处理，分别生成两个特征图信号，即：特征图信号和特征图信号所述步骤3中的编码模块是由3个下采样层和13个残差层组成的16层残差网络结构，分别是在第5个残差层输出的特征图信号和第13个残差层输出的特征图信号所述编码模块的第一个下采样层输入端连接数据预处理模块的输出端，接收一个图像信号，其输出端连接编码模块的第一个残差层；所述第一个残差层输入端连接第一个下采样层的输出端，接收经第一个采样层处理过的一组特征图信号，其输出端连接第二个残差层；所述第二个残差层输入端连接第一个残差层的输出端，接收经第一个残差层处理后的一组特征图信号，其输出端连接第三个残差层；所述第三个残差层输入端连接第二个残差层的输出端，接收经第二个残差层处理后的一组特征图信号，其输出端连接第二个下采样层；所述第二个下采样层输入端连接第三个残差层的输出端，接收经第三个残差层处理后的一组特征图信号，其输出端连接第四个残差层；所述第四个残差层输入端连接第二个下采样层的输出端，接收经第二个采样层处理后的一组特征图信号，其输出端连接第五个残差层；所述第五个残差层输入端连接第四个残差层输出端，接收经第四个残差层处理后的一组特征图信号，其输出端有两个，分别将输出一组特征图信号，一端连接第三个下采样层的输入端，另一端输出特征图信号连接到解码模块；所述第三个下采样层输入端连接第五个残差层的输出端，接收经第五个残差层处理后的一组特征图信号，其输出连接第六个残差层；所述第六个残差层输入端连接第三个下采样层的输出端，接收经第三个下采样层处理后的一组特征图信号，其输出端连接第七个残差层；所述第七个残差层的输入端连接第六个残差层的输出端，接收经第六个残差层处理后的一组特征图信号，其输出端连接第八个残差层；所述第八个残差层的输入端连接第七个残差层的输出端，接收经第七个残差层处理后的一组特征图信号，其输出端连接第九个残差层；所述第九个残差层的输入端连接第八个残差层的输出端，接收经第八个残差层处理后的一组特征图信号，其输出端连接第十个残差层；所述第十个残差层输入端连接第九个残差层的输出端，接收经第九个残差层处理后的一组特征图信号，其输出端连接第十一个残差层；所述第十一个残差层输入端连接第十个残差层的输出端，接收经第十个残差层处理后的一组特征图信号，其输出端连接第十二个残差层；所述第十二个残差层输入端连接第十一个残差层的输出端，接收经第十一个残差层处理后的一组特征图信号，其输出端连接第十三个残差层；所述第十三个残差层输入端连接第十二个残差层的输出端，接收经第十二个残差层处理后的一组特征图信号，其输出端输出一组特征图信号并连接到解码模块；其中，所述下采样层，特征图信号每次进入下采样层，输出的特征图信号都会减少至输入的特征图信号的二分之一；其中，所述残差层是由通道拆分、组卷积、带空洞率的深度可分离卷积、特征图级联和通道混洗操作组成；4由解码模块对由编码模块输出的特征图信号和特征图信号进行处理后融合；所述步骤4中的解码模块是使用具有注意力机制和全局平均池化结构的多尺度融合单元，是由注意力聚合单元I、注意力聚合单元II、全局平均池化单元、3*3卷积层单元和特征级联单元构成；所述注意力聚合单元I的输入端接收由编码模块的第七层输出的特征图信号，其输出端与特征级联单元的输入端连接；所述注意力聚合单元II的输入端、全局平均池化单元的输入端及3*3卷积层单元的输入端分别接收由编码模块第十六层输出的特征图信号；所述全局平均池化单元的输出端的输出信号与注意力聚合单元II的输出端的输出信号叠加后，共同送入特征级联单元；所述3*3卷积层单元的输出端的输出信号与特征级联单元的输出端的输出信号进行点乘后生成输出特征图信号；5由权重分配模块对步骤4解码模块输出的特征图信号Foutput与标签图像计算后的loss值进行赋予权重，以进行下一次迭代；权重分配模块是利用权重分配公式计算所得的权重分配给图像中相应类别的loss值的模块，以达到提升编-解码模块在进行语义分割时的精度的目的；5-1利用交叉熵损失函数公式16对编码模块输出的特征图信号Foutput与数据集的标签图像进行loss值计算，得到特征图信号中每个类别的loss值： 其中，pFoutput为真实像素点概率分布，qFoutput为预测像素点概率分布，m表示图像个数，n表示图像中类别的个数，i表示当前第i个图像，j表示当前第j个类别；5-2利用权重分配公式17-1-公式17-3计算步骤1的数据集Cityscapes图像中的每个类别占用的像素点个数计算每个类别的权重，且像素点少的类别将分配较大的权重，以提高编码模块和解码模块在进行语义分割时的精度：Ei＝1logDi17-1 Wi＝N×Li-min{L}+max{L}Li17-3其中，Di表示每个类别在所有标签中占据的像素点数量，Ei表示每个类别的像素点数量的对数的权重然后取反，N表示数据集中的类别数；Li表示权重Ei的L1归一化，Li表示由上一个公式计算的每个类别的最终权重，L表示所有类别权重的集合，Wi表示经过公式17-1-公式17-2计算后的权重；5-3利用公式18对步骤5-1计算出的loss值赋予步骤5-2中计算出的与该loss值相对应的权重，以便进行下一次迭代lossi＝lossi*Wi18；当本方法迭代到公式16中的loss值不再下降，同时防止出现过拟合问题，迭代次数应当不小于300次时，解码模块输出的特征图信号连接到语义分割预测模块，否则连接到本模块；6由语义分割预测模块对由步骤4解码模块输出的特征图信号Foutput进行预测显示：解码模块输出的特征图信号Foutput不再经过权重分配模块，而是利用双线性插值公式公知，如式19所示，将语义分割预测模块的接收到的解码模块输出的特征图信号Foutput放大至原图尺寸，从而得到语义分割预测结果： 其中，x、y分别为未知像素点的横、纵坐标，fQ11、fQ21、fQ12、fQ22均为已知像素点的像素值，x1、x2、y1、y2分别为已知像素点的横纵坐标，最终输出的fx，y表示未知像素点的像素值；通过使用双线性插值的方法，即可依次计算出语义分割预测模块接收到的只有14原图尺寸的特征图信号放大至与原图相等尺寸时所有像素点的像素值。

全文数据：

权利要求：

百度查询： 天津理工大学 一种基于深度学习和权重分配的实时语义分割系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD