申请/专利权人：松立控股集团股份有限公司

申请日：2024-01-30

公开（公告）日：2024-04-30

公开（公告）号：CN117953216A

主分类号：G06V10/26

分类号：G06V10/26;G06V20/00;G06V20/70;G06V10/774;G06V10/44;G06V10/42;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/0455;G06N3/0895;G06N3/048

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.17#实质审查的生效;2024.04.30#公开

摘要：本发明属于街景分割技术领域，涉及一种基于Transformer的半监督式城市街景分割方法，在面临有标签数据的方法中，嵌入Transformer架构提取城市街景图中的全局特征，设计细节解码模块在全局特征的基础上捕捉城市街景图中的局部特征，将最终的特征经过处理形成分割结果图，对于无标签数据，会先对曝光的图片进行暗化，对于过暗的图片进行亮度增强，然后将处理后的图像与原始图片传递到双分支结构进行处理后获取两种分割结果，通过分割结果细化策略来处理后生成最终的分割结果，不仅仅可以用来应对与训练集类似场景的街景图进行分割，还可以用来解决一些未知场景的分割问题，有效地降低人工标注所带来的时间和资金成本，提升在城市街景分割中的准确率。

主权项：1.一种基于Transformer的半监督式城市街景分割方法，其特征在于，具体包括如下步骤：1数据集构建：将现有的数据集标注种类并扩充人行横道、车道线、右转车道、左转车道、直行车道、路人、护栏和骑行者八个类别，上述九个类别采用LabelMe标注后转换成彩色分割图，每个类别对应不同的色彩，随机抽取标注数据的百分之二十分别进行镜像增广、旋转变换以及色彩增广，并将最终的总数据集80％划分为训练集、10％划分为验证集、10％划分为测试集；2全局特征的提取：对于有标签数据，将数据集中的城市街景图像直接输送到网络的Tranformer部分进行获取全局特征；对于无标签数据，先判断原始城市街景图像是否需要进行增亮或者变暗的变换，得到变换后的图像后与原始图像一同输送到Transformer部分提取城市街景图像中的全局特征；3局部特征的提取：将步骤2得到的全局特征输送到细节解码模块捕捉关于城市街景分割的局部特征，细节解码模块有两个分支，其中一个分支继续提取更加抽象的全局特征，另一个分支不断捕捉局部特征并与全局特征相融合；对于非较难预测的数据，最终的输出为Fl；对于较难预测的数据输出为Fl和4分割结果的细化：对于非较难预测的数据处理过程中，忽略这一步的处理；对于较难数据处理过程中，需要进一步进行分割结果的细化，从而更好的满足无人驾驶的需求；对于Fl和中假设每个图中分别包含n，m个类别的区域：Fl和中共计n+m个区域进行边缘定界，即通过区域的颜色界定这个类别在特征图中的所在的最大边界框，假定所在的左上角坐标为以为圆心，40为半径查看对应的中是否存在这样的子区域，如果存在，假设所匹配的子区域为那么对于和进行卷积核大小为3的膨胀和腐蚀操作获取各自对应的边界区域，并把二者的边界区域相加补充到最终的结果图中，取此子区域的最外层边界框作为此子区域的边界，内部进行填充和此原始子区域对应的颜色；如果不存在，那么说明受到光线的影响，这个子区域出现误判，需要将从Fl中删除并重新划分成背景，通过上述处理，原始划分成某个类别的区域会重新进行划分，并对于子区域的边界进一步进行了优化和补充；5训练网络结构，得到训练好的模型参数：根据显卡的容纳能力设定最大的批次输送训练集的图片，在训练的过程中，初始的学习率被设定为0.03，在训练过程中逐步衰减，Adam优化器被选作训练过程中的优化方式，在面临较难预测数据的处理的时候，使用适用于双分支网络的分割结果细化策略获取到伪标签来辅助网络训练，从而获取到在无标签数据集上适用于复杂场景进行分割的能力，采用整体不同类别的分割结果整体损失和边缘损失辅助训练过程进行参数的优化；6测试网络：在测试的过程中，加载训练过程保存的最优模型，向网络输送测试图片即可完成测试，如测试的图片和训练集的场景相差较多，或者测试图片受到较多的光线影响，应输送到双分支较难预测的数据处理网络中配合分割结果细化策略进行优化，从而获取到最终的分割结果。

全文数据：

权利要求：

百度查询： 松立控股集团股份有限公司 一种基于Transformer的半监督式城市街景分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD