申请/专利权人：浙江科技学院

申请日：2020-08-06

公开（公告）日：2024-04-02

公开（公告）号：CN111709947B

主分类号：G06T7/00

分类号：G06T7/00;G06T7/90;G06T9/00;G06V10/764;G06V10/82;G06N3/0464;G06N3/045;G06N3/09

优先权：["20200424 CN 2020103326520"]

专利状态码：有效-授权

法律状态：2024.04.02#授权;2020.10.27#实质审查的生效;2020.09.25#公开

摘要：本发明公开了一种双流沟通和全局信息引导的显著物体图像检测方法。输入原始的彩色信息图像和深度信息图像进卷积神经网络分类训练模型中进行训练，得到显著物体检测预测图；再通过显著物体检测预测图构成的集合与真实显著检测图像构成的集合之间的损失函数，获得卷积神经网络分类训练模型的最优权值矢量和偏置项；将选定数据集中的立体图像输入到训练好的卷积神经网络模型中，得到显著性检测结果。本发明提高了图像的显著物体检测效率和准确度，减少了参数易于迁移。

主权项：1.一种双流沟通和全局信息引导的显著物体图像检测方法，其特征在于方法包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：采集Q幅原始的彩色信息图像和Q幅深度信息图像以及对应的真实显著检测图像，并构成训练集，彩色信息图像和深度信息图像构成场景图像；训练集中将第q幅原始彩色信息图像记为将与之对应的第q幅原始深度信息图像记为将与原始彩色信息图像对应的真实显著检测图像记为步骤1_2：构建卷积神经网络分类训练模型，卷积神经网络分类训练模型包括依次连接的输入层、隐层和输出层；步骤1_3：将训练集中的每幅原始的场景图像输入到卷积神经网络中进行训练，得到训练集中的每幅原始的场景图像对应的四幅显著物体检测预测图并组成集合，即将第q幅原始彩色信息图像对应的显著物体检测预测图构成集合记为步骤1_4：计算步骤1_3获得的显著物体检测预测图的集合与所有真实显著检测图像构成的集合之间的损失函数值采用交叉熵获得；步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到卷积神经网络分类训练模型，并共得到Q×V个损失函数值；然后从Q×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络分类训练模型的最优权值矢量Wbest和最优偏置项bbest，获得训练好的卷积神经网络分类训练模型；所述的测试阶段过程的具体步骤为：针对待检测的场景图像待检测的场景图像包括了待检测的彩色信息图像和深度信息图像，待检测的彩色信息图像的红、绿、蓝三层通道分量输入到卷积神经网络分类训练模型的彩色信息流，将待检测的深度信息图像被复制成三通道的深度通道分量输入到卷积神经网络分类训练模型的深度信息流，并利用训练好的卷积神经网络分类训练模型进行预测，得到待检测的场景图像对应的预测显著物体检测图像作为检测结果；所述的卷积神经网络分类训练模型中，所述的卷积神经网络分类训练模型的隐层包括彩色信息流和深度信息流以及五个逆置注意力模块，彩色信息流包括五个彩色卷积块、四个彩色解码块、五个彩色注意力模块、五个彩色上采样模块；深度信息流包括五个深度卷积块、四个深度解码块、五个深度注意力模块、五个深度上采样模块；彩色信息流的输入端接收原始彩色信息图像的红、绿、蓝三层通道分量，深度信息流输入端接收原始深度信息图像的深度通道分量，并将其复制三份变成三层通道分量；五个彩色卷积块依次连接，第一个彩色卷积块的输入端作为彩色信息流的输入端，四个彩色解码块依次连接，每相邻两个彩色解码块之间均连接有一个通道相加层，且第一个彩色解码块的输入端连接有一个通道相加层，前三个彩色卷积块的输出端均依次经各自的一个彩色注意力模块和一个彩色上采样模块后分别连接输入到后三个彩色解码块输入侧的通道相加层的输入端，后两个彩色卷积块的输出端依次经各自的一个彩色注意力模块和一个彩色上采样模块后一起连接输入到第一个彩色解码块输入侧的通道相加层的输入端；五个深度卷积块依次连接，第一个深度卷积块的输入端作为深度信息流的输入端，四个深度解码块依次连接，每相邻两个深度解码块之间均连接有一个通道相加层，且第一个深度解码块的输入端连接有一个通道相加层，前三个深度卷积块的输出端均依次经各自的一个深度注意力模块、一个像素相加层和一个深度上采样模块后分别连接输入到后三个深度解码块输入侧的通道相加层的输入端，后两个深度卷积块的输出端依次经各自的一个深度注意力模块和一个深度上采样模块后一起连接输入到第一个深度解码块输入侧的通道相加层的输入端；同时五个彩色卷积块的输出端经各自的一个逆置注意力模块后分别输入到五个深度解码块输入侧的像素相加层的输入端；每一个深度解码块与其对应的一个彩色解码块的输出端均连接输入到一个通道相加层后输出到各自的输出层；五个彩色卷积块分别为彩色第1个卷积块、彩色第2个卷积块、彩色第3个卷积块、彩色第4个卷积块和彩色第5个卷积块，四个彩色解码块分别为彩色第1个解码块、彩色第2个解码块、彩色第3个解码块和彩色第4个解码块，五个彩色注意力模块分别为彩色第1个注意力模块、彩色第2个注意力模块、彩色第3个注意力模块、彩色第4个注意力模块和彩色第5个注意力模块，五个彩色上采样模块分别为彩色第1个上采样模块、彩色第2个上采样模块、彩色第3个上采样模块、彩色第4个上采样模块和彩色第5个上采样模块；五个深度卷积块分别为深度第1个卷积块、深度第2个卷积块、深度第3个卷积块、深度第4个卷积块和深度第5个卷积块，四个深度解码块分别为深度第1个解码块、深度第2个解码块、深度第3个解码块和深度第4个解码块，五个深度注意力模块分别为深度第1个注意力模块、深度第2个注意力模块、深度第3个注意力模块、深度第4个注意力模块和深度第5个注意力模块，五个深度上采样模块分别为深度第1个上采样模块、深度第2个上采样模块、深度第3个上采样模块、深度第4个上采样模块和深度第5个上采样模块；五个逆置注意力模块分别为第1个逆置注意力模块、第2个逆置注意力模块、第3个逆置注意力模块、第4个逆置注意力模块和第5个逆置注意力模块；具体网络结构为：彩色信息流：彩色第1个卷积块、彩色第2个卷积块、彩色第3个卷积块、彩色第4个卷积块和彩色第5个卷积块依次连接，彩色第1个解码块、彩色第2个解码块、彩色第3个解码块和彩色第4个解码块依次连接，彩色信息流的输入到彩色第1个卷积块的输入，彩色第1个卷积块的输出依次经彩色第5个注意力模块、彩色第5个上采样模块后的结果和彩色第3个解码块的输出一起再通过一个通道相加层后输入到彩色第4个解码块，彩色第2个卷积块的输出依次经彩色第4个注意力模块、彩色第4个上采样模块后的结果和彩色第2个解码块的输出一起再通过一个通道相加层后输入到彩色第3个解码块，彩色第3个卷积块的输出依次经彩色第3个注意力模块、彩色第3个上采样模块后的结果和彩色第1个解码块的输出一起再通过一个通道相加层后输入到彩色第2个解码块，彩色第4个卷积块的输出依次经彩色第2个注意力模块、彩色第2个上采样模块后的结果和彩色第5个卷积块的输出依次经彩色第1个注意力模块、彩色第1个上采样模块后的结果一起再通过一个通道相加层后输入到彩色第1个解码块；深度信息流：深度第1个卷积块、深度第2个卷积块、深度第3个卷积块、深度第4个卷积块和深度第5个卷积块依次连接，深度第1个解码块、深度第2个解码块、深度第3个解码块和深度第4个解码块依次连接，深度信息流的输入到深度第1个卷积块的输入，深度第1个卷积块的输出经深度第5个注意力模块后的结果和彩色第1个卷积块经第5个逆置注意力模块后的结果一起再通过一个像素相加层后输入到深度第5个上采样模块，深度第5个上采样模块的输出和深度第3个解码块的输出一起再通过一个通道相加层后输入到深度第4个解码块；深度第2个卷积块的输出经深度第4个注意力模块后的结果和彩色第2个卷积块经第4个逆置注意力模块后的结果一起再通过一个像素相加层后输入到深度第4个上采样模块，深度第4个上采样模块的输出和深度第2个解码块的输出一起再通过一个通道相加层后输入到深度第3个解码块；深度第3个卷积块的输出经深度第3个注意力模块后的结果和彩色第3个卷积块经第3个逆置注意力模块后的结果一起再通过一个像素相加层后输入到深度第3个上采样模块，深度第3个上采样模块的输出和深度第1个解码块的输出一起再通过一个通道相加层后输入到深度第2个解码块；深度第4个卷积块的输出经深度第2个注意力模块后的结果和彩色第4个卷积块经第2个逆置注意力模块后的结果一起再通过一个像素相加层后输入到深度第2个上采样模块，深度第5个卷积块的输出经深度第1个注意力模块后的结果和彩色第5个卷积块经第1个逆置注意力模块后的结果一起再通过一个像素相加层后输入到深度第1个上采样模块，深度第2个上采样模块和深度第1个上采样模块的输出一起再通过一个通道相加层后输入到深度第1个解码块；深度第4个解码块和彩色第4个解码块的输出通过一个像素相加层后输入到第一输出层，深度第3个解码块和彩色第3个解码块的输出通过一个像素相加层后输入到第二输出层，深度第2个解码块和彩色第2个解码块的输出通过一个像素相加层后输入到第三输出层，深度第1个解码块和彩色第1个解码块的输出通过一个像素相加层后输入到第四输出层。

全文数据：

权利要求：

百度查询： 浙江科技学院 一种双流沟通和全局信息引导的显著物体图像检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD