申请/专利权人:南京大学
申请日:2021-01-06
公开(公告)日:2024-04-12
公开(公告)号:CN114723797B
主分类号:G06T7/514
分类号:G06T7/514;G06T5/70;G06N3/045
优先权:
专利状态码:有效-授权
法律状态:2024.04.12#授权;2022.07.26#实质审查的生效;2022.07.08#公开
摘要:本发明公开了一种基于深度学习的TOF深度成像的方法。具体步骤如下:1向TOF成像网络输入深度图,使用可学习的矩阵模拟TOF的调制函数,根据深度图的像素值进行相应的移位;2使用可学习的矩阵模拟TOF的解调函数,与上一步的输出进行积分操作;3积分后加上环境光,再加入噪声,输入给去噪成像子网络;4将调制函数、解调函数以及去噪成像子网络同时训练;5使用训练得到的调制函数来调制激光二极管,照亮场景;6使用APD测量反射回的信号,与训练得到的解调函数相乘;7相乘后的信号经过低通滤波器,测量电压值;8电压值输入给训练得到的去噪成像子网络,完成TOF深度成像。本方法可以增强TOF深度成像对噪声的鲁棒性,提高成像的精度。
主权项:1.一种基于深度学习的TOF深度成像方法,其特征在于,包括如下步骤:步骤1,将训练数据集中的深度图输入到TOF成像网络,TOF成像网络包括调制函数、解调函数和去噪成像子网络;步骤2,使用一个可学习的矩阵模拟实际TOF成像的调制函数,根据深度图的每个像素的值进行相应的移位;步骤3,使用另一个可学习的矩阵模拟实际TOF成像的解调函数,与步骤2的输出进行积分操作;步骤4,将步骤3积分后的结果加上环境光以及光子噪声和传感器读取的噪声,构成带噪声的测量图;步骤5,将带噪声的测量图输入给TOF成像网络的去噪成像子网络,去噪成像子网络与调制函数和解调函数同时用深度学习的方法训练,得到训练好的调制函数、解调函数和去噪成像子网络;步骤6,使用步骤5训练得到的调制函数对激光二极管进行调制,驱动激光二极管发射激光照亮场景;步骤7,场景物体表面反射回的反射光,经过分光器后,聚焦到探测器上,探测器接收到带有调制信息的反射信号;步骤8,将步骤7反射信号与步骤5训练得到的解调函数经过乘法器相乘,再经过低通滤波器进行积分,使用模数转换器对低通滤波器输出的电压进行采集;步骤9,重复步骤6至步骤8,扫描场景中的每个点,完成对场景中所有的点的深度测量,得到带有噪声的测量图;步骤10,把步骤9得到的带有噪声的测量图输入给步骤5训练得到的去噪成像子网络,得到场景的深度图,完成TOF深度成像。
全文数据:
权利要求:
百度查询: 南京大学 一种基于深度学习的TOF深度成像方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。