申请/专利权人：华南理工大学

申请日：2023-12-19

公开（公告）日：2024-04-05

公开（公告）号：CN117834837A

主分类号：H04N13/239

分类号：H04N13/239;H04N13/271

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.23#实质审查的生效;2024.04.05#公开

摘要：本发明公开了一种基于ZYNQ的实时环境深度感知装置及方法，该装置采用ZYNQ系列系统级芯片作为主控芯片，外设包括两个图像传感器及惯性测量单元。利用主控芯片上的FPGA及ARM资源，本发明设计低功耗实时双目立体匹配和同步惯性测量单元采集的方法，该方法通过Mipi协议解析原始图像传感器数据并存入外挂存储模块，之后进行重映射实现畸变校正，在FPGA端以视频流作为输入输出实现基于SGBM的双目立体匹配算法，并对匹配结果进行滤波，同时输出与深度信息同步的惯性测量单元数据。本发明体积小，重量轻，适合搭载在小型移动机器人上，且最终可以低时延、低功耗输出附带惯性测量数据的环境深度信息。

主权项：1.一种基于ZYNQ的实时环境深度感知装置，其特征在于，所述实时环境深度感知装置包括硬件设备载板1和多种硬件设备，硬件设备载板1由电路板构成，用于集成多种硬件设备；所述硬件设备均与硬件设备载板1相连，包括：主控芯片2，用于控制各传感器数据同步采集装置工作以及对传感器数据进行处理，主控芯片2分为FPGA端3与ARM端4；图像传感器5，用于采集外部环境图像数据；惯性测量单元6，用于采集数据同步采集装置运动过程中角速度和加速度数据；显示器7，用于实时显示经处理后获得的环境深度视频；Mipi解析模块8，用于按照Mipi协议对图像传感器5的数据进行解析；畸变校正模块9，用于接收像素的重映射地址并从外挂存储模块读出相应的像素值；SGBM模块10，用于对来自畸变校正模块9的数据进行立体匹配；中值滤波模块11，用于对来自SGBM模块10的数据进行滤波后写入外挂存储模块；基于上述多传感器数据同步采集装置的多传感器数据同步采集方法的过程如下：S1、主控芯片2启动，在ARM端4从外挂存储模块里按首地址划分五个区域作为VDMA0～VDMA4，对VDMA0～VDMA4进行初始化，并写相应的配置寄存器设定各自的工作模式，将通过外部标定得到的像素重映射地址写入VDMA2、VDMA3并供畸变校正模块9使用，VDMA0、VDMA1用于储存经Mipi解析模块8解析后的左右目灰度图像，VDMA4用于储存经中值滤波模块11滤波后的结果图像，设置并启用关于VDMA0的中断；S2、图像传感器5启动，接收来自主控芯片2的复位信号，并通过IIC协议与主控芯片2的进行通讯将内部寄存器进行配置，进入等待触发模式；S3、惯性测量单元6启动，通过SPI协议与主控芯片2通讯，进行初始化后配置相应的寄存器进入指定工作模式，等待主控芯片2的采样触发脉冲，该采样触发脉冲同时作为图像传感器5的触发脉冲；S4、显示器7启动并与硬件设备载板1相连，将VDMA4内的图像数据实时输送到显示器7进行显示；S5、主控芯片2发出触发脉冲，触发惯性测量单元6采集2ms内的数据并存于主控芯片2的ARM端4，惯性测量单元6完成数据采集后主控芯片2将采集的数据进行滤波处理得到贴近真实值的测量数据，同样的触发脉冲还触发图像传感器5采集一帧数据，经过FPGA端3的Mipi解析模块8解析得到图像数据存入VDMA0和VDMA1，当VDMA0内存入的数据达到指定行数阈值时，触发中断；S6、FPGA端3的畸变校正模块9接收到来自VDMA0的中断信号后，将VDMA2、VDMA3的重映射像素地址读出，并按照该地址将VDMA0、VDMA1的图像数据读出，完成像素重映射，实现图像畸变校正；S7、FPGA端3的SGBM模块10从左右目的畸变校正模块9输出第一个数据后开始工作，SGBM模块10将输入的数据进行立体匹配得到视差结果并输出；S8、FPGA端3的中值滤波模块11将SGBM模块10的结果进行滤波，滤波结果输入到VDMA4，通过显示器7进行显示。

全文数据：

权利要求：

百度查询： 华南理工大学 基于ZYNQ的实时环境深度感知装置及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD