申请/专利权人：华域视觉科技(上海)有限公司

申请日：2018-06-28

公开（公告）日：2024-04-26

公开（公告）号：CN108650495B

主分类号：H04N7/18

分类号：H04N7/18;H04N23/56;H04N23/74;B60R1/27

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2018.11.06#实质审查的生效;2018.10.12#公开

摘要：一种车用全景环视系统及其自适应补光方法，本发明通过对安装于车身两侧的环视摄像头捕捉得到的原始视频图像进行灰度直方图亮度分析，判断安装于车身左右两侧的环视摄像头的外部环境光线的强弱，自适应决策是否需要对该环视摄像头进行补光操作，设置环视摄像头补光灯组，从而实现了对全景环视系统的自适应补光。根据本发明,实现了为安装于车身两侧的环视摄像头进行自适应补光的功能，有效克服了全景环视系统在外部光线不足或无明显外部光源的场景下失效的缺陷。

主权项：1.一种车用全景环视系统的自适应补光方法，其特征在于，所述自适应补光方法步骤如下：1为车身两侧的全景环视系统设置处理单元，所述处理单元包括感光模块、补光模块及亮度均衡模块，所述补光模块包括围绕环视摄像头周边设置的补光灯组；2所述感光模块实时接收车身两侧环视摄像头获取的各路视频图像，并对所述的视频图像进行直方图亮度分析，判断是否需要对车身两侧的环视摄像头进行补光操作；3若感光模块判定无需对车身左右侧相应的环视摄像头进行补光操作，则发送关闭对应环视摄像头周边补光灯组的指令给补光模块，并进入步骤6；4若感光模块判定需要对车身左右侧相应的环视摄像头进行补光操作，则发送补光指令给补光模块，点亮对应环视摄像头周边的补光灯组，并进入步骤5；5若车身左右两侧所有摄像头对应的补光灯组全被点亮，则启动亮度均衡模块，对整个全景图像的亮度均衡化处理，并进入步骤6；所述步骤1中，对全景图像进行直方图亮度分析的方法为：感光模块根据捕捉到的车身左右两侧的原始视频图像分别制作灰度直方图，并在所述灰度直方图上，以灰度值为基准，将灰度直方图均分为五个区域，若车身一侧或两侧大于单元灰度像素个数均值的峰值点都落在前两个区域，则表示该车身一侧或两侧摄像头所处的外部环境光线较弱，需要对该车身一侧或两侧进行补光，否则不需要进行补光，所述步骤4中，将获取的各路视频图像拼接成一幅全景图像，并进行区域划分，首先，以灰度值为基准，将车身左侧视场范围内的视频图像划分为左侧区域，车身右侧视场范围内的视频图像划分为右侧区域，车身位于中间区域；其次，将所述中间区域中车身前方视场范围内的视频图像划分为前侧区域，并将所述中间区域中车身后方视场范围内的视频图像划分为后侧区域，则整幅全景图像被划分为前、后、左、右4个区域，在进行亮度均衡化处理时，使用左侧区域的亮度和右侧区域的亮度来对前侧区域的亮度和后侧区域的亮度进行均衡化操作；利用各路视频图像上像素点的亮度变化因子和所述全景图像的色彩空间特性，将当前像素点的亮度值调整至理想亮度值，即完成对当前像素点的亮度调整；设像素点Px,y属于前侧区域，像素点P的理想亮度值为： 其中，xn表示表示全景图像的宽度，也即全景图像的最大横坐标；当x∈[0,x1]时，该像素点属于左侧区域；当x∈[x2,xn]时，该像素点属于右侧区域；当x∈x1,x2时，该像素点属于前侧区域或者后侧区域,6输出全景图像，完成全景环视系统的自适应补光。

全文数据：一种车用全景环视系统及其自适应补光方法技术领域：[0001]本发明涉及汽车安全及智能车辆研究领域，尤其是，本发明涉及一种具有自适应补光功能的车用全景环视系统，及利用所述具有自适应补光功能的车用全景环视系统进行自适应补光的全景环视方法。背景技术：[0002]随着经济和交通事业的不断发展，汽车已经成为人们不可或缺的交通工具。近年来，汽车的快速增加使得城市道路、小区停车日渐拥堵，令驾驶员在泊车时受到视野和车位狭小等客观条件的限制，而极易发生碰撞事故，从而带来不必要的损失。大多数的车辆刮蹭事件都是在出入车位和让车时造成的，虽然车速不会很快，但不小心刮蹭到爱车的漆面仍是件非常恼人的事情。因此有了车身周围全景环视行车辅助的需求。[0003]全景环视系统通常是指通过对布设在车辆周围的多个广角摄像头如4到8各个广角摄像头，即环视摄像头对同一时刻采集到的能够覆盖车辆周边所有视场范围的多路视频影像进行处理，从而形成一幅包括车辆车身及车辆周边360度全景俯视图（即鸟瞰俯视图），并在车辆中控台的屏幕上显示该俯视图，可直观地呈现出车辆所处的位置和车身周边情况，从而越来越多型号的车辆希望能够实现全景环视。[0004]全景环视由于能够帮助驾驶员清楚的查看车辆周边是否存在障碍物以及障碍物的相对方位和距离等，帮助驾驶员轻松驾驶，如帮助驾驶员轻松停泊车辆以及通过复杂路面等，因此，全景环视系统大大地拓展了驾驶员对周围和环境的感知能力，使驾驶员在处理车辆起步、行车转弯、泊车入围、窄道会车、规避障碍等情况时，可从容不迫，轻松自如地操作，由此有效避免碰撞碾压等事故的发生。[0005]目前，全景环视系统的研究重点多集中在环视摄像头的标定、图像无缝拼接融合技术、图像美化及系统处理速度等技术点上。若是在外部环境光线不足甚至是在没有明显外部光源的场景下，除去安装于车身前后的环视摄像头有相应车灯如前车灯和尾灯的辅助之外，安装于车身左右两侧的环视摄像头难以捕捉周边图像。然而，这些外部光线不足或者无明显外部光源的场景在夜间行车时并不少见，同时，这些场景也属于是需要全景环视系统行车辅助的地方。发明内容：[0006]为了解决当前全景环视系统在外部光线不足甚至没有明显外部光源的场景下，安装于车身左右两侧的环视摄像头无法捕捉周边图像的问题，本发明提供了一种具有自适应补光功能的车用全景环视系统及其自适应补光方法，根据本发明的具有自适应补光功能的车用全景环视系统及其自适应补光方法，能够通过对安装于车身两侧的环视摄像头扑捉的图像进行灰度直方图亮度分析，进而实现对该环视摄像头进行自适应补光，并对补光后的全景图像进行亮度均衡化。[0007]本发明的自适应补光方法的方案如下：一种车用全景环视系统的自适应补光方法，步骤如下：[0008]1为车身两侧的全景环视系统设置处理单元，所述处理单元包括感光模块、补光模块及亮度均衡模块，所述补光模块包括围绕环视摄像头周边设置的补光灯组；[0009]2所述感光模块实时接收车身两侧环视摄像头获取的各路视频图像，并对所述的视频图像进行直方图亮度分析，判断是否需要对车身两侧的环视摄像头进行补光操作；[0010]3若感光模块判定无需对车身左右侧相应的环视摄像头进行补光操作，则发送关闭对应环视摄像头周边补光灯组的指令给补光模块，并进入步骤6;[0011]⑷若感光模块判定需要对车身左右侧相应的环视摄像头进行补光操作，则发送补光指令给补光模块，点亮对应环视摄像头周边的补光灯组，并进入步骤5;[0012]5若车身左右两侧所有摄像头对应的补光灯组全被点亮，则启动亮度均衡模块，对整个全景图像的亮度均衡化处理，并进入步骤6;[0013]⑹输出全景图像，完成全景环视系统的自适应补光。[00M]进一步地，根据本发明所述的车用全景环视系统的自适应补光方法，所述步骤1中，对全景图像进行直方图亮度分析的方法为：[0015]感光模块根据捕捉到的车身左右两侧的原始视频图像分别制作灰度直方图，并在所述灰度直方图上，以灰度值为基准，将灰度直方图均分为五个区域，若车身一侧或两侧大于单元灰度像素个数均值的峰值点都落在前两个区域，则表示该车身一侧或两侧摄像头所处的外部环境光线较弱，需要对该车身一侧或两侧进行补光，否则不需要进行补光。[0016]进一步地，根据本发明所述的车用全景环视系统的自适应补光方法，所述单元灰度像素个数均值的计算方式如下：[0017][0018]其中，No表示单元灰度像素个数均值；[0019]m表示在灰度图像上的灰度值为i的像素的个数。[0020]进一步地，根据本发明所述的车用全景环视系统的自适应补光方法，所述步骤4中，将获取的各路视频图像拼接成一幅全景图像，并进行区域划分，首先，以灰度值为基准，将车身左侧视场范围内的视频图像划分为左侧区域，车身右侧视场范围内的视频图像划分为右侧区域，车身位于中间区域;其次，将所述中间区域中车身前方视场范围内的视频图像划分为前侧区域，并将所述中间区域中车身后方视场范围内的视频图像划分为后侧区域，则整幅全景图像被划分为前、后、左、右4个区域，在进行亮度均衡化处理时，使用左侧区域的亮度和右侧区域的亮度来对前侧区域的亮度和后侧区域的亮度进行均衡化操作。[0021]进一步地，根据本发明所述的车用全景环视系统的自适应补光方法，利用各路视频图像上像素点的亮度变化因子和所述全景图像的色彩空间特性，将当前像素点的亮度值调整至理想亮度值，即完成对当前像素点的亮度调整。[0022]进一步地，根据本发明所述的车用全景环视系统的自适应补光方法，以全景图像的宽度为X轴，高度为y轴，像素点X，y处的亮度变化因子为：[0023][0024]δ为像素点x，y的亮度变化因子；[0025]Ildealx，y表示像素点x，y的灰度值；[0026]Ix，y为像素点x，y的灰度值。[0027]进一步地，根据本发明所述的车用全景环视系统的自适应补光方法，设像素点Px，y属于前侧区域，像素点P的理想亮度值为：[0028][0029]其中，Xn表示表示全景图像的宽度，也即全景图像的最大横坐标；[0030]当xe[0，χΐ]时，该像素点属于左侦怄域；[0031]当xe[χ2，χη]时，该像素点属于右侧区域；[0032]当Xeχΐ，χ2时，该像素点属于前侧区域或者后侧区域。[0033]本发明还提供一种具有自适应补光功能的车用全景环视系统，所述车用全景环视系统包括安装于车身周围的多个环视摄像头，设置有处理单元，所述处理单元包括感光模块，补光模块及亮度均衡模块，所述补光模块包括补光灯组和驱动电路，所述补光灯组围绕环视摄像头周边设置，所述感光模块的输入端连接环视摄像头，用于获取环视摄像头采集的各路视频图像以及各路视频图像拼接而成的全景图像，并判定是否需要补光操作;所述感光模块的输出端连接所述驱动电路，用于发送开启或关闭补光灯组的指令给驱动电路；所述驱动电路的输出端控制连接补光灯组，用于控制补光灯组的亮灭;所述亮度均衡模块连接感光模块的输出端，用于在车身左右两侧所有环视摄像头对应的补光灯组全被点亮时启动，对整个全景图像的亮度均衡化处理。[0034]进一步地，根据本发明所述的具有自适应补光功能的车用全景环视系统，所述补光灯组由多颗LED灯组成。[0035]进一步地，根据本发明所述的具有自适应补光功能的车用全景环视系统，所述感光模块包括光敏传感器。[0036]本发明的积极效果在于:本发明实现了为安装于车身两侧的环视摄像头进行自适应补光的功能，有效克服了全景环视系统在外部光线不足甚至没有外部光源的场景下，安装于车身左右两侧的全景环视系统摄像头无法捕捉周边图像，而导致全景环视系统在该场景下失效的缺陷，有助于实现智能交通和智能车辆，从而能够提高行驶安全性，有效降低潜在的交通事故。附图说明：[0037]图丨.模块间通信关系图；[0038]图2.灰度直方图区域划分示意图；[0039]图3.需要补光的灰度直方图示例图；[0040]图4.不需要补光的灰度直方图示例图；[0041]图5.前车灯与尾灯在全景图像视野上的照地范围示意图；[0042]图6.补光灯组在全景图像视野上的照地范围示意图；[0043]图7.全景图像亮度均衡化区域划分示意图；[0044]图8.全景图像亮度均衡化坐标系图；[0045]图9.补光灯组在全景环视系统中的安装示意图。具体实施方式：[0046]以下，举实施例清楚、完整地描述本发明的实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0047]本发明在当前全景环视系统的基础上，增设了感光模块Ml，补光模块M2及亮度均衡模块M3，其中补光模块包括围绕环视摄像头周边设置的补光灯组。如图1所示，环视摄像头将采集得到的多路视频图像及其处理后得到的全景图像作为输入，传送给处理单元⑼，处理单元P中的感光模块Ml通过对安装于车身两侧的环视摄像头采集得到的原始视频图像进行一定的图像数据分析，以决策是否应该对该环视摄像头进行补光操作，并将相应指令发送给补光模块M2;补光模块M2根据从感光模块Ml传来的指令，控制相应环视摄像头邻域内的补光灯组的点亮与关闭；当安装于车身两侧所有的环视摄像头对应的补光灯组全部点亮时，由于外部光源的主动介入，将引起车身周围环境光线分布的变化，为了得到亮度均衡化的全景图像，需要通过亮度均衡模块M3对获取的全景图像进行亮度均衡化处理。[0048]感光模块Ml:[0049]感光模块Ml以安装于车身左右两侧的环视摄像头捕捉的各路原始视频图像作为输入，通过对各路视频图像进行直方图亮度分析，来决策是否需要点亮或者关闭相应的环视摄像头对应的补光灯组。灰度直方图是灰度级的函数，它表示图象中具有每种灰度级的象素的个数，反映图象中每种灰度出现的频率。[0050]计算单元灰度像素个数均值No如图2中虚线所示），其计算方式如下：[0051][0052]其中，m表示在灰度图像上灰度值为i的像素的个数。[0053]在灰度直方图上，以灰度值为基准，将灰度直方图均匀的划分为六、8、：、04等5个区域。如图3所示，若所有大于单元灰度像素个数均值No的峰值点都落在A区域和B区域，则表示当前环视摄像头所处的外部环境光线较弱，需要点亮该环视摄像头的补光灯组来进行补光，同时，感光模块Ml向补光模块M2发送相应的点亮指令;如图4所示，若有大于单元灰度像素个数均值No的峰值点落在D区域或E区域，则不需要对该环视摄像头进行补光，相应的补光灯组应处于关闭状态，若当前补光灯组已被点亮，感光模块Ml则需要向补光模块M2发送相应的关闭指令。[0054]补光模块M2:[0055]补光模块M2根据感光模块Ml发送来的指令点亮或者关闭安装于车身两侧的环视摄像头的补光灯组。在外部光线不足甚至没有明显外部光源的场景下，安装于车身两侧的环视摄像头，相对于安装于车体前后的环视摄像头而言，由于没有车辆前照灯和尾灯的灯光辅助，将无法扑捉车身周围的环境，用其拼接的全景图将会出现如图5所示的视野盲区。因此，本发明的补光灯组需要保证灯光照地区域覆盖这些视野盲区，其照地范围示意图如图6中黑色部分所示。[0056]亮度均衡模块M3:[0057]当且仅当车身两侧所有环视摄像头的补光灯组都点亮时，拼接图亮度均衡模块M3以获取的全景图像作为输入，并将该全景图像其划分为前F、后⑹、左L、右⑻等4个区域，如图7所示。由于安装于车身左右两侧的环视摄像头得到了外部光源的主动介入，其在全景图像上的成像亮度会更接近于理想亮度值，故使用L区域的亮度和R区域的亮度来对F区域的亮度和H区域的亮度进行均衡化操作。[0058]环视摄像头与补光灯组的相对安装位置的详细说明：[0059]本实施例仅列出了环视摄像头与补光灯组的一种相对安装位置的示例，针对安装于车身两侧的环视摄像头，可将补光灯组安装在该环视摄像头的镜头周围，如图9所示，并通过调整灯光组的安装姿态及其他安装细节，使其被点亮时，其照地区域能覆盖如图6中所示的黑色椭圆区域。[0060]环视摄像头补光灯组需要被点亮的判断过程的详细说明：[0061]图3给出了一个需要对相应环视摄像头补光灯组进行点亮的灰度直方图示例。[0062]从图3中可以看出，该灰度直方图共有5个峰值点，分别位于A区域、B区域和C区域，再根据相应公式计算出单元灰度像素个数均值No,其值由图中虚线标出.显然，根据本实施例，大于单元灰度像素个数均值No的峰值点（图中虚线以上的峰值点）有4个，全部落在了A区域和B区域，满足所有大于单元灰度像素个数均值No的峰值点都落在A区域和B区域的点亮条件，所以感光模块Ml向补光模块M2发送相应环视摄像头补光灯组的点亮命令。[0063]环视摄像头补光灯组点应处于关闭状态的判断过程的详细说明：[0064]图4给出了一个需要对相应环视摄像头补光灯组进行关闭操作的灰度直方图示例。[0065]从图4中可以看出，该灰度直方图共有6个峰值点，分散落在了A、B、C、D、E等5个区域内。根据相应公式计算出单元灰度像素个数均值No,其值由图中虚线标出，显然，大于单元灰度像素个数均值No的峰值点（图中虚线以上的峰值点）有4个，分别落在了A区域、B区域、C区域和D区域，由于这4个峰值点有一个落在了D区域，满足存在一个大于单元灰度像素个数均值No的峰值点落在D区域或者E区域的条件，所以此时，需要关闭相应的补光灯组。[0066]若该补光灯组已被点亮，感光模块Ml向补光模块M2发送相应环视摄像头补光灯组的关闭命令。[0067]YUV色彩空间全景图的亮度均衡化的详细说明：[0068]由于YUV色彩空间中的Y通道就代表了图像像素的亮度值，所以针对YUV色彩空间格式的全景图只需要将F区域和H区域内所有像素的Y通道值替换为相应的理想亮度值即可。针对F区域和H区域的某像素Px，y，其Y通道的值为：[0069][0070]其中，Yx，y表示全景图像上像素点x，y的Y通道值;表示全景图像的宽度；当Xe[0,XI]时，该像素点属于L区域；当xG[X2,Xn]时，该像素点属于R区域；当XeX1,X2时，该像素点属于F区域或者H区域。[0071]结合全景图像上像素点（x，y的灰度值Ix，y，可得到当前像素点处的亮度变化因子S为：[0072][0073]利用该像素点的亮度变化因子和该全景图像的色彩空间特性，对该像素点上的各通道数值进行调整，即可完成对该像素点的亮度调整。对F区域和H区域内所有的像素点执行同样的操作，即可完成对整幅全景图像的亮度均衡化。[0074]本发明基于全景环视系统，将照地灯光组与安装于车身两侧的环视摄像头进行绑定，实现了为安装于车身两侧的环视摄像头进行自适应补光的功能，有效克服了全景环视系统在外部光线不足或无明显外部光源的场景下失效的缺陷。

权利要求：1.一种车用全景环视系统的自适应补光方法，其特征在于，所述自适应补光方法步骤如下：1为车身两侧的全景环视系统设置处理单元，所述处理单元包括感光模块、补光模块及亮度均衡模块，所述补光模块包括围绕环视摄像头周边设置的补光灯组；2所述感光模块实时接收车身两侧环视摄像头获取的各路视频图像，并对所述的视频图像进行直方图亮度分析，判断是否需要对车身两侧的环视摄像头进行补光操作；3若感光模块判定无需对车身左右侧相应的环视摄像头进行补光操作，则发送关闭对应环视摄像头周边补光灯组的指令给补光模块，并进入步骤6;⑷若感光模块判定需要对车身左右侧相应的环视摄像头进行补光操作，则发送补光指令给补光模块，点亮对应环视摄像头周边的补光灯组，并进入步骤5;5若车身左右两侧所有摄像头对应的补光灯组全被点亮，则启动亮度均衡模块，对整个全景图像的亮度均衡化处理，并进入步骤6;⑹输出全景图像，完成全景环视系统的自适应补光。2.如权利要求1所述的车用全景环视系统的自适应补光方法，其特征在于，所述步骤1中，对全景图像进行直方图亮度分析的方法为：感光模块根据捕捉到的车身左右两侧的原始视频图像分别制作灰度直方图，并在所述灰度直方图上，以灰度值为基准，将灰度直方图均分为五个区域，若车身一侧或两侧大于单元灰度像素个数均值的峰值点都落在前两个区域，则表示该车身一侧或两侧摄像头所处的外部环境光线较弱，需要对该车身一侧或两侧进行补光，否则不需要进行补光。3.如权利要求2所述的车用全景环视系统的自适应补光方法，其特征在于，所述单元灰度像素个数均值的计算方式如下：其中，No表示单元灰度像素个数均值；m表示在灰度图像上的灰度值为i的像素的个数。4.如权利要求1所述的车用全景环视系统的自适应补光方法，其特征在于，所述步骤⑷中，将获取的各路视频图像拼接成一幅全景图像，并进行区域划分，首先，以灰度值为基准，将车身左侧视场范围内的视频图像划分为左侧区域，车身右侧视场范围内的视频图像划分为右侧区域，车身位于中间区域;其次，将所述中间区域中车身前方视场范围内的视频图像划分为前侧区域，并将所述中间区域中车身后方视场范围内的视频图像划分为后侧区域，则整幅全景图像被划分为前、后、左、右4个区域，在进行亮度均衡化处理时，使用左侧区域的亮度和右侧区域的亮度来对前侧区域的亮度和后侧区域的亮度进行均衡化操作。5.如权利要求4所述的车用全景环视系统的自适应补光方法，其特征在于，利用各路视频图像上像素点的亮度变化因子和所述全景图像的色彩空间特性，将当前像素点的亮度值调整至理想亮度值，即完成对当前像素点的亮度调整。6.如权利要求5所述的车用全景环视系统的自适应补光方法，其特征在于，以全景图像的宽度为X轴，高度为y轴，像素点X，y处的亮度变化因子为：S为像素点x，y的亮度变化因子；Iicbaix，y表示像素点x，y的灰度值；Ix，y为像素点x，y的灰度值。7.如权利要求5所述的车用全景环视系统的自适应补光方法，其特征在于，设像素点Px，y属于前侧区域，像素点P的理想亮度值为：其中，Xn表示表示全景图像的宽度，也即全景图像的最大横坐标；当xe[〇，χΐ]时，该像素点属于左侧区域；当xG[χ2，χη]时，该像素点属于右侧区域；当xeχΐ，χ2时，该像素点属于前侧区域或者后侧区域。8.—种车用全景环视系统，所述车用全景环视系统包括安装于车身周围的多个环视摄像头，其特征在于，所述车用全景环视系统具有自适应补光功能，所述车用全景环视系统设置有处理单元，所述处理单元包括感光模块，补光模块及亮度均衡模块，所述补光模块包括补光灯组和驱动电路，所述补光灯组围绕环视摄像头周边设置，所述感光模块的输入端连接环视摄像头，用于获取环视摄像头采集的各路视频图像以及各路视频图像拼接而成的全景图像，并判定是否需要补光操作;所述感光模块的输出端连接所述驱动电路，用于发送开启或关闭补光灯组的指令给驱动电路;所述驱动电路的输出端控制连接补光灯组，用于控制补光灯组的亮灭;所述亮度均衡模块连接感光模块的输出端，用于在车身左右两侧所有环视摄像头对应的补光灯组全被点亮时启动，对整个全景图像的亮度做均衡化处理。9.如权利要求8所述的车用全景环视系统，其特征在于，所述补光灯组由多颗LED灯组成。10.如权利要求8所述的车用全景环视系统，其特征在于，所述感光模块包括光敏传感器。

百度查询： 华域视觉科技(上海)有限公司 一种车用全景环视系统及其自适应补光方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD