申请/专利权人：丰田自动车株式会社

申请日：2018-11-30

公开（公告）日：2021-04-27

公开（公告）号：CN109922308B

主分类号：H04N7/18(20060101)

分类号：H04N7/18(20060101);H04N5/262(20060101)

优先权：["20171205 JP 2017-233733"]

专利状态码：有效-授权

法律状态：2021.06.04#授权;2021.04.27#授权;2019.07.16#实质审查的生效;2019.06.21#公开

摘要：本发明提供图像显示装置，能够在合成图像中适当地确保在第一车辆的后方存在的第二车辆的视觉确认性。图像显示装置具备：设定单元132，在从第一车辆向后方远离的位置设定合成面CS；和合成单元133，将由能够拍摄第一车辆的后方区域的后方拍摄单元11B拍摄到的后方图像111B和由能够拍摄第一车辆的后侧方区域的后侧方拍摄单元11BL、11BR拍摄到的后侧方图像合成，生成后方图像中显现出的景象和后侧方图像中显现出的景象在合成面的位置处无缝地连接的合成图像111C，设定单元在第一车辆的后方存在第二车辆2的情况下，在与不存在第二车辆的情况下设定合成面的位置不同的位置设定合成面。

主权项：1.一种图像显示装置，其特征在于，具备：设定单元，在从第一车辆向后方远离的位置设定与上述第一车辆的前后轴交叉的虚拟的合成面；合成单元，对由能够拍摄上述第一车辆的后方区域的后方拍摄单元拍摄到的后方图像和由能够拍摄上述第一车辆的后侧方区域的后侧方拍摄单元拍摄到的后侧方图像进行合成，生成上述后方图像中显现出的景象和上述后侧方图像中显现出的景象在上述合成面的位置处无缝地连接的合成图像；以及显示单元，显示上述合成图像，上述设定单元在由检测装置检测为在上述第一车辆的后方存在第二车辆的情况下，在与由上述检测装置未检测为存在上述第二车辆的情况下设定上述合成面的位置不同的位置设定上述合成面，在上述第二车辆接近上述第一车辆至即使变更上述合成面的位置也不能生成没有不适感地显现出上述第二车辆的上述合成图像的程度的情况下，上述显示单元代替上述合成图像而分别独立地显示上述后方图像以及上述后侧方图像的每一个。

全文数据：图像显示装置技术领域本发明涉及对搭载于车辆的多个拍摄单元拍摄到的图像进行合成并能够显示合成所得到的图像的图像显示装置的技术领域。背景技术这样的图像显示装置的一个例子记载于专利文献1以及专利文献2。具体而言，专利文献1记载有一种如下所述的图像显示装置：通过将能够拍摄本车辆的后侧方区域的照相机拍摄到的后侧方图像和能够拍摄本车辆的后方区域的照相机拍摄到的后方图像以成为从虚拟视点环视本车辆的周围后方的图像的方式在本车辆的周围后方无缝地进行合成来生成合成图像，并能够在车内后视镜所具有的显示装置显示生成的合成图像。专利文献2记载有一种如下所述的图像显示装置：通过根据到正在本车辆的后方行驶的后方车辆的距离修剪trimming能够拍摄本车辆的右后侧方区域的照相机拍摄到的右后侧方图像和能够拍摄本车辆的左后侧方区域的照相机拍摄到的左后侧方图像，并对修剪后的左后侧方图像以及右后侧方图像进行合成，来以后方车辆不双重映出的方式生成合成图像，并能够显示生成的合成图像。专利文献1：日本特开2008－230558号公报专利文献2：日本特开2006－338566号公报专利文献1所记载的图像显示装置没有考虑是否存在正在本车辆的后方行驶的后方车辆地对后侧方图像和后方图像进行合成。因此，专利文献1所记载的图像显示装置具有在存在后方车辆的情况中，有可能无法一边适当地确保合成图像中的后方车辆的视觉确认性一边将后侧方图像和后方图像合成这一技术问题。另一方面，专利文献2所记载的图像显示装置在生成合成图像时，调整右后侧方图像以及左后侧方图像的修剪量以使后方车辆不双重映出。然而，仅通过调整修剪量来使后方车辆不双重映出，并不一定能确保合成图像中的后方车辆的视觉确认性。因此，专利文献2所记载的图像显示装置也具有在存在后方车辆的情况中，有可能不能一边适当地确保合成图像中的后方车辆的视觉确认性一边将后侧方图像和后方图像合成这一技术问题。发明内容本发明的课题在于提供一种图像显示装置，该图像显示装置是对搭载于第一车辆的多个拍摄单元分别拍摄到的多个图像进行合成来生成合成图像的图像显示装置，即使在第一车辆的后方存在第二车辆的情况下，也能够以适当地确保合成图像中的第二车辆的视觉确认性的方式生成合成图像。本发明的图像显示装置的一个方式具备：设定单元，在从第一车辆向后方远离的位置设定与上述第一车辆的前后轴交叉的虚拟的合成面；合成单元，对由能够拍摄上述第一车辆的后方区域的后方拍摄单元拍摄到的后方图像和由能够拍摄上述第一车辆的后侧方区域的后侧方拍摄单元拍摄到的后侧方图像进行合成，生成上述后方图像中显现出的景象和上述后侧方图像中显现出的景象在上述合成面的位置处无缝地连接的合成图像；以及显示单元，显示上述合成图像，上述设定单元在由检测装置检测为在上述第一车辆的后方存在第二车辆的情况下，在与由上述检测装置未检测为存在上述第二车辆的情况下设定上述合成面的位置不同的位置设定上述合成面。附图说明图1是表示本实施方式的车辆的构成的框图。图2是表示本实施方式的车辆中的后方照相机、左后侧方照相机以及右后侧方照相机各自的设置位置以及拍摄范围的俯视图。图3a以及图3b分别是表示在车辆的后方设定的合成面的俯视图。图4a是示意性地表示用于生成合成图像的图像合成处理的内容的俯视图，图4b是表示图像合成处理所使用的拍摄范围的俯视图。图5是表示通过本实施方式的图像合成处理生成的合成图像的俯视图。图6a是表示由于图像合成处理而产生的不在合成图像显现出的死角区域的俯视图，图6b是表示不位于死角区域内的后方车辆的俯视图，图6c是表示位于死角区域内的后方车辆的俯视图。图7是表示用于设定合成面的合成面设定动作的流程的流程图。图8a是与合成面的位置一起表示从车辆到后方车辆的距离大于第一阈值的情况下产生的死角区域与后方车辆之间的位置关系的俯视图，图8b是表示在图8a所示的状况下生成的合成图像的俯视图。图9a是与合成面的位置一起表示从车辆到后方车辆的距离小于第一阈值的情况下产生的死角区域与后方车辆之间的位置关系的俯视图，图9b是表示在图9a所示的状况下生成的合成图像的俯视图。图10是表示用于设定合成面的合成面设定动作的变形例的流程的流程图。图11是表示位于照相机的死角区域内的后方车辆的俯视图。图12是表示不合成而将后方图像、左后侧方图像以及右后侧方图像分别独立地显示的显示例的俯视图。图13是表示对左后侧方图像或者右后侧方图像进行强调显示的显示例的俯视图。具体实施方式以下，参照附图对图像显示装置的实施方式进行说明。以下，使用搭载有图像显示装置的实施方式的车辆1来进行说明。1车辆1的构成首先，参照图1以及图2对本实施方式的车辆1的构成进行说明。图1是表示本实施方式的车辆1的构成的框图。图2是表示本实施方式的车辆1中的后方照相机11B、左后侧方照相机11BL以及右后侧方照相机11BR的设置位置以及拍摄范围的俯视图。其中，在以下的说明中，右、左以及后方在没有特殊标注的情况下，分别是指相对于车辆1的行进方向的右、左以及后方。另外，在以下的说明中，根据需要，使用右侧与+Y侧对应，左侧与－Y侧对应，后方侧与－X侧对应，前方侧与+X侧对应，上侧与+Z侧对应，并且下侧与－Z侧对应的XYZ坐标系来进行说明。如图1所示，车辆1具备作为后述的附注中的“后方拍摄单元”的一个具体例子的后方照相机11B、作为后述的附注中的“后侧方拍摄单元”的一个具体例子的左后侧方照相机11BL、作为后述的附注中的“后侧方拍摄单元”的一个具体例子的右后侧方照相机11BR、后方车辆传感器12、ECUElectricalControlUnit：电子控制单元13、以及作为后述的附注中的“显示单元”的一个具体例子的显示器14。如图2所示，后方照相机11B是拍摄位于车辆1的后方特别是，正后方的后方区域的拍摄设备。后方区域是在假设为在车辆1的车厢内设置有后视镜的情况下包括映入该后视镜的区域的至少一部分的区域。换句话说，在本实施方式中，后方照相机11B构成代替设置于车辆1的车厢内的后视镜的、所谓电子镜的一部分。为了拍摄车辆1的后方区域，后方照相机11B的拍摄中心位于车辆1的正后方。换句话说，后方照相机11B所具备的镜头等光学系统的光轴从车辆1朝向正后方延伸。结果，后方照相机11B的拍摄范围或者视角IRB被设定为包括后方区域。如图2所示，左后侧方照相机11BL是拍摄位于车辆1的后方特别是，左侧方的后方换句话说，左后侧方的左后侧方区域的拍摄设备。左后侧方区域是在假设为在位于车辆1的左侧的左门设置有门镜的情况下，在左门处于关闭状态的状况下在设置于该左门的门镜中显现出的区域的至少一部分所包含的区域。换句话说，在本实施方式中，左后侧方照相机11BL构成代替设置于车辆1的左门的门镜的、所谓电子镜的一部分。为了拍摄车辆1的左后侧方区域，左后侧方照相机11BL的拍摄中心位于车辆1的后方向左侧。换言之，左后侧方照相机11BL的拍摄中心位于比后方照相机11B的拍摄中心靠左侧。换句话说，左后侧方照相机11BL所具备的镜头等光学系统的光轴在比上述的后方照相机11B所具备的光学系统的光轴靠左侧的空间中朝向后方延伸。结果，左后侧方照相机11BL的拍摄范围或者视角IRBL被设定为包括左后侧方区域。此外，拍摄范围IRBL也可以一部分与拍摄范围IRB重复。如图2所示，右后侧方照相机11BR是拍摄位于车辆1的后方特别是，右侧方的后方换句话说，右后侧方的右后侧方区域的拍摄设备。右后侧方区域是在假设为在位于车辆1的右侧的右门设置有门镜的情况下，在右门处于关闭状态的状况下在设置于该右门的门镜中显现出的区域的至少一部分所包括的区域。换句话说，在本实施方式中，右后侧方照相机11BR构成代替设置于车辆1的右门的门镜的、所谓电子镜的一部分。为了拍摄车辆1的右后侧方区域，右后侧方照相机11BR的拍摄中心位于车辆1的后方向右侧。换言之，右后侧方照相机11BR的拍摄中心位于比后方照相机11B的拍摄中心靠右侧。换句话说，右后侧方照相机11BR所具备的镜头等光学系统的光轴在比上述的后方照相机11B所具备的光学系的光轴靠右侧的空间中，朝向后方延伸。结果，右后侧方照相机11BR的拍摄范围或者视角IRBR设定为包括右后侧方区域。此外，拍摄范围IRBR也可以一部分与拍摄范围IRB重复。后方车辆传感器12是能够检测位于车辆1的后方这里，不仅包括车辆1的正后方，还包括车辆1的左后侧方以及右后侧方的至少一方，以下相同的其他车辆2以下，称为“后方车辆2”的检测设备。后方车辆传感器12例如包括雷达、LIDARLightDetectionandRanging：光探测和测距仪以及照相机中的至少一个。此外，后方照相机11B、左后侧方照相机11BL以及右后侧方照相机11BR的至少一个也可以作为后方车辆传感器12使用。ECU13控制车辆1的整体的动作。在本实施方式中，特别是ECU13进行用于在显示器14显示后方照相机11B拍摄到的图像换句话说，是表示后方区域的状况的图像，以下，称为“后方图像111B”、左后侧方照相机11BL拍摄到的图像换句话说，是表示左后侧方区域的状况的图像，以下，称为“左后侧方图像111BL”、以及右后侧方照相机11BR拍摄到的图像是表示右后侧方区域的状况的图像，以下，称为“右后侧方图像111BR”的显示动作。为了进行显示动作，作为在ECU13的内部逻辑实现的处理块，ECU13具备图像获取部131、作为后述的附注中的“设定单元”的一个具体例子的合成面设定部132、以及作为后述的附注中的“合成单元”的一个具体例子的图像合成部133。图像获取部131从后方照相机11B、左后侧方照相机11BL以及右后侧方照相机11BR分别获取后方图像111B、左后侧方图像111BL以及右后侧方图像111BR。合成面设定部132设定为了无缝地合成换句话说，连接后方图像111B、左后侧方图像111BL以及右后侧方图像111BR而参照的参数亦即合成面CS。如图3a以及图3b所示，合成面CS是设定在从车辆1向后方远离规定距离L的位置的虚拟的面。合成面CS是与车辆1的前后轴在图3a以及图3b所示的例子中，为X轴交叉的面。在图3a以及图3b所示的例子中，合成面CS是与车辆1的前后轴正交的面换句话说，沿铅垂方向扩展的面。图像合成部133通过进行将后方图像111B、左后侧方图像111BL以及右后侧方图像111BR合成的图像合成处理，来生成合成图像111C。具体而言，图像合成部133以在合成面设定部132设定的合成面CS上后方图像111B、左后侧方图像111BL以及右后侧方图像111BR无缝地连接的方式进行图像合成处理。换句话说，图像合成部133以在后方图像111B显现出的合成面CS上的景象换句话说，合成面CS被设定的位置处的景象、在左后侧方图像111BL显现出的合成面CS上的景象以及在右后侧方图像111BR显现出的合成面CS上的景象无缝地连接的方式进行图像合成处理。该情况下，如图4a所示，图像合成部133将后方图像111B转换成在后方照相机11B对拍摄范围IRB的至少一部分亦即拍摄范围IRB’进行拍摄的情况下获取到的后方图像112B。并且，如图4a所示，图像合成部133将左后侧方图像111BL转换成在左后侧方照相机11BL对拍摄范围IRBL的至少一部分亦即拍摄范围IRBL’进行拍摄的情况下获取到的左后侧方图像112BL。并且，如图4a所示，图像合成部133将右后侧方图像111BR转换成在右后侧方照相机11BR对拍摄范围IRBR的至少一部分亦即拍摄范围IRBR’进行拍摄的情况下获取到的右后侧方图像112BR。如图4b所示，拍摄范围IRB’、拍摄范围IRBL’以及拍摄范围IRBR’被设定为满足i拍摄范围IRB’与合成面CS交叉的交叉区域SB的左侧的边和拍摄范围IRBL’与合成面CS交叉的交叉区域SBL的右侧的边相邻，并且，ii交叉区域SB的右侧的边和拍摄范围IRBR’与合成面CS交叉的交叉区域SBR的左侧的边相邻这一条件。因此，图像合成部133进行的图像合成处理包括将后方图像111B、左后侧方图像111BL以及右后侧方图像111BR分别转换成后方图像112B、左后侧方图像112BL以及右后侧方图像112BR的图像转换处理。图像转换处理也可以包括从后方图像111B提取出一部分的图像部分的图像提取处理换言之，从后方图像111B修剪不必要的图像部分的修剪处理。图像转换处理也可以包括从左后侧方图像111BL提取出一部分的图像部分的图像提取处理换言之，从左后侧方图像111BL修剪不必要的图像部分的修剪处理。图像转换处理也可以包括从右后侧方图像111BR提取出一部分的图像部分的图像提取处理换言之，从右后侧方图像111BR修剪不必要的图像部分的修剪处理。图像转换处理也可以包括对后方图像111B、左后侧方图像111BL以及右后侧方图像111BR的至少一个或者，通过图像切出处理而切出的图像部分的视点进行转换的视点转换处理。图像转换处理也可以包括将后方图像111B、左后侧方图像111BL以及右后侧方图像111BR的至少一个或者，通过图像切出处理而切出的图像部分放大或者缩小的放大缩小处理。然后，图像合成部133生成左后侧方区域位于后方区域的左侧并且右后侧方区域位于后方区域的右侧的合成图像111C。换句话说，如图5所示，图像合成部133生成左后侧方图像112BL与后方图像112B的左侧相邻并且右后侧方图像112BR与后方图像112B的右侧相邻的合成图像111C。因此，图像合成部133进行的图像合成处理包括将后方图像112B、左后侧方图像112BL以及右后侧方图像112BR组合的图像组合处理。并且，图像合成部133控制显示器14以显示生成的合成图像111C。此外，显示器14设置于车辆1的车厢内，对位于车厢内的车辆1的乘员显示合成图像111C。2生成合成图像111C时产生的技术问题接着，参照图6a至图6c对有可能在通过上述的图像合成处理生成合成图像111C时产生的技术问题进行说明。如上述那样，图像合成处理包括如下的图像转换处理：i将在对拍摄范围IRB进行拍摄的情况下获取到的后方图像111B转换成对拍摄范围IRB’进行拍摄的情况下获取到的后方图像112B、ii将对拍摄范围IRBL进行拍摄的情况下获取到的左后侧方图像111BL转换成对拍摄范围IRBL’进行拍摄的情况下获取到的左后侧方图像112BL、以及iii将对拍摄范围IRBR进行拍摄的情况下获取到的右后侧方图像111BR转换成对拍摄范围IRBR’进行拍摄的情况下获取到的右后侧方图像112BR。该情况下，如图6a所示，根据拍摄范围IRB、拍摄范围IRBL以及拍摄范围IRBR与拍摄范围IRB’、拍摄范围IRBL’以及拍摄范围IRBR’的位置关系，有可能产生在后方图像112B、左后侧方图像112BL以及右后侧方图像112BR的任意一个都不包括的死角区域DSI。根据图6a可知，该死角区域DSI典型的情况下在车辆1与合成面CS之间产生。因此，即使产生了死角区域DSI，若如图6b所示那样后方车辆2不位于比合成面CS靠前方，则后方车辆2不会位于死角区域DSI内。因此，在合成图像111C中后方车辆2的至少一部分不会不自然地缺少。换句话说，图像合成部133能够生成没有不适感换句话说，不会不自然地缺少至少一部分地显现出后方车辆2的合成图像111C。另一方面，若如图6c所示，在产生死角区域DSI的状况下后方车辆2位于比合成面CS靠前方，则后方车辆2的至少一部分有可能位于死角区域DSI内。该情况下，在合成图像111C中有可能不自然地缺少后方车辆2的至少一部分具体而言，后方车辆2中的位于死角区域DSI内的部分。换句话说，产生图像合成部133有可能无法生成没有不适感地显现出后方车辆2的合成图像111C这一技术问题。产生这样的技术问题的技术理由之一是合成面CS的位置具体而言，相对于车辆1的相对位置被固定。鉴于此，本实施方式使用能够将合成面CS设定在可变的位置换句话说，能够变更合成面CS的位置的合成面设定部132，来解决这样的技术问题。以下，对由合成面设定部132进行的用于设定合成面CS的合成面设定动作进一步进行说明。3合成面设定动作的流程以下，参照图7对用于设定合成面CS的合成面设定动作的流程进行说明。图7是表示用于设定合成面CS的合成面设定动作的流程的流程图。如图7所示，合成面设定部132基于后方车辆传感器12的检测结果来判定是否存在后方车辆2步骤S11。换句话说，合成面设定部132判定后方车辆传感器12是否检测到后方车辆2。在步骤S11的判定结果是判定为不存在后方车辆2换句话说，后方车辆传感器12没有检测到后方车辆2的情况下步骤S11：否，合成面设定部132将合成面CS设定在默认的位置步骤S14。对于车辆1预先设定了默认的位置。默认的位置是从车辆1向后方远离规定的第一距离L1例如，12米的位置。另一方面，在步骤S11的判定结果是判定为存在后方车辆2换句话说，后方车辆传感器12检测到后方车辆2的情况下步骤S11：是，合成面设定部132基于后方车辆传感器12的检测结果来判定从车辆1到后方车辆2的距离以下，称为“车间距离L12”是否小于规定的第一阈值TH1步骤S12。第一阈值TH1被设定为满足如下条件的适当的值：能够通过车间距离12区别即使在默认的位置设定合成面CS也能够生成没有不适感地显现出后方车辆2的合成图像111C的状况、和在默认的位置设定合成面CS的状态下不能生成没有不适感地显现出后方车辆2的合成图像111C的状况。若考虑上述的技术问题，则车间距离L12越小，不能在默认的位置设定合成面CS的状态下生成没有不适感地显现出后方车辆2的合成图像111C的可能性越高。因此，车间距离L12小于第一阈值TH1的状况与不能在默认的位置设定合成面CS的状态下生成没有不适感地显现出后方车辆2的合成图像111C的状况对应。另一方面，车间距离L12大于第一阈值TH1的状况与即使在默认的位置设定合成面CS的状态下也能够生成没有不适感地显现出后方车辆2的合成图像111C的状况对应。作为满足这样的条件的第一阈值TH1的一个例子，例如可举出从车辆1到合成面CS的默认的位置为止的距离换句话说，上述的第一距离L1或者大于该第一距离L1的值。在步骤S12的判定结果是判定为车间距离L12大于第一阈值TH1的情况下步骤S12：否，推断为即使在默认的位置设定合成面CS，也能够生成没有不适感地显现出后方车辆2的合成图像111C。因此，此时，合成面设定部132将合成面CS设定在默认的位置步骤S14。另一方面，在步骤S12的判定结果是判定为车间距离L12小于第一阈值TH1的情况下步骤S12：否，推断为在默认的位置设定合成面CS的状态下，不能生成没有不适感地显现出后方车辆2的合成图像111C。因此，在该情况下，合成面设定部132将合成面CS变更到与默认的位置不同的位置步骤S13。具体而言，合成面设定部132将合成面CS设定在比默认的位置靠前方的位置。合成面设定部132基于车间距离L12设定合成面CS。换句话说，合成面设定部132在基于车间距离L12而规定的位置设定合成面CS。具体而言，合成面设定部132将合成面CS设定为随着车间距离L12减小，设定合成面CS的位置连续或者阶段性地接近车辆1。其中，在即使不在基于车间距离L12而规定的位置设定合成面CS也能够生成没有不适感地显现出后方车辆2的合成图像111C的情况下，合成面设定部132也可以不考虑车间距离L12地设定合成面CS。如上述那样，死角区域DSI在车辆1与合成面CS之间产生。换句话说，若后方车辆2位于比合成面CS靠前方，则图像合成部133有可能不能生成没有不适感地显现出后方车辆2的合成图像111C。因此，合成面设定部132在比后方车辆2靠前方的位置其中，包括后方车辆2的前方端部所在的位置设定合成面CS。结果，合成面设定部132能够设定可生成没有不适感地显现出后方车辆2的合成图像111C的合成面CS。换句话说，在比后方车辆2靠前方的位置设定合成面CS的动作实质上与在能够生成没有不适感地显现出后方车辆2的合成图像111C的位置设定合成面CS的动作等效。其中，在比后方车辆2靠前方设定合成面CS的动作也是基于车间距离L12设定合成面CS的动作的一个具体例子。在步骤S13或者步骤S14中设定了合成面CS的情况下，合成面设定部132结束图7所示的动作。然后，在经过规定时间之后，合成面设定部132再次开始图7所示的动作。换句话说，图7所示的动作以规定周期反复进行。此外，在上述的说明中，在步骤S12的判定结果是判定为车间距离L12与第一阈值TH1相同的情况下，进行在判定为车间距离L12大于第一阈值TH1的情况下进行的处理，但也可以进行在判定为车间距离L12小于第一阈值TH1的情况下进行的处理。4技术效果如以上说明那样，在本实施方式中，能够变更合成面CS的位置。因此，图像合成部133能够基于设定在可变的位置的合成面CS，生成没有不适感地显现出后方车辆2的合成图像111C。换句话说，即使在存在后方车辆2的情况下，图像合成部133也能够生成没有不适感地显现出后方车辆2的合成图像111C。具体而言，例如，图8a是与合成面CS的位置一起表示车间距离L12大于第一阈值TH1的情况下产生的死角区域DSI与后方车辆2之间的位置关系的俯视图。此时，合成面设定部132如上述那样在默认的位置设定合成面CS。即使这样在默认的位置设定合成面CS，只要车间距离L12大于第一阈值TH1，则后方车辆2也不会位于死角区域DSI内。因此，如图8b所示，图像合成部133能够生成没有不适感地显现出后方车辆2的合成图像111C。另一方面，图9a是与合成面的位置一起表示车间距离L12小于第一阈值TH1的情况下产生的死角区域DSI与后方车辆2之间的位置关系的俯视图。此时，在默认的位置设定了合成面CS的状态下，导致后方车辆2位于死角区域DSI内参照图6c。因此，该情况下，合成面设定部132如上述那样在比默认的位置靠前方特别是，后方车辆2所在的位置或者比后方车辆2靠前方的位置设定合成面CS。结果，即使车间距离L12小于第一阈值TH1，后方车辆2也不会位于死角区域DSI内。因此，如图9b所示，图像合成部133能够生成没有不适感地显现出后方车辆2的合成图像111C。5变形例接着，对变形例进行说明。5－1合成面设定动作的变形例参照图10对合成面设定动作的变形例进行说明。图10是表示合成面设定动作的变形例的流程的流程图。其中，对于与图7的流程图所记载的处理相同的处理标注相同的步骤编号，省略其详细的说明。如图10所示，在变形例中，合成面设定部132也判定是否存在后方车辆2步骤S11。在判定为不存在后方车辆2的情况下步骤S11：否，合成面设定部132将合成面CS设定在默认的位置步骤S14。在判定为存在后方车辆2的情况下步骤S11：是，合成面设定部132判定车间距离L12是否小于第一阈值TH1步骤S12。在判定为车间距离L12大于第一阈值TH1的情况下步骤S12：否，合成面设定部132将合成面CS设定在默认的位置步骤S14。另一方面，在步骤S12的判定结果是判定为车间距离L12小于第一阈值TH1的情况下步骤S12：否，合成面设定部132进一步判定车间距离L12是否小于比第一阈值TH1小的规定的第二阈值TH2步骤S21。第二阈值TH1被设定为满足如下条件的适当的值：能够通过车间距离12区别若变更合成面CS的位置则能够生成没有不适感地显现出后方车辆2的合成图像111C的状况、和即使变更合成面CS的位置更具体而言，即使使合成面CS更接近车辆1也不能生成没有不适感地显现出后方车辆2的合成图像111C的状况。这里，参照图11对即使变更合成面CS的位置也不能生成没有不适感地显现出后方车辆2的合成图像111C的状况进行说明。如图11所示，作为后方车辆2接近车辆1的结果，有可能后方车辆2位于比左后侧方照相机11BL的拍摄范围IRBL与后方照相机11B的拍摄范围IRB的交叉部PBL以及右后侧方照相机11BR的拍摄范围IRBR与后方照相机11B的拍摄范围IRB的交叉部PBR靠前方。该情况下，后方车辆2有可能位于从拍摄范围IRB、拍摄范围IRBL以及拍摄范围IRBR都偏离的死角区域DSC内。换句话说，后方车辆2有可能位于在后方图像111B、左后侧方图像111BL以及右后侧方图像111BR中均不显现出的死角区域DSC内。该情况下，后方车辆2中的位于死角区域DSC内的部分在后方照相机11B、左后侧方照相机11BL以及右后侧方照相机11BR中都拍摄不出。因此，无论怎样变更合成面CS的位置换句话说，无论怎样调整上述的死角区域DSI，都不能生成没有不适感地显现出后方车辆2的合成图像111C。若考虑即使变更合成面CS的位置也不能生成没有不适感地显现出后方车辆2的合成图像111C的技术理由，则车间距离L12越小，那么即使变更合成面CS的位置也不能生成没有不适感地显现出后方车辆2的合成图像111C的可能性越高。因此，车间距离L12小于第二阈值TH2的状况与即使变更合成面CS的位置也不能生成没有不适感地显现出后方车辆2的合成图像111C的状况对应。另一方面，车间距离L12大于第二阈值TH2的状况与若变更合成面CS的位置则能够生成没有不适感地显现出后方车辆2的合成图像111C的状况对应。作为满足这样的条件的第二阈值TH2的一个例子，例如可举出从车辆1到交叉部PBL以及PBR的距离亦即第二距离L2或者大于该第二距离L2的值。在步骤S21的判定结果是判定为车间距离L12大于第二阈值的情况下步骤S21：否，推断为若合成面设定部132变更合成面CS的位置，则图像合成部133能够生成没有不适感地显现出后方车辆2的合成图像111C。因此，该情况下，合成面设定部132将合成面CS变更到与默认的位置不同的位置步骤S13。另一方面，在步骤S21的判定结果是判定为车间距离L12小于第二阈值的情况下步骤S21：是，推断为即使合成面设定部132变更合成面CS的位置，图像合成部133也不能生成没有不适感地显现出后方车辆2的合成图像111C。换句话说，推断为即使基于车间距离L12设定合成面CS，图像合成部133也只能生成显现出不自然的例如，不自然地缺少至少一部分的后方车辆2的合成图像111C。该情况下，取代合成面设定部132设定合成面CS，而控制图像合成部133以便不将后方图像111B或者，其一部分、左后侧方图像111BL或者，其一部以及右后侧方图像111BR或者，其一部分合成而分别独立地显示步骤S22。结果，图像合成部133不对后方图像111B、左后侧方图像111BL以及右后侧方图像111BR进行合成而原样或者，提取出至少一部分之后输出到显示器14。然后，如图12所示，显示器14分别独立地显示后方图像111B或者，其一部分、左后侧方图像111BL或者，其一部分以及右后侧方图像111BR或者，其一部分。根据以上说明的第一变形例，能够获得与上述的技术效果相同的技术效果。并且，根据第一变形例，在即使变更合成面CS的位置也不能生成没有不适感地显现出后方车辆2的合成图像111的情况下，例外地分别独立显示后方图像111B或者，其一部分、左后侧方图像111BL或者，其一部分以及右后侧方图像111BR或者，其一部分。因此，若与显现不自然的后方车辆2的合成图像111C被显示的情况相比较，则后方车辆2的视觉确认性提高。此外，在上述的说明中，在步骤S21的判定结果是判定为车间距离L12与第二阈值TH2相同的情况下，进行在判定为车间距离L12大于第二阈值TH2的情况下进行的处理，但也可以进行在判定为车间距离L12小于第二阈值TH2的情况下进行的处理。5－2其他的变形例可能产生在后方图像111B中显现出的后方车辆2的大小与在左后侧方图像111BL以及右后侧方图像111BR的至少一方显现出的后方车辆2的大小差异相对很大具体而言，两者的大小相差规定量以上的状况。作为一个例子，可能产生在后方图像111B显现出的后方车辆2的水平方向或者垂直方向的大小与在左后侧方图像111BL以及右后侧方图像111BR的至少一方显现出的后方车辆2的水平方向或者垂直方向的大小差异相对很大的状况。在该情况下，若通过对后方图像111B、左后侧方图像111BL以及右后侧方图像111BR进行合成而生成合成图像111C，则合成图像111C中显现出的后方车辆2的大小有可能成为与反映了从车辆1到后方车辆2的车间距离L12的长短的适当大小不同的有不适感的大小。这是因为如上所述，图像合成部133进行的图像合成处理包括放大缩小处理。因此，若使合成图像111C中显现出的后方车辆2的大小与后方图像111B中显现出的后方车辆2的大小一致，则需要将左后侧方图像111BL以及右后侧方图像111BR放大或者缩小。结果，合成图像111C中的与左后侧方图像111BL以及右后侧方图像111BR对应的图像部分显现出的后方车辆2的大小有可能与在左后侧方图像111BL以及右后侧方图像111BR的至少一方显现出的后方车辆2的大小大不相同。同样，若使合成图像111C中显现出的后方车辆2的大小与左后侧方图像111BL以及右后侧方图像111BR中显现出的后方车辆2的大小一致，则需要将后方图像111B放大或者缩小。结果，合成图像111C中的与后方图像111B对应的图像部分显现出的后方车辆2的大小有可能与后方图像111B中显现出的后方车辆2的大小大不相同。该情况下，视觉确认了合成图像111C的车辆1的乘员会误解后方车辆2的大小，结果，有可能误解从车辆1到后方车辆2的距离感。鉴于此，在第二变形例中，在后方图像111B中显现出的后方车辆2的大小与左后侧方图像111BL以及右后侧方图像111BR的至少一方中显现出的后方车辆2的大小不同的情况下，取代合成面设定部132设定合成面CS，而控制图像合成部133以便不将后方图像111B或者，其一部分、左后侧方图像111BL或者，其一部分以及右后侧方图像111BR或者，其一部分合成而分别独立地显示。此外，该处理与上述的第一变形例中的图10的步骤S22的处理相同。结果，车辆1的乘员误解后方车辆2的大小进一步，误解到后方车辆2的距离感的可能性变小。ECU13也可以在后方车辆2正在与车辆1所行驶的行驶车道的左侧相邻的行驶车道行驶的情况下控制显示器14，以便与不是该情况相比，强调显示左后侧方图像111BL或者112BL。ECU13也可以在后方车辆2正在与车辆1所行驶的行驶车道的右侧相邻的行驶车道行驶的情况下控制显示器14，以便与不是该情况相比，强调显示右后侧方图像111BR或者112BR。只要被强调显示的图像比不进行强调显示的情况显眼，则强调显示可以是任何显示。作为一个例子，如图13所示，强调显示可以是由装饰框包围图像的显示。通过这样的强调显示，能够在车辆1的乘员想要使车辆1从第一行驶车道向第二行驶车道变更车道的状况中，对车辆1的乘员适当地通知存在正在车道变更目的地的第二行驶车道行驶的后方车辆2。此外，ECU13可以在后方车辆2正在与车辆1所行驶的行驶车道相同的行驶车道行驶的情况下控制显示器14，以便与不是该情况相比，强调显示后方图像111B或者112B。6附注对于以上说明的实施方式，还公开以下的附注。6－1附注1附注1所记载的图像显示装置的特征在于，具备：设定单元，在从第一车辆向后方远离的位置设定与上述第一车辆的前后轴交叉的虚拟的合成面；合成单元，对由能够拍摄上述第一车辆的后方区域的后方拍摄单元拍摄到的后方图像和由能够拍摄上述第一车辆的后侧方区域的后侧方拍摄单元拍摄到的后侧方图像进行合成，生成上述后方图像中显现出的景象和上述后侧方图像中显现出的景象在上述合成面的位置处无缝地连接的合成图像；以及显示单元，显示上述合成图像，上述设定单元在由检测装置检测为在上述第一车辆的后方存在第二车辆的情况下，在与由上述检测装置未检测到存在上述第二车辆的情况下设定上述合成面的位置不同的位置设定上述合成面。根据附注1所记载的图像显示装置，合成单元生成后方图像中的景象和后侧方图像中的景象在合成面的位置处没有间断地换句话说，无缝地连接的合成图像。换句话说，在合成面设定于从第一车辆向后方远离规定距离的位置的情况下，合成单元生成在后方图像中从第一车辆向后方远离规定距离的位置显现出的景象和在后侧方图像中从第一车辆向后方远离规定距离的位置显现出的景象无缝地连接的合成图像。附注1所记载的图像显示装置尤其根据第二车辆的有无来改变表示后方图像中显现出的景象和后侧方图像中显现出的景象无缝地连接的位置的合成面的位置。因此，附注1所记载的图像显示装置能够变更合成面的位置以便适当地确保第二车辆的视觉确认性。具体而言，附注1所记载的图像显示装置能够变更合成面的位置以便能够生成没有不适感地换言之，视觉确认性好地显现出第二车辆的合成图像。因此，附注1所记载的图像显示装置与不管第二车辆的有无合成面的位置都固定的比较例的图像显示装置相比较，在第一车辆的后方存在第二车辆的情况下，也能够一边确保合成图像中的第二车辆的视觉确认性一边将后方图像和后侧方图像合成。6－2附注2附注2所记载的图像显示装置基于附注1所记载的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，将上述合成面设定在比由上述检测装置未检测为存在上述第二车辆的情况下设定上述合成面的位置接近上述第一车辆的位置。根据附注2所记载的图像显示装置，能够变更合成面的位置，以便能够生成没有不适感地显现出第二车辆的合成图像。6－3附注3附注3所记载的图像显示装置基于附注1或者2所记载的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，基于上述第一车辆与上述第二车辆之间的距离来变更设定上述合成面的位置。根据附注3所记载的图像显示装置，能够基于第一车辆与第二车辆之间的距离来变更合成面的位置，以便能够生成没有不适感地显现出第二车辆的合成图像。6－4附注4附注4所记载的图像显示装置基于附注3所记载的图像显示装置，其特征在于，上述距离越小，则上述设定单元在越接近上述第一车辆的位置设定上述合成面。根据附注4所记载的图像显示装置，能够基于第一车辆与第二车辆之间的距离来变更合成面的位置，以便能够生成没有不适感地显现出第二车辆的合成图像。6－5附注5附注5所记载的图像显示装置基于附注1至4中任一项所记载的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，在上述第一车辆的后方且上述第二车辆的前方的位置设定上述合成面。根据附注5所记载的图像显示装置，能够变更合成面的位置以便能够生成没有不适感例如，不会不自然地缺少至少一部分地显现出第二车辆的合成图像。6－6附注6附注6所记载的图像显示装置基于附注1至5中任一项所记载的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，以在上述合成图像中无缝地显现出上述第二车辆的方式设定上述合成面。根据附注6所记载的图像显示装置，能够变更合成面的位置以便生成没有不适感地显现出第二车辆的合成图像。6－7附注7附注7所记载的图像显示装置基于附注1至6中任一项所记载的图像显示装置，其特征在于，在上述第一车辆与上述第二车辆之间的距离比规定阈值短的情况下，上述显示单元取代上述合成图像而分别独立地显示上述后方图像以及上述后侧方图像的每一个。在第一车辆与第二车辆之间的距离比规定阈值短换句话说，第二车辆非常接近第一车辆的情况下，如以上参照附图所说明那样，仅通过变更合成面的位置，有可能不能生成没有不适感地显现出第二车辆的合成图像。根据附注7所记载的图像显示装置，在该情况下，分别独立地显示后方图像以及后侧方图像的每一个。因此，若与显现出不自然例如，不自然地缺少至少一部分的第二车辆的合成图像被显示的情况相比较，则能够确保第二车辆的视觉确认性。其中，规定阈值可以是从第一车辆到后方拍摄单元的拍摄范围与后侧方拍摄单元的拍摄范围交叉的点为止的距离或者，该距离以上。另外，在显示单元分别独立地显示后方图像以及后侧方图像的每一个的情况下，合成单元也可以不生成合成图像。6－8附注8附注8所记载的图像显示装置基于附注1至7中任一项所记载的图像显示装置，其特征在于，在上述后方图像中显现出的上述第二车辆的大小与上述后侧方图像中显现出的上述第二车辆的大小差异规定量以上的情况下，上述显示单元取代上述合成图像而分别独立地显示上述后方图像以及上述后侧方图像的每一个。在后方图像中显现出的第二车辆的大小与后侧方图像中显现出的第二车辆的大小差异规定量以上换句话说，差异相对较大的情况下，通过将后方图像和后侧方图像合成而生成的合成图像中显现出的第二车辆的大小有可能成为与反映出从第一车辆到第二车辆的距离的长短的适当大小不同的具有不适感的大小。该情况下，第一车辆的乘员会误解第二车辆的大小，结果，有可能误解到第二车辆的距离感。鉴于此，根据附注8所记载的图像显示装置，在后方图像中显现出的第二车辆的大小与后侧方图像中显现出的第二车辆的大小不同的情况下，取代合成图像，而分别独立地显示后方图像以及后侧方图像的每一个。因此，第一车辆的乘员误解第二车辆的大小进而，误解到第二车辆的距离感的可能性变小。6－9附注9附注9所记载的图像显示装置基于附注1至7中任一项所记载的图像显示装置，其特征在于，上述后侧方拍摄单元能够拍摄上述第一车辆的左右一方侧的上述第一车辆的后侧方区域，上述显示单元在上述第二车辆正在位于上述第一车辆所行驶的第一行驶车道的左右一方侧的第二行驶车道行驶的情况下，与上述第二车辆正在上述第一行驶车道行驶的情况相比较，强调显示上述合成图像中的相当于上述后侧方图像的图像部分。根据附注9所记载的图像显示装置，在第一车辆的乘员想要使第一车辆从第一行驶车道向第二行驶车道变更车道的状况下，能够对第一车辆的乘员适当地通知存在正在车道变更目的地的第二行驶车道行驶的第二车辆。本发明能够在不违反可从技术方案以及说明书整体读取的发明主旨或者思想的范围内适当地变更，具有这样的变更的图像显示装置也包含于本发明的技术思想。附图标记说明1...车辆；11B...后方照相机；11BL...左后侧方照相机；11BR...右后侧方照相机；12...后方车辆传感器；13...ECU；131...图像获取部；132...合成面设定部；133...图像合成部；14...显示器；111B、112B...后方图像；111BL、112BL...左后侧方图像；111BR、112BR...右后侧方图像；111C...合成图像；CS...合成面；IRB、IRBL、IRBR、IRB’、IRBL’、IRBR’...拍摄范围；SB、SBL、SBR...交叉区域；DSI、DSC...死角区域。

权利要求：1.一种图像显示装置，其特征在于，具备：设定单元，在从第一车辆向后方远离的位置设定与上述第一车辆的前后轴交叉的虚拟的合成面；合成单元，对由能够拍摄上述第一车辆的后方区域的后方拍摄单元拍摄到的后方图像和由能够拍摄上述第一车辆的后侧方区域的后侧方拍摄单元拍摄到的后侧方图像进行合成，生成上述后方图像中显现出的景象和上述后侧方图像中显现出的景象在上述合成面的位置处无缝地连接的合成图像；以及显示单元，显示上述合成图像，上述设定单元在由检测装置检测为在上述第一车辆的后方存在第二车辆的情况下，在与由上述检测装置未检测为存在上述第二车辆的情况下设定上述合成面的位置不同的位置设定上述合成面。2.根据权利要求1所述的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，在比由上述检测装置未检测为存在上述第二车辆的情况下设定上述合成面的位置接近上述第一车辆的位置设定上述合成面。3.根据权利要求1或者2所述的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，基于上述第一车辆与上述第二车辆之间的距离来变更设定上述合成面的位置。4.根据权利要求3所述的图像显示装置，其特征在于，上述距离越小，则上述设定单元在越接近上述第一车辆的位置设定上述合成面。5.根据权利要求1～4中任一项所述的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，在上述第一车辆的后方且上述第二车辆的前方的位置设定上述合成面。6.根据权利要求1～5中任一项所述的图像显示装置，其特征在于，上述设定单元在由上述检测装置检测为存在上述第二车辆的情况下，以在上述合成图像中无缝地显现出上述第二车辆的方式设定上述合成面。7.根据权利要求1～6中任一项所述的图像显示装置，其特征在于，在上述第一车辆与上述第二车辆之间的距离比规定阈值短的情况下，上述显示单元代替上述合成图像而分别独立地显示上述后方图像以及上述后侧方图像的每一个。8.根据权利要求1～7中任一项所述的图像显示装置，其特征在于，在上述后方图像中显现出的上述第二车辆的大小与上述后侧方图像中显现出的上述第二车辆的大小差异规定量以上的情况下，上述显示单元代替上述合成图像而分别独立地显示上述后方图像以及上述后侧方图像的每一个。9.根据权利要求1～8中任一项所述的图像显示装置，其特征在于，上述后侧方拍摄单元能够拍摄上述第一车辆的左右一方侧的上述第一车辆的后侧方区域，上述显示单元在上述第二车辆正在位于上述第一车辆所行驶的第一行驶车道的左右一方侧的第二行驶车道行驶的情况下，与上述第二车辆正在上述第一行驶车道行驶的情况相比较，强调显示上述合成图像中的与上述后侧方图像相当的图像部分。

百度查询： 丰田自动车株式会社 图像显示装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD