申请/专利权人：黑莓有限公司

申请日：2019-04-12

公开（公告）日：2024-04-09

公开（公告）号：CN110386088B

主分类号：B60R16/023

分类号：B60R16/023;H04W4/02;H04W4/46;H04W4/38

优先权：["20180413 US 15/953,135"]

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.04.09#实质审查的生效;2019.10.29#公开

摘要：一种自主或半自主车辆可以通过基于传感器数据确定邻近车辆的动作并确定与所确定的动作相关联的一个或多个预期视觉提示来改善其它车辆的整体安全性。然后，可以使用邻近车辆的一个或多个图像来检测预期视觉提示和所捕获的图像之间的差异。所检测的差异可以用于通知一个或多个实体，该一个或多个实体可以采取纠正动作。

主权项：1.一种用于车辆中的计算设备处的车辆差异分析的方法，所述方法包括：获得与邻近车辆相关联的多个图像，其中所述多个图像是在时间窗口内被不断捕获的；获得与所述邻近车辆相关联的传感器数据；根据所述传感器数据确定所述邻近车辆的车辆动作，其中所述邻近车辆的车辆动作在所述时间窗口期间发生；确定与所确定的车辆动作相关联的预期视觉提示；检测所述预期视觉提示和与所述邻近车辆相关联的所述多个图像之间的差异；以及通过通信接口向网络上的远程服务器位置发送所检测的差异的指示。

全文数据：用于执行车辆差异分析的系统和方法技术领域本发明涉及使用视觉特性检测道路上的车辆的可能问题。背景技术车辆可以具有与其驾驶模式和驾驶场景类型相关联的不同自动化水平。车辆的自动化水平可以在0级和5级之间，0级指示没有自主性并且驾驶员负责执行所有驾驶任务，而5级指示车辆是完全自主的并且能够在无驾驶员输入的情况下在所有条件下执行所有驾驶任务。自主或半自主车辆可以通过改善驾驶员的反应例如，在紧急制动方面或者对于完全自主的车辆从驾驶决策中移除人类驾驶员来改善道路的安全性。尽管自主或半自主车辆可以通过改善的自主或半自主车辆的驾驶决策和或反应来帮助改善道路的整体安全性，但整体安全性还取决于共享道路的所有车辆都处于良好的工作状态，而无论其自动化水平如何。期望能够监测道路上的车辆以便改善在道路上行驶的车辆的整体安全性。发明内容根据本发明的一方面，提供了一种用于车辆中的计算设备处的车辆差异分析的方法，该方法包括：获得与邻近车辆相关联的至少一个图像；获得与邻近车辆相关联的传感器数据；根据传感器数据确定邻近车辆的车辆动作；确定与所确定的车辆动作相关联的预期视觉提示；检测预期视觉提示和与邻近车辆相关联的所述至少一个图像之间的差异；以及，通过通信接口向网络发送所检测的差异的指示。根据本发明的一方面，提供了一种用于提供差异分析的车辆中的计算设备，计算设备包括：处理器；以及通信子系统，其中，计算设备被配置为：获得与邻近车辆相关联的至少一个图像；获得与邻近车辆相关联的传感器数据；根据传感器数据确定邻近车辆的车辆动作；确定与所确定的车辆动作相关联的预期视觉提示；检测预期视觉提示和与邻近车辆相关联的所述至少一个图像之间的差异；以及通过通信子系统向网络发送所检测的差异的指示。附图说明参考附图将更好地理解本发明，在附图中：图1描绘了在其中可以执行车辆差异分析的道路环境；图2描绘了用于执行车辆差异分析的车辆组件；图3描绘了车辆差异分析的方法；图4描绘了使用车辆差异分析来改善车辆安全性的系统的组件；以及图5描绘了使用车辆差异分析来改善车辆安全性的附加道路环境。具体实施方式如果积极地标识和补救个别车辆的潜在问题，则可以改善道路的整体安全性。例如，车辆的制动灯向其他驾驶员提供了车辆正在制动的重要视觉指示，使他们能够相应地做出反应。车辆的驾驶员可能不知道他们车辆的制动灯不能正常工作，因此可能不采取纠正动作。自主和半自主车辆通常具有一系列传感器，这些传感器可以用于检测车辆周围的环境，包括其它车辆。如本文进一步描述的，车辆可以使用差异分析来检测邻近车辆的预期视觉提示与邻近车辆的一个或多个捕获图像之间的差异。差异分析可以用于检测道路上的其它车辆的潜在问题并采取动作，包括例如向诸如交通管理局、车主之类的一个或多个位置提供通知。如下面进一步描述的，差异分析可以基于位置或距离传感器数据确定邻近车辆动作，然后确定与车辆动作相关联的预期视觉提示。然后可以将预期视觉提示与捕获的图像进行比较，以便检测预期视觉提示和实际视觉提示之间的潜在差异。图1描绘了在其中可以执行车辆差异分析的道路环境。如所描绘的，道路环境100可以包括在道路上行驶的多个车辆102、104。道路可以是任何类型的道路或驾驶地面，包括公共高速公路、地面街道、私人道路、停车场等。假设图1中描绘的前方车辆102是自动化0级的车辆，而尾随车辆104至少是自动化1级的车辆，并且包括包含多个传感器例如，雷达传感器、激光雷达传感器、相机等的车辆硬件106。车辆硬件106被描述为单个组件；然而，该硬件可以被提供为通信地耦接在一起例如，通过控制器局域网CAN总线的多个单独组件。前方车辆102可以执行诸如施加制动之类的动作。当前方车辆102施加制动时，无论是由于驾驶员踩下制动踏板还是由于自主或半自主车辆控制施加制动，后制动灯将亮起如图1中的线110所描绘的。尾随车辆104可以捕获前方车辆102的图像曲线112示意性描绘的，其将示出被激活的制动灯。附加地，其它传感器可以检测两个车辆之间的距离108的改变曲线114示意性地描绘的。当车辆104根据传感器数据检测到制动事件时例如，距离108改变快于制动阈值，可以确定一个或多个预期视觉提示，在制动的情况下预期视觉提示将是亮起制动灯。可以处理捕获的图像以标识捕获的图像和预期视觉提示之间的差异。如果存在差异例如，没有检测到亮起的制动灯，则可以通过通信网络被示意性地描绘为塔架116从车辆104向远程位置发送所检测的差异的指示。如下面进一步描述，特别是参考图4，远程系统可以进一步处理所接收的所检测的差异的指示，并且可以例如向一个或多个位置提供通知。图2描绘了用于执行车辆差异分析的车辆组件。图2中描绘的组件可以提供上面参考图1描述的车辆104的硬件组件106。这些组件包括至少一个处理器202和相关联的存储器单元204，尽管存储器单元204被描绘为与处理器分开，但是其可以在处理器202内或至少部分在处理器202内。存储器单元204可以包括不同级别的存储器，包括位于处理器202内的小型且非常快速的寄存器或高速缓冲存储器、大型快速随机存取存储器RAM、或提供对所存储的信息的相对快速访问的其它类型的存储器、以及非常大且相对慢的非易失性存储器例如，固态硬盘SSD或硬盘驱动器HDD。存储器单元204存储数据和指令，指令在由处理器202执行时，配置硬件组件106提供车辆差异分析功能206。车辆差异分析功能206可以确定车辆动作和预期视觉提示，然后将预期视觉提示与捕获的图像进行比较。处理器202可以直接或间接地连接到其它组件。例如，处理器202可以通信地耦接到总线例如，车辆的CAN总线208。附加组件可以通信地耦接到CAN总线208，包括传感器子系统210。传感器子系统210可以通信地耦接到一个或多个传感器210a、210b、210c、210d、210e。传感器可以包括例如光检测和测距激光雷达传感器210a、雷达传感器210b、一个或多个相机210c、一个或多个陀螺仪210d以及一个或多个加速度计210e。尽管传感器210a至210e被描述为通过传感器子系统210连接到CAN总线208，但是传感器可以直接连接到CAN总线208，例如，针对超声波传感器212所描绘的情况。此外，如GPS传感器214所描绘的，一个或多个传感器也可以直接耦接到处理器或通过一个或多个接口设备耦接到处理器。硬件组件106还可以包括用于与外部设备和或系统通信的通信组件。如所描绘的，通信组件是由单个通信子系统220提供的，但是多个通信组件可以提供不同类型的通信，包括例如蜂窝无线电、Wi-Fi无线电、WiMAX无线电、蓝牙无线电等。通信子系统220可以连接到一个或多个天线216用于向通信设备发送信号和从通信设备接收信号。根据通信类型，通信系统可以包括一个或多个订户标识模块SIM卡218，以允许与蜂窝网络基础设施通信。尽管描绘了SIM卡218，但是可以使用其它标识组件，包括通用订户标识模块USIM、或简单标识模块IM、或嵌入式通用集成电路卡eUICC。尽管图2中描绘了说明性硬件组件，但应理解，可以提供更多或更少的组件。例如，如所描绘的，处理器202可以由单个处理器提供，或者可以包括通过本地通信连接或通过一个或多个通信网络通信地耦接在一起的多个处理器。此外，被描述为作为硬件的一部分而提供的组件或由组件提供的功能可以由硬件106外部的其它单独设备提供，并且通过一个或多个接口耦接在一起。图3描绘了车辆差异分析的方法。当处理器执行存储器中存储的指令时，方法300可以在车辆处实现。上述车辆差异分析功能206可以实现方法300。方法300尝试确定另一车辆的动作，然后检查所捕获的图像以寻找与该动作相关联的视觉提示。以这种方式，方法300可以检测预期行为和所捕获的图像中检测到的实际行为之间的差异。然后可以将所检测的差异传送到外部系统例如，机动车辆部门、车辆制造商等，以用于可以纠正动作。为了使以下描述清楚，执行该方法或该方法的至少一部分的车辆将被称为处理车辆，并且对其确定动作的其它车辆将被称为邻近车辆。方法300获得与邻近车辆相关联的至少一个图像302。可以从处理车辆内或其上的一个或多个相机捕获图像。相机可以由一个或多个前向或后向相机或侧向相机提供。相机可以单独操作或者可以一起操作以提供立体图像。邻近车辆可以是从至少一个相机可见的车辆。邻近车辆可以直接位于处理车辆的前面或后面、在处理车辆旁边、在处理车辆的前面或后面并且处于与处理车辆的车道不同的车道中、或者从相反或不同的方向接近处理车辆。可以不断地捕获图像，并且选择所捕获的图像中的一个或多个图像以用于进一步处理。备选地，可以在方法需要时例如，当特定动作已经发生时捕获图像。此外，相机可以保持短时的例如，在1秒至10秒之间图像窗口，使得在检测动作时先前的图像是可用的。这在将在所检测的动作之前可以发生的某些行为相关联方面是有用的，例如可以在车辆转向或改变车道之前激活转向信号灯。方法300获得与邻近车辆相关联的传感器数据304。传感器数据可以从一个或多个传感器例如，包括激光雷达传感器、雷达传感器、超声波传感器以及其它类型的可能传感器收集。所获得的传感器数据可以是直接从传感器接收的，例如测距传感器可以提供距邻近车辆的距离测量。附加地或备选地，所获得的传感器数据可以是根据对传感器数据的处理而获得的。例如，可以处理来自立体相机系统的图像数据，以便确定距邻近车辆的距离信息。此外，来自多个传感器的数据可以融合在一起以提供单条信息。所获得的传感器数据用于根据传感器数据来确定邻近车辆动作306。该确定可以仅基于所获得的传感器数据，或者可以附加地基于处理车辆处可用的另外的信息。例如，为了基于距离信息确定邻近车辆是否正在制动，获得与处理车辆速度有关的信息也是有用的。可以用于确定邻近车辆的车辆动作的其它附加信息可以包括GPS定位信息、映射信息转向信息、加速度信息、制动信息、一天中的时间信息、天气状况。其它信息可以用于确定车辆动作，包括例如车辆类型例如，紧急车辆或载客车辆、道路环境例如，高速公路或城市街道上的交通阻塞期间。当确定了车辆动作时，确定与所确定的车辆动作相关联的预期视觉提示308。预期视觉提示指定在正常运行和受控的车辆中的与所检测的行为相关联的一个或多个可见行为。例如，当车辆制动时，预期视觉提示将是所有制动灯都亮起。预期视觉提示可以取决于许多因素例如，一天中的时间。例如，夜间在道路上行驶的车辆应该亮起灯，而白天可能没有必要。此外，处理车辆的位置可以用于确定预期视觉提示。例如，在某些管辖区域，需要日间行车灯，而在其它管辖区域则不需要。因此，在需要日间行车灯的管辖区域内在白天被确定为行驶的车辆的预期视觉提示可以与不需要日间行车灯的管辖区域中的预期视觉提示不同。此外，可以使用附加信息来确定预期视觉提示，包括邻近车辆类型。例如，可以预期载客车辆具有3个后制动灯，而某些商用车辆可以没有第三制动灯。上述视觉提示提供了在正常运行的车辆中预期的视觉提示的指示。在某些情况下，可能期望检测与预期的偏差；然而，也可以提供与故障或维护不良的车辆相关联的预期视觉提示。在挂空挡或加速期间过量的排烟可以是指示可能的维护问题的视觉提示。下面的表1提供了可以与所检测的车辆动作相关联的预期视觉提示的非详尽列表。该表还提供说明性传感器数据以及可以用于确定所检测的动作以及相关联的视觉提示的附加数据。表1：可能检测到的动作和预期视觉提示的表当确定了一个或多个预期视觉提示时，所获得的图像可以用于检测预期视觉提示与至少一个图像之间的差异310。例如，可以采用图像处理技术来检测制动灯、转向信号指示灯、车头灯亮brightlight等。用于标识预期视觉提示的存在或不存在的特定处理技术对于本领域普通技术人员来说是显而易见的。当在预期视觉提示和一个或多个图像之间检测到差异时，可以将所检测的差异的指示发送到远程位置312。该指示可以是发送到远程计算机系统的预定消息，并且可以包括与所检测的差异有关的信息以及与邻近车辆有关的标识信息。可以从邻近车辆的牌照信息获得标识信息。被发送到远程位置的指示可以包括牌照信息的图像，附加地或备选地，处理车辆可以对牌照图像执行光学字符识别OCR并发送字符。此外，被发送到远程位置的指示可以包括诸如捕获的图像和或传感器数据之类的数据的一部分。如下面参考图5进一步描述，远程位置可以接收所检测的差异的指示并向一个或多个位置提供通知。图4描绘了使用车辆差异分析来改善车辆安全性的系统的组件。系统400可以包括多个车辆104，其包括能够提供如上所述的车辆差异分析功能的硬件106。硬件106可以经由通信基础设施被描绘为蜂窝塔架408和通信网络410进行通信。通信可以包括一个或多个项目，例如，所检测的差异的指示、图像、以及邻近车辆和处理车辆的标识信息。该指示可以被发送到一个或多个位置，包括例如车辆报告服务器412。车辆报告服务器412可以通过由一个或多个处理器执行服务器的存储器中存储的指令来实现通知功能418。通知功能418被描绘为：接收所检测的差异的指示420，指示包括车辆标识信息。通知功能418可以确定差异的可能原因422。可以通过查找来确定可能的原因，以确定先前已与所检测的差异相关联的可能原因。当确定了可能的原因时，可以确定通知信息424，并且将通知发送到适当的位置426。可以从存储包括通知信息在内的车辆标识信息416的车辆信息数据库或服务器414确定通知信息。所存储的信息可以将牌照与通知信息相关联，诸如要发送通知的位置以及关于要提供的通知类型的信息。附加标识信息可以与牌照信息相关联，包括例如车辆类型和颜色信息。除了确定与牌照信息相关联的通知信息之外，附加通知信息可以与所检测的差异或可能原因相关联。例如，如果所检测的差异是由于诸如烧坏的制动灯之类的相对较小的问题，则可以根据通知信息仅通知车主，从而允许车主快速修理问题并提高交通网络的整体安全性。然而，如果原因是由于诸如机械问题之类的更严重的问题，则可以通知负责许可车辆的第三方。附加地，可以向其它实体例如，保险公司、融资方、经销商等通知问题。上述系统已经检测到与车辆动作相关联的预期视觉提示与所捕获的图像之间的差异。在检测到可能的差异之后，车辆向远程位置传送差异。远程位置可以向一个或多个位置发送一个或多个通知。通知可以允许采取纠正动作以改善检测到差异的车辆的安全性。上述系统允许自主或半自主车辆监测道路上的其它车辆包括非自主车辆的操作安全性。如下面参考图5进一步描述，可以将所检测的差异的指示发送到邻近车辆。图5描绘了使用车辆差异分析来改善车辆安全性的附加道路环境。环境500类似于图1中描绘的环境，有两辆车在道路上行驶，然而，与其中邻近车辆102是非自主车辆的图1相比，邻近车辆502是半自主车辆，或者至少是具有用于与处理车辆104通信的计算设备的车辆。处理车辆104包括能够提供车辆差异分析功能的硬件106。处理车辆例如从雷达传感器或激光雷达传感器获得传感器数据512，并且捕获邻近车辆502的一个或多个图像曲线514示意性描绘的。处理车辆可以根据传感器数据检测邻近车辆502的动作。例如，当距车辆的距离108减小时，可以确定动作是制动。基于该动作，可以确定相关联的视觉提示例如，之后可以在所捕获的图像中检测到的制动灯亮起510。当处理车辆检测到预期视觉提示与所捕获的图像之间的差异时，处理车辆可以向邻近车辆的系统516发送所检测的差异的指示。邻近车辆502可以接收所检测的差异的指示并且可以采取适当的动作来采取可能的纠正动作，或向车辆的驾驶员或车辆报告系统提供通知，如图4中所述。上面已经描述了各种具体细节。尽管可以关于一个设备或组件特定地详细描述某些特征或功能，但是应当理解，可以将功能或特征应用于其它设备或组件。此外，尽管本文描述了设备、设施、功能等的各种实施例，但是该描述旨在提供对系统、方法和设备的理解，并且因此某些方面可能未被描述或未如其它方面般详细描述。所描述的系统、方法和设备不是唯一可能的实现方式，并且本文对系统、方法和设备的各种描述将使得本领域普通技术人员能够将该教导应用于其它等同实现方式，而无需经历任何创造性的独创性。应理解，所公开的处理中的步骤的特定顺序或层次结构是示例性方法的示例。基于设计偏好，应当理解，可以重新布置处理中的步骤的特定顺序或层次结构，同时保持在本发明的范围内。所附方法权利要求以样本顺序呈现各个步骤的元素，但并不意味着限于所呈现的特定顺序或层次结构。一些实施例涉及一种包括计算机可读介质的计算机程序产品，该计算机可读介质包括用于使计算机或多个计算机实现各种功能、步骤、动作和或操作例如，上述步骤中的一个或多个或所有步骤的代码。取决于实施例，计算机程序产品可以并且有时确实包括用于要被执行的每个步骤的不同代码。因此，计算机程序产品可以并且有时确实包括用于方法的每个单独步骤的代码。代码可以是存储在计算机可读介质例如，RAM随机存取存储器、ROM只读存储器或其它类型的存储设备上的机器例如计算机可执行指令的形式。除了涉及计算机程序产品之外，一些实施例还涉及被配置为实现上述一种或多种方法的各种功能、步骤、动作和或操作中的一个或多个的处理器。因此，一些实施例涉及被配置为实现本文所述的方法的步骤中的一些或所有步骤的处理器例如CPU。处理器可以用于例如本申请中描述的通信设备或其它设备。

权利要求：1.一种用于车辆中的计算设备处的车辆差异分析的方法，所述方法包括：获得与邻近车辆相关联的至少一个图像；获得与所述邻近车辆相关联的传感器数据；根据所述传感器数据确定所述邻近车辆的车辆动作；确定与所确定的车辆动作相关联的预期视觉提示；检测所述预期视觉提示和与所述邻近车辆相关联的所述至少一个图像之间的差异；以及通过通信接口向网络发送所检测的差异的指示。2.根据权利要求1所述的方法，还包括获得与所述邻近车辆相关联的标识信息。3.根据权利要求2所述的方法，其中，根据所述至少一个图像从所述邻近车辆的牌照获得所述标识信息。4.根据权利要求3所述的方法，还包括对牌照使用光学字符识别来确定车辆标识信息。5.根据权利要求4所述的方法，其中，所述通过通信接口向网络发送所检测的差异的指示包括发送所述标识信息。6.根据权利要求1所述的方法，还包括响应于所检测的差异，由所述车辆执行动作。7.根据权利要求6所述的方法，其中，所述车辆是自主车辆，并且所述动作包括增加到所述邻近车辆的跟车距离。8.根据权利要求6所述的方法，其中，所述车辆是自主车辆，并且其中所述动作包括改变车道。9.根据权利要求1所述的方法，其中，所述传感器数据是从雷达单元、超声波单元、激光雷达单元和相机中的一个或多个提供的。10.根据权利要求1所述的方法，其中，所述预期视觉提示是所述邻近车辆的制动灯或转向信号。11.根据权利要求1所述的方法，其中，从所述车辆的前向相机接收所述图像。12.一种用于提供差异分析的车辆中的计算设备，所述计算设备包括：处理器；以及通信子系统，其中，所述计算设备被配置为：获得与邻近车辆相关联的至少一个图像；获得与所述邻近车辆相关联的传感器数据；根据所述传感器数据确定所述邻近车辆的车辆动作；确定与所确定的车辆动作相关联的预期视觉提示；检测所述预期视觉提示和与所述邻近车辆相关联的所述至少一个图像之间的差异；以及通过通信子系统向网络发送所检测的差异的指示。13.根据权利要求12所述的计算设备，其中，所述计算设备还被配置为获得与所述邻近车辆相关联的标识信息。14.根据权利要求13所述的计算设备，其中，根据所述至少一个图像从所述邻近车辆的牌照获得所述标识信息。15.根据权利要求12所述的计算设备，其中，所述计算设备还被配置为对牌照使用光学字符识别来确定车辆标识信息。16.根据权利要求15所述的计算设备，其中，所述通过通信子系统向网络发送所检测的差异的指示包括发送所述标识信息。17.根据权利要求12所述的计算设备，其中，所述计算设备还被配置为响应于所检测的差异，由所述车辆执行动作。18.根据权利要求17所述的计算设备，其中，所述车辆是自主车辆，并且所述动作包括增加到所述邻近车辆的跟车距离。19.根据权利要求17所述的计算设备，其中，所述车辆是自主车辆，并且其中所述动作包括改变车道。20.根据权利要求12所述的计算设备，其中，所述传感器数据是从雷达单元、超声波单元、激光雷达单元和相机中的一个或多个提供的。21.根据权利要求12所述的计算设备，其中，所述预期视觉提示是所述邻近车辆的制动灯或转向信号。22.根据权利要求12所述的计算设备，其中，从所述车辆的前向相机接收所述图像。

百度查询： 黑莓有限公司 用于执行车辆差异分析的系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD