申请/专利权人：SMR专利责任有限公司

申请日：2017-10-02

公开（公告）日：2020-11-24

公开（公告）号：CN110088762B

主分类号：G06K9/00(20060101)

分类号：G06K9/00(20060101)

优先权：["20161006 US 15/287,554"]

专利状态码：有效-授权

法律状态：2020.11.24#授权;2019.09.03#实质审查的生效;2019.08.02#公开

摘要：对象检测和分类系统包含安装在车辆上并配置成捕获所述车辆周围环境的一部分的图像的至少一个图像传感器。可以存储和分析所述图像以检测和分类所捕获的图像中可见的对象。从所述图像中提取关键点并根据特征函数进行评估。可以对新的描述符函数进行采样以产生样本值，所述描述符函数取决于在复杂空间中的查询点与所述图像中的所述关键点之间的距离并且取决于所述关键点的特征值。如果所述样本值将所述对象分类为满足潜在的危险条件，则所述样本值可以向所述车辆的操作者触发信号以响应所述对象。

主权项：1.一种用于对象检测和分类系统，所述系统包括：图像传感器，其被配置为从所述系统周围的环境捕获图像，来自所述系统周围的所述环境的所述图像包含一个或多个关键点；提取电路，其通信地耦合到所述图像传感器并且被配置为从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；查询点评估电路，其通信地耦合到所述图像传感器和所述提取电路并且被配置为通过对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值来分类对象，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值，其中所述周期性描述符函数定义如下： 其中N是在所述查询点附近的来自所述系统周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量，或所述周期性描述符函数是如下定义的尺度不变或旋转不变函数： 其中：和信号总线，其被配置为如果所述样本值满足警报条件则将信号发送到所述系统的操作者。

全文数据：用傅立叶风扇进行的对象检测和分类背景技术图像特征描述符可用于识别和分类用在危险检测和信息系统中的捕获图像中的对象。可能希望图像特征描述符具有某些特质，例如辨别力、尺度和旋转不变性以及数学可解释性。发明概述对象检测和分类系统分析由用于危险检测和信息系统的图像传感器例如在车辆上的图像传感器捕获的图像。提取电路被配置为从由车辆周围环境的图像传感器捕获的图像中的一个或多个关键点提取至少一个特征值。从周期性描述符函数导出新的图像特征描述符，所述周期性描述符函数取决于至少一个所述关键点与复杂空间中的所选查询点之间的距离并且取决于所述图像中的至少一个所述关键点的特征值。查询点评估电路被配置为对来自车辆周围环境的所述图像中的所选查询点进行周期性描述符函数采样以产生样本值samplevalue。查询点的所述样本值可以被评估以确定所述查询点是否是对象的中心或者被评估以确定所述查询点是何种类型的对象的一部分。如果所评估的查询点满足潜在的危险条件，例如如果所述对象被分类为易受攻击的道路使用者或构成碰撞威胁的对象，则信号总线被配置为传输信号以警示所述车辆的操作者注意所述对象。附加地或替代地，所述信号总线可以将信号传输到所述车辆的控制装置以改变所述车辆的速度和或方向以避免与所述对象碰撞。这里披露的所述对象检测和分类系统可以用在运输区域中，以用于识别和分类在车辆周围环境中遇到的对象，例如在道路、铁路、水路、上空等上遇到的对象，并且如果所述系统确定所遇到的对象构成危险，例如对所述车辆或对所述区域中的其他车辆或人员构成碰撞危险或威胁，则警示所述车辆的操作者或自主地控制所述车辆。提供本发明概述以便以简化的形式介绍精选的概念，这些概念将在下文的发明详述中进一步描述。本发明概述不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。本文还描述和叙述了其他实现方式。附图说明图1示出了具有对象检测和分类系统的车辆的后视图。图2示出了具有查询点和多个关键点的图像捕获的示意图。图3示出了可用于实现本文披露的实现方式的系统的框图。图4示出了用于检测和分类对象并将信号传输到警报系统和或车辆控制系统的示例操作。图5披露了适用于实现具有傅立叶风扇Fourierfans的对象检测和分类系统的一个或多个方面的示例处理器系统的框图。具体实施方式本文披露的实现方式涉及用于各种背景的对象检测和分类系统。本披露内容包含新颖的特征描述符，其将关于特征是什么的信息与关于所述特征相对于查询点在何处位置的信息进行组合。此特征描述符提供优于现有特征描述符的优点，因为通过将“是什么”与“在何处”进行组合，它减少了检测和分类对象所需的资源，这是因为可以使用单个描述符来替代多个特征描述符。因此，所得到的系统比现有系统更有效，并且可以在硬件和或软件资源有限的情况下更准确地检测和分类对象。图1示出了具有根据本披露内容的对象检测和分类系统100的车辆102的后视图。车辆102包含图像传感器104以捕获车辆102周围环境的图像106。所述图像可以包含通过角度108的视野范围，因此图像106仅可以描绘由角度108限定的车辆102周围的区域的一部分。图像106可以包含对象110。对象110可以是车辆102周围环境中的任何物理对象，例如行人、另一车辆、自行车、建筑物、道路标志、道路碎片等。所述对象检测和分类系统100可以将分类分配给对象110。所述分类可以包含道路对象的类型、所述对象是有生命的还是无生命的、所述对象是否可能突然改变方向等。对象检测和分类系统100可以进一步向对象110分配一系列特性，例如尺寸、距离、表示所述对象的中心的点、所述对象的速度、预期的加速度范围等。图像传感器104可以是各种类型的光学图像传感器，包含但不限于数码相机、测距相机、电荷耦合器件CCD、互补金属氧化物半导体CMOS传感器或任何其他类型的能够捕获连续的实时图像的图像传感器。在一实现方式中，车辆102具有多个图像传感器104，每个图像传感器104可以定位成提供车辆102周围环境的仅一部分的视图。作为一组，多个图像传感器104可以涵盖来自车辆102的各种视图，包含车辆102的路径中的对象的前视图，用于捕获车辆102周围的环境的图像106包含车辆102后面的对象的后向图像传感器104，和或用于从侧面捕获靠近或接近车辆102的对象的图像106的侧向图像传感器104。在一实现方式中，图像传感器102可以位于所述车辆的各个部分上。例如但不限于，图像传感器102可以集成到车辆102的外后视镜exteriormirror中，例如集成在驾驶员侧的外后视镜112上。替代地或附加地，图像传感器102可以位于车辆102的后部，例如位于后照灯单元114中。图像传感器102可以是前向的并且位于车辆102的内部后视镜、仪表板或前大灯单元中。在捕获车辆102周围的环境的图像106后，对象检测和分类系统100可以将图像106存储在存储器中并对图像106执行分析。由对象检测和分类系统100对图像106执行的一种类型的分析是关键点和关联的关键点数据的识别。关键点，也称为兴趣点，是图像106中的定义可能感兴趣的位置的空间位置或点。关键点检测方法可以由第三方库提供，例如在OpenCV开源计算机视觉库中可用的SURF和FAST方法。关键点检测的其他方法包含但不限于SIFT尺度不变特征变换。关键点数据可以包含指向所述关键点的中心的向量，所述向量描述所述关键点的大小和取向，以及所述关键点附近的视觉外观、形状和或纹理，和或与所述关键点有关的其他数据。可以将函数应用于关键点以生成关键点值。函数可以将关键点作为参数并计算所述关键点的某些特性。作为一个示例，函数可以测量特定关键点的图像强度。这样的函数可以表示为fzk，其中f是图像强度函数，并且zk是图像中的第k个关键点。还可以应用其他函数，例如视觉词索引中的视觉词。图2示出了由车辆上的图像传感器202获取的图像捕获204的示意图200。图像捕获204包含查询点xc,yc和多个关键点z0-z4。查询点是可以是或可以不是关键点的兴趣点，所述对象检测和分类系统可以对此进行选择以进行进一步分析。在一实现方式中，所述对象检测和分类系统可以尝试确定查询点是否是对象的中心以帮助对所述对象进行分类。图像捕获204中的点可以参考笛卡尔坐标系描述，其中每个点由有序对表示，所述对的第一个数字指沿着水平轴或x轴的所述点的位置，而所述对的第二个数字指沿着垂直轴或y轴的所述点的位置。所述水平轴和垂直轴相对于图像204的取向由轴206示出。替代地，图像捕获204中的点可以用复数表示，其中每个点以x+iy的形式描述，其中i＝√-1。在另一实现方式中，查询点可以用作坐标系的原点，并且关键点相对于所述查询点的位置可以被描述为从所述查询点到每个所述关键点的向量。图像检测和分类系统100使用新描述符函数，以产生对图像204中的查询点的评估，所述评估将关于所述特征是什么和关于所述特征相对于所述查询点在何处位置的表示组合成单个表示。对于在查询点xc,yc附近具有一组关键点z0-z4的任何图像204，所述查询点的描述符如下：其中N是来自查询点附近车辆周围环境的图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量。要获得对尺度和取向不变的描述符，可以通过使zm为zk值的平均值来修改等式1：通过将等式1的右侧除以|zm|，获得所述描述符的尺度不变版本。另一方面，通过将等式1的两侧除以获得所述描述符的旋转不变版本。为了写出在尺度和取向上都不变的描述符，除以zm获得以下描述符：由于关键点数的贡献已经通过除以zm而被中和，因此从等式3中省略除以N。由于等式3与逆傅立叶级数的公式的相似性，等式3在本文中可称为傅立叶风扇。由于等式3是连续变量ζ的函数，因此可以对其进行采样以用于对象检测和分类系统100。在一实现方式中，可以选择大于2maxf的采样频率，其中max指示函数f的最大值。等式3的另一个特性是它在变量ζ的域上是无穷的。对无穷等式进行采样将导致无穷数量的样本，这对于在对象检测和分类系统100中的使用来说可能是不实际的。然而，如果等式3是周期函数，那么仅采样等式3的一个单一周期而忽略其余的周期就足够了。在一实现方式中，通过要求函数f的所有值都是单个频率f0的整数倍，使等式3成为周期性的。就此而言，对于能够被采样的等式3，函数f必须具有已知的最大值，并且为了使等式3成为周期性的，函数f必须被量化，使得f的值是f0的整数倍。在一实现方式中，函数f可以不仅仅表示简单的特征，例如图像强度。相反，函数f可以是每个所述关键点的描述符函数，例如本文中提到的那些描述符例如，SIFT和或SURF描述符。这样的描述符通常不是简单的标量值，而更可能是不能以简单的方式直接并入方程3中的高维特征向量。然而，可能通过将描述符集群在整个训练数据集中来将复杂描述符合并为特征值并且使用相应集群的索引作为f的值。这样的集群中心可以被称为f的“视觉词”。使fk成为关键点k的描述符，如果fk取整数值，例如3，则在位于zk-zc处的关键点处存在描述符，所述描述符可以被分配给集群3。应当理解，在该示例中，f被量化并且集群的数量是已知的函数的最大值。这些特性是相关的，因为它们是使等式3能够被采样和周期性所需的f的特性。在一实现方式中，对视觉词集群中心施加顺序，使得f的输出不是分类值。换句话说，在没有顺序的情况下，集群2和集群3之间的距离不一定小于集群2和集群10之间的距离，因为数值仅仅是所述集群的标识符。可以使用多维缩放MDS技术来施加所述视觉词的顺序。使用MDS，我们可以找到从高维特征空间到低维特征空间的投影，使得在所述低维特征空间中的距离与所述高维特征空间中的距离尽可能相似。使用MDS应用于所述视觉词，可以将所述集群中心投影到一维空间中以用作f的参数。在一实现方式中，选择一维特征空间作为所述低维特征空间，因为一维空间是可能完全排序的唯一空间。可以根据训练数据集来调谐所述对象检测和分类系统，在此期间可以选择和改进用于所述系统的参数。例如，可以选择描述符值和类型，可以设置查询点周围附近的大小，选择关键点的方法、每个图像选择的关键点的数量等可以进行选择。由于所述对象检测和分类系统的调谐是一种机器学习，因此可能容易受到已知为“过度拟合”的问题的影响。当机器分类器过度学习所述训练数据，从而产生不能很好地概括其他数据的模型时，过度拟合自身便表现出来，所述其他数据在这里被称为“测试数据”。在等式3的描述符中，如果关于训练数据，所述对象检测和分类系统过度拟合所述关键点相对于所述查询点的位置，则可能发生过度拟合。当对测试数据起作用时，所述对象检测和分类系统将不会总是很好地处理由于噪声和类内方差而发生的所述关键点的位置变化，而所述变化在训练数据中并不存在。为了解决过度拟合的事宜，在每个查询点xc,yc处，可以提取由集合Mf例如，15f表示的多个随机风扇，而不是对训练数据提取单个傅立叶风扇方程3。每个所述随机风扇仅含有在所述查询点xc,yc附近的可用N个关键点的子集。之后，当所述对象检测和分类系统在测试数据上运行时，提取相同的随机傅立叶风扇集合Mf，并且根据随机傅立叶风扇集合之间的多数一致性确认结果。随机傅立叶风扇还允许所述对象检测和分类系统从少量图像中学习，因为在每个对象中心处提取了若干特征向量。在将等式3，“傅立叶风扇”与逆傅立叶级数的公式进行比较时，应该理解两者之间存在一些差异。例如，只有属于查询点附近的那些频率可用于每个傅立叶风扇。作为另一示例，常数za所示的所有系数zk的移位，即对象中心的移位，不等于在所述ζ域中添加狄拉克脉冲，即使假设在新查询点附近可获得相同的关键点。这是正确的，因为添加的za并不是在任何情况下都是常数，而是仅对可用频率来说是常数，并且对于其他频率来说为零。图3示出了可用于本文披露的实现方式的对象检测和分类系统300的框图。对象检测和分类系统300包含指向车辆周围环境的图像传感器302。图像传感器302可以捕获所述车辆周围环境的图像，以供对象检测和分类系统300进一步分析。在捕获后，来自车辆周围环境的图像可以存储在存储器304中。存储器304可以包含易失性或非易失性存储器，并且可以存储由所述图像传感器捕获的图像以及通过分析由所述图像传感器捕获的所述图像产生的数据。处理器306可以对存储在存储器304中的所述图像执行操作。存储器304还可以以程序模块的形式存储可以由处理器306执行的可执行程序代码。存储在存储器304上的程序模块包含但不限于危险检测程序模块、图像分析程序模块、镜头妨碍程序模块、盲点检测程序模块、阴影检测程序模块、交通标志检测程序模块、停车辅助程序模块、碰撞控制和警告程序模块等。存储器304可以进一步存储用于对象检测和分类系统300的操作的参数和设置。例如，与所述训练数据有关的参数可以存储在存储器304上，所述存储器304包含用于随机傅立叶风扇的运算和计算的函数f和关键点设置库。存储器304可以进一步通信地耦合到用于从存储在存储器304上的所述图像中提取关键点的提取电路308。存储器304可以进一步通信地耦合到查询点评估电路310，所述查询点评估电路310用于利用关键点和关联的关键点数据进行图像捕获并且根据傅立叶风扇利用关键点和关键点数据评估所述图像，以产生采样的傅立叶风扇值。如果由查询点评估电路310产生的所述采样的傅立叶风扇值满足潜在的危险条件，则信号总线电路312可以向警报系统314和或车辆控制系统316发送信号。采样的傅立叶风扇值可以首先由驻留在存储器304上的一个或多个程序模块处理，以确定采样值sampledvalues是否满足潜在的危险条件。可能满足潜在的危险条件的采样值的示例是被确定为对所述车辆构成碰撞风险的对象、被确定为处于被所述车辆撞击的风险的易受攻击的道路使用者的对象、表示所述车辆正在道路的错误部分或在错误的道路上行驶的道路标志对象、指示所述车辆可能撞击的静止对象的对象、表示位于所述车辆的操作者的盲点的车辆的对象。如果傅立叶风扇函数的所述采样值满足潜在的危险条件，则信号总线电路312可以将一个或多个信号发送到警报系统314。在一实现方式中，发送到警报系统312的信号包含对所述车辆的操作者的声音警告。声音警告的示例包含针对所述车辆的操作者的铃声或嘟嘟声、计算机化或记录的人类语言语音指令以提示补救措施过程以避免样本值满足潜在的危险条件的致因。在另一实现方式中，发送到警报系统314的信号包含对所述车辆的操作者的触知或触觉反馈。向所述车辆的操作者的触知或触觉反馈的示例包含但不限于摇动或振动所述车辆的方向盘或控制结构；对踏板的触知反馈，所述踏板例如如果被推动则可以避免导致所述傅立叶风扇的所述样本值满足所述潜在的危险条件的情况的踏板；对驾驶员的座位的振动或触觉反馈等。在另一实现方式中，发送到警报系统314的信号包含显示给所述车辆的操作者的视觉警报。显示给所述车辆的操作者的视觉警报的示例包含出现在仪表板、平视显示器heads-updisplay和或对于所述车辆的操作者来说可见的镜子上的灯光或指示。在一个实现方式中，向所述车辆的操作者的所述视觉警报包含补救措施的指示，如果所述车辆的操作者采取所述补救措施，则可以避免所述傅立叶风扇的所述样本值满足所述潜在的危险条件的所述致因。补救措施的示例包含对所述车辆的盲点中的另一车辆的指示、另一车辆快要超过所述车辆的指示、所述车辆将反向撞击对所述车辆的操作员来说可能不可见的对象的指示，等等。在另一实现方式中，如果傅立叶风扇函数的所述采样值满足潜在的危险条件，则信号总线电路312可以将一个或多个信号发送到车辆控制系统316。发送到车辆控制系统316的信号的示例包含发送到转向系统的信号，以改变所述车辆的方向，以试图避免作为所述傅立叶风扇函数的所述采样值满足所述潜在的危险条件的致因的对象。在另一实现方式中，发送到车辆控制系统316的信号可以包含这样的信号，其用于使所述车辆的喇叭发声以警示导致所述傅立叶风扇函数的所述样本值满足具有所述对象检测和分类系统的所述车辆所存在的危险条件的对象。在又一实现方式中，发送到车辆控制系统316的信号包含用于接合所述车辆的制动器以避免与检测到的对象碰撞的信号。图4示出了用于在傅立叶风扇的样本值满足潜在的危险条件时检测和分类对象并输出信号的示例性操作400。捕获操作402利用图像传感器从系统周围的环境捕获图像，来自所述系统周围的环境的所述图像具有一个或多个关键点。来自所述系统周围的所述环境的所述图像可以由安装在所述系统上任何位置的图像传感器捕获。在一个实现方式中，所述系统是车辆。所捕获的图像可以存储在对象检测和分类系统中的存储器中。一旦存储，处理器便可以执行关键点检测程序模块以识别所述关键点。替代地或附加地，提取电路可以识别所述图像中的所述关键点。可以根据许多方法来识别所述关键点，例如由第三方库提供的方法，并且所述方法的数据参数，例如要提取的关键点的数量或关键点提取的条件可以存储在所述对象检测和分类系统的所述存储器上。提取操作404从来自所述系统周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值。处理器可以执行特征值提取程序模块以提取关键点的所述特征值。替代地或附加地，提取电路可以提取存储图像中的关键点的所述特征值。关键点的所述特征值可以根据函数f来确定。在一些实施方式中，函数f可以具有用于傅立叶风扇等式的某些特性：具有已知的最大值，使得采样率可以被设置为2maxf；并且是周期性的，使得仅需要对f的一个周期进行采样。采样操作406对来自所述系统周围环境的图像中的查询点进行周期性描述符函数采样以产生采样值，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述车辆周围环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值。在一实现方式中，采样操作406中的所述采样周期性描述符函数是等式3。在判定框408处，如果所述周期性描述符函数的所述样本值不满足潜在的危险条件，则所述方法结束或返回到捕获操作402。如果所述周期性描述符函数的所述样本值确实满足潜在的危险条件，则输出操作410经由信号总线发送信号。在输出操作410中经由所述信号总线发送的所述信号可以是车辆的警报系统，其可以向所述车辆的操作者显示关于作为所述样本值超过潜在的危险条件的致因的所述对象的声学或视觉信号。在另一实施方式中，所述信号总线在输出操作410处向车辆控制系统发送信号。发送到所述车辆控制系统的信号可以使所述车辆在没有所述车辆的操作者干预的情况下改变速度或方向，以避免与导致所述样本值超过潜在的危险状况的所述对象的碰撞。图5披露了适用于实现具有傅立叶风扇的对象检测和分类系统的一个或多个方面的处理器系统500的框图。处理器系统500能够执行在有形处理器可读存储介质中体现的处理器程序产品。数据和程序文件可以输入到处理器系统500，处理器系统500使用一个或多个处理器读取文件并在其中执行程序。处理器系统500的一些元件在图5中示出，其中示出了处理器502具有输入输出IO部分504、中央处理单元CPU506和存储器部分508。可以存在一个或多个处理器502，使得计算系统500的处理器502包括单个中央处理单元506或多个处理单元。所述处理器可以是单核或多核处理器。所描述的技术可选地在加载在存储器508、盘存储单元512中的软件中实现，和或经由载波信号上的有线或无线网络链路514例如，以太网、3G无线、5G无线、LTE长期进化传送，从而将图5中的处理系统500转换为用于实现所述操作的专用机器。盘存储单元512可以包含易失性存储器、非易失性存储器、固态存储器、闪存、混合和或传统的磁旋转数据存储介质。IO部分504可以连接到一个或多个用户接口设备例如，移动设备、触摸屏显示单元518等或盘存储单元512。含有根据所描述的技术实现系统和方法的机制的处理器程序产品可以驻留在这种系统500的存储器部分508中或存储单元512上。通信接口524能够经由网络链路514将处理器系统500连接到企业网络，处理器系统500可以通过网络链路514接收和或发送载波中体现的指令和数据。通信接口524可以经由图像传感器接收表示来自所述系统周围的环境的图像的信号和数据。所述通信接口可以将来自处理器系统500的信号发送到所述图像检测和分类系统，所述信号包含但不限于发送给车辆的操作者的可听警报信号；发送到对于车辆的操作员来说可见的HUD平视显示器的数据信号、发送到对于车辆的操作者来说是可见的以显示关于对象和或警报的信息的诸如显示器518的视频屏幕的数据信号；用于改变车辆的控制以避免危险的车辆控制信号等。当在局域网LAN环境中使用时，处理器系统500通过作为一种类型的通信设备的通信接口524连接通过有线连接或无线方式到本地网络。当在广域网WAN环境中使用时，处理器系统500通常包含调制解调器、网络适配器或任何其他类型的用于在所述广域网上建立通信的通信设备。在联网环境中，相对于处理器系统500或其部分描述的程序模块可以存储在远程存储器存储设备中。应当理解，所示的网络连接是用于在所述处理器和其他设备之间建立通信链路的通信设备的示例，并且可以使用用于在所述处理器和其他设备之间建立通信链路的其他手段。在示例性实现方式中，企业网络的网络代理可以由存储在存储器508和或存储单元512中并由处理器502执行的指令来体现。此外，本地计算系统、远程数据源和或服务以及其他相关逻辑表示固件、硬件和或软件，其可以被配置为经由所述网络代理在所述企业网络外部传输数据。所述企业网络的所述网络代理可以使用通用计算机和专用软件例如执行服务软件的服务器、专用计算系统和专用软件例如执行服务软件的移动设备或网络家电或其他计算配置来实现。另外，数据选择策略和数据传输准备策略可以存储在存储器508和或存储单元512中并由处理器502执行。示例性系统包含图像传感器，所述图像传感器安装在系统上并被配置为从所述系统周围环境捕获图像，来自所述系统周围的所述环境的所述图像包含一个或多个关键点；提取电路，所述提取电路被配置为从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；查询点评估电路，所述查询点评估电路通信地耦合到所述图像传感器和所述提取电路并且被配置为通过对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值来对对象进行分类，所述周期描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期描述符函数进一步取决于从来自所述系统周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值；以及信号总线，所述信号总线被配置为在所述样本值满足警报条件时将信号发送到所述系统的操作者。任何前述系统的示例性系统包含所述周期性描述符函数定义如下：其中N是在所述查询点附近的来自所述系统周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量。任何前述系统的示例性系统包含所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：其中任何前述系统的示例性系统包含发送到所述系统的操作员的所述信号是可听警报。任何前述系统的示例性系统包含发送到所述系统的操作员的所述信号是视觉警报。任何前述系统的示例性系统包含发送到所述系统的操作者的所述信号包含触觉反馈。任何前述系统的示例性系统包含所述至少一个特征值包含视觉外观特征。任何前述系统的示例性系统包含所述至少一个特征值包含视觉词字典中的视觉词索引，所述视觉词索引具有通过多维缩放确定的顺序关系。任何前述系统的示例性系统包含所述第k个关键点的所述特征值是单个频率f0的整数倍。任何前述系统的示例性系统包含所述查询点评估电路进一步被配置为对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。任何前述系统的示例性系统包含所述系统是车辆。任何前述系统的示例性系统包含到所述系统的所述信号是车辆控制信号。示例性系统包含用于利用图像传感器从系统周围的环境捕获图像的装置，来自所述系统周围的所述环境的所述图像具有一个或多个关键点。所述示例性系统进一步包含用于从来自所述系统周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值的装置。所述示例性系统进一步包含用于对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生用于分类对象的样本值的装置，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点的至少一个提取的至少一个特征值。所述示例性系统进一步包含用于在所述样本值满足警报条件时经由信号总线输出警报信号的装置。示例性方法包含利用图像传感器从系统周围的环境捕获图像，来自所述系统周围的环境的所述图像具有一个或多个关键点；从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生用于分类对象的样本值，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值；并且在所述样本值满足警报条件时经由信号总线输出警报信号。任何前述方法的示例性方法包含所述周期性描述符函数定义如下：其中N是在所述查询点附近的来自所述系统周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量。任何前述方法的示例性方法包含所述警报信号导致可听警报。任何前述方法的示例性方法包含所述警报信号导致视觉警报。任何前述方法的示例性方法包含所述警报信号导致对所述系统的操作者的触觉反馈。任何前述方法的示例性方法包含所述至少一个特征包含图像强度。任何前述方法的示例性方法包含所述至少一个特征值包含视觉词字典中的视觉词索引。任何前述方法的示例性方法包含所述视觉词索引具有通过多维缩放确定的顺序关系。任何前述方法的示例性方法包含所述第k个关键点的所述特征值是单个频率f0的整数倍。任何前述方法的示例性方法包含周期性描述符函数是如下定义的标度不变或旋转不变函数：其中：任何前述方法的示例性方法包含所述采样操作包含对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。示例性系统包含图像传感器，所述图像传感器安装在系统上并被配置为从所述系统周围环境捕获图像，来自所述系统周围的所述环境的所述图像包含一个或多个关键点；一个或多个处理器；以及存储器，所述存储器存储处理器可执行的指令以执行以下操作：通过所述处理器，从来自所述系统周围的环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；通过所述处理器，对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生用于分类对象的样本值，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值，并且在所述样本值满足警报条件时，通过所述处理器，经由信号总线输出警报信号。任何前述系统的示例性系统包含所述周期性描述符函数定义如下：其中N是在所述查询点附近的来自所述系统周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量。任何前述系统的示例性系统包含所述警报信号导致可听警报。任何前述系统的示例性系统包含所述警报信号导致视觉警报。任何前述系统的示例性系统包含所述警报信号导致对所述系统的操作者的触觉反馈。任何前述系统的示例性系统包含所述至少一个特征包含图像强度。任何前述方法的示例性方法包含所述至少一个特征值包含视觉词字典中的视觉词索引。任何前述方法的示例性方法包含所述视觉词索引具有通过多维缩放确定的顺序关系。任何前述系统的示例性系统包含所述第k个关键点的所述特征值是单个频率f0的整数倍。任何前述系统的示例性系统包含所述周期性描述符函数是定义为如下的尺度不变或旋转不变函数：其中：任何前述系统的示例性系统包含所述采样操作包含对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。本文描述的实现方式可以利用诸如ASIC设计的电路实现为处理器实现的方法，或其任何组合。本文描述的系统可以包含各种有形计算机可读存储介质和无形计算机可读通信信号。有形计算机可读存储器可以由可由所述对象检测和分类系统访问的任何可用介质来体现，并且包含易失性和非易失性存储介质、可移动和不可移动存储介质两者。有形计算机可读存储介质不包含无形通信信号而包含以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动存储介质，所述信息例如可由处理器、数据结构、程序模块执行的计算机可读指令或其他数据。有形计算机可读存储介质包含但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CDROM、数字通用光盘DVD或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备，或可用于存储所需信息并且可由所述对象检测和分类系统访问的任何其他有形介质。与有形计算机可读存储介质相比，无形计算机可读通信信号可以体现可由处理器、数据结构、程序模块执行的计算机可读指令或驻留在调制数据信号例如载波或其他信号传输机制中的其他数据。术语“调制数据信号”表示这样的信号，所述信号的一个或多个特性以对所述信号中的信息进行编码的方式设置或改变。作为示例而非限制，无形通信信号包含诸如有线网络或直接有线连接的有线介质，以及诸如声学、RF、红外和其他无线介质的无线介质。一些实施方式可以包括制品。制品可以包括用于存储逻辑的有形存储介质。存储介质的示例可以包含能够存储电子数据的一种或多种类型的计算机可读存储介质，包含易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写入或可重新写入的存储器，等等。所述逻辑的示例可以包含各种软件元件，例如软件组件、程序、应用软件applications、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口API、指令集、计算代码、计算机代码、代码段、计算机代码段、词、值、符号或其任何组合。在一个实施方式中，例如，制品可以存储可执行的计算机程序指令，当由计算机执行时，所述计算机程序指令使所述计算机执行根据所描述的实施方式所述的方法和或操作。所述可执行计算机程序指令可以包含任何合适类型的代码，例如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。所述可执行计算机程序指令可以根据预定义的计算机语言、方式或语法syntax来实现，以用于指示计算机执行特定功能。所述指令可以使用任何合适的高级、低级、面向对象、可视、编译和或解释的编程语言来实现。本文描述的实现方式被实现为一个或多个计算机系统中的逻辑步骤。所述逻辑操作可以1实现为在一个或多个计算机系统中执行的处理器实现的步骤的序列，以及2实现为在一个或多个计算机系统内的互连机器或电路模块。实现方式是取决于所使用的计算机系统的性能要求的选择问题。相应地，构成本文描述的实现方式的逻辑操作被不同地称为操作、步骤、对象或模块。此外，应该理解，逻辑操作可以以任何顺序执行，除非另有明确请求保护或者请求保护语言固有地需要特定顺序。以上说明书、示例和数据，连同附加的附录提供了对结构和示例性实现方式的完整描述。虽然本示例可以在本文中被描述和示范为在智能手机或移动电话上实现，但是本示例适用于各种不同的计算设备，包含手持设备、电话、平板电脑、台式计算机和其他电子设备。

权利要求：1.一种系统，所述系统包括：图像传感器，其被配置为从所述系统周围的环境捕获图像，来自所述系统周围的所述环境的所述图像包含一个或多个关键点；提取电路，其通信地耦合到所述图像传感器并且被配置为从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；查询点评估电路，其通信地耦合到所述图像传感器和所述提取电路并且被配置为通过对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值来分类对象，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值；信号总线，其被配置为如果所述样本值满足警报条件则将信号发送到所述系统的操作者。2.如权利要求1所述的系统，其中所述周期性描述符函数定义如下：其中N是在所述查询点附近的来自所述系统周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量。3.如权利要求1所述的系统，其中所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：其中：4.如权利要求1所述的系统，其中所述至少一个特征值包含视觉词字典中的视觉词索引。5.如权利要求5所述的系统，其中所述视觉词索引具有通过多维缩放确定的顺序关系。6.如权利要求1所述的系统，其中所述第k个关键点的所述特征值是单个频率f0的整数倍。7.如权利要求1所述的系统，其中所述系统包括车辆。8.如权利要求1所述的系统，其中到所述系统的所述信号包括车辆控制信号。9.一种方法，所述方法包括：利用图像传感器从系统周围的环境捕获图像，来自所述系统周围的所述环境的所述图像具有一个或多个关键点；从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值以分类对象，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值；以及在所述样本值满足警报条件时经由信号总线输出警报信号。10.如权利要求9所述的方法，其中所述周期性描述符函数定义如下：其中N是在所述查询点附近的来自所述系统周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量。11.如权利要求9所述的方法，其中所述至少一个特征值包含视觉词索引中的视觉词，所述视觉词索引具有通过多维缩放确定的顺序关系。12.如权利要求9所述的方法，其中所述第k个关键点的所述特征值是单个频率f0的整数倍。13.如权利要求9所述的方法，其中所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：其中：14.如权利要求9所述的方法，其中采样操作包含对多个随机化描述符函数进行采样，每个随机化描述符函数仅包含所述一个或多个关键点的子集。15.一种系统，所述系统包括：图像传感器，其被配置为从所述系统周围的环境捕获图像，来自所述系统周围的所述环境的所述图像包含一个或多个关键点；一个或多个处理器；以及存储器，其存储计算机可执行指令以执行以下操作：通过所述处理器，从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取至少一个特征值；通过所述处理器，对来自所述系统周围的所述环境的所述图像中的查询点进行周期性描述符函数采样以产生样本值以分类对象，所述周期性描述符函数取决于所述一个或多个关键点中的至少一个与复杂空间中的所述查询点之间的距离，所述周期性描述符函数进一步取决于从来自所述系统周围的所述环境的所述图像中的所述一个或多个关键点中的至少一个提取的至少一个特征值；以及在所述样本值满足警报条件时，通过所述处理器，经由信号总线输出警报信号。16.如权利要求15所述的系统，其中所述周期性描述符函数定义如下：其中N是在所述查询点附近的来自所述系统周围的所述环境的所述图像中关键点的数量，zc是复杂空间中表示的所述查询点，zk是第k个关键点，fzk是第k个关键点的所述特征值，并且ζ是所述描述符函数Fζ的连续自变量。17.如权利要求15所述的方法，其中所述警报信号导致对所述系统的操作者的触觉反馈。18.如权利要求15所述的方法，其中所述至少一个特征包含视觉外观特征。19.如权利要求15所述的方法，其中所述至少一个特征包含视觉词字典中的视觉词索引。20.如权利要求15所述的方法，其中所述周期性描述符函数是如下定义的尺度不变或旋转不变函数：其中：

百度查询： SMR专利责任有限公司 用傅立叶风扇进行的对象检测和分类

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD