申请/专利权人：上海云拿智能科技有限公司

申请日：2018-01-26

公开（公告）日：2021-04-09

公开（公告）号：CN108551658B

主分类号：H04W4/33(20180101)

分类号：H04W4/33(20180101);H04W4/35(20180101);G07G1/14(20060101);G07G1/00(20060101);H04N13/243(20180101)

优先权：

专利状态码：有效-授权

法律状态：2021.04.09#授权;2018.10.16#实质审查的生效;2018.09.18#公开

摘要：本发明提供一种目标物定位系统及定位方法，所述目标物定位系统包括封闭空间、三维影像采集装置以及目标物坐标获取单元，所述目标物定位方法包括如下步骤：空间设置步骤、三维影像采集步骤以及目标物坐标获取步骤。本发明可以获取特定目标物在特定区域内实时位置，特别是可以获取每一用户在无人超市内的实时位置，结合每一架板或货品的位置以及货架上每一的货品取放状态，可以准确判断出货架上取走或放回的货品的用户的身份，从而更新该用户的购物记录，以便用户在购物完成后实现自动结算。

主权项：1.一种目标物定位系统，其特征在于，包括：封闭空间；至少一货架，设置于所述封闭空间内；每一货架包括至少一架板，每一架板上被放置有至少一货品；用户身份识别系统，用以识别进入所述封闭空间内的每一用户的身份信息，每一用户的身份信息对应至少一电子支付信息；三维影像采集装置，用以实时采集至少一帧三维影像，所述三维影像中包括至少一目标物的全部或部分的影像，所述目标物为用户及其延伸部；所述三维影像采集装置包括至少一三维影像传感器，设于所述封闭空间顶部，所述三维影像传感器的视野范围覆盖所述封闭空间的全部底面；目标物坐标获取单元，设于一数据处理设备内，用以在所述封闭空间内建立三维坐标系，根据所述至少一帧三维影像实时获取所述目标物在所述三维坐标系的坐标集或坐标；货品感知系统，用以实时感知每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量；购物用户判断系统，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，判定该架板与该用户匹配；当一货品与一用户匹配时，且同时该货品的取放状态发生变化时，用以根据每一用户的身份信息及每一用户的实时位置判断取走或放回货品的用户身份；购物信息记录系统，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量；以及结算系统，当无法获取一用户在封闭空间内的三维影像时，根据该用户的购物数据库为该用户结算及完成支付。

全文数据：目标物定位系统及定位方法技术领域[0001]本发明涉及一种用于零售业的用户实时位置定位追踪技术，具体地说，涉及一种目标物定位系统及定位方法。背景技术[0002]传统零售业的购物方式，每一家超市货便利店需要有专门的销售人员和收款人员，人力成本较高。随着电子支付技术、身份识别技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，急需解决的一个基本问题就是用户选购货品的判断和记录问题，具体地说，服务器需要准确判断每一个用户选择了哪些货品、放回了哪些货品以及从超市中带走了哪些货品。[0003]现有技术中，有人采用人脸技术识别用户身份，根据每一用户离开超市时，身上携带货品的RFID标签确定该用户己购买商品的种类和数量，这种方式需要在每一个货品上设置RFID标签，在门禁处设置RFID读写器。这种方案不需要定位跟踪用户的实时位置，其不足之处在于，首先，硬件成本较高，每一RFID标签的价格大约在0•5-1元左右，标签会提升每一种商品的成本，降低超市的竞争力，对于成本为5元的货品来说，加装RFID标签会提升其成本的10-20%;其次，货品感知存在被屏蔽、被去除的可能性，从而出现用户蒙蔽RFID阅读器的现象，导致货品丢失;再次，该方案中只有在超市门禁处才能实现结算，如果有用户在离店前将可食用的货品吃掉，将包装留在超市里，RFID阅读器也无法感知和确定用户的真实消费金额。也就是说，这一方案高度依靠市民用户的自律性和道德水平，而不是用技术手段加以约束，这样的无人超市营业过程中的风险较大。[0004]本发明的申请人提出一种基于重量监测技术或影像监测技术实时判断货架上是否有货品被取走或被放回，同时，还需要解决取走或放回货品的用户身份判断问题。发明内容[0005]本发明的目的在于，提供一种目标物定位系统及定位方法，有效解决现有技术存在的无法实时定位及跟踪目标物、在无人超市中取走或放回货品的用户身份不明确的技术问题。[0006]为实现上述目的，本发明提供一种目标物定位系统，包括:封闭空间；三维影像采集装置，用以实时采集至少一帧三维影像，所述三维影像中包括至少一目标物的全部或部分的影像;以及目标物坐标获取单元，设于一数据处理设备内，用以在所述封闭空间内建立三维坐标系，根据所述至少一帧三维影像实时获取所述目标物在所述三维坐标系的坐标集或坐标。[0007]为实现上述目的，本发明提供一种目标物定位方法，包括如下步骤：空间设置步骤，用以设置一封闭空间；三维影像采集步骤，用以实时采集至少一帧三维影像，所述三维影像中包括至少一目标物的全部或部分的图像；以及目标物坐标获取步骤，用以在所述封闭空间内建立三维坐标系，根据所述至少一帧三维影像实时获取一目标物的坐标集或坐标。[0008]本发明的优点在于，提供一种目标物定位系统及定位方法，可以获取特定目标物在特定区域内实时位置，特别是可以获取每一用户在无人超市内的实时位置，结合每一架板或货品的位置以及货架上每一的货品取放状态，可以准确判断出货架上取走或放回的货品的用户的身份，从而更新该用户的购物记录，以便用户在购物完成后实现自动结算。附图说明[GGG9]图1为本发明实施例所述的无人超市俯视图；图2为本发明实施例所述的托盘及架板的结构示意图；图3为本发明实施例所述货架的整体结构示意图；图4为本发明实施例所述用户身份识别系统的结构框图；图5为本发明实施例所述目标物定位系统的结构框图；图6为本发明实施例所述影像传感器在封闭空间内的分布图；图7为本发明实施例所述基于重量监测的货品感知系统的结构框图；图8为本发明实施例所述基于影像监测的货品感知系统的结构框图；图9为本发明实施例所述第二摄像头与所述货架的位置关系图；图1〇为本发明实施例所述购物用户判断系统的结构框图；图11为本发明实施例所述购物数据库系统的结构框图；图12为本发明实施例所述结算系统的结构框图。[0010]图13为本发明实施例中目标物定位方法的流程图；图14为本发明实施例中三维影像采集步骤的流程图；图15为本发明实施例中目标物坐标获取步骤的流程图；图16为本发明实施例中位置参数获取步骤的流程图；图17为本发明实施例中另一种目标物定位方法的流程图；图18为本发明实施例中购物用户判断步骤的流程图；图19为本发明实施例中购物信息记录步骤的流程图。[0011]图中各个部件标号如下：1封闭空间，2货架，3支架，4托盘，5架板，6重量感应装置，7数据处理设备；100用户身份识别系统，1〇1门禁装置，102身份识别装置;1021扫码装置，1022身份获取单元，103用户入口，104用户出口；200目标物定位系统，201三维影像采集装置，202三维影像整合单元，203目标物坐标获取单元；2011影像传感器，2012深度图像传感器，2013RGB图像传感器，2014三维影像获取单元；300基于重量监测的货品感知系统，301货品数据库生成单元，3〇2重量值采集单元，3〇3取放状态判断单元，304货品数据库更新单元；_3011初始化单元,3012信息录入单元，3013感应值初始化单元；3031重量差值计算单元，3032重量差值判断单元，3〇33架板信息记录单元;3〇34货品种类判断单元，3035货品数量计算单元；400基于影像监测的货品感知系统，401样本采集单元，402模型训练单元，4〇3实时图片采集单元，404货品种类获取单元，405第一摄像头，406第二摄像头；500购物用户判断系统，501货品信息存储单元，5〇2架板坐标存储单元，5〇3架板与用户匹配判断单元，504货品与用户匹配判断单元；600购物数据库系统，601购物数据库生成单元，602购物数据库更新单元；700结算系统，701总金额计算单元，702支付单元。具体实施方式[0012]以下参考说明书附图完整介绍本发明的优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，其保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的部件以相似数字标号表示。[0013]当某些部件被描述为“在”另一部件“上”时，所述部件可以直接置于所述另一部件上;也可以存在一中间部件，所述部件置于所述中间部件上，且所述中间部件置于另一部件上。当一个部件被描述为“安装至”或“连接至”另一部件时，二者可以理解为直接“安装”或“连接”，或者一个部件通过一中间部件间接“安装至”或“连接至”另一个部件。[0014]本实施例涉及一种目标物定位系统，是一种用户无人超市的无人售货系统中的一部分，通过在无人超市空间顶部设置多个影像采集装置，从而获取目标物购物用户）在无人超市空间内的实时位置并实现有效跟踪。[0015]如图1〜3所示，所述无人售货系统包括一封闭空间1，其内设有多个货架2，每一货架2包括支架3及可拆卸式安装在支架3上的多个托盘4,多个托盘4在不同高度彼此平行或者在同一高度彼此平齐。每一托盘4上设有多个并列设置的架板5,每一架板5上放置有至少一种货品。本实施例架板5上放置的货品需要便于用户取走或放回，因此，以架板5朝向用户的一端作为架板5的前端。[0016]每一架板5与托盘4之间都设置有一个重量感应装置6,优选长方体形状重量传感器，其一端的下表面连接至托盘4，其另一端的上表面连接至架板5。本实施例中，每一架板5皆为一个敞口的盒体，可以被放置有一种或多种货品，所述货品为标准货品，同一种类的货品的外观和重量都相同或近似。放置于同一架板5的同种类货品具有相同的重量值，不同种类货品具有不同的重量值，每一重量值仅对应一类货品。重量感应装置6可以精准的获取架板5及其上表面货品的实时重量感应值，精确感知每个架板5的每一次重量值变化量，包括增加量或减小量。[0017]本实施例还包括数据处理设备7，如服务器或计算机等，数据处理设备7内部设有多个数据处理软件，具有多个功能模块，可以通过数据线连接至多个硬件，以软硬件结合方式实现多种功能。[0018]如图1、图4所示，本实施例还包括用户身份识别系统100,用以识别每一用户的身份信息。用户身份识别系统100包括门禁装置101及身份识别装置102,本实施例所述封闭空间1不是绝对密封空间，而是相对封闭的空间，封闭空间1设有出入口，优选一个用户入口103及一个用户出口104,所有用户由用户入口103进入此封闭空间1，由用户出口104离开此封闭空间1。[0019]如图1、图4所示，封闭空间1的每一出入口处都设置有门禁装置101，优选一自动闸机。身份识别装置1〇2用以获取用户的身份信息，包括连接至数据处理设备7的扫码装置1021以及数据处理设备7内的身份获取单元1022。扫码装置1021设置于用户入口103处的门禁装置101的内部或外部，优选设于自动闸机的外表面，用以扫描身份识别码，优选一二维码;身份获取单元1022为数据处理设备7中的一个功能模块，可以根据所述身份识别码获取用户的身份信息。用户出口104处的门禁装置1〇1无需设置身份识别装置1〇2。[0020]本实施例中，每个用户将与无人超市配套使用的专用应用软件APP下载到移动通信终端手机、平板电脑等）中，在应用软件APP中注册账号，关联至支付软件;或者，每个用户将支付软件如微信支付宝）下载到移动通信终端中，在支付软件中嵌入与无人超市配套使用的小程序，在支付软件中注册账号，专用应用软件APP或支付软件内设有用户注册信息及电子支付信息，包括用户身份信息、银行账号信息、支付密码等。注册完成后，用户身份信息会存储于数据处理设备7的用户数据库中。[0021]移动通信终端中的应用软件APP可以生成一二维码，该二维码内存储有用户的身份信息等，当某一用户需要从外部进入封闭空间1时，将应用软件生成的二维码正对扫码装置1021的扫描端，扫码后扫码装置1021对此二维码进行解码处理，将解码结果传送至数据处理设备7,如果二维码是可识别的，且识别出的身份信息与预先存储在用户数据库的身份信息相匹配，确定该用户身份合法，门禁装置101打开允许该用户进入封闭空间1，用户入口103处的门禁装置101设有感应装置，如红外传感器等，当该用户进入封闭空间1之后，门禁装置101感知到有人走过门禁，然后自动关闭。当用户购物结束需要离开封闭空间1时，用户出口104处的门禁装置101感应到有人从封闭空间1内部靠近门禁装置101时，该门禁装置会自动打开，待用户离开封闭空间1后，门禁装置101感知到有人走过门禁，然后自动关闭。[0022]身份获取单元1022根据所述身份识别码获取用户的身份信息后，数据处理设备7可以生成该用户的购物数据库，在用户购物过程中根据用户每一次购物行为获取购物信息更新该购物数据库。由于用户随身携带的移动通信终端通过应用软件APP与数据处理设备7进行实时数据交换，用户的购物数据库也可以显示在移动通信终端中的应用软件APP中，形成购物车界面，以便用户了解自己的购物记录及后续结算。[0023]如图4、图5所示，本实施例所述目标物定位系统200,包括封闭空间1、三维影像采集装置201、三维影像获取单元202及目标物坐标获取单元203，用以获取每一目标物在封闭空间1的实时位置。本实施例所述目标物为用户及其延伸部的全部或局部，目标物定位系统200即为用户定位系统，用以获取用户整体或局部如头部、手部等）的位置，也即在所述三维坐标系下坐标集。[0024]三维影像采集装置201包括至少一影像传感器2011，用以实时采集至少一帧三维影像。多个影像传感器2011平均分布于封闭空间1顶部，其镜头朝向下方，镜头中轴线可以与水平面垂直也可以有一定的倾角。影像传感器2011的镜头的视野范围覆盖封闭空间1的全部底面。用户在无人超市内行动或购物时，始终处于影像传感器的监视之下，此时影像传感器采集到的三维影像中包括用户影像，所述用户影像是指该用户身体及其延伸部的全部或局部的图片。如果该封闭空间内空无一人，每一时刻下的三维影像都与前一时刻下相同，可以判断该时刻下的三维影像都为背景，不包括任何用户影像。[0025]每一影像传感器2011包括并列设置的深度图像传感器2012及RGB图像传感器2013以及三维影像整合单元2014,深度图像传感器2〇12连续采集多帧深度图像;RGB图像传感器2013连续采集多帧RGB图像，三维影像整合单元2014将同一影像传感器201同一时刻采集到的一帧深度图像及一帧RGB图像结合为一帧三维影像。[0026]上述两个传感器同步采集（同时采集且采集频率都是每秒30帧，影像传感器2011每秒可以获取30帧RGB图像及30帧深度图像，三维影像整合单元2014每秒可以连续获得30帧三维影像并传送至数据处理设备7的目标物坐标获取单元202。[0027]目标物坐标获取单元202为数据处理设备7中的一个功能模块，在所述封闭空间内建立三维坐标系，根据连续多帧包括用户影像的三维影像实时获取所述用户在所述三维坐标系下的坐标集或坐标。目标物坐标获取单元202包括坐标系建立单元2021、参数获取单元2022、背景去除单元2023以及目标物坐标计算单元2024。[0028]坐标系建立单元2021在所述封闭空间内建立三维坐标系，优选地，选择封闭空间底面无人超市的地面的中心点作为坐标系原点，在水平方向设置X轴、Y轴，在竖直方向设置Z轴。[0029]由于用户身体的全部或部分在三维坐标系下占用较大的空间，因此可以用一个坐标集代表用户的位置，如果考虑到位置精确控制和计算方便，也可以用该坐标集中某一个特定的点的坐标代表用户的位置，例如可以采用该用户坐标集中最高的一个点Z轴数值最大的点）的坐标来表示用户位置。[0030]参数获取单元2022对连续多帧包括用户影像的三维影像进行处理，获取每一帧三维影像的每一像素点的位置参数和色彩参数;所述位置参数为x、y、z，代表该像素点在所述三维坐标系下的位置坐标;所述色彩参数为r、g、b，分别代表该像素点的三原色强度。当某一用户行进至任一影像传感器的视野内之后，数据处理设备7都可以以每秒30帧的速度获取多帧三维影像，每一帧三维影像中都包括用户影像和背景影像，每一像素点可能是用户的一部分也可以是背景的一部分。[0031]在不同的影像传感器采集到三维影像中，表示用户身体及其延伸部的同样位置的像素点，其色彩参数r、g、b都是相同的。由于不同位置的影像传感器与用户的距离不同，每一影像传感器直接采集的初级位置参数都是用户身体及其延伸部上的一点相对于该影像传感器的位置坐标，因此要进行坐标变换，将不同位置的影像传感器采集的初级位置参数都转换为在所述封闭空间内建立的三维坐标系下的位置参数。[0032]参数获取单元2022包括传感器坐标获取单元2〇221、相对坐标获取单元20222以及坐标修正单元20223,传感器坐标获取单元20221获取采集该帧三维影像的影像传感器的中心点（即并列设置的深度图像传感器2012及RGB图像传感器2013的镜头中心点连线的中分点在所述封闭空间内建立的所述三维坐标系下的坐标;相对坐标获取单元20222根据所述影像传感器的中心点为第二原点建立第二三维坐标系，其X轴、Y轴及Z轴的方向与所述三维坐标系相同，从所述三维影像获取每一像素点在所述第二三维坐标系下的坐标;坐标修正单元20223用以根据所述影像传感器中心点在所述三维坐标系下的坐标及所述三维影像中每一像素点在第二三维坐标系下的坐标，计算并修正所述三维影像的每一像素点在所述三维坐标系下的坐标，从而获得用户及其延伸部的每一像素点的位置参数。[0033]在连续采集的M帧三维影像中，每一帧三维影像包括且仅包括一个用户的影像，若分属于不同三维影像、位置参数相同的N个像素点的色彩参数相同时，且N大于0.9*M且小于或等于M，背景去除单元2023判定该N个像素点为背景像素点，从所述M帧三维影像中去除N个所述背景像素点，获得M帧无背景三维影像，即为该用户的影像。在连续获取的三维影像中，如果分属于不同三维影像的、位置参数相同的像素点的色彩参数相同，或者大部分如90%相同，即可认定像素点的位置为背景，从而可以将该像素点从相应的三维影像中去除。[0034]在目标物坐标计算单元2〇24中，若目标物为用户及其延伸部全部，所述M帧无背景三维影像中所有像素点的位置参数的集合即为所述用户及其延伸部的全部的坐标集;在所述坐标集中，参数z最大的像素点的位置参数被定义为用户的坐标。在连续获取的三维影像中，去除背景像素点后，剩下的像素点即可代表该用户整体的行进轨迹。若连续采集的M帧三维影像中，每一帧三维影像包括多个用户的影像，需要先在每一M帧三维影像截取只含一个用户全部或部分的三维影像。[0035]若目标物为用户及其延伸部的局部，可以获取所述用户局部的坐标集，如头部、肩部、肘部、腕部、手部等。深度图像传感器2012及RGB图像传感器2013分别设有一个镜头，深度图像传感器2〇12的镜头与RGB图像传感器2013的镜头并列设置且彼此相邻，如果将两个镜头的中轴线垂直水平面设置，两个镜头就会俯视封闭空间内的货品及用户。正常情况下，两个镜头可以捕捉到用户头部及肩部的位置坐标集，当用户伸出手时，也可以捕捉到用户臂部、肘部、腕部、手部的位置坐标集。如果将某一时刻下该用户的头部、肩部、肘部、腕部、手部都连成一条折线或曲线，即可将用户的手部与头部位置建立对应关系，也就是说，可以实时获取到某一手部的位置，同时可以判断出该手部属于哪一用户。[0036]进一步地，影像传感器2011的视野范围也可以覆盖出入口外部的部分空间，当用户在出入口外部时，该用户的影像就可以被影像传感器2011获取到。用户使用所述无人售货系统的全部过程，包括出入口处身份识别过程、进入封闭空间1的过程、在封闭空间1内行走或驻留过程、离开封闭空间1过程，全部处于影像传感器2011的监控下，可以实时监控已知身份的某一用户及其身体的一部分在封闭空间1内的实时位置。扫码装置1021读取用户的二维码时，数据处理设备7即可获取其身份信息，影像传感器2011从扫码装置1021读码时开始定位及实时跟踪该用户位置，监控该用户是否与某一货架匹配。当影像传感器2011无法获取该用户的实时三维影像时，可以认定该用户购物结束，从而对其进行结算。[0037]本实施例还包括货品感知系统，用以实时感知每一种货品的取放状态，当任一种类货品被取走或被放回时，获取被取走或被放回的货品的种类及数量。所述取放状态包括货品静置状态、被取走状态及被放回状态。本实施例中，所述货品感知系统包括两种不同的技术方案。[0038]如图7所示，本实施例还包括一种基于重量监测的货品感知系统300,用以实时感知每一种货品的取放状态，所述取放状态包括货品静置状态、被取走状态及被放回状态。[0039]基于重量监测的货品感知系统300包括货品数据库生成单元301、重量值采集单元302、取放状态判断单元303以及货品数据库更新单元304。上述四个单元为数据处理设备7中的功能模块，与设有重量感应装置6的货架2配合工作，可以监控每一架板5的实时重量感应值，判断是否有货品被取走或被放回。当任一种类货品被取走或被放回时，货品感知系统300获取被取走或被放回的货品的种类及数量。[0040]货品数据库生成单元301用以生成一货品数据库;货品数据库包括每一货品的货品信息及用以放置货品的每一架板的重量感应值，所述货品信息包括货品的种类、单品重量值以及货品对应的架板编号与货架编号，还包括货品的编号货品名、型号、净含量及单价等。[0041]货品数据库生成单元301包括初始化单元3011、信息录入单元3〇12以及感应值初始化单元3013。初始化单元3011用以对一货品数据库进行初始化处理，在数据处理设备7的存储器中建立货品数据库。信息录入单元3012用以录入每一货品的重量值及货品信息，并将其存储至所述货品数据库，利用键盘或扫码器将无人超市货架上的每一种货品的重量值都录入所述货品数据库。感应值初始化单元3013用以采集每一架板被放置货品后的重量感应值，并将其存储至所述货品数据库。[0042]在无人超市布置过程中，优选地，在每一架板5上摆放种类相同、重量相同的多个货品之后，货品信息被录入至数据处理设备7,并存储于货品数据库中。以某品牌饮料为示例，某一架板上摆放有8瓶某品牌饮料，架板的重量为100克，每瓶饮料重量为200克，在初始化后货品数据库中该架板的感应重量值为1700克，该品牌饮料对应的产品名称某凉茶）、净含量195ml、产地广东）、单价5元）、单品重量值200克）、货架编号（1、架板编号（1-12、商品编号025等信息也被存储在所述货品数据库内。[0043]重量值采集单元302通过数据线分别连接至每一架板5内的重量感应装置6，用以实时采集每一架板5的实时重量感应值，优选地，采集时间间隔为0.1-0.2秒。所述实时重量感应值为重量传感器的感应数值，在货品被摆放至架板5之前，代表每一架板的重量;在货品被摆放至架板5之后，代表该架板及该架板上货品的总重量值;当有货品被取走或被放回至架板5时，实时重量感应值会发生变化。[0044]为了减小误差，在架板5上正式摆放货品之前，需要先进行校准处理，用多种不同重量的标准砝码计算重量传感器的感应值X与架板上方放置物品的实际重量值Y之间的对应关系。例如，先将架板空置，获取重量感应装置6重量传感器的感应值X0,此时架板上货品重量Y0=0克;再用重量值为5〇0克、1000克的标准砝码分别放置在架板上，获取重量感应装置6重量传感器）的感应值X1、X2,对应的架板上货品重量Yl=500克，Y2=1000克。利用公式Y货品重量值=k*X传感器值+b，计算并存储三组参数k、b的数值，选择其中偏差较小的参数组。在后续的实时监控过程中，重量感应装置6重量传感器每次实时采集到的传感器值，结合参数k、b的数值，即可以计算出每一架板上既有货品的总重量。[0045]取放状态判断单元3〇3用以判断每一架板的重量感应值是否发生变化，若变小，判定该架板上有货品被取走;若变大，判定有物品被放置于该架板上;若完全不变，说明该架板上的货品完全没有变化，重量值采集单元3〇2重新进行实时采集。取放状态判断单元303包括重量差值计算单元3031、重量差值判断单元3032以及架板信息记录单元3033。[0046]重量差值计算单元3031计算实时采集的每一架板的实时重量感应值与所述货品数据库内存储的同一架板的重量感应值的差值，记录为每一架板的重量差值。例如，前述示例中，若放置前述某品牌饮料的架板重量发生变化，变为1300克或1900克，分别记录重量差值为-400克或200克。[0047]重量差值判断单元3〇32将至少一架板的重量差值与〇对比；当一架板的重量差值小于0时，判定该架板上有货品被取走；当一架板的重量差值大于0时，判定该架板上有物品被放置，此时不能确定该物品是否为用户之前从货架上取走的货品，也可能是用户的随身物品。例如，前述示例中，重量差值为-400克，即可认定有货品被取走;重量差值为200克，gp可以认定有物品被放置在货架上。[0048]当一架板的重量差值大于0或小于0时，架板信息记录单元3033记录该架板的架板编号以及该架板的重量差值。例如，若前述示例中的重量差值-400克，已知该架板重量减少，记录该架板的编号（1-12。若前述示例中的重量差值200克，己知该架板初始状态下的重量感应值为1700克，此时被放置在该架板上的物品必然不是原货架上的商品，因此很可能是原属于其他架板上的商品或者是用户的随身物品，此时可选择地生成一个报警信号，提醒管理人员或用户，必要时，可以将该架板的架板编号显示在某一显示器上，以便管理人员或用户及时处理。[0049]取放状态判断单元303还包括货品种类判断单元3034及货品数量计算单元3035。当一架板的重量差值小于0时，货品种类判断单元3034根据该架板编号及所述货品数据库内存储的该架板对应的货品信息判断被取走货品的种类。例如，已知该架板的编号（1-12，如果每一架板上只放置一种货品，可以判断该货品种类为某凉茶，也可以对应找出其他货品信息，如单品重量值200克）、净含量（195ml、产地广东）、单价5元等。如果该架板被放置多种货品，只能根据重量差值初步判断出被取走货品可能的种类及数量。[OOSO]当一架板的重量差值小于0时，如果每一架板上只放置一种货品，货品数量计算单元3035计算一架板的重量差值的绝对值与所述货品数据库内存储的该架板上单一货品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被取走货品的数量。例如，前述示例中的重量差值-400克，其绝对值为400克，与单品重量值200克的比值为2，因此该比值即为被取走货品的数量。由于同种类的多个货品之间也可能存在较小的重量差值，直接计算之后的比值不一定为整数，可能为趋近于某个整数，因此需要利用四舍五入法对该比值进行取整处理，从而可以判断出被取走货品的种类及数量。[0051]在理想状态下，如果用户素质较高，每一次放回货品时都能将该货品正确放回至该货品原属货架。当一架板的重量差值大于0时，货品种类判断单元3034根据该架板编号及该架板对应的货品信息判断被放回货品的种类。货品数量计算单元3035计算该架板的重量差值的绝对值与该架板对应的货品的单品重量值的比值，利用四舍五入法对该比值进行取整处理，获得的整数即为被放回货品的数量。[0052]货品数据库更新单元304用以存储所述实时重量感应值至所述货品数据库，形成新的重量感应值，以更新所述货品数据库中每一架板的重量感应值，以待下次调用和判断。[0053]本实施例所述基于重量监测的货品感知系统300的有益效果在于，提供一种基于重量监测的货品感知方案，可以实时监测货架上货品的实时重量感应值，实时感知每一架板的重量变化，由货架上所有架板的重量变化推断出有哪一种货品被取走或被放回，还可以判断被取走或被放回货品的种类和数量。[0054^如图8所示，本实施例还包括一种基于影像监测的货品感知系统系统400,其包括样本采集单元401、模型训练单元402、实时图片采集单元403以及货品种类获取单元404,上述四个单元为数据处理设备7中的功能模块，基于影像监测的货品感知系统400可以监控货架前方区域的实时影像，判断被取走或被放回的货品的种类。[0055]基于影像监测的货品感知系统400还包括第一摄像头405及第二摄像头406,第一摄像头4〇5连接至样本采集单元401，用以拍摄每一货品多个角度多个距离的图片。第二摄像头4〇6连接至实日j•图片采集单元4〇3,用以拍摄一货架前方空间的实时图片。[0056]如图9所示，优选地，第二摄像头406的数量为两个或四个，设置于货架2的外部，每一第二摄像头406朝向货架2的一个角落处。货架2的多个架板5的最前端位于同一平面上，该平面称之为货架平面，第二摄像头406设有镜头，该镜头的视野范围覆盖所述货架前方空间；当货品被从所述货架上被取下或者被放置在货架上时，所述货品被取下过程或被放回过程的影像被所述第二摄像头拍摄到。所述货架前方空间是指货架前方对应货架平面的空间区域，所述货架前方空间一般是指货架前方30〜50厘米宽度的区域范围，每一个第二摄像头406的镜头朝向所述货架前方空间的中心区域。[0057]优选地，第二摄像头406的镜头的中轴线与水平面夹角为30-60度;和或，第二摄像头406的镜头与货架2上端或下端的距离为0.8-1.2米;和或，第二摄像头406的镜头与货架2—侧边的距离为0.8-1.2米，确保第二摄像头406的视野范围可以完全覆盖货架前方空间，当货品被从货架2上被取下或者被放置在货架2上时，取下过程或放置过程的影像被第二摄像头406拍摄到。[0058]样本采集单元401用以采集至少一组图片样本，每一组图片样本包括一种货品在多角度下的多张样本图片；同一种类货品的一组图片样本被设有相同的组别标识，该组别标识代表该组图片样本对应的货品的种类。优选地，第一摄像头405对货架2上每种货品需要拍摄不同角度不同距离的3000〜5000张图片，并传送至数据处理设备7的样本采集单元401。由于本实施例涉及的无人超市中所销售的货品为标准货品，同一种类货品的外观六面图都是相同或相近似的，因此在同一种类货品中只要选择一个或几个产品，对其进行多次拍照处理即可完成该类货品训练样本的采样。[0059]模型训练单元402用以根据多组图片样本中的每一样本图片及每一样本图片的组别标识训练卷积神经网络CNN模型，获取货品识别模型。优选地，本实施例中的卷积神经网络模型是目前运算量最小、响应速度最快的FasterRCNN网络模型，该模型的最快响应速度只要0.2秒左右，可以在极短的时间准确识别出图片的物品的种类及数量。[0060]实时图片采集单元403连接至多个第二摄像头406，用以连续采集货架前方空间的至少一实时图片，每一实时图片包括一个或多个货品图片的部分或全部。当有用户从货架的某一架板上取走货品时，或者，当有用户放置货品或物品至货架的某一架板时，第二摄像头406可以会从不同角度拍摄到货品在货架前的整体或局部照片，显示该货品的形状、图案及色彩。[0061]货品种类获取单元404用以根据所述实时图片及所述货品识别模型获取所述实时图片中显示的货品的种类。实时图片采集单元403在某一时段采集到的多张实时图片，在预处理后输入至所述货品识别模型，从而判断该时段内的图片对应的组别标识，根据组别标识判断该时段内拍到的货品的种类。[0062]基于影像监控的货品感知系统400的有益效果在于，可以实时监测货架前方空间的影像，判断是否有货品被从货架上取走或被放回至货架，利用机器学习中的卷积算法推断出货品的种类及数量的可能性结论，并选择其中可信度最高的结果作为最后结论。[0063]如图10所示，本实施例还包括购物用户判断系统500,其为数据处理设备7中的功能模块，当任一种类货品被取走或被放回时，根据所述用户的身份信息及所述用户的实时位置判断取走或放回货品的用户身份。购物用户判断系统500包括货品信息存储单元501、架板坐标存储单元502、架板与用户匹配判断单元503以及货品与用户匹配判断单元504。[0064]基于重量监测的货品感知系统300中的货品数据库生成单元301及货品数据库更新皁兀304生成或史新的货品数据库皆存储于货品信息存储单元5〇1中，所述货品数据库包括每一货品信息;所述货品信息包括每一货品的货品名、型号、净含量及单价等，还包括放置该货品的货架编号、放置该货品的架板编号及货品编号。[0065]目标物定位系统200在所述封闭空间内建立三维坐标系，由于货架2及架板5的位置确定，因此建立坐t示系后即可获取各个货架2及各个架板5的坐标，货架坐标集及架板坐标集存储于架板坐标存储单元5〇2中，设置架板上方的用以放置货品的架板空间的高度如30CM，即可获取所述架板空间的坐标集。[0066]目标物坐标获取单元203可以获取每一用户手部的实时坐标集，当一架板5上方的架板空间的坐标集与一用户手部坐标集有交集时，架板与用户匹配判断单元503判定该架板5与该用户匹配，可以认为该用户将手部伸入至该架板5上方的架板空间，用户的行为可能是取走货品或者放回货品。[0067]基于重量监测的货品感知系统300监控每一架板5的实时重量感应值，同时基于影像监测的货品感知系统400监控每一货架前方区域的实时影像，两个货品感知系统配合工作，判断是否有货品被取走或被放回，并判断被取走或被放回的货品的种类及数量。当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，货品与用户匹配判断单元504判定该货品与该用户匹配，该货品在这一时刻被该用户从该架板上取走或放置到该架板上，从而确定该用户的身份。[0068]如图11所示，本实施例还包括购物信息记录单元600，其为数据处理设备7中的功能模块，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。购物信息记录单元600包括购物数据库生成单元601以及购物数据库更新单元602。[0½9]当一用户的身份被用户身份识别系统100识别时，身份获取单元1022获取用户的身份信息，购物数据库生成单元601根据所述用户的身份信息在数据处理设备7中生成该用户的购物数据库，初始状态下的购物数据库无任何购物信息。当任一货品与一用户匹配时，说明该用户发生一次购物行为，将货品从一架板上取走或将货品放置到一架板上。[0070]如果此时基于重量监测的货品感知系统300监控到某一架板5的实时重量感应值减小，说明有货品从该架板上被取走，货品种类判断单元3034根据所述货品数据库内存储的货品信息及重量差值小于0的架板编号初步判断被取走货品可能的种类及数量。如果该架板上除了原有货品外，还被错放了其他种类货品，用户只用重量差值无法判断被取走货品具体的种类和数量，因此只能根据重量差值初步判断出被取走货品可能的种类及数量。例如，若该架板的重量差值为-100克，且该架板上原有货品P的重量为50克，但是被用户误放了其他架板上货品Q，其重量为100克，那么此时初步判断的结果是被取走的货品为两个货品P或者一个货品Q。[0071]当货品与一用户匹配时，基于影像监测的货品感知系统400监控到用户从架板上将货品取走的实时影像，再次判断被取走的货品的种类，如果判断结果与初步判断结果之一相符，即可确认被取走的货品的种类及数量，购物数据库更新单元602生成取货信息，包括被取走货品的种类及数量，以及该货品的货品信息，并且将该取货信息相应的购物信息写入至该用户的购物数据库中，使得购物数据库中的货品的种类及数量与用户实际购买的货品的种类及数量一致。[0072]购物数据库更新单元6〇2根据被取走货品的种类及数量以及取走货品的用户的身份信息生成一组购物信息，并存储至该用户的购物数据库，该购物信息中包括此刻被取走货品的种类及数量，以及该货品的货品信息，如货品名、型号、净含量及单价，等等。用户在封闭空间1内多次取走货品之后，其购物数据库内包括多组购物信息，由于用户随身携带的移动通信终端与数据处理设备7以无线通信方式连接并进行数据交换，因此，购物数据库中的购物信息也可以显示在用户的移动通信终端的APP界面上。[0073]当货品与一用户匹配时，若基于重量监测的货品感知系统300监控到某一架板5的实时重量感应值增大，该架板的重量差值大于〇,说明有物品被放置于该架板上，可以判断该物品是否为已购货品。[0074]在该用户的购物数据库中查询每一购物信息，判断是否有己购货品的重量值与该架板的重量差值相匹配，也即判断是否有一个或多个己购货品的总重量与该架板的重量差值相同。如果是，可以初步判断该物品可能的种类及数量。例如，若该架板的重量差值为200克，且己购货品中有两个1〇〇克的货品A及四个50克的货品B，可以初步判断被放回该架板的物品为2个货品A，或者1个货品A及两个货品B，或者4个货品B。[0075]当货品与一用户匹配时，基于影像监测的货品感知系统400监控到用户将货品放回至架板上的实时影像，再次判断被放回的货品的种类，如果判断结果与初步判断结果相符，即可确认被放回的货品的种类及数量，购物数据库更新单元602生成归还信息，包括被放回货品的种类及数量，以及该货品的货品信息，并且从该用户的购物数据库中删除与所述归还信息相应的购物信息，使得购物数据库中的货品的种类及数量与用户购买的货品的种类及数量一致。[0076]同理，基于重量监测的货品感知系统300、基于影像监测的货品感知系统400还可以判断被放回的货品的种类及数量，进一步地，所述货品感知系统还可以判断被放回的货品的种类与实时重量感应值增大的架板上原有货品种类是否一致，如果不一致，可选择地生成一个报警信号，提醒管理人员或用户。同时，所述货品感知系统记录该架板的编号，并记录被误放的货品的种类及重量信息，之后，基于重量监测的货品感知系统300若监测到该架板的重量感应值减小，根据重量差值、被误放的货品的种类及重量信息、该架板上原有货品的种类及重量信息，初步判断出被取走货品可能的种类及数量，基于影像监测的货品感知系统400利用实时影像再次判断，即可确认被取走的货品的种类及数量。[0077]如果基于影像监测的货品感知系统400的判断结果与基于重量监测的货品感知系统300的判断结果不符，或者无法判断被放回货品种类，即可确认被放回架板的物品并非该无人超市中的既有货品，有可能是用户自带的物品，如雨伞、手机等，此时可选择地生成一个报警信号，提醒管理人员或用户，必要时，可以将该架板的架板编号显示在某一显示器上，以便管理人员或用户及时处理。[0078]如图12所示，本实施例还包括结算系统700,其为数据处理设备7中的功能模块，用以根据所述用户的购物数据库中所有货品的种类及数量结算费用。用户购物过程结束后，可以自行从出入口的门禁装置处离开离开封闭空间1。当目标物定位系统200的影像传感器2〇11无法获取该用户的实时三维影像时，可以认定该用户购物结束，结算系统700为该用户结算费用。[0079]结算系统700包括总金额计算单元701及支付单元702。当所述用户离开所述封闭空间时，总金额计算单元701根据所述用户的购物数据库中全部货品的种类及数量计算总金额，由于每一种类货品的单价作为货品信息预存在数据处理设备7中，因此多种货品单价与数量的乘积的总和的金额即为该用户需要支付的总金额。进一步地，在其他实施例中，用户可以享受到货品折扣或使用优惠券、抵用券等，用户需要支付的总金额为多种货品单价与数量的乘积的总和的金额内减去优惠券和或抵用券金额和或折扣金额。支付单元702为结算系统700自带的支付软件或第三方支付软件，可以从所述用户的银行账户或电子账户上扣款，扣除的款项金额与该用户需要支付的总金额相同。[0080]本实施例还提供一种目标物定位方法，也就是前述目标物定位系统的实现方法，如图13所示，包括如下步骤S301〜S303，其技术效果在于，利用多个影像传感器全程监测用户在封闭空间内的活动影像，实时定位目标物（用户）的在封闭空间的位置，跟踪用户在封闭空间的行动轨迹，获取用户身体及其延伸部的一部分如头部、手部等的三维坐标集。[0081]步骤S301空间设置步骤，在该封闭空间设置一个或过个出入口，用户必须由此出入口进出该无人超市。[0082]步骤S302三维影像采集步骤，用以实时采集至少一帧三维影像，所述三维影像中包括至少一目标物全部或部分的图像。如图14所示，步骤S302三维影像采集步骤包括如下步骤:步骤S3021影像传感器设置步骤，在所述封闭空间顶部设置多个影像传感器，所述影像传感器的镜头朝向下方，多个影像传感器的视野范围覆盖所述封闭空间的全部底面。每一影像传感器2011包括并列设置的深度图像传感器2012及RGB图像传感器2013。步骤53022原始图像采集步骤，用以实时同步采集至少一帧深度图像及至少一帧RGB图像。步骤53023三维影像整合步骤，将同一影像传感器同一时刻采集到的深度图像及RGB图像结合为一帧三维影像;重复步骤S3022原始图像采集步骤及步骤S3023三维影像整合步骤，连续整合多帧三维影像。在用户在无人超市的购物过程中，影像传感器3031可以获取该用户整体的多帧三维影像及该用户在封闭空间的运动轨迹。当一用户的身份被识别时，该用户是位于封闭空间出入口的闸机处，正对所述出入口的一影像传感器开始采集闸机附近的实时三维影像，包括该用户整体的三维影像。当用户在所述封闭空间内行进或驻留时，无论用户走到哪一个位置，都会有至少一个位于封闭空间顶部的影像传感器的镜头能对着该用户，整个监控过程持续到用户从某一出入口的闸机处离开封闭空间为止。多个影像传感器同时采集实时三维影像，每个实时三维影像中都包括该用户的三维影像。[0083]步骤S3〇3目标物坐标获取步骤，所述目标物为某一用户，在所述封闭空间内建立三维坐标系，根据所述至少一帧三维影像实时获取一用户的坐标集或坐标。建立三维坐标系时，理论上可以以封闭空间的任意一点做为坐标系原点，封闭空间内建立三维坐标系，根据所述至少一巾贞三维影像实时获取一用户的坐标集或坐标集。[0084]如图15所示，步骤S303目标物坐标获取步骤包括步骤S3031坐标系建立步骤、步骤S3〇32参数获取步骤、步骤S3〇33背景去除步骤以及步骤S3034目标物坐标计算步骤。步骤S3〇3可用以获取用户身体及其延伸部的一部分如头部、手部等的三维坐标集。[0085]步骤S3〇3l坐标系建立步骤，用以在所述封闭空间内建立三维坐标系;优选地，选择封闭空间底面无人超市的地面的中心点点作为坐标系原点。在水平方向设置X轴、Y轴，在竖直方向设置Z轴。[0086]步骤S3〇32参数获取步骤，获取每一帧三维影像的每一像素点的位置参数和色彩参数;所述位置参数为x、y、z，代表该像素点在所述三维坐标系下的位置坐标;所述色彩参数为r、g、b，分别代表该像素点的三原色强度。当某一用户行进至任一影像传感器的视野内之后，数据处理设备都可以以每秒3〇帧的速度获取多帧三维影像，每一帧三维影像中都包括用户影像和背景影像，每一像素点可能是用户的一部分也可以是背景的一部分。[0087]如图16所示，在步骤S3〇32参数获取步骤中，获取一帧三维影像的每一像素点的位置参数，具体包括如下步骤步骤S3〇32l〜S3〇：323。步骤S3〇32l传感器坐标获取步骤，用以获取采集该帧三维影像的影像传感器的中心点（并列设置的深度传感器及RGB传感器的镜头中心点的连线的中分点在所述三维坐标系下的坐标。步骤S30322相对坐标获取步骤，用以以所述影像传感器的中心点为第二原点建立第二三维坐标系，从所述三维影像获取每一像素点在所述第二三维坐标系下的坐标〇。步骤S3〇323坐标修正步骤，用以根据所述影像传感器中心点在所述三维坐标系下的坐标及所述三维影像中每一像素点在第二三维坐标系下的坐标，计算并修正所述三维影像的每一像素点在所述三维坐标系下的坐标，从而获得每一像素点的位置参数。[0088]步骤S3033背景去除步骤，在连续采集的M帧三维影像中，若分属于不同三维影像、位置参数相同的N个像素点的色彩参数相同时，且N大于0.9*M且小于或等于M，判定该些N个像素点为背景像素点，从所述M帧三维影像中去除N个所述背景像素点，获得M帧无背景三维影像，即为某用户的影像。在连续获取的三维影像中，如果分属于不同三维影像的、位置参数相同的像素点的色彩参数相同，或者大部分如90%相同，即可认定像素点的位置为背景，从而可以将该像素点从相应的三维影像中去除。在连续获取的三维影像中，去除每一个三维影像中的背景像素点后，剩下的像素点的集合即可代表该用户整体的行进轨迹。[0089]步骤S3034目标物坐标计算步骤，所述M帧无背景三维影像中所有像素点的位置参数的集合即为该用户整体的坐标集;在该坐标集中，位置参数z最大的像素点的位置参数被定义为目标物的坐标。如果将目标物进一步定义为用户的手部，就可以获取用户手部的实时坐标集。[0090]如图17所示，所述目标物定位方法还可以包括如下步骤:步骤S401货架设置步骤、步骤S4〇2用户身份识别步骤、步骤S4〇3货品感知步骤、步骤S404购物用户判断步骤以及步骤S405购物信息记录步骤。[0091]步骤S401货架设置步骤、步骤S402用户身份识别步骤发生在步骤S301空间设置步骤之后，且发生在步骤S3〇2三维影像采集步骤之前。步骤S401货架设置步骤在所述封闭空间内设置至少一货架;每一货架包括至少一架板，每一架板上被放置有至少一个种类的货品。步骤S402用户身份识别步骤识别进入所述封闭空间内的每一用户的身份信息。[0092]步骤S4〇3货品感知步骤，用以实时感知每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量。步骤S403货品感知步骤与步骤S3〇2三维影像采集步骤及步骤S：3〇3目标物坐标获取步骤分别执行，互不干涉。实时货品取放状态与目标物实时坐标皆发送至数据处理设备7以进行下一步的购物用户判断。[0093]步骤S404购物用户判断步骤，当任一货品被取走或被放回时，用以根据所述用户的身份信息及所述用户的实时位置判断取走或放回货品的用户身份;步骤S405购物信息记录步骤，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。[0094]如图IS所示，步骤S404购物用户判断步骤包括步骤S4041货品信息存储步骤、步骤S4042架板坐标存储步骤、步骤S4043架板与用户匹配判断步骤以及步骤S4044货品与用户匹配判断步骤。[0095]步骤S4041货品信息存储步骤，用以存储货品数据库，包括每一货品信息；步骤S4042架板坐标存储步骤，在所述封闭空间内建立三维坐标系，用以存储货架坐标集及架板坐标集，设置架板上方的架板空间的高度，获取所述架板空间的坐标集;步骤S4043架板与用户匹配判断步骤，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，判定该架板与该用户匹配;步骤S4044货品与用户匹配判断步骤，当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，判定该货品与该用户匹配。在所述封闭空间内建立的三维坐标系下，每一架板上方用以放置货品的架板空间的坐标集是可以确定的，每一架板编号对应一个架板空间的坐标集。当用户手部的坐标集与所述架板空间的坐标集有交集时，说明用户手部伸入至一架板上方空间，也即该架板与该用户匹配。如果同时所述货品感知系统发现有货品从一架板上被取走或被放置到一架板上，即可以认定该用户发生了取货事件或者还货事件。[0096]如图19所示，步骤S405购物信息记录步骤包括步骤S4051购物数据库生成步骤以及步骤S4052购物数据库更新步骤。步骤S4051购物数据库生成步骤，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库;步骤S4052购物数据库更新步骤，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。[0097]步骤步骤S3〇l〜S3〇3可以获取用户整体及局部的实时位置，再结合步骤步骤S401〜S405，在货架上的货品发生取放事件时，可以判断取走或放回货品的用户的身份，并及时修正该用户购物数据库中的购物记录。如果所述货品感知系统发现有货品被某用户从一架板上被取走，且判定出被取走货品的种类和数量，即可将被取走货品的货品信息、数量、单价等信息写入该用户的购物数据库中。如果所述货品感知系统发现有货品被某用户放置到一架板上，且判定出被放回货品的种类和数量，即可将被放回货品的归还信息从该用户的购物数据库中删除。[0098]用户在封闭空间内进行的购物活动中，可能会发生多次取货事件及多次归还事件，每次事件发生后，用户的购物数据库都会发生相应的变动，使其购物数据库中记载的购物信息与该用户实际购物内容保持一致，当用户离开封闭空间时，结算系统可以自动为其完成结算。[0099]本发明的优点在于，提供一种目标物定位系统及定位方法，可以获取特定目标物在特定区域内实时位置，特别是可以获取每一用户在无人超市内的实时位置，结合每一架板或货品的位置以及货架上每一的货品取放状态，可以准确判断出货架上取走或放回的货品的用户的身份，从而更新该用户的购物记录，以便用户在购物完成后实现自动结算。[0100]以上所述仅是本发明的优选实施方式，使本领域的技术人员更清楚地理解如何实践f发明，这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

权利要求：1.一种目标物定位系统，其特征在于，包括：封闭空间；三维影像采集装置，用以实时采集至少一帧三维影像，所述三维影像中包括至少一目标物的全部或部分的影像;以及目标物坐标获取单元，设于一数据处理设备内，用以在所述封闭空间内建立三维坐标系，根据所述至少一帧三维影像实时获取所述目标物在所述三维坐标系的坐标集或坐标。2.如权利要求1所述的目标物定位系统，其特征在于，所述三维影像采集装置包括至少一影像传感器，设于所述封闭空间顶部，所述影像传感器的视野范围覆盖所述封闭空间的全部底面；其中，每一影像传感器包括深度图像传感器，用以采集一目标物的至少一帧深度图像；RGB图像传感器，用以采集一目标物的至少一帧RGB图像；以及三维影像整合单元，用以将同一影像传感器同一时刻采集到的一帧深度图像及一帧RGB图像结合为一帧三维影像。3.如权利要求1所述的目标物定位系统，其特征在于，所述目标物坐标获取单元包括坐标系建立单元，用以在所述封闭空间内建立三维坐标系;在所述封闭空间内任选一点作为原点，在水平方向设置X轴、Y轴，在竖直方向设置Z轴；参数获取单元，用以获取每一帧三维影像的每一像素点的位置参数和色彩参数;所述位置参数为x、y、z，代表该像素点在所述二维坐标系下的位置坐标;所述色彩参数为r、g、b，分别代表该像素点的三原色强度；背景去除单元，在连续采集的M帧三维影像中，若分属于不同三维影像、位置参数相同的N个像素点的色彩参数相同时，且N大于〇•9*M且小于或等于M，用以判定该N个像素点为背景像素点，从所述M帧三维影像中去除N个所述背景像素点，获得M帧无背景三维影像;以及目标物坐标计算单元，所述M帧无背景三维影像中所有像素点的位置参数的集合即为所述目标物的坐标集。4.如权利要求3所述的目标物定位系统，其特征在于，所述参数获取单元包括传感器坐标获取单元，用以获取采集该帧三维影像的影像传感器的中心点在所述三维坐标系下的坐标；相对坐标获取单元，用以根据所述影像传感器的中心点为第二原点建立第二三维坐标系，从所述三维影像获取每一像素点在所述第二三维坐标系下的坐标;以及坐标修正单元，用以根据所述影像传感器中心点在所述三维坐标系下的坐标及所述三维影像中每一像素点在第二三维坐标系下的坐标，计算并修正所述三维影像的每一像素点在所述三维坐标系下的坐标，从而获得每一像素点的位置参数。5.如权利要求1所述的目标物定位系统，其特征在于，还包括至少一货架，设置于所述封闭空间内；每一货架包括至少一架板，每一架板上被放置有至少一货品；用户身份识别系统，用以识别进入所述封闭空间内的每一用户的身份信息；货品感知系统，用以实时感知每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量；1购物用户判断系统，当任一货品被取走或被放回时，用以根据每一用户的身份信菅及每一用户的实时位置判断取走或放回货品的用户身份;以及购物信息记录系统，根据每一用户的身份信息生成至少一购物数据库，用以记录每—用户取走至少一货品的种类及数量。6.如权利要求5所述的目标物定位系统，其特征在于，所述购物用户判断系统包括货品信息存储单元，用以存储货品数据库，包括每一货品信息；架板坐标存储单元，在所述封闭空间内建立三维坐标系，用以存储货架坐标集及架板坐标集，设置架板上方的架板空间的高度，获取所述架板空间的坐标集；架板与用户匹配判断单元，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，判定该架板与该用户匹配；以及货品与用户匹配判断单元，当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，判定该货品与该用户匹配。7.如权利要求5所述的目标物定位系统，其特征在于，所述购物信息记录系统包括购物数据库生成单元，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库；以及购物数据库更新单元，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。8.—种目标物定位方法，其特征在于，包括如下步骤空间设置步骤，用以设置一封闭空间；三维影像采集步骤，用以实时采集至少一帧三维影像，所述三维影像中包括至少一目标物的全部或部分的图像;以及一目标物坐标获取步骤，用以在所述封闭空间内建立三维坐标系，根据所述至少一帧三维影像实时获取一目标物的坐标集或坐标。9.如权利要求8所述的目标物定位方法，其特征在于，所述三维影像采集步骤包括影像传感器设置步骤，在所述封闭空间顶部设置至少一影像传感器，所述影像传感器的视野范围覆盖所述封闭空间的全部底面；原始图像采集步骤，用以实时同步采集至少一帧深度图像及至少一帧RGB图像；以及三维影像整合步骤，用以将同一影像传感器同一时刻采集到的一帧深度图像及—中贞RGB图像结合为一帧三维影像。10.如权利要求8所述的目标物定位方法，其特征在于，所述目标物坐标获取步骤包括坐标系建立步骤，用以在所述封闭空间内建立三维坐标系；在所述封闭空间内任选一点作为原点，在水平方向设置X轴、Y轴，在竖直方向设置Z轴；参数获取步骤，获取每一帧三维影像的每一像素点的位置参数和色彩参数;所述位置参数为x、y、z，代表该像素点在所述三维坐标系下的位置坐标;所述色彩参数为r、g、b，分别代表该像素点的三原色强度；背景去除步骤，在连续采集的M帧三维影像中，若分属于不同三维影像、位置参数相同的N个像素点的色彩参数相同时，且N大于〇•9*M且小于或等于M，判定该些N个像素点为背景像素点，从所述_贞三维影像中去除N个所述背景像素点，获得则1贞无背景二维影像;以及目标物坐标计算步骤，所述M帧无背景三维影像中所有像素点的位置参数的集合即为所述目标物的坐标集。11.如权利要求10所述的目标物定位方法，其特征在于，在所述参数获取步骤中，获取一帧三维影像的每一像素点的位置参数，具体包括如下步骤：传感器坐标获取步骤，用以获取采集该帧三维影像的影像传感器的中心点在所述三维坐标系下的坐标；相对坐标获取步骤，用以根据所述影像传感器的中心点为第二原点建立第二三维坐标系，从所述三维影像获取每一像素点在所述第二三维坐标系下的坐标;以及坐标修正步骤，用以根据所述影像传感器中心点在所述三维坐标系下的坐标及所述三维影像中每一像素点在第二三维坐标系下的坐标，计算并修正所述三维影像的每一像素点在所述三维坐标系下的坐标，从而获得每一像素点的位置参数。12.如权利要求8所述的目标物定位方法，其特征在于，还包括货架设置步骤，在所述封闭空间内设置至少一货架;每一货架包括至少一架板，每一架板上被放置有至少一货品；用户身份识别步骤，用以识别进入所述封闭空间内的每一用户的身份信息；货品感知步骤，用以实时感知每一货品的取放状态，当任一货品被取走或被放回时，获取被取走或被放回的货品的种类及数量；购物用户判断步骤，当任一货品被取走或被放回时，用以根据每一用户的身份信息及每一用户的实时位置判断取走或放回货品的用户身份;以及购物信息记录步骤，根据每一用户的身份信息生成至少一购物数据库，用以记录每一用户取走至少一货品的种类及数量。13.如权利要求12所述的目标物定位方法，其特征在于，所述购物用户判断步骤包括货品信息存储步骤，用以存储货品数据库，包括每一货品信息；架板坐标存储步骤，在所述封闭空间内建立三维坐标系，用以存储货架坐标集及架板坐标集，设置架板上方的架板空间的高度，获取所述架板空间的坐标集；架板与用户匹配判断步骤，当一架板上方的架板空间的坐标集与一用户手部坐标集有交集时，判定该架板与该用户匹配；以及货品与用户匹配判断步骤，当有货品从一架板上被取走或被放置到一架板上时，且同一时刻下有一用户与该架板匹配，判定该货品与该用户匹配。’14.如权利要求12所述的目标物定位方法，其特征在于，所述购物信息记录步骤包括i购物数据库生成步骤，当一用户的身份被识别时，用以根据所述用户的身份信息生成该用户的购物数据库；购物数据库更新步骤，当货品被取走时，根据被取走货品的种类及数量以及取走货品的用户的身份信息生成购物信息，且存储至该用户的购物数据库中；当货品被放回时，根据被放回货品的种类及数量以及放回货品的用户的身份信息生成归还信息，从该用户的购物数据库中删除与所述归还信息相应的购物信息。

百度查询： 上海云拿智能科技有限公司 目标物定位系统及定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD