申请/专利权人：索尼公司

申请日：2015-07-15

公开（公告）日：2021-02-09

公开（公告）号：CN106662923B

主分类号：G06F3/01(20060101)

分类号：G06F3/01(20060101);G01B11/26(20060101)

优先权：["20140730 JP 2014-155226"]

专利状态码：有效-授权

法律状态：2021.02.09#授权;2017.07.28#实质审查的生效;2017.05.10#公开

摘要：提供了能够以低成本并且高精度地执行接触检测的信息处理装置、信息处理方法和程序。该信息处理装置配备有接触确定单元。接触确定单元基于对象物体的表面的法线矢量的任何改变来确定操作体是否与对象物体接触，其中，该对象物体是由操作体进行的操作的对象。

主权项：1.一种信息处理装置，包括：物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，所述对象物体为投影有被用户指定的操作图像的物体，所述操作体为与所述对象物体接触并操作所述操作图像上的图标的物体；以及接触确定单元，所述接触确定单元基于所述操作体周围的所述对象物体的表面上的法线矢量的改变来确定所述操作体与所述对象物体的接触，其中，所述接触确定单元在所述对象物体是刚体时基于所述拾取图像的颜色的改变来确定所述操作体与所述对象物体的接触，以及在所述对象物体不是刚体时基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。

全文数据：信息处理装置、信息处理方法和程序技术领域[0001] 本技术涉及能够检测接触的信息处理装置、信息处理方法和程序。背景技术[0002] 近年来，随着信息处理设备的利用形式的多样化，正在研究新的UI用户接口。例如，开发将图标显示在头戴式显示装置上、将图标投影到对象物体例如手掌和桌子上并且在操作体例如手指和触控笔触摸投影的图标时输入对图标的选择的技术。[0003] 对于操作体与对象物体的接触而言，使用立体摄像装置、3D传感器等。UI对对象物体和操作体进行识别，并且基于从立体摄像装置、3D传感器等获取的3D信息对操作体的位置和对象物体的平面形状进行检测。UI能够将对象物体与操作体之间的等于或小于预定值的距离确定为接触。[0004] 专利文献1:日本专利申请特开第2011-70491号发明内容[0005]需要解决的问题[0006] 然而，在上面所提及的方法中，需要提供用于检测接触的检测装置例如立体摄像装置和3D传感器，并且存在装置尺寸增大、功耗增大并且成本增加的问题。此外，由于立体摄像装置和3D传感器的性质，难以在阳光下使用立体摄像装置和3D传感器。此外，在操作体接近对象物体时非接触被确定为接触的情况下，可能会进行用户的无意识输入。[0007] 考虑到上面所描述的情况，本技术的目的在于提供能够以低成本并且高精度地检测接触的信息处理装置、信息处理方法和程序。[0008]用于解决问题的装置[0009] 为了实现上面所提及的目的，根据本技术的实施方式的信息处理装置包括接触确定单元。[0010] 接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触，其中，对象物体是操作体的操作对象。[0011] 法线矢量是面向与物体表面垂直的方向的矢量。当操作体与对象物体接触时，对象物体的表面由于与操作体的接触而变形，并且法线矢量改变。因此，利用上面所提及的配置，可以通过检测法线矢量的改变来确定操作体与对象物体的接触。[0012] 信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，[0013] 接触确定单元可以基于操作体周围的对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触。[0014]因为接触确定单元仅使用操作体很可能接触的对象物体的表面的区域以用于接触确定，所以利用该配置可以减少用于计算法线矢量的改变的计算量并且可以防止错误检测。[0015] 接触确定单元可以取决于法线矢量沿操作体的方向的倾斜度来确定操作体与对象物体的接触。[0016] 在对象物体是通过操作体的按压形成凹陷的物体手掌等的情况下，法线矢量由于与操作体接触而沿操作体的方向倾斜。因此，接触确定单元能够使用法线矢量沿操作体的方向的倾斜度以用于接触确定。[0017] 接触确定单元可以取决于法线矢量的倾斜度的扰动来确定操作体与对象物体的接触。[0018] 在对象物体是通过操作体的按压而变得褶皱的物体手的背面等的情况下，法线矢量由于与操作体接触而被扰动并且沿各方向倾斜。因此，接触确定单元能够使用法线矢量的倾斜度的扰动以用于接触确定。[0019] 信息处理装置还可以包括输入控制单元，该输入控制单元基于接触确定单元的确定结果来控制操作输入。[0020]当接触确定单元确定操作体与对象物体之间存在接触时，输入控制单元能够取决于接触位置或接触次数将该接触接收为操作输入并且能够将操作输入提供给OS等。[0021] 信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，[0022] 输入控制单元可以基于由物体识别处理单元识别的操作体的形状和接触确定单元的确定结果来控制操作输入。[0023] 物体识别处理单元可以识别操作体的形状例如手指在挤压操作时的形状并且将操作体的形状提供给输入控制单元。因此，输入控制单元能够取决于操作体的形状来接收操作输入。[0024]信息处理装置还可以包括图像输出单元，该图像输出单元生成被叠加在对象物体上的操作对象图像，其中，[0025] 输入控制单元可以基于操作体与操作对象图像中的对象物体的接触位置关系来控制操作输入。[0026]图像输出单元生成被显示在头戴式显示装置、投影仪等上并且被叠加在对象物体上的操作对象图像。输入控制单元能够基于操作对象图像中的接触位置和操作对象图像在对象物体上的叠加位置，对操作对象图像与接触位置之间的位置关系进行计算，并且取决于叠加在接触位置上的操作对象图像的内容图标等来接收操作输入。[0027]当法线矢量的倾斜度超过阈值时，接触确定单元可以确定操作体与对象物体接触。[0028]利用该配置，可以通过阈值来调节接触检测的精确度。[0029] 信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，[0030] 接触确定单元可以取决于对象物体的种类来确定阈值。[0031]利用该配置，接触确定单元能够利用取决于对象物体的种类的适当的阈值来确定接触。例如，可以在对象物体是硬物时减小阈值以及在对象物体是软物时增大阈值。[0032] 接触确定单元还可以取决于对象物体的表面的位置来确定阈值。[0033]例如，在对象物体是手掌的情况下，即使以相同的按压力按压手掌，凹陷的程度也会由于位置而不同。因此，利用上面所提及的配置，可以利用取决于对象物体的位置的适当的阈值来确定接触。[0034]当法线矢量的倾斜度大于阈值时，接触确定单元可以取决于法线矢量的倾斜度的大小来计算操作体与对象物体的接触程度。[0035]由于操作体与对象物体接触引起的对象物体的变形程度随着接触的按压力增大而增大。因此，利用上面所提及的配置，不仅可以计算操作体与对象物体的接触，而且还可以计算操作体对对象物体的按压力。[0036] 信息处理装置还可以包括物体识别处理单元，该物体识别处理单元对包括在拾取图像中的操作体和对象物体进行识别，其中，[0037] 接触确定单元可以在对象物体是刚体时基于拾取图像的颜色的改变来确定操作体与对象物体的接触，并且可以在对象物体不是刚体时基于法线矢量的改变来确定操作体与对象物体的接触。[0038] 在对象物体是刚体并且对象物体没有由于操作体的接触而变形的情况下，接触确定单元能够通过使用拾取图像的颜色的改变来确定接触。例如，因为当手指按压物体时指尖的颜色改变，所以接触确定单元能够通过使用这样的颜色改变来确定接触。[0039]当对象物体与操作体之间的距离等于或小于预定值时，接触确定单元可以基于法线矢量的改变来确定操作体与对象物体的接触。[0040]当对象物体与操作体之间的距离小于预定值时，接触确定单元基于图像的颜色的改变来确定接触。因此，可以仅在接触的可能性高的情况下确定接触。对象物体与操作体之间的距离可以由使用红外线等的投影图案以测量传感器与物体之间的距离的深度传感器来获取。[0041] 接触确定单元可以根据通过偏振成像拾取的拾取图像来检测法线矢量。[0042] 偏振成像由向每个像素提供具有不同偏振方向的偏振滤波器的摄像装置来实现，并且可以根据拾取图像来检测法线矢量。[0043] 为了实现上面所提及的目的，根据本技术的实施方式的程序使信息处理装置用作接触确定单元。[0044] 接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触，其中，对象物体是操作体的操作对象。[0045] 为了实现上面所提及的目的，根据本技术的实施方式的信息处理方法包括:通过接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与对象物体的接触，其中，对象物体是操作体的操作对象。[0046] 效果[0047]如上所述，根据本技术，可以提供能够以低成本并且高精度地检测接触的信息处理装置、信息处理方法和程序。应当注意，文中所描述的效果不一定是限制性的并且可以是本公开内容中所描述的任何效果。附图说明[0048]图1是示出根据本技术的第一实施方式的信息处理装置的配置的示意图。[0049]图2是示出由信息处理装置的图像输出单元生成的被叠加在对象物体上的操作图像的不意图。[0050]图3是示出由信息处理装置的图像输出单元生成的被叠加在对象物体上的操作图像的不意图。[0051]图4是示出由信息处理装置的图像输出单元生成的被叠加在对象物体上的操作图像的不意图。[0052]图5是示出信息处理装置的硬件配置的示意图。[0053]图6是示出信息处理装置的操作的流程图。[0054]图7是示出在操作体不与对象物体接触的状态下的对象物体中的法线矢量的示意图。[0055]图8是示出在操作体与对象物体接触的状态下的对象物体中的法线矢量的示意图。[0056]图9是示出在操作体与对象物体接触的状态下的对象物体中的法线矢量的示意图。[0057]图10是示出信息处理装置的操作的流程图。[0058]图11是示出信息处理装置的操作的流程图。[0059]图12是示出信息处理装置的操作的流程图。[0060]图13是示出操作体的形状的示意图。[0061]图14是示出由操作体输入的操作的状态的示意图。[0062]图15是示出根据本技术的第二实施方式的信息处理装置的配置的示意图。[0063]图16是示出信息处理装置的操作的流程图。具体实施方式[0064][第一实施方式][0065] 将描述根据本技术的第一实施方式的信息处理装置。[0066]信息处理装置的配置[0067]图1是示出根据本技术的第一实施方式的信息处理装置100的功能配置的示意图。如图所示，信息处理装置100包括声音输入单元101、声音识别处理单元102、图像输入单元103、物体识别处理单元104、接触确定单元105、输入控制单元106和图像输出单元107。[0068] 如图所示，信息处理装置100可以连接至眼镜10。此外，信息处理装置100可以安装在眼镜10上。眼镜10包括显示装置11、摄像装置12和麦克风未示出。显示装置11可以是透明的HMD头戴式显示装置。[0069] 摄像装置12可以是能够执行偏振成像的摄像装置。具体地，可以对每个像素应用偏振方向偏移90度的四种类型的偏振膜，从而对摄像装置12进行配置。可以通过以下方式来获取成像物体的表面的法线方向稍后描述:通过对具有不同偏振方向的每个像素的接收光强度应用傅立叶变换来取得非偏振分量强度、偏振主轴方向和偏振分量强度，从而根据主轴方向获得方位角并且根据强度获得天顶角。此外，信息处理装置100除了摄像装置12以外还可以包括常规摄像装置。[0070]声音输入单元1I连接至眼镜1的麦克风。由麦克风收集的声音的音频信号被输入至声音输入单元101。声音输入单元101将获取的音频信号输出至声音识别处理单元102。[0071] 声音识别处理单元102对从声音输入单元101提供的音频信号执行音频识别处理，并且识别由用户发出的操作声音。在识别出操作声音的情况下，声音识别处理单元102将识别结果提供给输入控制单元106。[0072]图像输入单元103连接至摄像装置12。将由摄像装置12拾取的图像运动图像输入至图像输入单元103。由摄像装置12拾取的图像是通过上述偏振成像拾取的图像。图像输入单元103将从摄像装置12获取的图像下文中称为获取图像提供给物体识别处理单元104。[0073] 物体识别处理单元104对照存储在物体检测词典D中的信息对从图像输入单元103供给的获取图像进行检查以识别物体。物体识别处理单元104能够识别物体例如稍后描述的操作体和对象物体。物体识别处理单元104将获取图像和物体识别结果提供给接触确定单元105。物体检测词典D可以存储在信息处理装置100中，或者物体识别处理单元104可以从网络等获取物体检测词典D。[0074] 接触确定单元15通过使用物体识别结果和接触确定阈值T对从物体识别处理单元104提供的获取图像执行接触确定。稍后将描述该处理的细节。接触确定单元105将确定结果提供给输入控制单元106。接触确定阈值T可以存储在信息处理装置100中，或者接触确定单元105可以从网络等获取接触确定阈值T。[0075] 输入控制单元106基于从声音识别处理单元102提供的识别结果或从接触确定单元105提供的确定结果，来控制由用户进行的操作输入。具体地，输入控制单元106接收操作体与对象物体的接触位置、按压力或按压方向、接触以后的操作体的运动等作为触摸、多点触摸、拖动、挤压等的操作输入。输入控制单元106将所接收的操作输入提供给信息处理装置100的OS等。[0076]图像输出单元107生成被显示在显示装置11上的图像运动图像。图像输出单元107能够生成包括图标和操作按钮的操作图像。如上所述，显示装置11是透明的HMD，并且用户在视觉上确认被显示在显示装置11上的视频和真实物体彼此叠加的视野。[0077] 图2示意性地示出了经由显示装置11的用户的视野。用户的视野包括用户的手掌H、用户的手指Y和显示在显示装置11上的操作图像G。操作图像G包括图标P。当用户用手指Y触摸叠加有图标P的手掌H的一部分时，信息处理装置100接收对图标P的选择。[0078] 操作图像G不一定需要叠加在手掌上。图3是示出操作图像G叠加在杂志Z上的状态的示意图。如图所示，当用户用手指Y触摸叠加有图标P的杂志Z的一部分时，信息处理装置100接收对图标P的选择。此外，用户可以用除了手指以外的事物例如触控笔来指定图标P。在下文中，将投影有被用户指定的操作图像G的物体例如手掌H和杂志Z称为对象物体，并且将与对象物体接触并操作图标P等的物体例如手指Y和触控笔称为操作体。具体地，信息处理装置100检测操作体与对象物体的接触，并且响应于该接触来接收操作输入。[0079] 眼镜10的配置不限于上述配置。图4示出了摄像装置12被设置成独立于眼镜10的状态。操作图像G被显示在显示装置11上并且被叠加在杂志Z上。摄像装置12被设置在与眼镜10的位置不同的位置例如杂志Z的上侧面上并且连接至图像输入单元103。[0080] 此外，信息处理装置100可以连接至与眼镜10不同的图像投影装置。例如，信息处理装置100可以连接至包括摄像装置的投影仪，该投影仪能够将视频投影在桌面或墙壁表面上并且能够对投影表面进行成像。在这种情况下，图像输出单元107连接至投影仪的图像投影机构，并且将视频投影在对象物体桌子或墙壁上。图像输入单元103连接至摄像装置，并且获取包括对象物体和投影图像的图像。替代地，信息处理装置100可以连接至包括摄像装置的装置，该装置能够将视频显示或投影在对象物体上并且能够对对象物体进行成像。[0081] 信息处理装置100的上面所提及的功能配置可以连接至或结合至在图像投影装置例如眼镜和投影仪中，或者安装在与图像投影装置不同的PC、智能手机等上。此外，功能配置的整体或一部分可以在网络上。[0082]图5是示出信息处理装置100的硬件配置的示意图。信息处理装置100的上面所提及的配置是通过图5所示的硬件配置与程序的协作而实现的功能配置。[0083] 如图5所示，信息处理装置100包括作为硬件配置的CPU121、存储器122、存储装置123和输入输出接口124。这些通过总线125彼此连接。[0084] CPlK中央处理单元121根据存储在存储器122中的程序来控制其他配置、根据该程序来执行数据处理、并且将处理结果存储在存储器122中。CPU121可以是微处理器。[0085] 存储器122存储由CPU121执行的程序和数据。存储器122可以是RAM随机存取存储器。[0086] 存储装置123存储程序或数据。存储装置123可以是HDD硬盘驱动器或SSD固态驱动器。存储装置123能够存储上面所提及的物体检测词典D或上面所提及的接触确定阈值T。[0087] 输入输出IF接口124接收向信息处理装置100的输入，并且将信息处理装置100的输出提供给显示装置11等。输入输出IF124包括输入设备例如鼠标和触摸面板、输出设备例如显示装置11以及连接接口例如网络。如上所述，信息处理装置100能够基于由图像输入单元103获取的图像接收用户的操作输入。在这种情况下，不经由输入输出IF124接收输入。由图像输出单元107生成的图像经由输入输出IF124输出至显示装置11并且被显不O[0088] 只要可以实现信息处理装置100的上面所提及的功能配置，则信息处理装置100的硬件配置不限于文中所描述的那些硬件配置。[0089]信息处理装置的接触确定操作[0090] 将描述信息处理装置100的操作。图6是示出信息处理装置100的操作的流程图。如上所述，摄像装置12拾取图像，并且图像输入单元103获取图像获取图像。图像输入单元103将获取图像提供给物体识别处理单元104。[0091] 物体识别处理单元104识别对象物体StlOl。物体识别处理单元104通过对照物体检测词典D对从图像输入单元103获取的获取图像进行检查来识别对象物体。因此，当获取图像包括例如手掌、杂志等时，手掌或杂志被识别为对象物体。[0092] 在获取图像中识别出对象物体的情况下Stl02:是，图像输出单元107将操作图像G参见图2提供给显示装置11，并且使显示装置11显示操作图像GStl03。在获取图像中没有识别出对象物体的情况下Stl02:否，再次执行由物体识别处理单元104对对象物体进行的识别StlOl。[0093] 接下来，物体识别处理单元104识别操作体Stl04。物体识别处理单元104通过对照物体检测词典D对获取图像进行检查来识别操作体。因此，当获取图像包括例如手指、触控笔等时，手指或触控笔被识别为操作体。注意，物体识别处理单元104可以识别多个操作体。[0094] 在获取图像中识别出操作体的情况下Stl05:是，接触确定单元105对包括在获取图像中的对象物体的表面上的法线矢量的方向下文中称为法线方向进行计算St1e。在获取图像中没有识别出操作体的情况下Sti05:否，再次执行由物体识别处理单元104对对象物体的识别StlOl。[0095]图7和图8分别是示出对象物体的表面上的法线矢量B的示意图。图7示出了操作体手指Y不与对象物体手掌H接触的状态。图7的部分a是平面图，并且图7的部分b是侧视图。如图所示，接触确定单元105对手掌H的表面上的法线矢量B进行检测。法线矢量是与物体的表面垂直的矢量，并且法线矢量的大小为I。如上所述，摄像装置12是能够执行偏振成像的摄像装置，并且接触确定单元105能够从由摄像装置12拾取的获取图像中检测法线矢量B。[0096]图8示出了操作体手指Y与对象物体手掌H接触的状态。图8的部分a是平面图，并且图8的部分b是侧视图。如图所示，当手指Y与手掌H接触并且按压手掌H时，手掌H的表面凹陷。因此，在手掌H的表面中检测到的法线矢量B沿手指Y的方向倾斜。[0097] 接触确定单元105基于由于操作体与对象物体接触引起的法线矢量B的改变来检测接触。具体地，当法线矢量B的方向下文中称为法线方向的倾斜度超过接触确定阈值T时，接触确定单元105能够确定手指Y与手掌H接触Stl07:是。接触确定单元105可以对法线方向发生改变的法线矢量B中的具有最大倾斜度的法线矢量B的倾斜度与接触确定阈值T进行比较，或对倾斜的法线矢量B的倾斜度的平均值与接触确定阈值T进行比较。此外，当法线方向的倾斜度小于接触确定阈值T时，接触确定单元105能够确定手指Y不与手掌H接触Stl07:否ο[0098] 注意，仅当法线方向沿手指Y的方向的倾斜度超过接触确定阈值T时，接触确定单元105可以确定手指Y与手掌H接触。这是因为即使当法线方向的倾斜度很大时，在法线方向不是手指Y的方向的情况下法线方向仍可能由于与手指Y的接触不同的其他原因而倾斜。具体地，可以通过仅使用法线方向沿手指Y的方向的倾斜度用于接触确定来提高检测精确度。[0099] 此外，接触确定单元105可以取决于法线方向的扰动来检测操作体与对象物体的接触。图9是示出作为对象物体的手的背面K和作为操作体的手指Y的示意图。如图所示，在对象物体是手的背面的情况下，该表面与手掌相比在操作体与该表面接触时不会凹陷而是会变得褶皱。接触确定单元105能够根据法线方向的扰动来检测这样的褶皱的产生。具体地，当法线方向沿任何方向的倾斜度超过接触确定阈值T时，接触确定单元105能够确定手指Y与手的背面K接触。[0100] 接触确定单元105能够通过使用物体识别处理单元104的识别结果来确定法线矢量中的哪种改变用于确定。例如，接触确定单元105能够在物体识别处理单元104对通过按压例如手掌H形成凹陷的物体进行检测的情况下使用法线方向沿操作体的方向的倾斜度来用于确定。此外，接触确定单元105能够在物体识别处理单元104对通过按压例如手的背面K而变得褶皱的物体进行检测的情况下使用法线方向沿任何方向的倾斜度来用于确定。[0101] 接触确定阈值T可以是恒定值。替代地，接触确定单元105可以通过使用物体识别处理单元104对对象物体进行的识别的结果来确定接触确定阈值T。具体地，接触确定单元105能够使用取决于对象物体的种类设置的接触确定阈值TO此外，接触确定单元105可以取决于对象物体的种类来调节接触确定阈值T。例如，接触确定单元15可以在对象物体由于操作体的按压而大幅变形时使用大的值作为接触确定阈值T，并且在对象物体没有由于操作体的按压大幅变形时使用小的值作为接触确定阈值T。[0102] 此外，接触确定单元105可以取决于由操作体对对象物体的按压形成的凹陷的程度、即法线方向的倾斜度，或取决于操作体与对象物体的接触位置来调节接触确定阈值T。例如，同样在手指按压手掌的情况下，在手掌的中心附近形成大的凹陷，以及在手指的基部附近形成小的凹陷。因此，接触确定单元105能够使用适当的值作为接触确定阈值T，从而以更高的精确度来确定操作体与对象物体的接触。[0103] 注意，接触确定单元105不需要检测对象物体的所有表面上的法线矢量，而是可以仅对由物体识别处理单元104识别的操作体周围的对象物体的表面上的法线矢量进行检测并将该法线矢量用于接触确定。因此，可以对沿法线方向的改变被跟踪的法线矢量的数量进行限制、减少计算的次数并且防止错误检测。[0104] 在接触确定单元105确定操作体未与对象物体接触的情况下Stl07:否，再次执行由物体识别处理单元104对对象物体进行的识别StlOl。[0105] 在确定操作体与对象物体的接触的情况下，接触确定单元105将接触位置与获取图像一起提供给输入控制单元106。输入控制单元106基于显示在操作图像G上的图标P的位置和从接触确定单元105提供的接触位置来控制操作输入。例如，输入控制单元106可以认为选择了叠加在接触位置上的图标P。[0106]信息处理装置100执行这样的操作。因为如上面所描述的那样由能够执行偏振成像的摄像装置12拾取的图像可以用于检测操作体与对象物体的接触，所以除了摄像装置12以外，不需要提供用于检测接触的传感器。因此，可以减小接触检测系统的尺寸和成本。此夕卜，因为不使用红外线等来检测接触，所以可以在室外使用。[0107] 此外，信息处理装置100通过使用由于操作体与对象物体接触引起的法线矢量的改变来检测接触。因此，信息处理装置100在操作体接近对象物体或与对象物体稍微接触时不检测接触，并且仅在操作体肯定与对象物体接触时才检测接触。因此，可以高精度地检测操作体与对象物体的接触。[0108] 注意，虽然上面已经描述操作体是手指的情况，但操作体不限于手指并且可以是触控笔等。此外，只要对象物体的表面的形状由于与操作体的接触而改变，则对象物体不限于手掌。[0109] 此外，物体识别处理单元104对照物体检测词典D对获取图像进行检查以识别上述物体对象物体和操作体。然而，并不限于此。例如，在获取图像在预定时间内没有改变并且某种物体进入获取图像即，摄像装置的成像范围的情况下，该物体可以被识别为操作体。[0110]取决于对象物体的种类的信息处理装置的接触确定操作[0111] 将描述信息处理装置100的另一操作。图10是示出信息处理装置100的另一操作的流程图。注意，对于连接至信息处理装置100的眼镜10或其他装置而言，可以提供能够获取深度信息的深度传感器。深度信息是和物体与深度传感器之间的距离有关的信息。如上所述，摄像装置12拾取图像，并且图像输入单元103获取图像获取图像。输入单元103将获取图像提供给物体识别处理单元104。[0112] 物体识别处理单元104识别对象物体Still。物体识别处理单元104能够通过对照物体检测词典D对从图像输入单元103提供的获取图像进行检查来识别对象物体。因此，当获取图像例如包括手掌、杂志等时，手掌或杂志被识别为对象物体。[0113] 在获取图像中识别出对象物体的情况下Stll2:是，图像输出单元107将操作图像G参见图2提供给显示装置11，并且使显示装置11显示操作图像GStll3。在获取图像中没有识别出对象物体的情况下Stll2:否，再次执行由物体识别处理单元104对对象物体进行的识别Still。[0114] 接下来，物体识别处理单元104识别操作体Stl14。物体识别处理单元104通过对照物体检测词典D对获取图像进行检查来识别操作体。[0115] 接下来，物体识别处理单元104确定对象物体是否是刚体Stlie。“刚体”表示不由于与另一物体接触而变形的物体。刚体的示例包括桌子。手掌或杂志被确定为不是刚体。[0116] 物体识别处理单元104确定对象物体不是刚体Stl16:否，接触确定单元105根据上述获取图像对对象物体的表面的法线方向进行计算Stll7。在法线方向的倾斜度超过接触确定阈值T的情况下Stll8:是，接触确定单元105确定为接触Stll9。在法线方向的倾斜度小于接触确定阈值T的情况下Stl18:否，接触确定单元105不确定为接触，并且再次执行由物体识别处理单元104对对象物体进行的识别Still。[0117]另一方面，在物体识别处理单元104确定对象物体是刚体的情况下Stl 16:是，难以使用法线方向用于接触检测，这是因为法线方向甚至不由于操作体与对象物体的接触而改变。因此，接触确定单元105可以在不使用法线方向的情况下确定接触。[0118] 具体地，接触确定单元105对对象物体与操作体之间的距离进行计算Stl20。可以通过使用从深度传感器提供的深度信息来计算对象物体与操作体之间的距离。在对象物体与操作体之间的距离等于或小于恒定值的情况下Stl21:是，接触确定单元105确定为接触Stll9。在对象物体与操作体之间的距离不等于或小于恒定值的情况下Stl21:否，再次执行由物体识别处理单元104对对象物体进行的识别Still。[0119] 信息处理装置100也能够执行这样的操作。即使对象物体是刚体并且难以使用法线方向执行接触确定，也可以执行接触确定。注意，在上面的描述中，在对象物体是刚体的情况下，接触确定单元105通过使用深度信息来检测操作体与对象物体的接触，可以使用其他方法来检测接触。[0120]例如，当手指被物体按压时，指尖的颜色改变。在手指不与物体接触的情况下，例如，通过指甲观察到的指尖的颜色为粉红色。然而，当手指被物体按压时，手指的尖端的颜色变为白色。接触确定单元105能够通过对指尖的颜色的这样的改变与预先设置的模式进行比较，来检测手指与对象物体的接触。此外，只要操作体是在物体被对象物体按压时颜色改变的物体，则接触确定单元105能够基于与指尖的颜色类似的颜色的改变来检测接触。[0121]结合使用深度信息的信息处理装置的接触确定操作[0122] 将描述信息处理装置100的另一操作。注意，能够获取深度信息的深度传感器被提供给连接至信息处理装置100的眼镜10或另一装置。[0123]图11是示出信息处理装置100的另一操作的流程图。如上所述，摄像装置12拾取图像，并且由图像输入单元103获取图像获取图像。图像输入单元103将获取图像提供给物体识别处理单元104。[0124] 物体识别处理单元104识别对象物体Stl31。物体识别处理单元104通过对照物体检测词典D对从图像输入单元103获取的获取图像进行检查来识别对象物体。[0125] 在获取图像中识别出对象物体的情况下Stl32:是，图像输出单元107将操作图像G参见图2提供给显示装置11，并且使显示装置11显示操作图像GStl33。在获取图像中没有识别出对象物体的情况下Stl32:否，再次执行由物体识别处理单元104对对象物体进行的识别Stl31。[0126] 接下来，物体识别处理单元104识别操作体Stl34。物体识别处理单元104能够通过对照物体检测词典D对获取图像进行检查来识别操作体。注意，物体识别处理单元104可以识别多个操作体。[0127] 在获取图像中识别出操作体的情况下Stl35:是，接触确定单元105通过使用深度信息来计算操作体与对象物体之间的距离St136。如上所述，接触确定单元105能够从深度传感器获取深度信息。在获取图像中没有识别出操作体的情况下Stl35:否，再次执行由物体识别处理单元104对对象物体进行的识别Stl31。[0128] 在操作体与对象物体之间的距离等于或小于预先设置的预定值的情况下Stl37:是，接触确定单元105对对象物体的表面上的法线矢量进行检测，并且计算法线方向Stl38。在操作体与对象物体之间的距离大于预定值的情况下Stl37:否，再次执行由物体识别处理单元104对对象物体进行的识别Stl31。[0129] 此后，接触确定单元105对法线方向的倾斜度与接触确定阈值T进行比较，并且在法线方向的倾斜度超过上述接触确定阈值TStl39:是时确定操作体与对象物体接触StHO。在法线方向的倾斜度小于接触确定阈值T的情况下Stl39:否，再次执行由物体识别处理单元104对对象物体进行的识别Stl31。[0130] 在确定操作体与对象物体的接触的情况下，接触确定单元105将接触位置与获取图像一起提供给输入控制单元106。输入控制单元106基于显示在操作图像G上的图标P的位置和从接触确定单元105提供的接触位置来控制操作输入。例如，输入控制单元106可以认为选择了叠加在接触位置上的图标P。[0131] 信息处理装置100也能够执行这样的操作。通过使用深度信息，信息处理装置100能够获取操作体与对象物体之间的距离，并且仅在操作体与对象物体之间的距离足够小并且接触的可能性高的情况下通过使用法线矢量的改变来执行接触确定。[0132]信息处理装置的接触和操作确定操作[0133] 信息处理装置100能够确定操作体与对象物体之间的接触以及接触操作的类型拖动、挤压等。图12是示出信息处理装置100的接触和操作确定操作的流程图。[0134] 接触确定步骤Stl51的流程与图6所示的接触确定操作的流程相同。此外，相同步骤Stl51的流程可以与取决于图10所示的对象物体的种类的接触确定操作或通过使用图11所示的深度信息组合的接触反应操作的步骤的流程相同。[0135] 在接触确定步骤中确定接触的情况下Stl52:是，接触确定单元105确定操作体与对象物体的接触按压程度Stl53。接触确定单元105能够根据法线方向的倾斜度超过接触确定阈值T时的倾斜度的大小来获得接触程度。在接触确定步骤中确定没有接触的情况下Stl52:否，重复接触确定步骤Stl51。[0136] 接触确定单元105将接触位置与获取图像以及操作体对对象物体的按压力的程度提供给输入控制单元106。输入控制单元106确定操作体与对象物体之间的接触位置是否改变Stl54。在接触位置改变的情况下Stl54:是，输入控制单元106确定操作体的数量是否为两个Stl55。在接触位置不改变的情况下Stl55:否，再次执行接触确定的步骤Stl51ο[0137] 在操作体的数量为两个的情况下Stl55:是，输入控制单元106确定由操作体进行的操作是挤压。另一方面，在操作体的数量不是两个的情况下，输入控制单元106确定由操作体进行的操作是拖动。注意，在操作体的数量为两个的情况下，输入控制单元106可以在接触位置的移动方向基本上彼此平行的情况下，将其确定为由多个操作体进行的拖动多点触摸拖动。此外，在由操作体进行的操作为挤压的情况下，输入控制单元106可以取决于接触位置的移动方向来确定操作是向内挤压还是向外挤压。[0138] 此时，输入控制单元106可以通过使用从物体识别处理单元104获取的物体识别结果来确定操作的类型。图13是示出作为操作体的手指的形状的示意图。在操作体的特定形状例如，手指的朝向被预先登记在物体识别词典D中的情况下，物体识别处理单元104将该信息提供给输入控制单元106ο输入控制单元106能够使用操作体的形状来确定操作的类型。例如，在图13所示的示例中，物体识别处理单元104可以识别出手指的形状是用于挤压操作的形状由拇指和食指形成的U形，并且输入控制单元106可以仅在手指的形状是用于挤压操作的形状的情况下确定操作是挤压操作。[0139] 输入控制单元106取决于由操作体进行的操作的类型来控制操作输入。此时，输入控制单元106可以取决于操作体对对象物体的按压力的程度通过拖动来改变效果的程度光标移动速度、滚动速度等。[0140] 图14示出了通过信息处理装置100的上面所提及的操作的音乐再现应用的UI的示例。如图所示，信息处理装置100能够取决于操作体对对象物体的按压的方向或程度来选择音量、要再现的音乐等。[0141][第二实施方式][0142] 将描述根据本技术的第二实施方式的信息处理装置。[0143]信息处理装置的配置[0144]图15是示出根据本技术的第二实施方式的信息处理装置200的功能配置的示意图。如图所示，信息处理装置200包括声音输入单元201、声音识别处理单元202、图像输入单元203、接触确定单元204、输入控制单元205和图像输出单元206。根据本实施方式的信息处理装置200不包括物体识别处理单元。[0145] 如图所示，信息处理装置200可以连接至眼镜10。因为眼镜10的配置与第一实施方式中的配置类似，所以将省略对眼镜10的配置的描述。[0146]声音输入单元201连接至眼镜10的麦克风。由麦克风收集的声音的音频信号被输入至声音输入单元201。声音输入单元201将获取的音频信号输出至声音识别处理单元202。[0147] 声音识别处理单元202对从声音输入单元201提供的音频信号执行音频识别处理，并且识别由用户发出的操作声音。在识别出操作声音的情况下，声音识别处理单元202将音频识别结果提供给输入控制单元205。[0148]图像输入单元203连接至摄像装置12。由摄像装置12拾取的图像运动图像被输入至图像输入单元203。图像输入单元203将从摄像装置12获取的图像下文中称为获取图像提供给接触确定单元204。[0149] 接触确定单元204通过使用接触确定阈值T对从图像输入单元203提供的获取图像执行接触确定。稍后将描述该处理的细节。接触确定单元204将确定结果提供给输入控制单元205。接触确定阈值T可以存储在信息处理装置200中，或者接触确定单元204可以从网络等获取接触确定阈值T。[0150] 输入控制单元205基于从声音识别处理单元202提供的识别结果或从接触确定单元204提供的确定结果来控制用户的操作输入。具体地，输入控制单元205接收操作体与对象物体的接触位置、按压力或按压方向，接触以后的操作体的运动等作为触摸、多点触摸、拖动、挤压等的操作输入。输入控制单元205将接收的操作输入提供给信息处理装置200的OS等。[0151]图像输出单元206生成被显示在显示装置11上的图像运动图像。图像输出单元206能够生成包括图标和操作按钮的操作图像。与第一实施方式类似，用户在视觉上确认被显示在显示装置11上的视频和真实物体彼此叠加的视野参见图2和图3。[0152] 除了眼镜10之外，信息处理装置200可以连接至包括摄像装置的装置，该装置能够将视频显示或投影在对象物体上并对对象物体进行成像。[0153] 信息处理装置200的上面所提及的功能配置可以连接至或结合至在图像投影装置例如眼镜和投影仪中或安装在与图像投影装置不同的PC、智能手机等上。此外，功能配置的全部或一部分可以在网络上。[0154] 信息处理装置200的上面所提及的功能配置可以通过第一实施方式中所示出的硬件配置来实现。[0155]信息处理装置的接触确定操作[0156] 将描述信息处理装置200的操作。图16是示出信息处理装置200的操作的流程图。如上所述，摄像装置12拾取图像，并且由图像输入单元203来获取图像获取图像。图像输入单元203将获取图像提供给接触确定单元204。[0157]图像输出单元206将操作图像G 参见图2提供给显示装置11，并且使显示装置11显示操作图像GSt201。与第一实施方式相比，不执行对对象物体的识别处理。然而，用户能够将显示装置11对准对象物体桌面或墙壁表面，从而将操作图像G投影到对象物体上。[0158] 接触确定单元204[0159] 接触确定单元204对法线方向的倾斜度与接触确定阈值T进行比较，并且在法线方向的改变超过接触确定阈值T时St203:是确定操作体与对象物体接触St204。在法线方向的改变小于接触确定阈值T的情况下St203:否，再次执行对法线方向进行的计算St202ο[0160] 在确定操作体与对象物体接触的情况下，接触确定单元204将接触位置与获取的图像一起提供给输入控制单元205。输入控制单元205基于从接触确定单元204提供的接触确定结果来控制操作输入。[0161]信息处理装置200执行这样的操作。因为如上面所描述的那样由能够执行偏振成像的摄像装置12拾取的图像可以用于检测操作体与对象物体的接触，所以除了摄像装置12以外，不需要提供用于检测接触的传感器。因此，可以减小接触检测系统的尺寸和成本。此夕卜，因为不使用红外线等来检测接触，所以可以在室外使用。[0162] 此外，信息处理装置200通过使用由于操作体与对象物体接触引起的法线方向的改变来检测接触。因此，信息处理装置100在操作体接近对象物体或与对象物体稍微接触时不检测接触，并且仅在操作体肯定与对象物体接触时才检测接触。因此，可以高精度地检测操作体与对象物体的接触。[0163] 信息处理装置200执行这样的操作。注意，与第一实施方式类似，信息处理装置200可以通过使用颜色和深度信息的改变来执行接触确定参见图11。此外，信息处理装置200可以在接触确定以后确定通过接触进行的操作的类型参见图12。[0164] 注意，虽然上面已经描述操作体是手指的情况，但操作体不限于手指，而是可以是触控笔等。此外，只要对象物体的表面的形状由于操作体与对象物体的接触而改变，则对象物体不限于手掌。[0165] 应当注意，本技术可以采用以下配置。[0166] I[0167] 一种信息处理装置，包括:[0168] 接触确定单元，所述接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象。[0169] 2[0170] 根据以上⑴所述的信息处理装置，还包括:[0171] 物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，[0172] 所述接触确定单元基于所述操作体周围的所述对象物体的表面上的法线矢量的改变来确定所述操作体与所述对象物体的接触。[0173] 3[0174] 根据以上⑴或⑵所述的信息处理装置，其中，[0175] 所述接触确定单元根据所述法线矢量沿所述操作体的方向的倾斜度来确定所述操作体与所述对象物体的接触。[0176] ⑷[0177] 根据以上⑴至⑶中的任意一项所述的信息处理装置，其中，[0178] 所述接触确定单元根据所述法线矢量的倾斜度的扰动来确定所述操作体与所述对象物体的接触。[0179] 5[0180] 根据以上⑴至⑷中的任意一项所述的信息处理装置，还包括:[0181] 输入控制单元，所述输入控制单元基于所述接触确定单元的确定结果来控制操作输入。[0182] 6[0183] 根据以上⑴至⑶中的任意一项所述的信息处理装置，还包括:[0184] 物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，[0185] 所述输入控制单元基于由所述物体识别处理单元识别的所述操作体的形状和所述接触确定单元的确定结果来控制操作输入。[0186] 7[0187] 根据以上⑴至⑶中的任意一项所述的信息处理装置，还包括:[0188]图像输出单元，所述图像输出单元生成被叠加在所述对象物体上的操作对象图像，其中，[0189] 所述输入控制单元基于所述操作对象图像中的所述操作体与所述对象物体的接触位置来控制操作输入。[0190] ⑶[0191] 根据以上⑴至⑵中的任意一项所述的信息处理装置，其中，[0192]当所述法线矢量的倾斜度超过阈值时，所述接触确定单元确定所述操作体与所述对象物体接触。[0193] 9[0194] 根据以上⑴至⑶中的任意一项所述的信息处理装置，还包括:[0195] 物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，[0196] 所述接触确定单元根据所述对象物体的种类来确定所述阈值。[0197] 10[0198] 根据以上⑴至9中的任意一项所述的信息处理装置，其中，[0199] 所述接触确定单元还根据所述对象物体的表面的位置来确定所述阈值。[0200] 11[0201] 根据以上⑴至10中的任意一项所述的信息处理装置，其中，[0202]当所述法线矢量的倾斜度大于所述阈值时，所述接触确定单元根据所述法线矢量的倾斜度的大小来计算所述操作体与所述对象物体的接触程度。[0203] 12[0204] 根据以上⑴至11中的任意一项所述的信息处理装置，还包括:[0205] 物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，[0206] 所述接触确定单元在所述对象物体是刚体时基于所述拾取图像的颜色的改变来确定所述操作体与所述对象物体的接触，以及在所述对象物体不是刚体时基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。[0207] 13[0208] 根据以上⑴至12中的任意一项所述的信息处理装置，其中，[0209]当所述对象物体与所述操作体之间的距离等于或小于预定值时，所述接触确定单元基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。[0210] 14[0211] 根据以上⑴至13中的任意一项所述的信息处理装置，其中，[0212] 所述接触确定单元根据通过偏振成像拾取的拾取图像来检测所述法线矢量。[0213] 15[0214] —种程序，所述程序使信息处理装置用作:[0215] 接触确定单元，所述接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象。[0216] 16[0217] 一种信息处理方法，包括:[0218]由接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象[0219] 附图标记的描述:[0220] 100，200:信息处理装置[0221] 101，201:声音输入单元[0222] 102，202:音频识别处理单元[0223] 103，203:图像输入单元[0224] 104:物体识别处理单元[0225] 105，204:接触确定单元[0226] 106，205:输入控制单元[0227] 107，206:图像输出单元

权利要求：1.一种信息处理装置，包括:接触确定单元，所述接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象。2.根据权利要求1所述的信息处理装置，还包括:物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，所述接触确定单元基于所述操作体周围的所述对象物体的表面上的法线矢量的改变来确定所述操作体与所述对象物体的接触。3.根据权利要求1所述的信息处理装置，其中，所述接触确定单元根据所述法线矢量沿所述操作体的方向的倾斜度来确定所述操作体与所述对象物体的接触。4.根据权利要求1所述的信息处理装置，其中，所述接触确定单元根据所述法线矢量的倾斜度的扰动来确定所述操作体与所述对象物体的接触。5.根据权利要求1所述的信息处理装置，还包括:输入控制单元，所述输入控制单元基于所述接触确定单元的确定结果来控制操作输入。6.根据权利要求5所述的信息处理装置，还包括:物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，所述输入控制单元基于由所述物体识别处理单元识别的所述操作体的形状和所述接触确定单元的确定结果来控制操作输入。7.根据权利要求5所述的信息处理装置，还包括:图像输出单元，所述图像输出单元生成被叠加在所述对象物体上的操作对象图像，其中，所述输入控制单元基于所述操作对象图像中的所述操作体与所述对象物体的接触位置来控制操作输入。8.根据权利要求1所述的信息处理装置，其中，当所述法线矢量的倾斜度超过阈值时，所述接触确定单元确定所述操作体与所述对象物体接触。9.根据权利要求8所述的信息处理装置，还包括:物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，所述接触确定单元根据所述对象物体的种类来确定所述阈值。10.根据权利要求9所述的信息处理装置，其中，所述接触确定单元还根据所述对象物体的表面的位置来确定所述阈值。11.根据权利要求8所述的信息处理装置，其中，当所述法线矢量的倾斜度大于所述阈值时，所述接触确定单元根据所述法线矢量的倾斜度的大小来计算所述操作体与所述对象物体的接触程度。12.根据权利要求1所述的信息处理装置，还包括:物体识别处理单元，所述物体识别处理单元对包括在拾取图像中的所述操作体和所述对象物体进行识别，其中，所述接触确定单元在所述对象物体是刚体时基于所述拾取图像的颜色的改变来确定所述操作体与所述对象物体的接触，以及在所述对象物体不是刚体时基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。13.根据权利要求1所述的信息处理装置，其中，当所述对象物体与所述操作体之间的距离等于或小于预定值时，所述接触确定单元基于所述法线矢量的改变来确定所述操作体与所述对象物体的接触。14.根据权利要求1所述的信息处理装置，其中，所述接触确定单元根据通过偏振成像拾取的拾取图像来检测所述法线矢量。15.一种程序，所述程序使信息处理装置用作:接触确定单元，所述接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象。16.一种信息处理方法，包括:由接触确定单元基于对象物体的表面上的法线矢量的改变来确定操作体与所述对象物体的接触，其中，所述对象物体是所述操作体的操作对象。

百度查询： 索尼公司 信息处理装置、信息处理方法和程序

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD