平码五不中公式规律
  • / 93
  • 下载费用:30 金币  

普适计算环境中的姿势交互的系统和方法.pdf

关 键 ?#21097;?/dt>
计算 环境 中的 姿势 交互 系统 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201580041594.3

申请日:

2015.05.27

公开号:

CN106662926A

公开日:

2017.05.10

当前法律状态:

实审

有效性:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06F 3/01申请日:20150527|||公开
IPC分类号: G06F3/01; H04M1/725 主分类号: G06F3/01
申请人: 厉动公司
发明人: R·S·戈登; M·西尔斯; P·A·杜尔迪克
地址: 美国加利福尼亚州
优?#28909;ǎ?/td> 2014.05.27 US 62/003,298; 2015.02.19 US 14/625,635
专利代理机构: 北京市金杜律师事务所 11256 代理人: 王茂华
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580041594.3

授权公告号:

|||

法律状态公告日:

2017.06.20|||2017.05.10

法律状态类型:

实质审查的生效|||公开

摘要

所公开的技术涉及在房间中的设备中选择与其交互的设备。它还涉及使用降低的功耗来操作智能电话。它还涉及与缺乏姿势响应的设备姿势地交互。所公开的技术还涉及在普适三维(3D)感觉空间中区分控制姿势与接近的非控制姿势。所公开的技术还涉及在虚拟交互模态中选择与其交互的虚拟交互模态。

权利要求书

1.一种在设备中选择要与其交互的设备的方法,所述方法包括:
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检测接
受运动控制命令的一个或多个异构设备;
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构设备中的一个异
构设备;以及
在所述智能电话与选择的所述设备之间建立通信信道。
2.根据权利要求1所述的方法,还包括创建用于由所述智能电话显示的、标识所述异构
设备的数据,并且将所述姿势解释为选择标识的所述异构设备中的一个异构设备。
3.根据权利要求1所述的方法,还包括检测一个或多个随后的姿势,对所述一个或多个
随后的姿势进行预处理以减小需要的带宽,并且经由所述通信信道向选择的所述设备发送
经预处理的所述姿势。
4.根据权利要求1所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控制
范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道发送到选择的
所述设备。
5.根据权利要求4所述的方法,还包括至少基于设置的所述控制范例来控制选择的所
述设备对所述随后的姿势的屏幕上响应。
6.根据权利要求1所述的方法,还包括检测所述3D感觉空间中的姿势,并且至少基于执
行所述姿势的用户的生物计量信息来从所述异构设备中自动选择特定设备。
7.根据权利要求6所述的方法,其中所述生物计量信息包括所述用户的血管?#21450;浮?#25484;纹
和指纹中的至少一项。
8.一种在起居室中的设备中选择要与其交互的设备的方法,所述方法包括:
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检测起
居室中接受运动控制命令的异构设备;
检测语音命令并且将所述语音命令解释为选择所述异构设备中的一个异构设备;以及
在所述智能电话与选择的所述设备之间建立通信信道。
9.根据权利要求8所述的方法,还包括检测所述3D感觉空间中的一个或多个姿势,对所
述一个或多个姿势进行预处理以减小需要的带宽,并且经由所述通信信道向选择的所述设
备发送经预处理的所述姿势。
10.根据权利要求8所述的方法,还包括创建用于由所述智能电话显示的、标识所述异
构设备的数据,并且将所述语音命令解释为选择标识的所述异构设备中的一个异构设备。
11.根据权利要求8所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信
道发送到选择的所述设备。
12.根据权利要求11所述的方法,还包括至少基于设置的所述控制范例来控制选择的
所述设备对所述姿势的屏幕上响应。
13.一种在起居室中的设备中选择要与其交互的设备的方法,所述方法包括:
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检测起
居室中接受运动控制命令的异构设备;
创建用于由所述智能电话显示的、标识所述异构设备的数据,并且将跨所述显示器的
触摸命令解释为选择标识的所述异构设备中的一个异构设备;以及
在所述智能电话与选择的所述设备之间建立通信信道。
14.根据权利要求13所述的方法,还包括检测所述3D感觉空间中的一个或多个姿势,对
所述一个或多个姿势进行预处理以减小需要的带宽,并且经由所述通信信道向选择的所述
设备发送经预处理的所述姿势。
15.根据权利要求13所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信
道发送到选择的所述设备。
16.根据权利要求15所述的方法,还包括至少基于设置的所述控制范例来控制选择的
所述设备对所述姿势的屏幕上响应。
17.一种与触发增强幻觉的标记图像交互的方法,所述方法包括:
使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,响应于
通过所述智能电话的标识来检测触发增强幻觉的异构标记图像;
检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构标记图像中的一
个异构标记图像;以及
在智能电话的显示器上覆盖由选择的所述标记图像绘制的增强幻觉。
18.根据权利要求17所述的方法,还包括检测所述3D感觉空间中改变在覆盖的所述增
强幻觉上显示的内容的响应的一个或多个姿势。
19.根据权利要求17所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于解释所述3D感觉空间中操纵覆盖的所述增强幻觉的一个或多个
姿势。
20.一种使用减小的功耗来操作智能电话的方法,所述方法包括:
监测智能电话的至少一个物理参数,所述智能电话配备有检测三维(3D)感觉空间中的
姿势的运动感觉控制设备;以及
响应于检测到所述物理参数的变化超过规定的阈值,将所述智能电话从一个操作模式
自动切换至另一操作模式。

说明书

普适计算环境中的姿势交互的系统和方法

技术领域

所公开的技术总体上涉及普适计算环境中的运动捕获和姿势识别和解释,并且在
具体实现中涉及便于用于家庭自动化的姿势环境服务。

优?#28909;?#25968;据

本申请要求于2014年5月27日提交的名称为“SYSTEMS AND METHODS OF GESTURAL
INTERACTION IN A PERVASIVE COMPUTING ENVIRONMENT”的美国临时专利申请第62/003,
298号(代理人案卷号LEAP 1032-1/LPM-1032PR)的权益。出于所有目的,本临时申请由此通
过引用被合并于此。

合并

在本提交中通过引用被合并的材料包括以下各项:

“DETERMINING POSITIONAL INFORMATION FOR AN OBJECT IN SPACE?#20445;?#20110;2013年
10月25日提交的美国临时申请第61/895,965号(代理人案卷号LEAP 1015-1/LPM-1015PR),

“DRIFT CANCELATION FOR PORTABLE OBJECT DETECTION AND TRACKING?#20445;?#20110;2014
年2月11日提交的美国临时申请第61/938,635号(代理人案卷号LEAP 1037-1/LPM-
1037PR),

“BIOMETRIC AWARE OBJECT DETECTION AND TRACKING?#20445;?#20110;2014年3月13日提交的
美国临时申请第61/952,843号(代理人案卷号LEAP 1043-1/LPM-1043PR),

“DYNAMIC USER INTERACTIONS FOR DISPLAY CONTROL?#20445;?#20110;2014年3月14日提交的
美国非临时申请第14/214,336号(代理人案卷号LEAP 1039-2/LPM-012US),

“RESOURCE-RESPONSIVE MOTION CAPTURE?#20445;?#20110;2014年3月14日提交的美国非临时
申请第14/214,569号(代理人案卷号LEAP 1041-2/LPM-017US),以及

“SAFETY FOR WEARABLE VIRTUAL BEALITY DEVICES VIA OBJECT DETECTION AND
TRACKING?#20445;?#20110;2014年4月17日提交的美国临时申请第61/981,162号(代理人案卷号LEAP
1050-1/LPM-1050PR)。

背景技术

本部分中讨论的主题不应当仅仅由于其在本部分中的提及而被假定为现有技术。
类似地,本部分中提及的或者作为背景提供的与主题相关联的问题不应当被假定为先前在
现有技术中已经被识别。本部分中的主题仅代表不同的方法,其本身也可以对应于所要求
保护的技术的实现。

在开发与支持直观性并?#20197;?#24378;用户体验的电子设备的自然交互方面已经有越来
越多的兴趣。例如,用户可能想要在空中以自由形态姿势烹饪的同时控制音乐音量,或者在
烹饪的同?#22791;?#21464;在起居室中的娱乐系统上播放的歌曲,或者在床上的同时调高恒温器,或
者在坐在长沙发上的同时打开灯。

现有的家庭自动化技术利用传统的运动捕获方法,其在执行活动?#24065;览?#20110;占用者
佩戴的标记或传感器和/或在专用智能家庭环境中?#35272;?#20110;多个庞大和/或复杂的设备的战
略布置以捕获占用者移动。不幸的是,这样的系统构造起来往往昂贵。此外,占用者佩戴的
标记或传感器可能很麻烦,并且干扰占用者的自然移动。此外,由于需要分析的和相关的数
据量,涉及大量相机的系统不倾向于实时地操作。这样的考虑限制了运动捕获技术的部署
和使用。

因此,需要改进的技术来实时地捕获对象的运动,而不在其上附接传感器或标记,
并且支持在普适计算环境中的环境智能。

发明内容

所公开的技术涉及通过使用配备有检测三维(3D)感觉空间中的姿势的运动感觉
控制设备的智能电话来在房间中的设备中选择要与其交互的设备,检测接受运动控制命令
的一个或多个异构设备,检测3D感觉空间中的姿势,并且将姿势解释为选择异构设备中的
一个异构设备,以及在智能电话与所选择的设备之间建立通信信道。

所公开的技术还涉及通过以下各项来以降低的功耗操作智能电话:监测配备有检
测三维(3D)传感空间中的姿势的运动感觉控制设备的智能电话的至少一个物理或环境参
数,以及响应于检测到物理或环境参数的变化超过规定的阈值,将智能电话(经由?#24230;?#24335;运
动感觉控制设备)从一个操作模式自动地切换至另一操作模式。

所公开的技术还涉及通过向传统设备供应基于姿势的信号来与缺乏姿势响应的
设备姿势地交互,基于姿势的信号至少基于检测的和从类似姿势库标识的姿势模仿标准输
入命令,类似姿势与使用由传统设备接受的标准输入命令执行的控制操纵相类似于或相对
应。

所公开的技术还涉及通过检测由不同用户在普适三维(3D)感觉环境中执行的姿
势的集合来区分普适3D感觉空间中的控制姿势与接近的非控制姿势,以及通过至少基于用
户在3D感觉空间中的一个或多个空间行为从用户中确定主导用户来标识姿势的集合中控
制3D感觉空间中的一个或多个设备的响应的控制姿势,并且触发对由主导用户执行的姿势
的响应,而不触发对由非主导用户执行的姿势的响应。

所公开的技术还涉及通过基于初始化信号的检测使用智能电话触发增强环境来
在虚拟交互模态中选择要与其交互的虚拟交互模态,其中增强环境包括被集成到物理空间
的增强绘制中并且接受运动控制命令的一个或多个虚拟交互模态,使用?#24230;?#22312;智能电话中
的运动感觉控制设备来检测3D感觉空间中的姿势,将姿势解释为选择虚拟交互模态中的一
个虚拟交互模态,以及在智能电话与所选择的虚拟交互模态之间建立通信信道。

在阅读了下面的附图、详细描述和权利要求之后,可以明?#23039;?#20844;开的技术的其它
方面和优点。

附图说明

在附图中,相同的附图标记在不同的视图中通常指代相同的部件。此外,附图不一
定按比例,而是通常重点放在说明所公开的技术的原理上。在下面的描述中,参考以下附图
来描述所公开的技术的各种实现,在附图中:

图1A?#22659;?#26681;据所公开的技术的实现的用于捕获图像数据的系统。

图1B是根据所公开的技术的实现的实现图像分析装置的计算机系统的简化框图。

图2?#22659;?#20102;在普适计算环境中选择设备的一个实现。

图3?#22659;?#20102;使用语音命令来在普适计算环境中从异构设备中选择设备的一个实
现。

图4是使用触摸命令来在普适计算环境中从异构设备中选择设备的一个实现。

图5?#22659;?#20102;设置设备特定的控制范例以控制普适计算环境中的各种设备的响应的
不同的范例设置姿势的一个实现。

图6是检测三维(3D)感觉空间中的姿势的运动感觉控制设备的一个实现。

图7A是从根据所公开的技术的运动感觉控制设备的顶部的透视图,其中运动传感
器沿着其边?#24403;?#38754;。

图7B是从根据所公开的技术的运动感觉控制设备的底部的透视图,其中运动传感
器沿着其底部表面。

图7C是从根据所公开的技术的运动感觉控制设备的顶部的透视图,其中可拆卸运
动传感器被配置用于放置在表面上。

图8A?#22659;?#20102;配备有运动感觉控制设备的智能电话的一个实现。

图8B?#22659;?#20102;?#24230;?#22312;智能电话的旋转相机中的运动感觉控制设备的一个实现。

图8C?#22659;?#20102;?#24230;?#22312;智能电话的移动壳体中的运动感觉控制设备的一个实现。

图8D?#22659;?#20102;?#24230;?#22312;智能电话的纵向移动壳体中的运动感觉控制设备的一个实现。

图8E?#22659;?#20102;?#24230;?#22312;智能电话的横向移动壳体中的运动感觉控制设备的一个实现。

图8F?#22659;?#20102;?#24230;?#22312;计算机平板的无键盘平板壳体中的运动感觉控制设备的一个
实现。

图8G?#22659;?#20102;?#24230;?#22312;计算机平板的平板壳体中的运动感觉控制设备的一个实现。

图9?#22659;?#20102;在外围连接至智能电话的运动感觉控制设备的一个实现。

图10是当?#24230;?#24335;运动感觉控制设备直立并移动时将智能电话切换至手持操作模
式的一个实现。

图11?#22659;雋说鼻度?#24335;运动感觉控制设备平放并静止时将智能电话切换至广域操
作模式的一个实现。

图12A描绘?#31169;?#26234;能电话切换至跨房间操作模式的一个实现。

图12B描绘了根据所公开的技术的实现的运动捕获和图像分析中涉及的基本操作
和功能单元。

图12C是将椭圆跨xy平面特征化为不同的参数。

图13?#22659;雋私?#26234;能电话切换至配对操作模式的一个实现。

图14A?#22659;雋私?#26234;能电话切换至漂移补偿操作模式的一个实现。

图14B?#22659;?#20102;根据所公开的技术的从虚拟环境启用的设备的用户的角度来看的对
象的视在移动。

图15?#22659;?#20102;根据所公开的技术的从虚拟环境启用的设备的用户的角度来看的对
象的视在移动。

图16?#22659;?#20102;在普适计算环境中通过超短距离通信信?#26469;?#24322;构电器广播设备身份
令牌的一个实现。

图17?#22659;?#20102;在普适计算环境中的通过指向的选择技术的一个实现。

图18?#22659;?#20102;基于设备的接近水平在普适计算环境中选择设备的一个实现。

图19描绘了基于设备的位置信息在普适计算环境中选择设备的一个实现。

图20?#22659;?#20102;与缺乏姿势响应的设备姿势地交互的一个实现。

图21A、21B和21C?#22659;?#20102;区分在普适三维(3D)感觉环境中发出姿势命令的用户的
一个实现。

图22是在普适增强环境中在虚拟交互模态中选择要与其交互的虚拟交互模态的
一个实现。

图23A、23B、23C、23D和23E?#22659;?#20102;与在普适虚拟环境中触发增强幻觉的标记图像
交互的一个实现。

图24是修改用户的手的表示的“操控手”方法的一个实现。

图25A、25B、25C、25D、25E、25F、25G、25H和25I?#22659;雋私?#36816;动感觉控制设备?#24230;?#21508;
种设备中的不同实现。

具体实施方式

如本文中使用的,给定的信号、事件或值“基于”受给定的信号、事件或值影响的前
面的信号、事件或值的前面的信号、事件或值。如果存在中间处理元件、步骤或时间段,则给
定的信号、事件或值仍然可以“基于”前面的信号、事件或值。如果中间处理元件或步骤组合
了多于一个信号、事件或值,则处理元件或步骤的信号输出被认为“基于”每个信号、事件或
值输入。如果给定的信号、事件或值与前面的信号、事件或?#36842;?#21516;,则这仅仅是退化的情况,
其中给定的信号、事件或值仍然被认为“基于”前面的信号、事件或值。类似地定义给定的信
号、事件或值对另一信号、事件或值的“响应”或“?#35272;?#24615;?#34180;?br />

如本文中使用的,信息项的“标识”不一定需要直接规定该信息项。通过简单地通
过一个或多个间接层来指代实际信息、或者通过标识一起足以确定实际信息项的一个或多
个不同信息项,可以在字段中“标识”信息。此外,术语“规定”在本文中用于表示与“标识”相
同。

首先参考图1A,图1A?#22659;?#20102;包括耦合至感觉分析系统106的任何数量的相机102、
104的示例性姿势识别系统100A。相机102、104可以是任何类型的相机,包括跨可见光谱敏
感的相机,或者更典型地,具有对受限波长频带(例如,红外(IR)或紫外频带)的增强的灵敏
度的相机;更?#35805;?#22320;,术语“相机”在本文中是指能够捕获对象的图像并且以数字数据的形
式表示该图像的任何设备(或设备的组合)。尽管使用两个相机实现的示例来?#22659;觶?#20294;是可
以容易地实现使用不同数量的相机或非相机光敏图像传感器(例如118)或其组合的其他实
现。例如,可以采用线传感器或线相机而不是捕获二维(2D)图像的传统设备。术语“光”通常
用于指代任何电磁辐射,其可以或可以不在可见光谱内,并且可以是宽带(例如,白光)或窄
带(例如,单个波长或窄的波长频带)。

相机102、104优选地能够捕获视?#20302;?#20687;(即,以每秒至少15帧的恒定速率的连续图
像帧);然而不需要特定的帧速率。相机102、104的能力对于所公开的技术不是关键的,并且
相机可以关于帧速率、图像分辨率(例如,?#23458;?#20687;的像素)、颜色或强度分辨率(例如,每像素
的强度数据的位数)、透镜的焦距、景深?#32570;?#21270;。通常,对于特定应用,可以使用能够聚焦在
感兴趣的空间体积内的对象上的任何相机。例如,为了捕获否则静止的人的手的运动,感兴
趣的体积可以被定义为在一侧大约一米的立方体。

在一些实现中,所示系统100A包括一个或多个源108、110,其可以被布置在相机
102、104的?#25105;?#20391;,并且由感觉分析系统106控制。在一个实现中,源108、110是光源。例如,
光源可以是红外光源,例如红外发光二极管(LED),并且相机102、104可以对红外光敏感。使
用红外光可以使得姿势识别系统100A能够在宽范围的照明条件下操作,并且可以避免可能
与将可见光引导到人正在移动的区域中相关联的各种不便或干扰。然而,可能需要电?#29260;?br />的特定波长或区域。在一个实现中,滤波器120、122?#29615;?#32622;在相机102、104前面,以滤除可见
光,使得只有红外光被记录在?#19978;?#26426;102、104捕获的图像中。在另一实现中,源108、110是提
供适合于结合或代替相机102、104使用的一个或多个声音传感器(为了清楚起见在图1A中
未?#22659;?的声能的声源。声源向用户传输声波;用户或者阻挡(或者“声音阴影”)或者改变撞
击她的声波(或者“声音偏转”)。这样的声音阴影和/或偏转也可以用于使用本领域已知的
测距技术来检测用户的姿势和/或提供存在信息和/或距离信息。在一些实现中,声波是例
如人类不可听见的超声波。

应当强调的是,图1A所示的布置是代表性的而非限制性的。例如,可以使用激光器
或其他光源代替LED。在包括(多个)激光器的实现中,可以采用额外的光学器件(例如,透镜
或漫射器)来加宽激光束(并且使得其视场类似于相机的视场)。有用的布置还可以包括用
于不同范围的短角和广角照明器。光源通常是漫射而不是镜面点光源;例如,具有光扩散封
装的封装LED是合适的。

在操作中,光源108、110被布置成照射感兴趣的区域112,感兴趣的区域112包括可
以可选地保持工具或其他感兴趣对象的控制对象部分114(在本示例中为手),并且相机
102、104被定向为朝着区域112以用背景116捕获手114的视?#20302;?#20687;。在一些实现中,光源
108、110和相机102、104的操作由感觉分析系统106控制,感觉分析系统106可以是例如计算
机系统、以?#24067;?#21644;/或软件或其组合实现的控制逻辑。基于捕获的图像,感觉分析系统106确
定对象114的位置和/或运动。

图1B是根据所公开的技术的实现的实现感觉分析系统106(也称为图像分析器)的
计算机系统100B的简化框图。感觉分析系统106可以包括能够捕获和处理图像数据的任何
设备或设备部件,或者由其组成。在一些实现中,计算机系统100B包括处理器132、存储器
134、传感器接口136、显示器138(或(多个)其它呈?#21482;?#21046;,例如全息投影系统、可佩戴护目
镜或其他头戴式显示器(HMD)、平视显示器(HUD)、其它视觉呈?#21482;?#21046;或其组合、扬声器139、
键盘140和鼠标141。存储器134可以用于存储要由处理器132执行的指令以及与这些指令的
执行相关联的输入和/或输出数据。具体地,存储器134包含在概念上被?#22659;?#20026;下面更详细
描述的模块组的指令,这些指令控制处理器132的操作以及处理器132与其它?#24067;?#37096;件的交
互。操作系统指示执行低级别的基本系统功能,诸如存储器分配、文件管理和大容量存储设
备的操作。操作系统可以是或包括各种操作系统,诸如Microsoft WINDOWS操作系统、Unix
操作系统、Linux操作系统、Xenix操作系统、IBM AIX操作系统、Hewlett Packard UX操作系
统、Novell NETWARE操作系统、Sun Microsystems SOLARIS操作系统、OS/2操作系统、BeOS
操作系统、MAC OS操作系统、APACHE操作系统、OPENACTION操作系统、iOS、Android或其他移
动操作系统或另一操作系统平台。

计算环境还可以包括其他可移除/不可移除、?#36164;?#24615;/非?#36164;?#24615;计算机存储介质。
例如,硬盘驱动器可以读或写到不可移除、非?#36164;源?#20171;质。磁盘驱动器可?#28304;?#21487;移除、非
?#36164;源?#30424;读取或向其写入,并且光盘驱动器可?#28304;?#35832;如CD-ROM或其他光学介?#23454;?#21487;移
除、非?#36164;?#24615;光盘读取或向其写入。可以在示例性操作环境中使用的其他可移除/不可移
除、?#36164;?#24615;/非?#36164;?#24615;计算机存储介质包括但不限于磁带?#23567;?#38378;存卡、数字多功能盘、数?#36136;?br />频磁带、固态RAM、固态ROM等。存储介质通常通过可移除或不可移除存储器接口连接至系统
总线。

处理器132可以是通用微处理器,但是取决于实现,可以备选地是微控制器、外围
集成电路元件、CSIC(客户特定的集成电路)、ASIC(专用集成电路)、逻辑电路、数?#20013;?#21495;处
理器、可编程逻辑器件(诸如FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、PLA(可编程
逻辑阵列))、RFID处理器、智能芯片、或者能够实现所公开的技术的过程的动作的任何其它
设备或设备的布置。

传感器接口136可以包括实现计算机系统100B与相机(诸如图1所示的相机102、
104)以及相关联的光源(诸如图1A的光源108、110)之间的通信的?#24067;?#21644;/或软件。因此,例
如,传感器接口136可以包括相机可以连接至的一个或多个数据端口146、148以及?#24067;?#21644;/
或软件信号处理器,?#24067;?#21644;/或软件信号处理器用于在将信号作为输入提供给在处理器132
上执行的运动捕获(“mocap”)程序144之前,修改从相机接收到的数据信号(例如以减少噪
声或重新格?#20132;?#25968;据)。在一些实现中,传感器接口136还可以向相机传输信号,例如以激活
或去激活相机,以控制相机设置(帧速率、图像质量、灵敏度等)等。这样的信号可以例如响
应于来?#28304;?#29702;器132的控制信号而被传输,这些控制信号又可以响应于用户输入或其他检
测到的事件而生成。

传感器接口136还可以包括控制器147、149,光源(例如,光源108、110)可以连接至
控制器147、149。在一些实现中,控制器147、149例如响应于来自执行mocap程序144的处理
器132的指令而向光源提供工作电流。在其他实现中,光源可?#28304;?#22806;部电源汲取工作电流,
并且控制器147、149可以生成用于光源的控制信号,例如指令光源打开或关闭或者改变亮
度。在一些实现中,单个控制器可以用于控制多个光源。

定义mocap程序144的指令被存储在存储器134中,并且这些指令在被执行时?#28304;?br />连接至传感器接口136的相机供应的图像执行运动捕获分析。在一个实现中,mocap程序144
包括各种模块,诸如对象检测模块152、对象/路径分析模块154和姿势识别模块156。对象检
测模块152可以分析图像(例如,经由传感器接口136捕获的图像)以检测其中的对象的边缘
和/或其他有关对象位置的信息。对象/路径分析模块154可以分析由对象检测模块152提供
的对象信息,以确定对象(例如,用户的手)的3D位置和/或运动。下面描述可以在mocap程序
144的代码模块中实现的操作的示例。存储器134还可以包括由mocap程序144使用的其他信
息和/或代码模块,诸如应用平台166,应用平台166使得用户能够使用如应用程序1(应用
1)、应用程序2(应用2)和应用程序N(应用N)等不同的应用与mocap程序144交互。

显示器138、扬声器139、键盘140和鼠标141可以用于支持用户与计算机系统100B
的交互。在一些实现中,使用传感器接口136和mocap程序144的姿势捕获的结果可以被解释
为用户输入。例如,用户可以执行使用mocap程序144分析的姿势,并且该分析的结果可以被
解释为对在处理器132(例如,web浏览器、文字处理器或其他应用)上执行的某个其他程序
的指令。因此,作为说明,用户可以使用向上或向下滑动姿势来“滚动”当前显示在显示器
138上的网页,以使用旋转姿势来增加或减少来自扬声器139的音频输出的音量等等。

应当理解,计算机系统100B是说明性的,并?#20918;?#21270;和修改是可能的。计算机系统可
以以各?#20013;?#29366;因子来实现,包括服务器系统、桌面系统、膝上型系统、平板计算机、智能电话
或个人数?#31181;?#29702;、可穿戴设备(例如护目镜、头戴式显示器(HMD)、腕式计算机)等。具体实现
可以包括本文中未描述的其它功能,例如有线和/或无线网络接口、媒体播放和/或记录能
力等。在一些实现中,一个或多个相机可以内置在计算机或者传感器被?#24230;?#20854;中的其他设
备中,而不是作为单独的部件来供应。此外,可以仅使用计算机系统部件(例如,作为执行程
序代码的处理器、ASIC或固定功能数?#20013;?#21495;处理器,其具有适当的I/O接口以接收图像数据
和输出分析结果)的子集来实现图像分析器。

尽管本文中参?#32487;?#23450;框描述计算机系统100B,但是应当理解,框是为了方便描述
而定义的而非旨在暗示部件部分的特定物理布置。此外,框不需要对应于物理上不同的部
件。在使用物理上不同的部件的程度上,部件之间的连接(例如,用于数据通信)根据需要可
以是有线的和/或无线的。

参考图1A和1B,用户执行?#19978;?#26426;102、104作为一系列时间顺序图像捕获的姿势。在
其他实现中,相机102、104可以捕获用户的任何可观察的姿态或部分。例如,如果用户走进
相机102、104附近的视场,则相机102、104不仅可以捕获用户的整个身体,而且可以捕获手
臂和腿相对于人的核心或躯干的位置。这些由姿势识别模块156分析,姿势识别模块156可
以被实现为mocap 144的另一模块。姿势识别模块156向电子设备提供输入,以使得用户能
够在显示器138上显示的虚拟环境中远程地控制电子设备和/或操纵虚拟对象,诸如原型/
模型、块、球体或其他形状、按钮、杆或其他控件。用户可以使用她的身体的任何部分、诸如
?#31181;浮?#25163;、或?#30452;?#26469;执行姿势。作为姿势识别的一部分或独立地,感觉分析系统106可以在3D
空间中并且实时地确定用户的手的形状和位置;参见例如分别于2012年1月17日、2012年3
月7日、2012年11月8日和2012年12月21日提交的美国序列号61/587,554、13/414,485、61/
724,091和13/724,357,其整个公开内容由此通过引用被合并于此。因此,感觉分析系统106
不仅可以出于向电子设备提供输入的目的而识别姿势,而且还可以在连续的视?#20302;?#20687;中捕
获用户的手的位置和形状,以便在3D空间中对手的姿势进行特征化并且将其再现在诸如显
示器138的显示屏幕上。

在一个实现中,姿势识别模块156将检测到的姿势与作为记录电子地存储在数据
库中的姿势库相比较,该数据库在感觉分析系统106中、电子设备中或外部存储系统上实
现。(如本文中使用的,术语“电子地存储”包括在?#36164;?#24615;或非?#36164;源?#20648;装置(后者包括磁
盘、闪存等)中的存储,并且扩展到任何计算上可寻址的存储介质(包括例如光学存储装
置)。)例如,姿势可以被存储为向量,即,数学上规定的空间轨迹,并且姿势记录可以具有规
定做出姿势的用户身体的相关部分的字段;因此,由用户的手和?#20998;?#34892;的类似轨迹可以作
为不同的姿势存储在数据库中,使得应用可以不同地解释它们。

普适计算环境

图2?#22659;?#20102;在普适计算环境200中选择设备的一个实现。在一个实现中,普适计算
环境200可以包括各种家庭自动化系统,诸如照明系统、家庭监测系统、安全系统、电器系
统、VoIP电话系统、其他电话系统、其他家庭自动化系统或其任何组合。在具体实现中,配备
有运动感觉控制设备的智能电话216被适配成控制每个家庭自动化系统,包括但不限于娱
?#20540;?#20803;206、恒温器和HVAC控件204、膝上型计算机208、台式计算机210、电视212和冰箱214。

在其它实现中,智能电话216可以包括一个或多个传感器,以例如检测加速度、温
度、湿度、水、供应的功率、接近、外部运动、装置运动、声音信号、超声信号、光信号、火、烟、
一氧化碳、全球卫星定位(GPS)信号或射频(RF)、WiFi或者其它电磁信号或场。因此,例如,
智能电话216可以包括(多个)温度传感器、(多个)湿度传感器、(多个)危险相关传感器或
(多个)其他环境传感器、(多个)加速度计、(多个)麦克风、相当于并且包括(多个)相机(例
如,电荷耦合器件或视?#36842;?#26426;)的(多个)光学传感器、有源或无源辐射传感器、(多个)GPS接
收器或(多个)射?#24403;?#35782;检测器。虽然图2?#22659;?#20102;使用运动感觉控制设备的实现,然而很多实
现可以包括多个传感器。在一些情况下,智能电话216包括一个或多个主传感器以及一个或
多个辅助传感器。(多个)主传感器可以感测对设备的核心操作(例如,解释在环境200中执
行的姿势)极为重要的数据。(多个)辅助传感器可以感测其它类型的数据(例如,光、加速度
或声音)。

在其它实现中,智能电话216中的一个或多个用户接口部件(例如138)可以用于经
由视觉显示器(例如,薄膜晶体管显示器或有机发光二极管显示器)和/或音频扬声器向用
户202呈?#20013;?#24687;。在一个实现中,用户界面部件(例如138)可以通过触摸屏、按钮、滚动部件
(例如,可移动或虚拟环部件)、麦克风和/或相机从用户202接收信息(例如,以检测姿势)。

如图2所示,用户202可以通过执行姿势和/或其他身体移动来在环境200中从不同
的设备中选择设备。在一个实现中,可以使用纯姿势或结合语音识别的姿势、和/或结合姿
势的虚拟或实际键盘来选择设备。在另一实现中,可以使用识别姿势的控制台来控?#26222;?#20010;
家庭。

在一些实现中,用户202可以举起?#30452;邸?#35828;出声音命令、执行光学命令或使用手和
?#31181;?#20570;出不同的姿态(例如,“一个?#31181;?#25351;向?#34180;ⅰ?#19968;个?#31181;?#28857;击?#34180;ⅰ?#20004;个?#31181;?#25351;向?#34180;ⅰ?#20004;个手
指点击?#34180;ⅰ案?#21351;的(prone)一个?#31181;?#25351;向?#34180;ⅰ案?#21351;的一个?#31181;?#28857;击?#34180;ⅰ案?#21351;的两个?#31181;?#25351;
向?#34180;ⅰ案?#21351;的两个?#31181;?#28857;击?#34180;ⅰ?#20013;间的一个?#31181;?#25351;向?#34180;ⅰ?#20013;间的两个?#31181;?#25351;向”)来指示与环
境200中的特定设备交互的意图。在其他实现中,可以使用指向和抓握姿势来在环境200中
的设备的显示器上移动光标,可以使用声音命令来选择功能,可以使用眼睛移动来移动光
标,并且?#20102;?#21487;以指示选择。

在其他实现中,姿势可以使用图形显示器或其他反馈设备、?#35828;?#20803;件的集合、选择
元件以及平移和缩放能力来控制环境200中的不同设备。通过设备的导航可?#28304;?#30446;标设备
的高级选择向下?#38477;?#20010;选择元件的操纵是一致的。在一个示例中,通过在检测垂直、拇指向
上、单指指向之后选择的特定设备,激活当前设备的指向光标和上下文?#35828;?#20803;件。光标位置
由?#25345;?#30340;移动和/或目标驱动。对按钮、滑块和?#35828;?#20803;件的基本选择和控制通过将指针定位
在元件内并将拇指移动到向下/点击(与?#25345;?#23545;准)位置来实现。将光标从屏幕移动到中间
侧带来高级?#35828;?#21015;表,其中光标移动被限制在两个维度(上和下)。从高级?#35828;?#20013;选择一个
选项用于改变设备(例如,从电视到冰箱)。

在一些其它实现中,也可以使用姿势或身体移动来打开或关闭设备。在选择设备
之后,用户202执行随后的姿势,诸如向下或向上滑动手和/或?#31181;敢源?#24320;或关闭设备。例
如,可以使用?#31181;?#21521;上或向下轻弹来打开或关闭灯、电视或冰箱。

使用环境200中的姿势交互执行的环境服务的其他示例可以包括填充浴池、水池
和矿泉以及在这些设施中维?#21046;?#26395;的温度、以及控制与这些设施相关联的任何泵。它们还
可以控制各个设备和电器,诸如厨房电器、?#29260;取?#21152;湿器?#32479;?#28287;器。在一些实现中,它们可
以控制机动化设备,诸如天窗、帷幕、家具、墙壁、屏幕、天花板、遮篷、物理安全屏障、门锁
等。在其他实现中,它们还可以控制应答机、语音?#22987;?#31995;统,并且提供维护提醒和执行以下
功能,诸如电话应答、控制喷泉或地下喷水系统、控制厨房和其他电器、控制机动化窗?#34180;?#31383;
户和天窗、打开锁定的门、以及这些功能的调度。在其他实现中,这些环境服务可以应用于
其他普适环境,诸如船、飞机、办公套房、会议室、礼堂、教室、剧院、?#39057;輟?#21307;院和养?#26174;骸?br />

图3?#22659;?#20102;使用语音命令330在普适计算环境300中从多个异构设备中选择设备的
一个实现。在一个实现中,用户302可?#36816;?#20986;设备的名称以进行设备选择。例如,如图3所示,
用户302通过发出声音命令“TV”来选择电视312。在其他实现中,用户302可?#36816;?#20986;一系列命
令以选择设备并且进一步控制所选择的设备。在一些其他实现中,用户302可以使用姿势来
控制声音选择的设备。在具体实现中,配备有运动感觉控制设备的智能电话316被适配成控
制每个家庭自动化系统,包括但不限于娱?#20540;?#20803;306、恒温器和HVAC控件304、膝上型计算机
308、台式计算机310、电视312和冰箱314。

图4是使用触摸命令在普适计算环境400中从多个异构设备中选择设备的一个实
现。在一些实现中,创建标识异构设备的数据以由环境400中的智能电话416或另一设备或
虚拟屏幕来显示。在其他实现中,接收选择所标识的异构设备中的一个异构设备的随后的
触摸命令402,如图4所示。在具体实现中,配备有运动感觉控制设备的智能电话416被适配
成控制每个家庭自动化系统,包括但不限于娱?#20540;?#20803;406、恒温器和HVAC控件404、膝上型计
算机408、台式计算机410、电视412和冰箱414。

图17?#22659;?#20102;在普适计算环境1700中的通过指向的选择技术的一个实现。在一个实
现中,通过使设备进入智能电话1716的相机的视场或者在如平板计算机1716的用户计算设
备的线中,自动地从异构设备(1704、1706、1708、1712、1710、1714)中选择设备。

图5?#22659;?#20102;设置设备特定的控制范例以控制普适计算环境500中的各种设备的响
应的不同的范例设置姿势(514、526、518、512、520、524)的一个实现。如图5所示,不同的姿
势(诸如手的两个?#31181;?#30340;抓握和再次伸出运动、手的?#31181;?#30340;抓握和再次伸出运动、或者保持
第一?#31181;?#21521;下和伸出第二?#31181;?可以用于确定用于解释随后的姿势并且控制所选择的设备
的上下文。例如,垂直?#31181;?#28369;动可以指示用户意图增加电视的音量或增加电视显示器的亮
度。然而,范例设置姿势(514、526、518、512、520、524)定义各种姿势如何在不同设备上引起
屏幕上动作和/或控制其手动响应。在涉及普适增强环境的另一示例中,范例设置姿势
(514、526、518、512、520、524)可以定义交互模式以与不同的虚拟屏幕或对象交互。例如,当
用户正在与在虚拟屏幕上活动的虚拟报纸交互时,正手扫描可以导致虚拟报纸中的电子页
面的增量改变,而相同的姿势可以导致虚拟汽车在?#19978;?#21516;的虚拟屏幕生成的虚拟游戏环境
中的碰撞。在具体实现中,配备有运动感觉控制设备的智能电话516被适配成控制每个家庭
自动化系统,包括但不限于娱?#20540;?#20803;536、恒温器和HVAC控件504、膝上型计算机508、台式计
算机510、电视532和冰箱534。

图6是检测三维(3D)感觉空间中的姿势的运动感觉控制设备600的一个实现。图
7A、7B和7C参考在单个壳体内封装为集成传感器的示例实?#36136;境?#20102;运动感觉控制设备700
的三种不同配置。在所有情况下,运动感觉控制设备700A、700B、700C包括顶部表面705、底
部表面707和跨越顶部表面705和底部表面707的侧壁710。还参考图7A,运动感觉控制设备
700A的顶部表面705包含用于?#24066;?#20809;到达相机102、104的一?#28304;?#21475;715,其中一个窗口与窗
口715、717中的每个窗口光学对准。如果系统包括光源108、110,则表面705可以包含用于将
光传递给被跟踪的(多个)对象的额外的窗口。在运动感觉控制设备700A中,源108、110位于
侧壁710上。理想地,运动传感器与侧壁710的表面齐平,使得运动传感器被布置成感测围绕
运动感觉控制设备700A的纵轴的运动。当然,运动传感器可?#28304;?#22312;装置内部的侧壁710凹
进,以便在可用封装空间内容纳传感器操作和放置,只要与运动感觉控制设备700A的外壳
耦合。在传感器700B中,源108、110位于接近底部表面707,再?#26410;?#20110;齐?#20132;?#20985;陷构造。运动
感觉控制设备700B(为了清楚起见在图中未?#22659;?的顶部表面包含如图7A所示的相机窗口
715。在图7C中,源108、110是经由插孔720连接至运动感觉控制设备700C的外部接触换能
器。该配置使得能够将运动传感器远离运动感觉控制设备700C定位,例如,如果与运动感觉
控制设备700C的封装?#24066;?#30340;相比,运动传感器被期望地进一步间隔远离。

在其他实现中,图1B的可移动传感器部件1B可以?#24230;?#22312;便携式(例如,头戴式显示
器(HMD)、可佩戴护目镜、手表计算机、智能电话等)或可移动(例如,自主机器人、材料运输、
汽车(人或机器驱动))设备中。图8A?#22659;?#20102;配备有运动感觉控制设备的智能电话800A的一
个实现。图8B?#22659;?#20102;?#24230;?#22312;智能电话的旋转相机800B中的运动感觉控制设备的一个实现。
图8C?#22659;?#20102;?#24230;?#22312;智能电话810的移动壳体814中的运动感觉控制设备812的一个实现
800C。图8D?#22659;?#20102;?#24230;?#22312;智能电话810的纵向移动壳体816中的运动感觉控制设备818的一
个实现800D。图8E?#22659;?#20102;?#24230;?#22312;智能电话820的横向移动壳体822中的运动感觉控制设备
824的一个实现800E。图8F?#22659;?#20102;?#24230;?#22312;计算机平板826的无键盘平板壳体828中的运动感
觉控制设备830的一个实现800F。图8G?#22659;?#20102;?#24230;?#22312;计算机平板832的平板壳体834中的运
动感觉控制设备836的一个实现800G。

图9?#22659;?#20102;通过数据线缆904外围地连接至智能电话902的运动感觉控制设备906
的一个实现900。在一个实现中,由运动感觉控制设备906收集的运动和感觉信息通过数据
线缆904被传?#36879;?#26234;能电话902。在另一实现中,由运动感觉控制设备906检测到的姿势被预
处理以减小所需要的带宽,并?#20197;?#22788;理的姿势经由通信信道?#29615;⑺透?#26234;能电话902。

运动捕获系统使用连接至一个或多个相机的计算设备来捕获用户、用户身体的一
部分(通常是用户的手中的一个或多个手)和/或对象在三维(“3D”)空间中的移动。一旦捕
获到移动,计算设备可以将移动解释为用户输入命令并且相应地更新计算机显示器。例如,
计算机显示器可以?#22659;?#29992;户的手的虚拟表示,并且在用户移动他的?#36136;备?#26032;该表示。在另
一示例中,计算机显示器可以?#22659;?#24403;用户的手移动时被操纵(例如,旋转或重新定尺寸)的
虚拟对象。

足够快地处理捕获图像序列以检测和特征化其中的对象(例如,在其轮廓方面)、
并且通过图像序列实?#22791;?#36394;它们的运动需要大量的计算资源,这当运动感觉控制设备被嵌
入在具有功率限制的智能电话中时是特别关注的。为了准确地实时或接近实时地跟踪运
动,运动捕获系统的(多个)相机通常以每秒至少15个图像帧的帧速率操作。在这样的高速
率下的图像获取需要显著的功率需求;?#35805;?#26469;说,?#29615;?#38754;在帧速率相关的精度与运动捕获
系统的响应之间以及另?#29615;?#38754;在帧速率相关的精度与功耗之间存在折?#28020;?#28982;而,功率要求
可能对如配备有运动感觉控制设备的智能电话的运动捕获系统的应用范围提出实际限制,
因为过度的功耗可能使其使用不切实际或在经济上不可行。因此,期望减少配备有运动感
觉控制设备的智能电话的功耗,优选地以不影响运动跟踪性能的方式。

这通过以下来实现:监测配备有运动感觉控制设备的智能电话的至少一个物理
和/或环境参数,并且响应于检测到物理和/或环境参数的变化超过规定的阈值而将智能电
话从一个操作模式自动地切换至另一操作模式,诸如高功耗模?#38477;降?#21151;耗模式。

手持模式

图10是当?#24230;?#24335;运动感觉控制设备直立并移动时将智能电话1002切换至手持操
作模式1000的一个实现。在一个实现中,智能电话1002包括陀螺仪、加速度计、?#38408;?#20256;感器
和/或其他这样的设备中的至少一个。当?#24230;?#26234;能电话1002中时,这些定向和加速度测量设
备可以生成一个或多个输出信号,如指示智能电话1002的物理定向的正交的x?#24119;轴和z轴
的三轴信号。在这样的实现中,当用户持有智能电话1002使得其面部接近在头部一侧处的
用户的耳朵时(如同传统的电话?#21482;?,并且其定向和加速度超过特定阈值时,?#24230;?#22312;智能
电话1002中的运动感觉控制设备被切换至手持操作模式1000。

广域模式

图11?#22659;雋说鼻度?#24335;运动感觉控制设备平放并静止时将智能电话切换至广域操
作模式1100的一个实现。如上所述,可以使用陀螺仪、加速度计、?#38408;?#20256;感器和/或?#24230;?#22312;智
能电话1002中的其它这样的设备中的至少一个来测量智能电话1002的定向和加速度,并且
将智能电话1002切换至广域操作模式1100。

跨房间模式

图12A描绘?#31169;?#26234;能电话1206切换至跨房间操作模式1200A的一个实现。在一个实
现中,当智能电话1206处于广域操作模式1200并且其?#24230;?#24335;运动感觉控制设备检测到姿势
1202时,将智能电话1206切换至跨房间操作模式。

模式间操作

在一个实现中,在配备有运动感觉控制设备的智能电话上节省电力包括标识智能
电话的操作模式。在一个示例中,当操作模式是“手持”时,推断用户处于电话对话中并?#20063;?br />打算使用?#24230;?#24335;运动感觉控制设备的姿势识别和解释能力。因此,在手持操作模式下,可以
降低或去激活?#24230;?#24335;运动感觉控制设备的识别和解释能力以节省电力。相反,当电话是“广
域”或“跨房间”操作模式时,可以增加或激活这样的能力。这通过调整?#24230;?#24335;运动感觉控制
设备的一个或多个图像获取参数和/或图像分析参数来实现。一旦被调整,通过智能电话的
运动感觉控制设备或其他传感器的图像数据的获取和/或分析符?#31995;?#25972;后的图像获取参数
和/或图像分析参数。在一些实现中,图像获取参数包括帧分辨率和帧捕获速?#21097;?#24182;且图像
分析参数包括分析算法和分析密度。

在一些其它实现中,“手持”操作模式可以发起姿势识别和解译能力以及如本申请
中稍后描述的“抗抖动”效果或“漂移补偿”模式。在其它实现中,结合运动感觉设备的照明
源的功率可以被定制用于长距离操作,例如,照明源可以被“选通”(例如施加脉冲)以在更
短的时间?#25991;?#25552;供强烈的照明?#29615;ⅲ?#20197;有效地在降低的功耗下提供更大的照明。

在各种实现中,?#24230;?#24335;运动感觉控制设备的操作被定制和理想地调节到智能电话
的一个或多个操作模式。?#35805;?#26469;说,图像由智能电话的一个或多个相机捕获并且存储在“帧
缓冲器”中——即,计算机存储器的?#26234;?#25110;专用段,其将数字图像存储为图像点或“像素”的
有序阵列。运动感觉控制设备可以包括图像分析算法的集合,其在图像中定位与所记录的
场景中的对象(例如,用户的移动的手)相对应的像素组或区域。数字图像具有大小(以像素
为单位)和分辨?#21097;?#24182;且图像分析算法得到图像输入并且将其处理成定义图像中的对象及
其从图像到图像的移动的输出。一旦确定了智能电话的操作模式,就选择合适的(并且理想
地适当的)参数组合,参数组合规定例如图像的特性、它们的获取速率以及图像分析算法如
?#26410;?#29702;它们使得提供充分的总体性能。

图12B描绘了根据所公开的技术的实现的运动捕获和图像分析中涉及的基本操作
和功能单元1200B。如图12所示,(多个)相机1200记录场景的数字图像1210。每个数字图像
?#19978;?#20851;联的相机的图像传感器捕获作为像素值阵列,并且数字图像——以“原始?#22791;袷交?#22312;
传统的预处理之后——被传?#36879;?#19968;个或多个帧缓冲器1215。帧缓冲器是?#36164;源?#20648;器的分
区或专用段,其存储与如由记录图像的像素值的相机1200输出的图像的像素?#36842;?#23545;应的
“位图”图像帧1220。位图通常在概念上被组织为网格,其中每个像素被一对一?#25104;?#25110;以其
它方?#25509;成?#21040;显示器的输出元件。然而,应当强调,存储器单元如何在帧缓冲器1215内在物
理上被组织的拓扑并不重要,并?#20063;?#38656;要直接符合概念组织。

?#35805;?#25324;在系统中的帧缓冲器的数?#23458;?#24120;?#20174;?#30001;分析系统或模块1230同时分析的
图像的数量,这将在下面更详细地描述。简要地,分析模块1230分析图像帧1220的序列中的
每个图像帧中的像素数据,以定位其中的对象并且跟踪它们随时间的移动(如1240所示)。
该分析可以采取各?#20013;?#24335;,并且执行分析的算法指示如?#26410;?#29702;图像帧1220中的像素。例如,
由分析模块1230实现的算法可以逐行地处理每个帧缓冲器的像素——即,连续地分析像素
网格的每行。其他算法可以分析列、平铺区域或其他组织格式的像素。

这些操作必然是计算密集型的;所公开的技术的方法是,根据负责的部件确定整
个智能电话的能力,并且定制图像分析以适应电话限制同时遵守最低性能要求。参考智能
电话(其建立计算能力)的代表性实现和图像分析算法(其执行可以响应于系统能力限制而
改变)来最好地理解该方法。

在各种实现中,在一系列相机图像中捕获的运动用于计算相应的一系列输出图像
用于在显示器308上显示。例如,移动的手的相机图像可以被处理器132转换?#19978;?#26694;或对手
的其它图形描绘。备选地,手的姿势可以被解释为用于控制单独的视觉输出的输入;通过示
例的方式,用户能够使用向上或向下滑动姿势来“滚动”当前显示的网页或其他文档,或者
打开和关闭她的手以放大和缩小页面。在任何情况下,输出图像通常以像素数据的形式存
储在帧缓冲器(例如帧缓冲器1205中的一个)中。视?#36842;?#31034;器控制器读出帧缓冲器以生成数
据流和相关联的控制信号以将图像输出给显示器138。视?#36842;?#31034;器控制器可以与计算机
100B的主板上的处理器132和存储器134一起提供,并且可以与处理器132集成或者实现为
协处理器,协处理器操纵单独的视频存储器。如上所述,计算机100B可以配备有辅助生成用
于显示器138的输出图像的馈送的单独的图形或视频卡。视频卡通常包括图?#26410;?#29702;单元
(GPU)和视频存储器,并且具体地对于复杂和计算昂贵的图像处理和绘制是有用的。图形卡
可以包括帧缓冲器和视?#36842;?#31034;器控制器的功能(并且可以禁用板载视?#36842;?#31034;器控制器)。通
常,系统的图像处理和运动捕获功能可以以各种方式分布在GPU与主处理器132之间。

下面以及更详细地在2012年3月7日提交的美国专利申请第13/414,485号和2013
年1月16日提交的美国专利申请第13/742,953号以及2012年11月8日提交的美国临时专利
申请第61/724,091号中描述运动捕获程序335的合适算法,这些申请的全部内容由此通过
引用被合并于此。各种模块可以用任何合适的编程语言来编程,包括但不限于诸如C、C++、
C#、OpenGL、Ada、Basic、Cobra、FORTRAN、Java、Lisp、Perl、Python、Ruby或Object Pascal等
高级语?#28020;?#25110;低级汇编语?#28020;?br />

在一个实现中,操作相机102、104以收集对象114的图像序列。图像是时间相关的,
使得来自相机102的图像可以与在相同时间(或在?#36127;?#31186;内)捕获的来自相机104的图像配
对。然后,这些图像由图像分析模块1230分析;具体地,对象检测例程检测图像中的一个或
多个对象的存在,并且对象分析例程分析检测到的对象以确定它们在3D空间中的位置和形
状。在一些实现中,分析例程考虑通过相机的3D空间视场的2D横截面的堆叠。这些横截面在
本文中称为“切片?#34180;?#20999;片可以是任?#32441;?#38754;,其至少部分在相机102、104的视场中。出于运动
捕获分析的目的,可以在视场中以规则的间隔来选择切片。例如,如果接收到的图像包括固
定数量的像素行(例如,1080行),则每行可以是切片,或者行的子集可以用于更快的处理。
在使用行的子集的情况下,来自相邻行的图像数据可以例如以两个或三个的组一起被平
均。

?#35805;?#26469;说,如图12C所示,xy平面中的椭圆可以由五个参数来特征化:中心的x和y
坐标(xC,yC)、半长轴(a)、半?#35752;?b)和旋转角度(θ)(例如,半长轴相对于x轴的角度)。只有
四个切线,椭圆是欠定的。然而,尽管如此已经开发了用于估计椭圆的有效过程1200C。在如
下所述的各种实现中,这涉及做出关于参数之一的初始工作假定(或?#23433;?#27979;”),并且在分析
期间收集到额外的信息时重新访问假定。该额外的信息可以包括例如基于相机和/或对象
的属性的物理限制。

在一些实现中,对象的多于四个切线可以对于一些或所有切片可用,例如,因为多
于两个有利点是可用的。仍然可以确定椭圆形横截面,并且在一些情况下过程在?#25345;?#31243;度
上被简化,因为不需要假定参数值。在一些情况下,额外的切线可以产生额外的复?#26377;浴?#22312;
一些实现中,对象的少于四个切线可以对于一些或所有切片可用,例如,因为对象的边缘在
一个相机的视场的范围之外,或者因为未检测到边缘。可以分析具有三个切线的切片。例
如,使用来自拟合于(fit to)相邻切片(例如,具有至少四个切线的切片)的椭圆的两个参
数,足够确定可以求解的椭圆和三个切线的方程组。作为另一选择,圆可以拟合于三个切
线;在平面中定义圆仅需要三个参数(中心坐标和半径),因此三个切线足以拟?#26174;病?#20855;有少
于三个切线的切片可以被丢弃或与相邻切片组合。

在一些实现中,单独地分析若干个切片中的每个切片以确定该切片中的对象的椭
圆形横截面的大小和位置。这提供了初始3D模型(具体地,椭圆形横截面的堆叠),其可以通
过跨不同切片使横截面相关而被细化。例如,期望对象的表面将具有连续性,并且因此不连
续的椭圆可以被忽略(discount)。可以通过例如基于与运动和变形的连续性相关的期望使
3D模型与其自身在时间上相关来获得进一步的细化。

配备有运动感觉控制设备的智能电话的操作模式可以根据性能数据库中的条目
来确定提供给图像分析模块1230的数据的粗糙度、其分析的粗糙度或这二者。例如,在广域
操作模式1100期间,图像分析模块1230可以对每个图像帧以及对帧内的所有数据进行操
作,能力限制可以规定对减少的每帧的图像数据量(即,分辨率)的分析或一些帧的丢弃。如
果每个帧缓冲器1205中的数据被组织为数据线序列。从分析中丢弃数据的方式可以取决于
图像分析算法或运动捕获输出的用?#23613;?#22312;一些实现中,以对称或均匀的方式丢弃数据——
例如,每隔一行、每三?#26800;?#20002;弃直到图像分析算法或利用其输出的应用的容许限。在其他实
现中,丢弃线的频率可以朝向帧的边缘增加。可以改变的其他图像获取参数包括帧大小、帧
分辨率和每秒获取的帧数。具体地,可以通过例如丢弃边?#36842;?#32032;或通过重新采样到?#31995;?#30340;
分辨率(并且仅利用帧缓冲器能力的一部分)来减小帧大小。与图像数据的获取相关的参数
(例如,大小和帧速率和特性)被统称为“获取参数?#20445;?#32780;与图像分析模块1230的操作相关的
参数(例如,在定义对象的轮廓时)被统称为“图像分析参数?#34180;?#19978;述获取参数和图像分析参
数的示例仅是代表性的,而不是限制性的。

获取参数可以应用于相机1200和/或帧缓冲器1205。相机1200例如可以响应于操
作相机102、104来以命令的速率获取图像时的获取参数,或者可?#28304;?#26367;地限制(每单位时
间)传递给帧缓冲器1205的所获取的帧的数量。图像分析参数可以应用于图像分析模块
1230作为影响轮廓定义算法的操作的数值量。

适合于给定水平的可用资源的获取参数和图像分析参数的期望值可以例如取决
于图像分析模块1230的特性、利用mocap输出的应用的性质、以及设计偏好。虽然一些图像
处理算法能够在宽范围上针对输入帧分辨?#25910;壑月?#24275;逼近的分辨?#21097;?#20294;是其他算法可能根
本不表现出很大的容忍性——例如需要最小图像分辨?#21097;?#22312;该最小图像分辨率以下算法完
全失败。

配对模式

图13?#22659;雋私?#26234;能电话1302切换至配对操作模式1300的一个实现。在这样的实现
中,当智能电话1302平放并静止时,设备(1304、1306、1308、1310、1312、1314)和智能电话
1302可以使用?#22534;?#25216;术来在智能电话1302与所发现的设备中的所选择的设备之间建立通
信信道。这通过交换设备标?#35835;?#29260;来实现,设备标?#35835;?#29260;在如图13中?#22659;?#20026;1330的它们各
自的发?#20013;?#26631;中包括数据有效载荷。在一些实现中,?#22534;?#25216;术可以包括标识阶段和配对阶
段。在标识阶?#32441;?#38388;,智能电话1302可以设置跳?#20302;及福?#35774;备(1304、1306、1308、1310、1312、
1314)可以将其信号与该跳?#20302;及?#21516;步。在配对阶段中,设备(1304、1306、1308、1310、1312、
1314)和智能电话1302可?#28304;?#36755;低功?#35782;?#36317;离RF信号和广播设备身份令牌。备选地,可以在
无连接模式下接收和处理设备标?#35835;?#29260;而不进?#20449;?#23545;。

漂移补偿模式

所公开的技术的实现可以应用于确定相对于与一个或多个光学、声学或振动传感
器相关联的可移动或移动的参考系行进的对象的路径。有利地,一些实现可以使得姿势识
别能够用于智能电话中。该能力使得用户能够通过使用智能电话与真实世界或虚拟对象进
行虚拟化或真实世界接触来执行直观姿势,同时通过将对象的运动与智能电话自身的运动
区分开来补偿智能电话的抖动运动以便支持正确的姿势识别。

图14A?#22659;雋私?#26234;能电话切换至漂移补偿操作模式1400A的一个实现。具体地,图
14A?#22659;?#20102;根据所公开的技术的一个实现的用于捕获图像数据的系统。在一个实现中,姿势
识别系统100A优选地被结?#31995;?#26234;能电话1430或其他类型的便携式设备中。

图14B?#22659;?#20102;根据所公开的技术的从虚拟环境1400B启用的设备的用户的角度看
的对象的视在移动。图14B?#22659;?#20102;在两个不同时间观察视场1413的设备1410的用户的两个
视图。如框1401所示,在初始时间t0,用户在特定初始位置使用设备1101观?#35789;?#22330;1113a以
观看区域1413a。如框1402所示,设备1410向用户呈现包括特定姿势的对象1414(剪刀)的设
备视场1413a的显示。如框1403所示,随后在时间t1,用户已经重新定位了设备1410。因此,
在框剪刀1404中?#22659;?#30340;视场1413b中的对象1414的视在位置已经从视场1413a中的对象
1414的视在位置发生改变。即使在剪刀1414未在空间中移动的情况下,由于设备的位置变
化,用户看到剪刀1414的视在移动。

图15?#22659;?#20102;根据所公开的技术的从虚拟环境1500启用的设备的用户的角度看的
对象的视在移动。如框剪刀1502所示,设备1410在时间t0呈现的视场1413a包括对象1414。
在时间t0,已知在时间t0被跟踪对象1414相对于设备参考系1420a的位置和定向。如框1504
所示,在时间t1,设备参考系1420b和被跟踪对象1414二者的位置和定向已经改变。如框
1504所示,设备1410在时间t1呈现的视场1413b包括处于新的视在位置的对象1414。因为设
备1410已经移动,所以设备参考系1420已经从原始或开始设备参考系1420a移动?#38477;?#21069;或
最终参考系1420b,如变换T所示。?#26723;?#27880;意的是,设备1410可以旋转以及平移。实现可以提
供感测参考系1420b相对于参考系1420a的位置和旋转,并且感测在时间t1被跟踪对象1414
相对于1420b的位置和旋转。实现可以根据参考框架1420b相对于参考框架1420a的感测的
位置和旋转、以及被跟踪对象1414相对于参考框架1420b的感测的位置和旋转来确定被跟
踪对象1414相对于1420a的位置和旋转。

在实现中,确定将虚线参考系1420a移动?#38477;?#32447;参考系1420b的变换RT。应用逆变
换-RT使得点线参考系1420b位于虚线参考系1420a上。然后,被跟踪对象1414将从虚线参考
系1420a的视角来?#21019;?#22312;正确的位置。在确定对象1414的运动时,系统100A可以通过在计算
上分析?#19978;?#26426;102、104捕获的图像和由运动感觉控制设备600捕获的运动信息来确定其位
置和方向。例如,使用?#24459;?#21464;换将对象上的任何点(在3D空间中)在时间t
=t1时的视在位置转换为对象上的点在时间t=t1时的真实位置:被跟踪对象上
的点相对于设备参考系1420a在时间t=t1时的正确位置由等式(1)给出:



获得?#24459;?#21464;换R(根据轴单位矢量u=(ux,uy,uz)、旋转角θ)方法的一种传统的方
法。维基百科,在http://en.wikipedia.org/wiki/Rotation_matrix,根据轴和角的旋转矩
阵,在2014年1月30日,20:12UTC,计算方程(2)至少部分地基于其而被启发:



在另一示例中,可以使用?#24459;?#21464;换将对象在时间t=t1时的视在
定向和位置、?#24459;?#21464;换转换为对象在时间t=t1时的实际定向和位置
被跟踪对象在时间t=t0时相对于设备参考系(1420a)的正确定向和
位置由等式(3)给出:





在又一示例中,可以使用?#24459;?#21464;将对象在时间t=t1时的视在定
向和位置、?#24459;?#21464;换转换为对象在时间t=t1时的实际定向和位置
此外,可以使用?#24459;?#21464;换来确定初始参考系相对于在
空间中(典型地)固定的参考点的位置和定向。被跟踪对象在时间t=t0时相对于设备参考
系(1420a)的正确定向和位置由等式(4)给出:





近场通信

图16?#22659;?#20102;在普适计算环境中通过超短距离通信信?#26469;?#24322;构电器广播设备身份
令牌的一个实现1600。在一些实现中,设备(1604、1606、1608、1610、1612、1614)和智能电话
1616可以使用近场通信(NFC)用于超短距离通信,并且使用在设备(1604、1606、1608、1610、
1612、1614)与智能电话1616之间的简单敲击来代替?#22534;?#25216;术的标识阶段。在NFC的情况下,
设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以包括天线,天线用作变压器
的绕组以生成用于广播设备身份令牌(1、2、3、4、5、6)的高功?#39135;?#30701;距离RF信号。在其他实
现中,设备身份令牌(1、2、3、4、5、6)中可以包括射?#24403;?#35782;符(RFID)或NFC标识符,其由设备
(1604、1606、1608、1610、1612、1614)传输给智能电话1616。RFID或NFC标识符可以由集成在
智能电话1616中的RFID或NFC读取器来接收或读取。

在一些实现中,设备(1604、1606、1608、1610、1612、1614)和智能电话1616可以经
由接入点(AP)通过Wi-Fi参与无线局域网(WLAN),该接入点在中距离区域上广播可用的Wi-
Fi信号。响应于由设备(1604、1606、1608、1610、1612、1614)和智能电话1616发起的基于媒
体访问控制(MAC)地址的地?#26041;?#26512;协议(ARP)扫描,AP可以生成连接至它的设备的列表及其
MAC地址、名称、格式、Internet协议(IP)等。

在一些实现中,可以以条形码的形式(诸如快速响应(QR)码)来生成设备标?#35835;?br />牌。QR码可以以电?#26377;?#24335;存储在智能电话1616中和/或进一步被打印/标记/贴附。然后可以
在附加至设备(1604、1606、1608、1610、1612、1614)的RFID读取器或扫描器上扫描QR码。在
其他实现中,QR码可以是指向包括关于用户定制饮料配方的信息的网站或网页地址的可扫
描URL。

当设备(1604、1606、1608、1608、1610、1612、1614)和智能电话1616彼此在物理上
接近时,诸如?#22534;馈?#36817;场通信(NFC)、RFID、Z-Wave、ZigBee等短距离通信系统可以在设备
(1604、1606、1608、1608、1610、1612、1614)与智能电话1616之间建立对等(P2P)连接。在P2P
连接期间,设备(1604、1606、1608、1610、1612、1614)和智能电话1616当在彼此的传输范围
内时,广播设备身份令牌。在P2P无源或无连接模式下,设备之一可以发起广播,而其他设备
可以作为接收器而不进?#20449;?#23545;。在P2P活动模式下,其中设备被配对或已经建立了连接,两
个设备(1604、1606、1608、1610、1612、1614)和智能电话1616可?#28304;?#36755;和接收身份设备身份
令牌(1、2、3、4、5、6)。

诸如Wi-Fi的WLAN可以使用中距离信号将设备(1604、1606、1608、1610、1612、
1614)和智能电话1616连接至AP。在WLAN连接期间,设备(1604、1606、1608、1610、1612、
1614)和智能电话1616可以以广播(无连接)或连接模式操作。在广播模式下,可以假定连接
至共享AP的广播设备(1604、1606、1608、1610、1612、1614)和智能电话1616非常接近。令牌
可以例如?#36824;?#25773;给MAC地址或所定义的网段范围的另一MAC或IP地址。广播给MAC地址由
IPv4和IEEE 802.11支持。在IPv6中,多播代替广播。令牌可以?#24230;?#22312;识别的广播消息类型
中。广播协议的一个示例是互联网控制消息协议,其在IPv4和IPv6二者中实现。可以使用各
种类型的ICMP消息或从类型代码的保留范围中选择新的类型。由IPv4支持的广播协议的另
一示例是地?#26041;?#26512;协议(ARP)。查询消息可以用于扫描WLAN段。根据对查询的响应,可以编
译连接的设备的唯一媒体访问控制(MAC)地址的列表。在IPv6中,邻居发?#20013;?#35758;(NDP)规定
可以被适配用于传输身份令牌信息的各种多播消息类型。当设备(1604、1606、1608、1610、
1612、1614)和智能电话1616可以广播ARP消息或设备身份令牌(1、2、3、4、5、6)时,AP可以将
广播转发给其他连接的设备。在一些实现中,覆盖单个位置(诸如大型会议室)的多个AP可
以作为组进行中继广播,或者可以被视为单个AP。

基于接近的选择

图18是?#22659;?#22522;于设备的接近水平在普适计算环境1800中选择设备的一个实现的
一个实现。在一些实现中,可以设置阈值或超时限制以帮助智能电话1802聚合由连续接收
到相同的设备身份令牌而导致的连接事件。在由接收到多个设备身份令牌而导致的聚合的
连接事件中,具有更高计数、更长时间戳读数或更大接收信号强度指示(RSSI)的设备身份
令牌可以指示两个设备的?#20013;?#21644;紧密接近。

RSSI

在一个实现中,接近度水平是基于设备(1804、1806、1808、1820、1822、1824)的
RSSI(1814、1816、1818、1830、1812、1834)来计算的。在一些实现中,基于智能电话1802与设
备(1804、1806、1808、1820、1822、1824)之间的传输的?#20013;?#26102;间来测量RSSI。在由接收到多
个设备身份令牌而导致的聚合的连接事件中,具有更高计数或更长时间戳读数的设备身份
令牌可以指示两个设备的?#20013;?#21644;紧密接近。

聚合可以在智能电话1802和设备(1804、1806、1808、1820、1822、1824)或这两者上
执行。例如,智能电话1802和设备(1804、1806、1808、1820、1822、1824)可以聚合接收到的设
备身份令牌以确定时间戳?#20013;?#26102;间。在一些实现中,在预设的时间窗口内没有从广播设备
接收到设备身份令牌可以导致接收设备关闭并总结连接事件。在没有接收到另外的设备身
份令牌的情况下在超时?#20013;?#26102;间之后,智能电话1802和设备(1804、1806、1808、1820、1822、
1824)可以在存储器中存储所收集的设备身份令牌的批量和相关联的元数据,包括时间戳
?#20013;?#26102;间和RSSI值。智能电话1802和设备(1804、1806、1808、1820、1822、1824)可以基于收
集的设备身份令牌的数量和相关联的元数据值来将传输的质量指示为“强”或“平均?#34180;?#24191;播
的质量可以指示广播设备的紧密接近,并且用于计算接近度。

位置信息

图19描绘了基于设备的位置信息在普适计算环境1900中选择设备的一个实现。根
据一些实现,智能电话1916和设备(1904、1906、1908、1912、1910、1914)的位置信息可以用
于确定它们之间的接近水平。在一些实现中,耦合至在智能电话1916和设备(1904、1906、
1908、1912、1910、1914)上运行的相应处理器的位置数据收发器和网络适配器可以生成对
应的位置数据(d、d1、d2、d3、d4、d5)。在一些实现中,可以使用实时GPS或GNSS报告来计算该
位置数据。

在一些实现中,当智能电话1916在设备(1904、1906、1908、1912、1910、1914)的传
输范围内时,物理接近事件可以自动地创建并且存储在智能电话1916的存储器单元中。物
理接近事件的创建可以在智能电话1916的位置与设备(1904、1906、1908、1912、1910、1914)
的位置匹配时触发。在其他实现中,其可以在智能电话1916与设备(1904、1906、1908、1912、
1910、1914)之间发起对等通信时创建。

在一个实现中,通过根据有序扫描模式利用来?#28304;?#36755;区域的发射进行普适计算环
境1900的扫描来确定设备(1904、1906、1908、1912、1910、1914)的位置信息。扫描可以是连
续的或不连续的。可以接收发射以基于在设备(1904、1906、1908,1912,1910,1914)处的随
时间变化的发射的至少一个突出属性(例如,强度、幅度、频率、极化、相位或其他可检测特
征)来形成信号。关于有序扫描模式的同步信息(例如,在从发射器看来在已知时间在空间
中的已知点处的总和发射的特定角度)可?#28304;?#28304;(例如,发射本身、发射的分量(即,?#26377;?#36947;
等)、单独广播的第二信号、社交媒体共享、其他,和/或其组合)来导出。可以建立信号的至
少一个特性与同步信息之间的对应关系。可以至少部分地基于该对应关系来确定位置信
息。

在一个实现中,通过确定一些信号特性(例如,强度对时间信号中的双峰)对应于
同步“啁?#34180;?即,最近的同步最大?#26723;?#26368;近的同步啁?#22791;?#20986;在0-360度之间的某个数字)来
建立对应关系。

在另一实现中,通过将对应关系(例如,从0到360的某个度数)转换成关于发射器
的角位置来导出位置信息。

在一些实现中,普适计算环境1900中的一个或多个发射器可以被选择性地被?#31995;?br />(例如一?#25105;?#20010;、成组地、顺序地或根据一些模式),被脉冲,被叠象渐变或其任何组合以有
利地“扫描”普适计算环境1900。扫描可以包括数字脉冲、幅度或强度的连续变化、或其任何
组合。扫描可以包括排序,使得感兴趣的场中的不同区域从对应于扫描模式的排序的传输
区域接收特征发射。在一个实现中,有序扫描模式中的发射的排序?#20174;场?#23450;时?#20445;?#20854;可以包括
但不一定限于发生某些发射的时间。接近感兴趣对象的接收器捕获发射(例如,无线电天
线、麦克风、光电二极管、CCD阵列和/或CMOS阵列和/或能够将接收到的发射的突出特征随
时间转换成电流或电压的其它类型的设备和/或其组合)作为随时间的信号。可以使用同步
方法来获得关于有序扫描模式的定时的信息。可以使用?#24067;?#25110;软件机制来将定时信息与随
时间的信号相比较并且提取位置信息。

将姿势无响应的设备转换为姿势响应

传统上,用户已经经由间接输入设备(包括例如键盘、操纵杆、或遥控器)与电子设
备(诸如计算机或电视)或计算应用(诸如计算机游戏、多媒体应用或办公应用)交互。用户
操纵输入设备以执行特定操作,诸如从操作?#35828;?#20013;选择特定条目。然而,现代输入设备包括
通常具有复?#20248;?#32622;的多个按钮,以支持用户命令?#38477;?#23376;设备或计算应用的通信;这些输入
设备的正确操作对于用户通常是挑战性的。另外,在输入设备上执行的动作通常不以任何
直观的意义对应于例如由设备控制的屏幕显示器上的所得变化。输入设备也可能丢失,并
且搜索错误地放置的设备的频繁的经验已经成为现代生活的挫折。

直接在用户控制的设备上实现的触摸屏已经避免了对单独的输入设备的需要。触
摸屏检测由用户的?#31181;?#25110;其他对象在显示屏上执行的“触摸”的存在和位置,使得用户能够
通过简单地触摸屏幕的适当区域来输入期望的输入。虽然适合于诸如平板计算机和无线电
话的小型显示设备,但是触摸屏对于用户从远处观看的大型娱乐设备是不切实际的。特别
是对于在这样的设备上实现的游戏,电子制造商已经开发了检测用户的移动或姿势并且使
得显示器以上下文相关的方式进行响应的系统。可以使用光学?#19978;?#31995;统来检测用户的姿
势,并且通过合适的计算资源来特征化和解释用户的姿势。例如,TV附近的用户可以执行滑
动手部姿势,其由姿势识别系统检测;响应于检测到的姿势,TV可以激活并且在屏幕上显示
控制面板,以使得用户能够使用随后的姿势在其上进行选择;例如,用户可以沿“上”或“下”
方向移动她的手,这再次被检测和解释以支?#21046;档?#36873;择。

尽管这些姿势识别系统已经生成了大量的消费者刺激,习惯于传统输入设备的用
户必须放弃熟悉的交互模式,以支持具有其自己的命令和响应的“词汇”的新模式。实际上,
姿势词汇可?#36816;?#31995;统而变化。特别是对于传统应用——诸如web浏览器和文字处理器,其操
作?#29616;匾览?#20110;熟悉的控制器——消费者对采用基于姿势的控制的抵制可能是相当大的。

因此,需要一种姿势识别系统,其以类似于传统的控制设备的行为的方式进行响
应,并且理想地响应于用户对构?#19978;?#20284;性的内容的感知。

所公开的技术总体上涉及使用配备有运动感觉控制设备的智能电话来与缺乏姿
势响应的设备进行姿势交互。本发明还涉及使用姿势来控制显示器。具体地,本发明涉及检
测标准输入设备,标准输入设备响应于使用标准输入设备执行的控制操纵而在显示器上引
起屏幕上动作。此外,标识类似姿势库,其包括类似于控制操纵并且还响应于控制操纵而导
致屏幕上的动作的姿势。因此,当检测到来自类似姿势库的姿势时,生成模仿来自标准输入
设备的标准信号并且引起至少一个屏幕上动作的信号。

所公开的技术的实现还涉及识别姿势并?#19994;?#33268;在直观水平上模仿传统输入设备
的行为的屏幕上行为的方法和系统。认识到不同的个体可以将不同的姿势等同于传统的输
入设备操纵,所公开的技术的实现理想地(尽管不一定)?#24066;?#29992;户定义这些姿势和所采取的
相关联的动作。根据此的实现可以在视觉上通过对象识别或通过查询操作系统以确定什么
设备被连接来检测传统的输入设备的存在。该确定驱动姿势控制范例——即,基于在监测
空间内观察到的运动而响应地遵循的所采取的动作或(多个)规则,并且其通常将姿势与显
示的屏幕内容的操纵相关联。姿势控制范例也可以基于当前活动的应用。例如,如果用户正
在玩专门被开发用于姿势交互的游戏,则鼠标的存在将被忽略;但是如果用户正在浏览
web,则可以遵循鼠标类似的控制范例。

因此,所公开的技术的实现实际上可以“到达”设备驱动器和显示器之间。例如,使
用文字处理程序的用户将期望在屏幕上看到光标和控制箭头。感测鼠标的存在和文字处理
器的使用的所公开的技术的实现可以加载保持光标和控制箭头的屏幕上存在的姿势控制
范例,并且将用户姿势与鼠标操作相关联。在一些实现中,用户可以定义姿势词汇——选择
例如对应于鼠标左点击、?#19994;?#20987;等的姿势。系统还可以?#24066;?#29992;户关闭姿势识别和释放控制
回到鼠标驱动器。类似地,系统可以响应于有意识的姿势以通过姿势识别来覆盖输入设备
驱动器。

在一些实现中,可以将用户的手(或基于用户的手)的?#21271;?#25110;其他表示插入到显示
器中,作为传统控制图形的替代或增强它们。例如,用户的手的?#21271;?#21487;以替代在ADOBE和其
他应用中使用的传统手的图标,并且以类似的方式表现(在由抓取、移动等引起的屏幕上动
作方面)。备选地,手的?#21271;?#21487;以“?#31243;?#21040;在屏幕上移动的传统图标,诸如箭头或光标,以跟
随用户在空间中的手的移动——实际上,用户的空间手的移动取代了传统鼠标的相应移
动。

?#31181;?/u>

在其他实现中,用户可以使用图24中所示的“操控手”2414方法2400来修改他们的
手的?#21271;?#25110;其他表示。在一个实现中,用户可以定义他们的手的?#21271;?#30340;“皮肤?#34180;ⅰ?#34920;面外观”
和/或“骨架或结构?#20445;?#20197;便创建额外的人类四肢,诸如猫的爪子、僵尸的?#21482;?#28023;盗的钩子。在
一个实现中,可以操纵所检测的手的获取的数据。例如,所获取的手的数据中的“方向”数组
描述从手掌位置指向?#31181;?#30340;方向单位向量。此外,“手掌位置”数组用作x、y、z格式的中心。
“可指向”数组用作可指向对象的列表,诸如?#31181;?#21644;工具(?#30465;?#28216;乐场的枪)。此外,“可指向”
对象的“方向”数组描述?#31181;?#25110;工具指向的方向单位向量。用户可以操纵一个或多个这样的
数组?#28304;?#24314;与其他真实或虚拟对象交互的用户的手的操控?#21271;?#25110;表示(例如2416)。

在另一示例中,在包括像会议室中的呈现电视一样缺乏姿势响应的传统设备的普
适计算环境中,配备有运动感觉控制设备的智能电话可以用于从用户接收姿势命令,以及
将运动和感觉数据从智能电话转发给呈现电视,如下所述。

图20?#22659;?#20102;与缺乏姿势响应的设备进行姿势交互的一个实现2000。参考图20,在
操作中,图像分析系统106操作相机102、104以捕获视场112中的至少一个图像。图像可以包
含对象114,对象114可以是用户的身体部分2002和/或输入设备2004(诸如遥控器、键盘或
PC鼠标)。在一些实现中,对象检测模块152分析所捕获的图像以检测其中的对象的边缘和/
或关于对象的位置的其他信息;随后,对象/路径分析模块154分析由对象检测模块152提供
的对象信息,以确定对象的3D形状、大小和/或位置。姿势识别模块156可以使用传统的比较
算法(诸如数据库查找)将检测到的对象114与电子地存储在对象数据库2014中的参考图像
或对象模板相比较。(如本文中使用的,术语“电子地存储”包括在?#36164;?#24615;或非?#36164;源?#20648;装
置(后者包括磁盘、闪存等)中的存储,并且扩展到任何计算上可寻址的存储介质(包括例如
光学存储装置)。)对象数据库2014可以例如在系统100B的存储器134、大容量存储设备中或
在外部存储系统2016上实现。

在一个实现中,在将检测到的对象114与数据库2014中的对象模板匹配时,姿势识
别模块156将匹配报告给显示逻辑162。?#19978;?#31034;逻辑执行的初始任务是获得与要控制的系统
(或者是系统100B,或者在系统100B本身用于向诸如游?#25151;?#21046;台、“智能”电视或计算机的单
独设备2018提供输入的情况下,则为该设备)相关联的输入设备的清单(inventory);下文
中,将响应于用户姿势的设备统称为“受控设备?#34180;?#26174;示逻辑通过以下方式来获得该清单:查
询操作系统以确定什么输入设备当前连接至受控系统;确定由姿势识别模块156识别和报
告的任何对象是否是输入设备;或这两者。例如,如果连接至受控系统的输入设备在视场
112之外,则显示逻辑可以忽略它。

姿势识别模块156可以响应于对象检测模块152,并且仅评估其移动可能被预期作
为姿势的对象(例如,视场112内的主导对象、首先检测到的移动的对象、被识别为用户的手
2002的对象、?#31181;?#31561;)的移动。一旦识别出产生姿势的对象,则之后可以由姿势识别模块158
通过?#19978;?#26426;102、104捕获的一系列时间顺序图像以便识别姿势。如下面更详细地讨论的,检
测到的姿势用于控制在受控系统上运行的应用。姿势识别模块158可以结合基于3D模型
(即,体积或骨架模型)、使用人体或姿势相关的身体部位的简化表示的简化骨架模型、或基
于例如姿势相关的身体部位的可变形模板的基于图像的模型的算法来使用。对于关于视觉
手部姿势识别的额外的背景信息,可以参考例如Gesture-Based Communication in
Human-Computer Interaction(Springer 1999)中的Wu等人的“Vision-Based Gesture
Recognition:A Review?#20445;籌EEE Trans.Pattern Analysis and Machine Intelligence(19
(7):677-695,1997年7月)的Pavlovic等人的“Visual Interpretation of Hand Gestures
for Human-Computer Interaction:A Review?#34180;?#21487;以使用传统的方法或专用于应用的方法
来执行图像分析(包括3D空间中和实时的对象检测、对象分析和对象识别)(参见例如,2013
年1月16日提交的美国序列号13/742,953,其全部公开内容由此通过引用被合并)。

因此,姿势识别模块158通过将检测到的姿势与数据库2032中的姿势库相比较来
标识用户的姿势,数据库2032再次可以在图像分析系统106、电子设备2018中或在外部存储
系统2016上实现。例如,姿势可以被存储为向量,即,数学上规定的空间轨迹,并且姿势记录
可以具有指定进行姿势的用户身体的相关部分的字段;因此,由用户的手和?#20998;?#34892;的类似
轨迹可以作为不同的姿势存储在数据库2032中,使得应用可以不同地解释它们。通常,将所
感测的姿势的轨迹与存储的轨迹进行数学比较以?#19994;?#26368;佳匹配,并且只有在匹配度超过阈
值时,姿势才被识别为对应于所定位的数据库条目。向量可以被缩放,使?#32654;?#22914;由用户的手
所跟踪的大和小弧将被识别为相同的姿势(即,对应于相同的数据库记录),但是姿势识别
模块将返回身份和姿势的?#20174;?#27604;例的值。该比例可以对应于在执行姿势时所经过的实际姿
势距离,或者可以被标准化为?#25345;?#35268;范距离。

虽然姿势可以用于很多控制和绘制目的,但是本讨论主要涉及它们在控制例如受
控设备2018的屏幕2022上采取的动作时的使用。具体地,姿势识别模块158包含将模板姿势
关联?#25509;上?#31034;逻辑(或至少视场112内的显示设备)标识的所有活动输入设备执行的动作的
记录。例如,假定所标识的对象2004是连接至受控设备2018的传统的PC鼠标。与鼠标2004相
关联的驱动器支持?#19994;?#20987;、右双击和左点击命令等。因此,姿势识别模块158确保数据库
2032包含对应于这些命令的存储的记录——即,对于每个命令,包含以下各项的记录:(i)
对应于命令的姿势模板和(ii)对复制鼠标2004将产生的命令信号的输出信号进行编码的
比特(例如,脉冲序列)。如果?#19994;?#36825;样的记录,则显示逻辑可以确定这些姿势是否将覆盖鼠
标驱动器,如下所述。如果没有?#19994;?#30456;应的记录,则将提示用户执行姿势并且将其与鼠标功
能相关联。具体地,姿势识别模块158可以使控制面板2034绘制在屏幕2022上。控制面板
2034?#22659;?#21015;出与鼠标驱动器相关联的命令的表格。用户顺序地选择条目中的一个条目并且
为其分配姿势。在一个实现中,用户通过姿势进行选择——例如,在监测空间112中垂?#24065;?br />动她的手,直到(垂直)列表中的期望条目被突出显示,然后进行就像按压按钮的姿势。姿势
识别模块158将用户的手的高度与所显示的条目中的一个条目相关联,其在屏幕2022上被
突出显示,并且进一步识别选择姿势。备选地,用户可以使用鼠标2004或键盘进行选择。

一旦选择了条目,用户就通知系统130她将要执行她希望与所选择的命令相关联
的姿势。该信号可以是例如语音命令(“开始”)或击键。备选地,姿势识别模块158可以使屏
幕2022显?#38236;?#35745;时图形(“3...2...1...开始!”)。在用户的信号之后或在倒计时结束时,用
户的姿势?#19978;?#26426;102、104记录,并且与其对应的图像帧被存储帧缓冲器中(在传感器接口
136中或在存储器134中)。用户可以通过语音命令(“完成”)或简单地通过暂时冻结由姿势
识别模块158感测的她的动作或通过任何其他合适的动作来通知姿势的完成。在姿势执行
的时间?#32441;?#38388;捕获的帧缓冲器由姿势识别模块158分析并?#20918;?#36716;换为姿势模板?#28304;?#20648;在姿
势数据库2032中。在一些实现中,姿势被如上所述地向量化并且作为向量存储在数据库
2032中的相关联记录中(或链接到其)。

应当强调的是,尽管已经关于输入设备命令讨论了定义姿势并且将它们与命令相
关联的过程,但是该方法适用于用于任?#25991;?#30340;的任何类型的姿势。例如,如果姿势识别模块
158被实现为特定应用(诸如用于电视的游戏或控制器逻辑)的一部分,则数据库姿势记录
可以继承特定于该应用的属性(诸如比例值或?#25104;?#21442;数)。否则,当应用调用姿势识别模块
158时,它根据其自己的编程解释所标识的姿势,并且可以?#24066;?#29992;户修改如上所述的默认姿
势库。

在一些实现中,传统的控制图标(例如,光标2036、箭头2038和/或圆圈2024)以通
常的方式保留在屏幕上。在其他实现中,图像生成模块164生成将补充或替换传统的图标的
图像2040(例如,用户的手的图像),如下所述。图像生成模块2040可以是直接或间接利用姿
势对象作为图像2040的基础的传统的绘制程序。例如,图像生成模块2040可以利用由对象
检测模块152检测到的手2002,并且从关联的图像帧中简单地提取对应的像素,以重新采样
像素,使得手的图像被适当地定尺寸以用于显示——例如,使得绘制的图像2040的大小与
传统的图标的大小相当。实际上,所绘制的手可以在大小上精确地匹配传统的屏幕上的手
的图标,使得已经与手的图标相关联(并且通常受鼠标影响)的?#36153;?#21644;拖动命令可以由用户
进行姿势。

备选地,图像生成模块可以在基于用户的姿势绘制图像时利用更复杂的?#25104;洹?#26681;
据传统的图形技术(例如,?#24459;溆成?,可以将检测到的对象或身体部分?#25104;?#21040;实际上任何
图像。换句话说,可以将用户的?#21482;?#21046;为动物的爪子、卡通?#23435;?#25110;其屏幕外观响应于根据映
射改变的用户的手的定向和配置而变化的其他图像。

生物计量

在一个实现中,一种?#29616;?#24863;觉机器控制系统的用户的方法包括捕获感兴趣的场内
的人体部分的感觉信息。根据感觉信息确定跟踪模型和生物计量模型。

通过识别由跟踪模型随时间的变化指示的姿势来确定命令,并且将生物计量模型
与已知用户的生物计量信息相比较。当生物计量模型对应于已知用户的生物计量信息时,
授权的命令被传?#36879;?#21463;控制的系统。授权命令使得用户能够登录?#20132;?#22120;和/或系统,实?#36136;?br />务,调用特征/功能和/或交换信息。

可以通过以下方式来确定生物计量模型:分析(多个)图像以确定图像特征(例如,
强度、亮度、颜色、其他特征、其组合)和确定图像特征的属性(例如,变化率、最大、最小、平
均或其他统计特性、其组?#31995;?。可以分析属性以确定指示对应于图像中的感兴趣点的生物
计量特征的属性的改变。例如,可以为图像中的点计算海赛函数(Hessian),海赛函数指示
亮度(或其他特性)如何改变。可以至少部分地基于定向/旋转/平移信息来变换生物计量特
征,以形成标准化的生物计量特征。可以根据一个或多个所标识的生物计量特征构建生物
计量简档集合;以及根据一个或多个生物计量简档集合为个体构建生物计量模型。

如果有的话,可以通过以下方式来验证额外的命令:识别由跟踪模型的变化指示
的第二姿势并且将在第二姿势期间捕获的手的生物计量信息与先前捕获的手的生物计量
信息相比较以验证连续性;例如,确定用户没有改变。在第二姿势期间捕获的手的生物计量
信息不对应于先前捕获的手的生物计量信息的事件中,可以丢弃与第二姿势相关联的命令
信息。

命令授权可以包括根据被存储用于已知用户的简档信息来确定具有生物计量简
档的?#29616;?#29992;户是否具有被授权发出通过跟踪用户的手的(或其他身体的)活动而确定的命
令的角色(例如,系统管理?#34180;?#24320;发者、管理者等)。如果至少部分地基于角色确定用户被授
权发出命令,则将授权的命令传达给正被控制的系统。

有利地,一些实现可以使得能够响应于姿势识别而发出授权命令,以基于授权使
用在智能电话或其他设备中使用。该功能使得用户能够在执行直观姿势以命令设备的同时
进行“自我验证?#34180;?#23454;现可以在智能电话中启用姿势检测、用户标识、用户授权和其他机器控
制和/或机器通信应用。

用户消歧

图21A-C?#22659;?#20102;区分在普适三维(3D)感觉环境2100A中发出姿势命令的用户的一
个实现。在一个实现中,可以在包括多个用户(2112、2122、2132、2142、2152)的普适三维
(3D)感觉环境2100A中标识主导用户,使得由主导用户执行的姿势由配备有运动感觉控制
设备的智能电话2106来解释,并且用于控制像会议室中的呈现电视2202一样的共享工作空
间的响应。在一些实现中,可以基于在普适三维(3D)感觉环境2100A中展示的用户的空间行
为来标识主导用户。在一个示例中,用户的某些姿势(指向的?#31181;浮?#20030;起的手、高音调语音)
可以指示如说话者或演讲者的主导用户,而其他姿势(折叠的?#30452;邸?#26029;续的音区
(intermittent voice registry))可以指示如听众或观众?#31245;?#30340;非主导用户。

图21B?#22659;?#20102;根据所公开的技术的?#30423;?100B配备有运动感觉控制设备600的智能
电话,以通过从用户身体的一部分标识的生物计量特征来识别用户,并且通过将根据用户
的生物计量特征构建的生物计量简档集合与用户的先前识别的生物计量特征相比较来识
别用户。图21B?#22659;?#20102;在两个不同的时间——?#30423;?#26102;间t0(2102)和?#29616;?#26102;间t1(2104)(其可
以是相隔几个片刻或几个月)——处的设备600的感兴趣区域112内的手2114的两个视图
2102、2104。此外,视图2102、2104可以在不同的设备600实例处,其可以?#33719;?#21512;以通过网络
等共享数据。换句话说,用户可以?#30423;?#31532;一设备600实例以在框2102中识别用户的手2114,
并且随后在框2104中在第二设备700A实例处进行?#29616;ぁ?#22914;框2102所示,在初始?#30423;?#26102;间t0,
手2114处于感兴趣区域112中的特定位置和配置。框2102?#22659;?#20102;在学习阶?#32441;?#38388;特定用户
的手2114的代表性姿态,其中?#19978;?#26426;102、104可见的手2114的生物计量特征由系统100标识
并?#20918;?#20351;用以基于用户的手2114的一个或多个生物计量特征来构建生物计量模型。在?#30423;?br />期间,用户的手可以采用各种姿态,例如手掌面向相机、手掌面向远离相机)等,但是为了清
楚起见,在框2102中仅?#22659;?#20102;一个?#30423;?#23039;态。可以提示用户假定各?#36136;?#30340;姿态以及处于相
对于设备600的各种位置和距离。设备600捕获存在于感兴趣区域112内的(多个)特定姿态
的对象2114(手)的一个或多个图像。根据手2114的图像,基于一个或多个图像特性标识相
机102、104可见的一个或多个生物计量特征(例如,血管?#21450;?113、手掌或其它特定位置处
的测量2116、掌纹或?#21450;浮?#32932;色、由视觉提示指示的体温、其他个体特定特征及其任何组
合)。用于标识手2114的一个或多个标识的生物计量特征包括生物计量简档集合。可以根据
一个或多个生物计量简档集合(例如,个体的手的手掌视图的生物计量特征的第一简档集
合、个体的手的?#35789;质?#22270;的特征的第二简档集?#31995;?来构建特定于个体的生物计量模型。另
外,生物计量模型可以包括单独使用其它源108、110或者结合相机102、104为个体确定的不
可见生物计量特征。

现在再次参考图21B,在框2104中,在?#29616;?#26102;间t1在?#29616;?#26399;间捕获用户的手2114。
某些生物计量特征2113、2116(血管?#21450;浮?#25484;纹、指纹、其他特征、其组合)可以提供用于?#29616;?br />的有用的生物计量特征。在?#29616;?#26399;间,设备700A捕获正被?#29616;?#30340;手2114的一个或多个图像。
关于一个或多个属性分析图像的特性以确定生物特征。将来自?#29616;?#30340;手2114的生物计量特
征与在框2102中在?#30423;?#26399;间为用户构建的一个或多个生物计量特征的标准化生物计量特
征相比较。使用例如类似于下面参考图21C讨论的?#20999;?多个)技术来对生物计量特征进行
标准化(例如,补偿旋转、平移和深度),因为用户的手2114在?#29616;?#26102;间t1时不处于与在?#30423;?br />时间t0期间相同的姿态(并且甚至可能不被同一设备600观看)。因此,框2104中的感兴趣区
域112中的生物计量特征2113、2116的视在位置将从框2102中感兴趣区域112中的生物计量
特征2113、2116的视在位置发生改变。因此,通过以下方式来将由于手2114相对于设备600
的位置的改变、和/或设备600的各种实?#31181;?#38388;的构造的差异而导致的生物计量特征2113、
2116的视在差异考虑在内:在?#29616;?#26399;间标准化生物计量特征,以使得设备600能够使用类似
于下面参考图21C描述的过程将以框2104的姿态的手2114标识为以框2102的姿态?#30423;?#30340;手
2114。

现在参考图21C,图21C?#22659;?#20102;在?#30423;?#21644;比较从正被?#29616;?#30340;主体的手捕获的生物计
量特征期间由设备600获取一个或多个标准化生物计量特征。在获取生物计量特征以建立
生物计量简档集合期间,如框2102所示,在?#30423;?#26102;间t0呈?#25351;?#35774;备101的视场2112a包括要
进行生物计量建模的手2114。在?#30423;?#26102;间t0,例如通过处理来自观察手2114的相机102、104
的图像数据,相对于模型参考系2120a来确定生物计量特征2113、2116(例如,手2114的生物
计量特征2113、2116)。包括标准化到模型参考系2120a的一个或多个生物计量特征的生物
计量简档集合是根据生物特征构建的。可以基于一个或多个生物计量简档集合来构造用户
的生物计量模型。

当比较来自要被?#29616;?#30340;手2114的捕获姿态的生物计量特征时,如框2104所示,在
?#29616;?#26102;间t1,在?#29616;?#26102;间t1由设备600呈现的视场2112b包括处于新的视在位置的手2114。不
仅与当被教导时相比,当被?#29616;?#26102;手2114处于不同的位置,而且与手2114的特性最初被教
导给设备600的安装之一相比,当使用设备600时,手2114在不同位置在设备600的不同安装
处被?#29616;ぁ?#22240;此,在?#29616;?#26399;间捕获的手的参考系2120b将从原始或开始的手的参考系2120a
移动,如变换RT所描述的。?#26723;?#27880;意的是,变换RT的应用使得手2114能够在相对于手2114的
教导姿势被旋转以及被平移时被比较和/或识别。实现可以提供相对于参考系2120a来变换
参考系2120b的位置和旋转,因此,在?#29616;?#26102;间t1,相对于2120b变换被跟踪主体2113的位置
和旋转。实现可以根据参考系2120b相对于参考系2120a的变换后的位置和旋转以及被跟踪
主体2113相对于2120b的变换后的位置和旋转来确定被跟踪主体2113相对于2120a的位置
和旋转。

在实现中,确定将捕获的(红色)参考系2120b移动到模型(黑色)参考系2120a的变
换RT。将变换RT应用于相对于捕获的(红色)参考系2120b捕获的任何(多个)点使得该(多个)
点相对于模型(黑色)参考系2120a位于对应(多个)点的顶部。然后,被跟踪对象2114将从模
型(黑色)参考系2120a的观点来看在正确的位置,以支持识别、比?#31995;取?#22312;确定对象2114的
运动时,图像处理系统106可以通过计算分析?#19978;?#26426;102、104捕获的图像和由源108、110捕
获的运动信息来确定其位置和方向。例如,可以使用?#24459;?#21464;换将对象上的
任何点在捕获时间t=t1时的视在位置(在3D空间中)转换为原始模型对象上的点在训
练时间t=t0时的位置在被跟踪对象上的点在捕获时间t=t1时相对于模型参考系
120a的正确位置由等式(3)给出:





再次参考图21C,框2104?#22659;?#20102;可以由3×3矩阵R′=[u1′,u2′,u3′]表示的手的参
考系2120b和可以由3×3矩阵R=[u1,u2,u3]表示模型帧2120a。目标是将R′(参考系2120b)
变换为R(参考系2120a),使得关于参考系2120b已知的正被?#29616;?#30340;手2114上的任何点可以
与参考参考系2120a所教导(即,已知)的手2114的一个或多个点相比较。因此,?#24459;?#21464;换
RTref=R(R′)T将实?#25351;?#30446;标。?#24459;?#21464;换RTref可以用R和R′表示,如等式(4)所示:



增强现实

图22是在虚拟交互模态中选择在普适增强环境2200中要与其交互的虚拟交互模
态的一个实现方式。普适增强环境2200利用看起来与现实世界共存于相同空间中的虚拟
的、计算机生成的对象来补充现实世界。根据一个实现,通过在真实世界空间2290中显示投
影图像或图形(2212、2214、2216),智能电话2202或平视显示器2204可以用于实现增强现实
功能,投影图像或图形重叠在由用户通过智能电话2202的?#20302;?#20803;件或平视显示器2204所感
知的真实世界视图2290上。

在一些实现中,普适增强环境2200的计算机生成的图形(2212、2214、2216)可以使
用姿势(2206、2208)或其他身体移动与用户对真实世界环境2290的感知交互。在其他实现
中,集成到真实环境的增强绘制中的虚拟对象可以被投影到智能电话2202的用户或者平视
显示器2204。可以至少部分地基于从?#19978;?02、104或声学或其它感觉装置接收的感觉信息
来确定用户身体部分的运动信息。至少部分地基于智能电话2202或平视显示器2204的运动
和根据从?#19978;?02、104或声学或其他感觉装置接收的感觉信息确定的用户的检测到的运动
的组合,将控制信息传?#36879;?#31995;统。在一些实现中,可以通过添加触觉、听觉和/或其它感觉信
息投影仪来增强虚拟设备体验。例如,参考图22,可选的视?#20302;?#24433;仪可以投影重叠在用户的
起居室2290中的报纸(例如,虚拟对象2212)的图像;从而创建读取实?#26102;?#32440;的虚拟体验,即
使没有报纸存在。在一些实现中,可选的触觉投影仪可以将“虚拟报纸”的纹理的感觉投影
到读者的?#31181;浮?#22312;其它实现中,可选的音?#20302;?#24433;仪可以响应于检测到读者做出滑动以翻动
报纸页面而投影报纸页面翻动的声音。

在其他实现中,多个虚拟对象或虚拟交互空间可以在现实世界空间中重叠?#28304;?#24314;
用户的增强体验。在这样的实现中,可以检测在普适增强环境2200中选择一个或多个虚拟
对象或虚拟交互空间的姿势。此外,随后的姿势可以被解释为与一个或多个所选择的虚拟
对象或虚拟交互空间虚拟地交互,如上所述。

图23A-E?#22659;雋说?#22312;智能电话2396的相机的视场2315中时,在普适虚拟环境
2300A-E中触发增强幻觉2312和2316的在图像板2304上与标记图像2302和2314交互的一个
实现。在一个实现中,智能电话2396可以检测真实世界空间中的一个或多个标记图像或初
始化信号源,并且响应于检测触发增强幻觉2312和2316。在一些实现中,通过由用户执行并
且由智能电话2396解释的姿势来选择一个或多个标记图像或初始化信号源。此外,可以检
测随后的姿势以与相应的增强幻觉2312和2316交互。在其他实现中,检测到特定于所生成
的增强幻觉2312和2316中的每个增强幻觉并且唯一地控制它们的响应的范例设置姿势。

例如,如图23C-E所示,通过智能电话2396检测剪刀2302的图像标记和鼓垫(drum
pad)2314。此外,用户执行姿势2338,诸如向前指向?#31181;福?#20197;选择标记图像之一。一旦选择,
就为所选择的标记图像生?#19978;?#24212;的增强幻觉。随后,检测随后的范例设置姿势2338以设置
用于与所生成的增强幻觉交互的上下文。在一个实例中,双指移动可以意味着用虚拟剪刀
2326B切割虚拟纸张2326A或用虚拟棒2327B击打虚拟鼓垫2327A。

?#24230;?#26550;构

图25A-I?#22659;雋私?#36816;动感觉控制设备?#24230;?#21508;种设备中的不同实现2500A、2500B、
2500C、2500D、2500E、2500F、2500G、2500H和2500I。在一个实现中,运动感觉控制设备可以
根据图25A-I所示的架构?#24230;?#21508;种计算设备中,诸如移动或平板计算机配件、笔记本计算
机、键盘、AIO、显示器、TV、STB或游?#25151;?#21046;台。

具体实现

在本部分和所公开的技术的其他部分中描述的方法可以包括以下特征和/或结合
所公开的额外的方法描述的特征中的一个或多个特征。为了简明起见,本申请中公开的特
征的组合不是单独列举的,并?#20063;?#23545;每个基本特征集?#29616;?#22797;。读者将理解本部分中标识的
特征如何可以容易地与被标识为诸如普适计算环境、手持模式、广域模式、增强现实、?#24230;?br />架构、操控手、生物计量等实现的基本特征的集合组合。

这些方法可以至少部分地利用数据库系统来实现,例如通过一个或多个处理器,
处理器被配置为接收或检索信息,处理信息,存储结果以及传输结果。其他实现可以以不同
于所讨论的顺序和/或以不同的、更少的或额外的动作来执行动作。在一些实现中可以组合
多个动作。为了方便起见,参考执行方法的系统来描述这些方法。该系统不一定是该方法的
一部分。

本部分中描述的方法的其它实现可以包括存储可由处理器执行以执行上述任何
方法的指令的非暂态计算机可读存储介质。本部分中描述的方法的另一实现可以包括包含
存储器和一个或多个处理器的系统,处理器可操作以执行存储在存储器中的指令,以执行
上述任何方法。

下面列出了一些示例实现,其中某些实现取决于它们所涉及的实现:

1.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测接受运动控制命令的一个或多个异构设备;

检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构设备中的一
个异构设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

2.根据实现1所述的方法,还包括创建用于由所述智能电话显示的标识所述异构
设备的数据,并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。

3.根据实现1所述的方法,还包括检测一个或多个随后的姿势,对所述一个或多个
随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备发送
经预处理的姿势。

4.根据实现1所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控制
范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的设
备发送。

5.根据实现4所述的方法,还包括至少基于所设置的控制范例来控制所选择的设
备对所述随后的姿势的屏幕上响应。

6.根据实现1所述的方法,还包括检测所述3D感觉空间中的姿势,并且至少基于执
行所述姿势的用户的生物计量信息来从所述异构设备中自动选择特定设备。

7.根据实现6所述的方法,其中所述生物计量信息包括所述用户的血管?#21450;浮?#25484;纹
和指纹中的至少一项。

8.一种在起居室中的设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测起居室中接受运动控制命令的异构设备;

检测语音命令并且将所述语音命令解释为选择所述异构设备中的一个异构设备;
以及

在所述智能电话与所选择的设备之间建立通信信道。

9.根据实现8所述的方法,还包括检测所述3D感觉空间中的一个或多个姿势,对所
述一个或多个姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设
备发送经预处理的姿势。

10.根据实现8所述的方法,还包括创建用于由所述智能电话显示的标识所述异构
设备的数据,并且将所述语音命令解释为选择所标识的异构设备中的一个异构设备。

11.根据实现8所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信
道向所选择的设备发送。

12.根据实现11所述的方法,还包括至少基于所设置的控制范例来控制所选择的
设备对所述姿势的屏幕上响应。

13.一种在起居室中的设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测起居室中接受运动控制命令的异构设备;

创建用于由所述智能电话显示的标识所述异构设备的数据,并且将所述显示器上
的触摸命令解释为选择所标识的异构设备中的一个异构设备;以及

在所述智能电话于所选择的设备之间建立通信信道。

14.根据实现13所述的方法,还包括检测所述3D感觉空间中的一个或多个姿势,对
所述一个或多个姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的
设备发送经预处理的姿势。

15.根据实现13所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理所述3D感觉空间中的一个或多个姿势以经由所述通信信
道向所选择的设备发送。

16.根据实现15所述的方法,还包括至少基于所设置的控制范例来控制所选择的
设备对所述姿势的屏幕上响应。

17.一种与触发增强幻觉的标记图像交互的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,响
应于所述智能电话的标识来检测触发增强幻觉的异构标记图像;

检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述异构标记图像中
的一个异构标记图像;以及

在智能电话的显示器上覆盖由所选择的标记图像绘制的增强幻觉。

18.根据实现17所述的方法,还包括检测所述3D感觉空间中改变在所述覆盖的增
强幻觉上显示的内容的响应的一个或多个姿势。

19.根据实现17所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置用
于解释所述3D感觉空间中操纵所述覆盖的增强幻觉的一个或多个姿势的控制范例。

20.一种使用降低的功耗来操作智能电话的方法,所述方法包括:

监测智能电话的至少一个物理参数,所述智能电话配备有检测三维(3D)感觉空间
中的姿势的运动感觉控制设备;以及

响应于检测到所述物理参数的变化超过规定的阈值,将所述智能电话从一个操作
模式自动切换至另一操作模式。

21.根据实现20所述的方法,其中所述物理参数是所述智能电话的定向、加速度、
速度、角加速度和角速度中的至少一项。

22.根据实现20所述的方法,其中使用加速度计、陀螺仪、磁力计和?#38408;?#20256;感器中
的至少一项来监测所述物理参数。

23.根据实现20所述的方法,还包括响应于人类规定将智能电话从一个操作模式
切换至另一操作模式。

24.根据实现21所述的方法,还包括:

当所述运动感觉控制设备直立并移动时,确定手持操作模式;以及

将智能电话切换至所述手持操作模式。

25.根据实现24所述的方法,还包括:

响应于将所述智能电话切换至所述手持操作模式,调整?#24230;?#22312;所述智能电话中的
所述运动感觉控制设备的一个或多个图像获取参数;以及

获取捕获感兴趣对象的数字图像帧序列中的图像数据,所述图像帧符合经调整的
图像获取参数。

26.根据实现25所述的方法,其中所述可调整的图像获取参数包括帧大小和帧捕
获速率。

27.根据实现25所述的方法,其中调整所述图像获取参数至少包括通过减少每单
位时间向存储所述数字图像帧的成帧器缓冲器传递的数字图像帧的数量来减小帧大小。

28.根据实现25所述的方法,其中调整所述图像获取参数至少包括通过将图像数
据获取限制到非边?#36842;?#32032;来减小帧大小。

29.根据实现25所述的方法,其中调整所述图像获取参数至少包括使用存储数字
图像帧的成帧缓冲器的一部分。

30.根据实现25所述的方法,其中调整所述图像获取参数至少包括通过减少每秒
获取的帧的数量来降低帧捕获速率。

31.根据实现24所述的方法,还包括:

响应于将所述智能电话切换至所述手持操作模式,调整?#24230;?#22312;所述智能电话中的
所述运动感觉控制设备的一个或多个图像分析参数;

获取捕获感兴趣对象的数字图像帧序列中的图像数据;以及

分析符合经调整的图像分析参数的所述图像帧,以检测所述对象并?#20918;?#36817;对象轮
廓。

32.根据实现31所述的方法,其中所述可调整的图像分析参数包括分析算法和分
析密度。

33.根据实现31所述的方法,其中调整所述图像分析参数还包括通过重新采样到
?#31995;?#20998;辨率来减小帧大小。

34.根据实现31所述的方法,其中所述分析还包括逼近述被检测对象上的多个闭
合曲线,所述多个闭合曲线共同地定义逼近的对象轮廓。

35.根据实现34所述的方法,其中所述图像分析参数是所述闭合曲线的密度。

36.根据实现31所述的方法,其中所述数字图像帧中的每个数字图像帧包括数据
线序列,至少一个图像分析参数规定在逼近对象轮廓时每个数字图像帧分析的数据线的数
量。

37.根据实现36所述的方法,其中调整所述图像分析参数至少包括分析每数字图
像帧的减少的图像数据量。

38.根据实现24所述的方法,还包括响应于将所述智能电话切换至所述手持操作
模式,终止图像数据的获取。

39.根据实现24所述的方法,还包括响应于将所述智能电话切换至所述手持操作
模式,终止图像数据的分析。

40.根据实现21所述的方法,还包括:

当所述运动感觉控制设备在所述3D感觉空间中平放并静止时,确定广域操作模
式;以及

将所述智能电话切换至所述广域操作模式。

41.根据实现40所述的方法,还包括:

响应于将所述智能电话切换至所述广域操作模式,调整?#24230;?#22312;所述智能电话中的
所述运动感觉控制设备的一个或多个图像获取参数;以及

获取捕获感兴趣对象的数字图像帧序列中的图像数据,所述图像帧符合经调整的
图像获取参数。

42.根据实现41所述的方法,其中所述可调整的图像获取参数包括帧大小和帧捕
获速率。

43.根据实现41所述的方法,其中调整所述图像获取参数至少包括通过增?#29992;?#21333;
位时间向存储所述数字图像帧的成帧器缓冲器传递的数字图像帧的数量来使帧大小上升
(spike)。

44.根据实现41所述的方法,其中调整所述图像获取参数至少包括通过将图像数
据获取扩展到边?#36842;?#32032;来使帧大小上升。

45.根据实现41所述的方法,其中调整所述图像获取参数至少包括使用存储数字
图像帧的成帧器缓冲器的放大部分。

46.根据实现41所述的方法,其中调整所述图像获取参数至少包括通过增?#29992;?#31186;
获取的帧的数量来使帧捕获速率上升。

47.根据实现40所述的方法,还包括:

响应于将所述智能电话切换至所述广域操作模式,调整?#24230;?#22312;所述智能电话中的
所述运动感觉控制设备的一个或多个图像分析参数;

获取捕获感兴趣对象的数字图像帧序列中的图像数据;以及

分析符合经调整的图像分析参数的所述图像帧,以检测所述对象并?#20918;?#36817;对象轮
廓。

48.根据实现47所述的方法,其中所述可调整的图像分析参数包括分析算法和分
析密度。

49.根据实现47所述的方法,其中调整所述图像分析参数还包括通过重新采样到
较高分辨率来增加帧大小。

50.根据实现47所述的方法,其中所述分析还包括逼近所述被检测对象上的多个
闭合曲线,所述多个闭合曲线共同地定义逼近的对象轮廓。

51.根据实现50所述的方法,其中所述图像分析参数是所述闭合曲线的密度。

52.根据实现47所述的方法,其中所述数字图像帧中的每个数字图像帧包括数据
线序列,至少一个图像分析参数规定在逼近对象轮廓时每个数字图像帧分析的数据线的数
量。

53.根据实现52所述的方法,其中调整所述图像分析参数至少包括分析每数字图
像帧的增加的图像数据量。

54.根据实现40所述的方法,还包括响应于将所述智能电话切换至所述广域操作
模式,启动图像数据的获取。

55.根据实现40所述的方法,还包括响应于将所述智能电话切换至所述广域操作
模式,启动图像数据的分析。

56.根据实现40所述的方法,还包括响应于将所述智能电话切换至所述广域操作
模式并且检测所述3D感觉空间中的姿势,启动图像数据的获取。

57.根据实现40所述的方法,还包括响应于将所述智能电话切换至所述广域操作
模式并且检测所述3D感觉空间中的姿势,启动图像数据的分析。

58.根据实现40所述的方法,还包括响应于将所述智能电话切换至所述广域操作
模式而发起一个或多个设备的发现,以在所述智能电话与所发现的设备中的所选择的设备
之间建立通信信道。

59.根据实现58所述的方法,还包括创建用于由所述智能电话显示的标识所发现
的一个或多个设备的数据。

60.根据实现59所述的方法,还包括检测所述3D感觉空间中的姿势,并且将所述姿
势解释为选择所发现的设备中的一个设备。

61.根据实现60所述的方法,还包括检测一个或多个随后的姿势,对所述一个或多
个随后的姿势进行预处理以减小所需要的带宽,并且经由通信信道向所选择的设备发送经
预处理的姿势。

62.根据实现60所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的
设备发送。

63.根据实现62所述的方法,还包括至少基于所设置的控制范例来控制所选择的
设备对所述随后的姿势的屏幕上响应。

64.根据实现21所述的方法,还包括:

当所述运动感觉控制设备正移动时,确定漂移补偿操作模式;以及

将所述智能电话切换至所述漂移补偿操作模式。

65.根据实现64所述的方法,还包括:

响应于将所述智能电话切换至所述漂移补偿操作模式,区分所述运动感觉控制设
备的运动信息与使用所述运动感觉控制设备跟踪的一个或多个感兴趣对象的运动信息;以

在捕获感兴趣对象的数字图像帧序列中的图像数据的分析中自动地考虑所述运
动感觉控制设备的运动信息。

66.根据实现65所述的方法,还包括:

检测由所述运动感觉控制设备的重新定位引起的所述被跟踪的感兴趣对象的视
在位置和定向;以及

通过彼此数字地覆盖初始数字图像帧和最终数字图像帧来计算所述被跟踪的感
兴趣对象的实际位置和定向。

67.根据实现66所述的方法,其中所述初始数字图像帧在所述运动感觉控制设备
的重新定位之前立即捕获所述感兴趣对象。

68.根据实现66所述的方法,其中所述最终数字图像帧在所述运动感觉控制设备
的重新定位之后立即捕获所述感兴趣对象。

69.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测起居室中接受运动控制命令的异构设备;

针对所述异构设备中的每个异构设备计算所述智能电话与所述异构设备之间的
接近水平,其中所述接近水平至少基于相应异构设备的接收信号强度指示器(RSSI);

自动选择具有最高接近水平的特定设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

70.根据实现69所述的方法,还包括检测一个或多个随后的姿势,对所述一个或多
个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备发
送经预处理的姿势。

71.根据实现69所述的方法,还包括创建用于由所述智能电话显示的标识异构设
备的数据,并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。

72.根据实现69所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理一个或多个随后的姿势以经由通信信道向所选择的设备
发送。

73.根据实现72所述的方法,还包括至少基于所设置的控制范例来控制所选择的
设备对所述随后的姿势的屏幕上响应。

74.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测接受运动控制命令的异构设备;

针对所述异构设备中的每个异构设备计算所述智能电话与所述异构设备之间的
接近水平,其中所述接近水平至少基于所述异构设备的位置信息;

自动选择具有最高接近水平的特定设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

75.根据实现74所述的方法,还包括通过以下步骤确定所述3D感觉空间内的异构
设备的位置信息:

以有序扫描模式广播来自所述设备中的每个设备的一个或多个发射;

检测所述发射并且识别使用所述运动控制感觉装置发射的所述扫描模式;

计算被结合在所述有序扫描模式中的关于参考点的同步信息;以及

至少基于关于相应发射中的一个或多个兴趣点的信息和所述同步信息来确定关
于所述设备中的每个设备的位置信息。

76.根据实现75所述的方法,其中所述同步信息包括空间中的参考点与所述有序
扫描模式下的事件的定时信息之间的对应关系,所述定时信息标识所述事件何时发生在空
间中的所述参考点处。

77.根据实现76所述的方法,其中所述事件是所述有序扫描模式下的脉冲。

78.根据实现76所述的方法,其中所述事件是所述有序扫描模式下的暂停。

79.根据实现76所述的方法,其中所述事件是所述有序扫描模式下的循环重启。

80.根据实现76所述的方法,还包括?#21644;?#36807;将由所述智能电话接收的信号的至少一
个特性与空间中的所述参考点的有序扫描模式下的事件的定时信息相比较,至少基于所述
有序扫描模式来确定所述设备中的每个设备的位置信息。

81.根据实现80所述的方法,其中所述信号的特性是所述发射的强度、幅度、频率、
极化和相位中的至少一项。

82.根据实现75所述的方法,其中关于所述兴趣点的信息包括峰值幅度。

83.根据实现75所述的方法,其中关于所述兴趣点的信息包括频?#26102;?#21270;。

84.根据实现75所述的方法,其中关于所述兴趣点的信息包括相位变化。

85.根据实现74所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的
设备发送。

86.根据实现74所述的方法,还包括通过至少基于所设置的控制范例来控制所选
择的设备?#36816;?#21518;的姿势的屏幕上响应。

87.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测接受运动控制命令的异构设备;

从所述异构设备中自动选择最频繁交互的设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

88.根据实现87所述的方法,还包括检测一个或多个随后的姿势,对所述一个或多
个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备发
送经预处理的姿势。

89.根据实现87所述的方法,还包括创建用于由所述智能电话显示的标识所述异
构设备的数据,并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。

90.根据实现87所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的
设备发送。

91.根据实现90所述的方法,还包括通过至少基于所设置的控制范例来控制所选
择的设备?#36816;?#21518;的姿势的屏幕上响应。

92.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测接受运动控制命令的异构设备;

从所述异构设备中自动选择最近交互的设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

93.根据实现92所述的方法,还包括检测一个或多个随后的姿势,对所述一个或多
个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备发
送经预处理的姿势。

94.根据实现92所述的方法,还包括创建用于由所述智能电话显示的标识所述异
构设备的数据,并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。

95.根据实现92所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置控
制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择的
设备发送。

96.根据实现95所述的方法,还包括通过至少基于所设置的控制范例来控制所选
择的设备?#36816;?#21518;的姿势的屏幕上响应。

97.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测接受运动控制命令的异构设备;

至少基于预定的用户规定,从所述异构设备中自动选择特定设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

98.根据实现97所述的方法,其中所述预定用户规定标识特定设备和时间特定的
信息,以在用户规定的时间自动选择所述设备。

99.根据实现97所述的方法,还包括检测一个或多个随后的姿势,对所述一个或多
个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备发
送经预处理的姿势。

100.根据实现97所述的方法,还包括创建用于由所述智能电话显示的标识所述异
构设备的数据,并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。

101.根据实现97所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置
控制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择
的设备发送。

102.根据实现101所述的方法,还包括通过至少基于所设置的控制范例来控制所
选择的设备?#36816;?#21518;的姿势的屏幕上响应。

103.根据实现97所述的方法,还包括:

标识所选择的设备的至少一个地理位置;以及

以至少基于所标识的地理位置确定的本地化格式经由所述通信信道向所选择的
设备发送由所述智能电话检测到的姿势。

104.根据实现103所述的方法,还包括:

将检测到的姿势转换成使用所选择的设备的所标识的地理位置的本地语言发声
的语音;以及

向所选择的设备发送所述语音。

105.根据实现103所述的方法,还包括:

将检测到的姿势转换成使用所选择的设备的所标识的地理位置的本地语言编写
的文本;以及

向所选择的设备发送所述文本。

106.根据实现103所述的方法,还包括:

将检测到的姿势转换成使用用户规定的语言发声的语音;以及

向所选择的设备发送所述语音。

107.根据实现103所述的方法,还包括:

将检测到的姿势转换成使用用户规定的语言编写的文本;以及

向所选择的设备发送所述文本。

108.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测接受运动控制命令的异构设备;

至少基于一天中的时间从所述异构设备中自动选择特定设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

109.根据实现108所述的方法,还包括当所述一天中的时间是上午时,从所述异构
设备自动选择电器。

110.根据实现108所述的方法,还包括当所述一天中的时间是中午时,从所述异构
设备自动选择计算设备。

111.根据实现108所述的方法,还包括当所述一天中的时间是晚上时,从所述异构
设备自动选择娱乐设备。

112.根据实现108所述的方法,还包括检测一个或多个随后的姿势,对所述一个或
多个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备
发送经预处理的姿势。

113.根据实现108所述的方法,还包括创建用于由所述智能电话显示的标识所述
异构设备的数据,并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。

114.根据实现108所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置
控制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择
的设备发送。

115.根据实现114所述的方法,还包括通过至少基于所设置的控制范例来控制所
选择的设备?#36816;?#21518;的姿势的响应。

116.一种与缺乏姿势响应的设备进行姿势交互的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测对运动控制命令无响应的一个或多个异构设备;

检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述设备中的一个设
备;以及

在所述智能电话与所选择的设备之间建立通信信道。

117.根据实现116所述的方法,还包括:

标识类似于使用由所述设备接受的标准输入命令执行的控制操纵的类似姿势库;

检测3D感觉空间中的姿势并且从所述类似姿势库中标识所述姿势;以及

至少基于所检测和标识的姿势,向所选择的设备提供模仿标准输入命令的信号。

118.根据实现117所述的方法,还包括通过以下操作来填充所述类似姿势库:

从用户接收对使用由所选择的设备接受的标准输入命令执行的控制操纵的选择;

提示所述用户执行姿势;以及

将所述姿势分配为类似于所选择的控制操纵并且更新所述类似姿势库以包括所
分配的姿势。

119.根据实现116所述的方法,其中执行来自所述类似姿势库的所标识的姿势导
致由使用所选择的设备可接受的标准输入命令执行的相应控制操纵所产生的屏幕上响应。

120.根据实现116所述的方法,还包括创建用于由实时智能电话显示的标识所述
设备的数据,并且将所述姿势解释为选择所标识的设备中的一个设备。

121.根据实现116所述的方法,还包括检测一个或多个随后的姿势,对所述一个或
多个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备
发送经预处理的姿势。

122.根据实现116所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置
控制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择
的设备发送。

123.根据实现122所述的方法,还包括至少基于所设置的控制范例来控制所选择
的设备?#36816;?#21518;的姿势的屏幕上响应。

124.一种与缺乏姿势界面的设备进行姿势交互的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测对运动控制命令无响应且缺乏姿势界面的一个或多个异构电器;

检测所述3D感觉空间中的姿势并且将所述姿势解释为选择所述电器中的一个电
器;以及

在所述智能电话与所选择的电器之间建立通信信道。

125.根据实现124所述的方法,还包括:

创建用于由所述智能电话显示的标识类似姿势库的数据,所述类似姿势库类似于
使用由所述电器接受的标准输入命令执行的控制操纵;

检测3D感觉空间中的姿势并且从所述类似姿势库中标识所述姿势;以及

至少基于所检测和标识的姿势来向所选择的电器提供模仿标准输入命令的信号。

126.根据实现125所述的方法,其中由所述智能电话创建的用于显示的所述数据
专用于特定电器,使得所述类似姿势类似于使用由所述特定电器接受的标准输入命令执行
的控制操纵。

127.根据实现125所述的方法,还包括通过以下操作来填充所述类似姿势库:

从用户接收对使用由所选择的设备接受的标准输入命令执行的控制操纵的选择;

提示所述用户执行姿势;以及

将所述姿势分配为类似于所选择的控制操纵并且更新所述类似姿势库以包括所
分配的姿势。

128.根据实现124所述的方法,其中执行来自所述类似姿势库的所标识的姿势导
致由使用由所选择的电器可接受的标准输入命令执行的相应控制操纵所产生的响应。

129.根据实现124所述的方法,还包括创建用于由所述智能电话显示的标识所述
电器的数据,并且将所述姿势解释为选择所标识的电器中的一个电器。

130.根据实现124所述的方法,还包括检测一个或多个随后的姿势,对所述一个或
多个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的电器
发送经预处理的姿势。

131.根据实现124所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置
控制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择
的电器发送。

132.根据实现131所述的方法,还包括至少基于所设置的控制范例来控制所选择
的电器?#36816;?#21518;的姿势的响应。

133.根据实现124所述的方法,还包括:

将所述智能电话指向特定电器,使得所述特定电器在所述智能电话的视场中;以

将所述特定电器自动标识为用于姿势交互的所述异构电器中的所选择的一个异
构电器。

134.根据实现124所述的方法,还包括:

通过超短距离通信信?#26469;?#25152;述异构电器广播设备身份令牌,其中所述设备身份令
牌被所述智能电话接受;以及

至少基于?#35805;?#25324;在由特定电器广播的设备身份令牌中的设备信息,将所述特定电
器自动标识为用于姿势交互的所述异构电器中的所选择的一个异构电器。

135.根据实现134所述的方法,还包括?#21644;?#36807;针对所述电器敲击所述智能电话通过
所述超短距离通信信道在所述异构电器与所述智能电话之间交换所述设备身份令牌。

136.根据实现134所述的方法,其中?#35805;?#25324;在所述设备身份令牌中的所述设备信
息规定自动选择所述设备的预定时间。

137.根据实现134所述的方法,其中?#35805;?#25324;在所述设备身份令牌中的所述设备信
息规定控制所述特定电器对在所述3D感觉空间中检测到的姿势的响应的控制范例。

138.一种在异构设备中选择要与其交互的异构设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测对运动控制命令无响应的一个或多个异构设备;

接收对特定设备执行一个或多个控制操纵的标准输入命令;

响应于所述控制操纵将所述特定设备标识为所述设备中的所选择的一个设备;以

在所述智能电话与所选择的设备之间建立通信信道。

139.根据实现138所述的方法,还包括:当标准输入命令的计数超过规定的阈值
时,响应于所述控制操纵,将所述特定设备标识为所述设备中的所选择的一个设备。

140.根据实现138所述的方法,还包括:当所述控制操纵的计数超过规定的阈值
时,响应于所述控制操纵,将所述特定设备标识为所述设备中的所选择的一个设备。

141.根据实现138所述的方法,其中所述标准输入命令是光学命令。

142.根据实现138所述的方法,其中所述标准输入命令是触觉命令。

143.根据实现138所述的方法,其中所述标准输入命令是音频命令。

144.根据实现138所述的方法,其中所述标准输入命令是由标准输入设备生成的
信号。

145.根据实现138所述的方法,还包括检测一个或多个随后的姿势,对所述一个或
多个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备
发送经预处理的姿势。

146.根据实现138所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置
控制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择
的设备发送。

147.根据实现146所述的方法,还包括至少基于所设置的控制范例来控制所选择
的设备?#36816;?#21518;的姿势的响应。

148.一种在设备中选择要与其交互的设备的方法,所述方法包括:

使用配备有检测三维(3D)感觉空间中的姿势的运动感觉控制设备的智能电话,检
测接受运动控制命令的一个或多个异构设备;

检测所述3D感觉空间中的姿势并且至少基于执行所述姿势的用户的生物计量信
息来从所述异构设备中自动选择特定设备;以及

在所述智能电话与所选择的设备之间建立通信信道。

149.根据实现148所述的方法,其中所述生物计量信息包括用户的血管?#21450;浮?#25484;纹
和指纹中的至少一项。

150.根据实现148所述的方法,还包括响应于基于所述生物计量信息标识所述用
户,设置用户特定的控制范例以解释来自所述用户的一个或多个随后的姿势,其中所述用
户特定的控制范例控制所选择的设备的响应。

151.根据实现148所述的方法,还包括基于由所述生物计量信息确定的所述用户
的身份,控制与异构设备交互的授权。

152.根据实现148所述的方法,还包括响应于基于所述生物计量信息标识用户,设
置角色特定的控制范例以解释来自所述用户的一个或多个随后的姿势,其中所述用户特定
的控制范例控制所选择的设备的响应。

153.根据实现152所述的方法,其中所述角色特定的控制范例基于所述用户的工
作职能、职称、部门、行业类型和预定指定中的至少一项。

154.根据实现148所述的方法,还包括创建用于由所述智能电话显示的标识所述
异构设备的数据,并且将所述姿势解释为选择所标识的异构设备中的一个异构设备。

155.根据实现148所述的方法,还包括检测一个或多个随后的姿势,对所述一个或
多个随后的姿势进行预处理以减小所需要的带宽,并且经由所述通信信道向所选择的设备
发送经预处理的姿势。

156.根据实现148所述的方法,还包括检测范例设置姿势,所述范例设置姿势设置
控制范例,所述控制范例用于预处理一个或多个随后的姿势以经由所述通信信道向所选择
的设备发送。

157.根据实现156所述的方法,还包括至少基于所设置的控制范例来控制所选择
的设备?#36816;?#21518;的姿势的屏幕上响应。

158.一种在普适三维(3D)感觉环境中区分发出姿势命令的用户的方法,所述方法
包括:

使用检测普适三维(3D)感觉环境中的姿势的至少一个运动感觉控制系统,检测接
受运动控制命令的一个或多个异构设备;

检测所述3D感觉环境中的多个用户,并且至少基于所述用户的相应生物计量信息
来标识所述用户中的每个用户;以及

确定特定于所标识的用户中的每个用户的姿势控制范例,并?#19968;?#20110;所确定的姿势
控制范例来解释来自所述用户的姿势,其中所述姿势控制范例控制所述异构设备的响应。

159.根据实现158所述的方法,还包括:基于所述用户的相应偏好,为所标识的用
户中的每个用户从所述异构设备中自动选择要与其交互的特定设备。

160.根据实现159所述的方法,其中所述用户偏好规定从所述异构设备中自动选
择特定设备的预定时间。

161.根据实现158所述的方法,其中所述生物计量信息包括所述用户的血管?#21450;浮?br />掌纹和指纹中的至少一项。

162.根据实现158所述的方法,其中所述运动感觉控制系统?#24230;?#22312;便携式设备中。

163.根据实现158所述的方法,其中所述运动感觉控制系统包括一个或多个运动
感觉控制设备。

164.一种在普适三维(3D)感觉空间中区分控制姿势与接近的非控制姿势的方法,
所述方法包括:

检测由普适3D感觉环境中的不同用户执行的姿势的集合,并且通过以下方式标识
所述姿势的集合中的控制所述3D感觉空间中的一个或多个设备的响应的控制姿势:

至少基于所述用户在所述3D感觉空间中的一个或多个空间行为,从所述用户中确
定主导用户;以及

触发对由所述主导用户执行的姿势的响应,而不触发对由非主导用户执行的姿势
的响应。

165.根据实现164所述的方法,其中所述空间行为包括所述用户在所述3D感觉空
间中的位置。

166.根据实现164所述的方法,其中所述空间行为包括所述用户在所述3D感觉空
间中的姿势。

167.根据实现164所述的方法,其中所述空间行为包括所述用户在所述3D感觉空
间中的语音频率。

168.根据实现164所述的方法,其中所述空间行为包括所述用户在所述3D感觉空
间中的语音长度。

169.根据实现164所述的方法,还包括至少基于所述用户在3D感觉空间中的一个
或多个空间行为来标识非主导用户。

170.一种在虚拟交互模态中选择要与其交互的虚拟交互模态的方法,所述方法包
括:

使用智能电话基于初始化信号的检测来触发增强环境,其中所述增强环境包括集
成到物理空间的增强绘制中并且接受运动控制命令的一个或多个虚拟交互模态;

使用?#24230;?#22312;所述智能电话中的运动感觉控制设备来检测所述3D感觉空间中的姿
势;

将所述姿势解释为选择所述虚拟交互模态中的一个虚拟交互模态;以及

在所述智能电话与所选择的虚拟交互模态之间建立通信信道。

171.根据实现170所述的方法,其中所述初始化信号由所述物理空间中的标记图
像生成。

172.根据实现170所述的方法,其中所述初始化信号由所述物理空间的空间元素
生成。

173.根据实现170所述的方法,还包括创建用于由所述智能电话显示的标识所述
虚拟交互模态的数据,并且将所述姿势解释为选择所标识的虚拟交互模态中的一个虚拟交
互模态。

174.根据实现170所述的方法,还包括检测所述3D感觉空间中的触觉命令,并且将
所述触觉命令解释为选择所述虚拟交互模态中的一个虚拟交互模态。

175.根据实现170所述的方法,还包括检测所述3D感觉空间中的声音命令,并且将
所述声音命令解释为选择所述虚拟交互模态中的一个虚拟交互模态。

176.根据实现170所述的方法,还包括检测所述3D感觉空间中的光学命令,并且将
所述光学命令解释为选择所述虚拟交互模态中的一个虚拟交互模态。

177.根据实现170所述的方法,还包括检测所述3D感觉空间中的姿势,并且至少基
于执行所述姿势的用户的生物计量信息,从所述虚拟交互模态中自动选择特定虚拟交互模
态。

178.根据实现177所述的方法,其中所述生物计量信息包括所述用户的血管?#21450;浮?br />掌纹和指纹中的至少一项。

179.根据实现170所述的方法,还包括:

针对所述虚拟交互模态中的每个虚拟交互模态计算所述智能电话与所述虚拟交
互模态之间的接近水平,其中所述接近水平至少基于所述虚拟交互模态的位置信息;以及

自动选择具有最高接近度的特定虚拟交互模态。

180.根据实现170所述的方法,还包括至少基于一天中的时间自动选择特定虚拟
交互模态。

181.根据实现170所述的方法,还包括从所述虚拟交互模态中自动选择最频繁交
互的虚拟交互模态。

182.根据实现170所述的方法,还包括从所述虚拟交互模态中自动选择最近交互
的虚拟交互模态。

183.根据实现170所述的方法,还包括检测设置特定于所选择的虚拟交互模态的
控制范例的范例设置姿势。

184.根据实现183所述的方法,还包括至少基于所设置的控制范例来控制所选择
的虚拟交互模态?#36816;?#21518;的姿势的响应。

本文中使用的术语和表达被用作描述的术语和表达,而不是限制,并且在使用这
样的术语和表达时,不排除所示和所描述的特征的任何等同物或其部分。另外,已经描述了
所公开的技术的某些实现,对于本领域普通技术人员将显而?#20934;?#30340;是,在不脱离所公开的
技术的精神和范围的情况下,可以使用合并本文中所公开的概念的其他实现。因此,所描述
的实现在所有方面被认为仅是说明性的而不是限制性的。

关于本文
本文标题:普适计算环境中的姿势交互的系统和方法.pdf
链接地址:http://www.pqiex.tw/p-6091636.html

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 山东十一选五开奖结果彩票控 北京pk10开奖直播走势图 青海11选5前三走势图 体育彩票吉林11选5开奖结果 爱玩棋牌官网下载 澳洲幸运5彩票开奖查询 北京快乐8为什么会输 微信购足彩 哈尔滨省福彩中心电话号码 湖南幸运赛车现场直播