平码五不中公式规律
  • / 25
  • 下载费用:30 金币  

眼睛跟踪校准系统和方法.pdf

关 键 ?#21097;?/dt>
眼睛 跟踪 校准 系统 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201580030330.8

申请日:

2015.04.10

公开号:

CN106662917A

公开日:

2017.05.10

当前法律状态:

实审

?#34892;?#24615;:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06F 3/01申请日:20150410|||专利申请权的转移IPC(主分类):G06F 3/01登记生效日:20170510变更事项:申请人变更前权利人:眼球控制技术有限公司变更后权利人:脸谱公司变更事项:地址变更前权利人:丹麦哥本哈根变更后权利人:美国加利福尼亚州|||公开
IPC分类号: G06F3/01; G06F1/16; G06K9/00 主分类号: G06F3/01
申请人: 眼球控制技术有限公司
发明人: 本杰明·?#25429;?#23612;·乔治斯·勒福德克斯; 哈维尔·圣阿古斯丁·洛佩斯
地址: 丹麦哥本哈根
优?#28909;ǎ?/td> 2014.04.11 US 61/978,366
专利代理机构: 武汉开元知识产权代理有限公司 42104 代理人: 樊戎
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580030330.8

授权公告号:

||||||

法律状态公告日:

2017.06.06|||2017.05.31|||2017.05.10

法律状态类型:

实质审查的生效|||专利申请权、专利权的转移|||公开

摘要

由计算装置?#31995;?#25110;与计算装置耦?#31995;?#35013;置?#31995;?#30456;机捕捉的用户的眼睛和/或面部的图像,可以使用计算机视觉算法,例如眼睛跟踪和视觉检测算法进行分析,以确定用户的眼睛的位置,并估算与用户相关联的视线信息。可进行用户校准过程,以计算与用户相关联的校准参数。可考虑这些校准参数,以准确地确定用户的眼睛的位置,并估算用户正在观看的显示器?#31995;?#20301;置。校准过程可包括确定用户的眼睛会聚在的平面,并使该平面与校准目标显示在的屏幕的平面相关。

权利要求书

1.一种方法,包括:
在与眼睛跟踪装置通信的计算装置的显示器上显示对象,所述对象与校准参数的计算
相关联,所述校准参数与所述计算装置的用户的视线信息的计算的校准有关,所述视线信
息表示与所述用户正在观看的位置有关的信息;
当所述对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的至少一只眼睛的图
像;
确定眼睛信息与所述用户相关联,所述眼睛信息基于所述图像,并与眼睛特征有关,所
述眼睛特征与所述用户的所述至少一只眼睛相关联;以及
根据所述眼睛信息计算一个或多个所述校准参数和一个或多个几何参数,所述一个或
多个几何参数表示与相对于所述眼睛跟踪装置的所述显示器相关联的信息。
2.如权利要求1所述的方法,还包括:
在所述计算装置的所述显示器上显示第二对象;
当所述第二对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的第二图像;
确定第二眼睛信息与所述用户相关联,所述第二眼睛信息基于所述第二图像,并与所
述眼睛特征有关,所述眼睛特征与所述用户的所述至少一只眼睛相关联,
其?#26657;?#25152;述一个或多个所述校准参数和所述一个或多个几何参数的计算还基于所述第
二眼睛信息。
3.如权利要求1所述的方法,还包括:
在所述计算装置的所述显示器上显示第二对象;
当所述第二对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的第二图像;
确定第二眼睛信息与所述用户相关联,所述第二眼睛信息基于所述第二图像、所述一
个或多个校准参数以及所述一个或多个几何参数;以及
根据所述第二眼睛信息和所述第二对象在所述计算装置的所述显示器?#31995;?#20301;置,调整
一个或多个所述校准参数或所述几何参数。
4.如权利要求1至3中?#25105;?#39033;权利要求所述的方法,还包括:
根据所述一个或多个校准参数、所述一个或多个几何参数、所述用户的所述眼睛信息
以及所述对象在所述显示器?#31995;?#20301;置,计算误差度量;
确定所述误差度量超过阈值;以及
以所述误差度量超过所述阈值为前提,
在所述计算装置的所述显示器上显示附加对象,所述附加对象与所述校准参数的所述
计算相关联;
当所述附加对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的附加图像;
确定附加眼睛信息与所述用户相关联,所述附加眼睛信息基于所述附加图像,并与所
述眼睛特征有关,所述眼睛特征与所述用户的所述至少一只眼睛相关联;以及
根据所述附加眼睛信息,计算所述一个或多个所述校准参数和所述一个或多个几何参
数。
5.如权利要求1至3中?#25105;?#39033;权利要求所述的方法,其特征在于,所述一个或多个校准
参数的所述计算包括最小化成本函数。
6.如权利要求5所述的方法,其特征在于,所述成本函数的所述最小化使所估算的注视
点与所述对象的显示器坐标之间的误差最小化。
7.如权利要求5所述的方法,其特征在于,所述成本函数的所述最小化使视轴组与所述
对象的三维坐标之间的距离最小化。
8.一种存储指令的机器可读存储媒体,当由一个或多个处理器执行时,所述指令使所
述一个或多个处理器执行操作,所述操作包括:
在与眼睛跟踪装置通信的计算装置的显示器上显示对象,所述对象与校准参数的计算
相关联,所述校准参数与所述计算装置的用户的视线信息的计算的校准有关,所述视线信
息表示与所述用户正在观看的位置有关的信息;
当所述对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的至少一只眼睛的图
像;
确定眼睛信息与所述用户相关联,所述眼睛信息基于所述图像,并与眼睛特征有关,所
述眼睛特征与所述用户的所述至少一只眼睛相关联;以及
根据所述眼睛信息计算一个或多个所述校准参数和一个或多个几何参数,所述一个或
多个几何参数表示与相对于所述眼睛跟踪装置的所述显示器相关联的信息。
9.如权利要求8所述的机器可读存储媒体,其特征在于,所述操作还包括:
在所述计算装置的所述显示器上显示第二对象;
当所述第二对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的第二图像;
确定第二眼睛信息与所述用户相关联,所述第二眼睛信息基于所述第二图像,并与所
述眼睛特征有关,所述眼睛特征与所述用户的所述至少一只眼睛相关联,
其?#26657;?#25152;述一个或多个所述校准参数和所述一个或多个几何参数的计算还基于所述第
二眼睛信息。
10.如权利要求8所述的机器可读存储媒体,其特征在于,所述操作还包括:
在所述计算装置的所述显示器上显示第二对象;
当所述第二对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的第二图像;
确定第二眼睛信息与所述用户相关联,所述第二眼睛信息基于所述第二图像、所述一
个或多个校准参数以及所述一个或多个几何参数;以及
根据所述第二眼睛信息和所述第二对象在所述计算装置的所述显示器?#31995;?#20301;置,调整
一个或多个所述校准参数或所述几何参数。
11.如权利要求8至10?#25105;?#39033;权利要求所述的机器可读存储媒体,其特征在于,所述操
作还包括:
根据所述一个或多个校准参数、所述一个或多个几何参数、所述用户的所述眼睛信息
以及所述对象在所述显示器?#31995;?#20301;置,计算误差度量;
确定所述误差度量超过阈值;以及
以所述误差度量超过所述阈值为前提,
在所述计算装置的所述显示器上显示附加对象,所述附加对象与所述校准参数的所述
计算相关联;
当所述附加对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的附加图像;
确定附加眼睛信息与所述用户相关联,所述附加眼睛信息基于所述附加图像,并与所
述眼睛特征有关,所述眼睛特征与所述用户的所述至少一只眼睛相关联;以及
根据所述附加眼睛信息,计算所述一个或多个所述校准参数和所述一个或多个几何参
数。
12.如权利要求8至10?#25105;?#39033;权利要求所述的机器可读存储媒体,其特征在于,所述一
个或多个校准参数的所述计算包括最小化成本函数。
13.如权利要求12所述的机器可读存储媒体,其特征在于,所述成本函数的所述最小化
使所估算的注视点与所述对象的显示器坐标之间的误差最小化。
14.如权利要求12所述的机器可读存储媒体,其特征在于,所述成本函数的所述最小化
使视轴组与所述对象的三维坐标之间的距离最小化。
15.一种装置,包括:
显示器;
硬件实现显示模块,被配置为:
在与眼睛跟踪装置通信的计算装置的显示器上显示对象,所述对象与校准参数的计算
相关联,所述校准参数与所述计算装置的用户的视线信息的计算的校准有关,所述视线信
息表示与所述用户正在观看的位置有关的信息;
硬件实现眼睛跟踪模块,被配置为:
当所述对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的至少一只眼睛的图
像;
确定眼睛信息与所述用户相关联,所述眼睛信息基于所述图像,并与眼睛特征有关,所
述眼睛特征与所述用户的所述至少一只眼睛相关联;以及
根据所述眼睛信息计算一个或多个所述校准参数和一个或多个几何参数,所述一个或
多个几何参数表示与相对于所述眼睛跟踪装置的所述显示器相关联的信息。
16.如权利要求15所述的装置,其特征在于,
所述硬件实现显示模块还被配置为:
在所述计算装置的所述显示器上显示第二对象,
所述硬件实现眼睛跟踪模块还被配置为:
当所述第二对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的第二图像;
确定第二眼睛信息与所述用户相关联,所述第二眼睛信息基于所述第二图像,并与所
述眼睛特征有关,所述眼睛特征与所述用户的所述至少一只眼睛相关联,
其?#26657;?#25152;述一个或多个所述校准参数和所述一个或多个几何参数的计算还基于所述第
二眼睛信息。
17.如权利要求15所述的装置,其特征在于,
所述硬件实现显示模块还被配置为:
在所述计算装置的所述显示器上显示第二对象,
所述硬件实现眼睛跟踪模块还被配置为:
当所述第二对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的第二图像;
确定第二眼睛信息与所述用户相关联,所述第二眼睛信息基于所述第二图像、所述一
个或多个校准参数以及所述一个或多个几何参数;以及
根据所述第二眼睛信息和所述第二对象在所述计算装置的所述显示器?#31995;?#20301;置,调整
一个或多个所述校准参数或所述几何参数。
18.如权利要求15至17?#25105;?#39033;权利要求所述的装置,其特征在于,
所述硬件实现显示模块还被配置为:
根据所述一个或多个校准参数、所述一个或多个几何参数、所述用户的所述眼睛信息
以及所述对象在所述显示器?#31995;?#20301;置,计算误差度量;
确定所述误差度量超过阈值;以及
以所述误差度量超过所述阈值为前提,
在所述计算装置的所述显示器上显示附加对象,所述附加对象与所述校准参数的所述
计算相关联;
当所述附加对象被显示时,接收来?#36816;?#36848;眼睛跟踪装置的所述用户的所述至少一只眼
睛的附加图像;
确定附加眼睛信息与所述用户相关联,所述附加眼睛信息基于所述附加图像,并与所
述眼睛特征有关,所述眼睛特征与所述用户的所述至少一只眼睛相关联;以及
根据所述附加眼睛信息,计算所述一个或多个所述校准参数和所述一个或多个几何参
数。
19.如权利要求15至17?#25105;?#39033;权利要求所述的装置,其特征在于,所述一个或多个校准
参数的所述计算包括最小化成本函数。
20.如权利要求19所述的机器可读存储媒体,其特征在于,所述成本函数的所述最小化
使所估算的注视点与所述对象的显示器坐标之间的误差最小化。

说明书

眼睛跟踪校准系统和方法

技术领域

本发明一般及眼睛跟踪控制,更具体地,涉及便于眼睛跟踪控制校准的系统和方
法。

背景技术

由相机和显示器组成的眼睛跟踪系统跟踪用户的眼睛运动,以确定显示器?#31995;?#20301;
置,该显示器?#31995;?#20301;置是用户视线的目标。用户视线在屏幕?#31995;?#20301;置,用于控制显示器上存
在的应用程序。相机相对于显示器的位置是预定的。

附图说明

通过举例的方式说明一些实施例但不限于附图。

图1是根据一些示例实施例的一个示例计算装置的装置图,该示例计算装置耦合
到能够便于眼睛跟踪控制的对接装置;

图2是根据一些示例实施例的另一示例计算装置的装置图,该另一示例计算装置
耦?#31995;?#33021;够便于眼睛跟踪控制的对接装置;

图3A-3D是根据一些示例实施例的示例计算装置的装置图,该示例计算装置能够
便于眼睛跟踪控制;

图4是根据一些示例实施例的示例软件构架的框图,该示例软件构架用于便于眼
睛跟踪控制;

图5是根据一些示例实施例的示例数据流的框图,该示例数据流用于便于眼睛跟
踪控制;

图6A-6B是根据一些示例实施例的示意图,该示意图描述与显示器有关的眼睛跟
踪技术;

图7是根据一些示例实施例的便于眼睛跟踪校准的示例方法的流程图;

图8是根据一些示例实施例的最小化成本函数的示例方法的流程图,该成本函数
与便于眼睛跟踪校准有关;

图9A-9B示出了根据一些示例实施例的计算的校准前后的视线坐标;

图10是根据一些示例实施例的以计算机系统示例形式的机器的框图,该计算系统
有一套指令,可以让该机器执行在此讨论的任?#25105;?#20010;或多个方法。

具体实施例

以下阐述了便于眼睛跟踪控制校准的示例系统和方法。在下面的描述?#26657;?#20986;于解
释的目的,详细陈述了许多具体的?#38468;冢?#20197;助于对具体实施例有透彻的理解。但是,对于本
领域技术人员显而?#20934;?#30340;是,不需要这些具体?#38468;?#20063;能使用本技术。

计算装置的用户可以通过用户的眼睛运动与在计算装置上显示的对象和应用程
序交互并控制该对象和该应用程序。计算装置?#31995;?#25110;耦?#31995;?#35813;计算装置的设备?#31995;?#30456;机捕
捉的用户的眼睛和/或面部的图像,可采用计算机视觉算法,例如眼睛跟踪和视觉检测算法
进行分析。例如,可以处理所捕捉的图像,以提取与该用户的眼睛和/或面部的特征有关的
信息。然后,计算装置可使用所提取的信息来确定该用户的眼睛的位置,并估算与该用户相
关联的视线信息。用户的视线信息可以是对用户正在观看的位置的估算,并可包括如用户
的视线、注视点信息(例如,用户正在观看的显示器?#31995;?#20301;置)、用户视线的方向等信息。例
如,计算装置也许能够估算用户正在观看显示器?#31995;哪?#20010;图标。用户正在观看的位置的估
算可用于指示一个或多个对象、应用程序等,以执行特定操作。例如,根据用户正在观看的
计算装置的显示器?#31995;?#20301;置,用户可指导并控制对象在屏幕?#31995;?#36816;动,包括控制滚动功能、
在虚拟游?#20998;?#23545;象的运动、控制指针和光标的位置?#21462;?#23545;用户正在观看的位置的估算还可
用于分析显示在屏幕上似乎要吸引用户的注意力的区域或对象,或者,该估算可用于研究
用户观看的图形用户界面?#31995;?#23545;象。例如,眼睛跟踪信息表示吸引用户注意力的区域或对
象,通过眼睛跟踪信息,可改进应用程序用户界面的设计,因而当与应用程序交互时,用户
可以有更好的体验。

当用户开始使用计算装置时,可进行用户校准过程,以计算与该用户相关联的校
准参数。可考虑这些校准参数以准确地确定用户的眼睛的位置并估算该用户正在观看的该
显示器?#31995;?#20301;置。还可考虑该校准参数以确定三维(3-D)空间(例如,视线)中作为三维矢量
的用户的眼睛视线的方向。在这种情况下,在用户视线的方向确定过程?#26657;?#21487;以使用关于硬
件几何结构(例如相机参数、屏幕相对于相机的位置或它们的任何合适的组合)。

图1是示例计算装置102的装置图100。该计算装置102与对接装置104耦合,该对接
装置104能够便于眼睛跟踪控制。该计算装置102可以是任何类型的计算装置,包括但不限
于智能电话、掌?#31995;?#33041;(PDA)、移动电话、平板电脑、电子阅读器、电视机、笔记?#38236;?#33041;、台式
计算机、显示装置、头盔式显示器或它们的任何合适的组合。在眼睛跟踪控制的过程?#26657;?#29992;
户可用一只或两只?#27835;?#20303;计算装置102来使用该计算装置102,或当该计算装置102放置在
支架上或支撑在表面上时,用户可使用该计算装置102。

对接装置104可与计算装置102以任何方式耦合,例如通过计算装置102?#31995;?#36890;用
串行总线(USB)接口、计算装置102?#31995;?#24494;型USB端口?#21462;?#34429;然图1中描述的对接装置104设置
在计算装置102的底部,但是本领域的普通技术人员可理解该对接装置104可位于相对于该
计算装置102的任何合适位置。该对接装置104可包括相机模块108和一个或多个LED(发光
二极管)106。出于解释的目的,整个本发明描述和记载了LED 106。然而,对本领域的普通技
术人员显而?#20934;?#30340;是可使用任何合适的发光源(例如,红外激光器)。

该对接装置104可包括任何数量的红外LED 106,该红外LED 106可以任何方式放
置在该对接装置104中的合适位置(例如,?#38408;币?#23450;角度,使其指向用户的面部)。在一个特
定的实施例?#26657;?#19968;个或多个LED 106可以与一个或多个相机同步,同步的方式是:当该一个
或多个相机正在抓帧时,打开该一个或多个LED 106,否则关闭。在一些实施例?#26657;?#22914;果没有
检测到任何运动,或者如果该对接装置104和/或计算装置102进入睡眠模式,可关闭LED。

在一些实施例?#26657;?#35813;对接装置104还可包括适合类型的通滤波器(例如,有源的、机
械的、高通的、带通的等)。在一些实施例?#26657;?#20351;用了阻止800nm以下的光并允许800nm以?#31995;?br />光通过的高通滤波器。在一些实施例?#26657;?#32418;外带通滤波器可能仅允许800-900nm的光进入该
相机模块108的一个或多个相机中。

该相机模块108包括一个或多个前置摄像头,该前置摄像头以任何方式放置在对
接装置104中的任何合适位置(例如,?#38408;币?#23450;角度,使其指向用户的面部),且可用于捕捉
用户的眼睛和/或面部的图像。一个或多个相机可被放置在与LED 106保持合?#31034;?#31163;的位
置,以优化红外光的适宜捕捉。在一些实施例?#26657;?#35745;算装置102?#31995;?#30456;机与立体声模式的相
机模块108结合使用。在一些实施例?#26657;?#30456;机模块108可包括以下各项中的任?#25105;?#39033;或多项:
以合适的每秒帧速率(例如,,以每秒30帧的高清)运行的黑白(例如,单色)、彩色(例如,RGB
(红绿蓝))或IR-RGB(红外-红绿蓝)传感器、没有红外线屏蔽过滤器而有适?#31995;?#35270;野和景深
(如,移动设备情况下约30-80cm,电视机情况下约2-5m)的镜头?#21462;?#30456;机模块108中的一个或
多个相机可被定位成使该一个或多个相机朝向用户的面部?#38408;薄?br />

相机捕捉的图像可以由眼睛跟踪软件来旋转,图像的处理可?#35270;?#34917;偿输入方向
(input orientation),或它们的任何合适的组合。例如,眼睛跟踪软件可使用计算装置102
?#31995;?#20256;感器(例如,加速度计,磁力计等)探测计算装置102的方向并旋转该图像,或应用预
处理设置来补偿该装置的方向,从而可以适当地处理该图像。

LED 106发出光(例如,红外光),该光可以聚焦并集中朝向用户的眼睛。LED 106发
出的光在用户的瞳孔中和角膜上映出,并由相机模块108中的相机记录。在一些示例实施例
?#26657;琇ED 106与一个或多个相机同步,这样?#24065;?#20010;或多个相机正在抓取图像时,LED 106才
亮。在一些示例实施例?#26657;?#37319;用红外通过滤过器过滤掉800nm以下的可见光,这样的过滤可
提高图像质量。相机模块108中的一个或多个相机的镜头的视野和景深可允许用户进行移
动,以?#35270;?#29992;户不同的头部姿势。眼睛跟踪控制软件可以分析相机模块108拍摄的图像,以
提供用户正在观看的计算装置102的显示器?#31995;?#20301;置的屏幕坐标(例如,(x,y)或(x,y,z))。
这些坐标可用于很多应用(例如,滚动、移动对象、选择图标、玩游戏等等)。

LED 106和相机模块108可以任何方式打开和/或关闭,例如通过利用外部滑块、计
算装置102或对接装置104的侧面上或背面?#31995;?#19987;用开关?#30913;ィ?#30001;屏幕?#31995;?#24212;用程序或数字
?#30913;?#25511;制,由计算装置102和/或对接装置104的运动或震动控制、由语音命令、屏幕?#31995;?#30005;
容式?#30913;ァ?#35302;摸板(多个),生物信号(例如,肌电图(EMG),脑电图(EEG))等)、远程控制、?#36136;?br />和/或?#23435;?#23039;势,或它们的任何合适的组合控制。这样,在一些示例实施例?#26657;?#20165;当LED 106
和相机打开时(例如,当用户正在使用眼睛跟踪功能时),眼睛跟踪组件才会消耗功率。

在一些实施例?#26657;?#24403;相机位于计算装置102的底部(如,与用户的视角
(perspective)有关)时,眼睛跟踪功能被优化。用户可使与对接装置104耦?#31995;?#35745;算装置
102旋转,以正确地定位该相机模块108,使其位于计算装置102的底部。在一些实施例?#26657;?#26681;
据计算装置102和对接装置104的方向,计算装置102的一个或多个加速计和/或磁力计、
LED、通滤波器和相机打开和/或关闭。例如,从用户的角度看,当计算装置102和对接装置
104旋转,使相机模块108位于计算装置102的顶部时,LED和相机可关闭。

当在预定的时间(例如,5-10秒)内不能探测出用户的面部时,LED和相机可关闭,
?#19994;?#25506;测出用户的面部或用户的面部部分(如,用户的眼)时,LED和相机可再?#26410;?#24320;。

图2是计算设备202的另一实施例的装置图200,该计算设备与能便于眼睛跟踪控
制的对接装置204耦合。图2所示的实施例的操作可以与图1所示的实施例的操作类似,并且
可包含图1描述的任?#25105;?#20010;或组合特征。然而,如图2所示,对接装置204可与LED 206集成,
且可使用计算装置202的相机模块(代替或增加与对接装置204集成的相机模块208)。在使
用USB、微USB接口或专用端口将计算装置202与对接装置204耦?#31995;?#19968;些实施例?#26657;?#30001;于计
算装置202的相机用于捕捉图像,因而图2描述的配置可更快地传送来自相机的图像。当同
时使用一个或多个前置和后置摄像头时,可使用用于眼睛跟踪控制的前置摄像头。

图3A-3D是示例计算装置的装置图,该计算装置能够便于眼跟踪控制。图3A-3C所
示的实施例的操作与图1所示的实施例的操作类似,并且可包含图1描述的任?#25105;?#20010;或组合
特征。然而,LED和相机模块集成到计算装置中(而不是成为对接装置的一部分)。图3A-3C分
别描述了计算装置300、310和320,在不同的示例配置?#26657;琇ED 302、312和322和相机模块
304、314和324集成到计算装置300、310和320中(与用户的视角有关)。

计算装置300、310和320?#31995;腖ED 302、312和322和相机模块304、314和324可位于
计算装置300、310、320?#31995;?#22810;个配置的任?#25105;?#20010;中。图3A示出了LED 302和相机模块304位
于计算装置300的底部。图3B示出了LED 312位于计算装置310的一侧,而相机模块314位于
计算装置310的相对一侧。图3C示出了LED 322和相机模块324位于计算装置320的同一侧。

图3D展示了眼睛跟踪装置。其?#26657;?#30456;机模块334和LED 332未与计算装置330的屏幕
连接。当眼睛跟踪装置相对于显示屏不在固定的位置时,可用附加校准来补偿。

图4是便于眼睛跟踪控制的示例软件架构400的框图。软件架构400的任?#25105;?#20010;或
多个组件可在计算装置(例如,计算装置102、202、300、310、320或330)的控制处理单元
(CPU)上,或在CPU和计算装置的图?#26410;?#29702;单元(GPU)的组合上运行。在一些示例实施例?#26657;?br />软件架构400的一个或多个组件在专用芯片上运行。该软件可作为后台程序(例如,作为操
作系统(OS)的一部分或在网页浏览器内),并可提供其他应用程序可以访问的应用程序接
口(API)。API可以触发事件,或使用其他一些类似机?#24179;?#29992;户正在观看的屏幕?#31995;?#20301;置的
信息发?#36879;?#20854;他应用程序。本领域的普通技术人员将理解到,图4所示的示例软件架构400
可包括更多或更少的元件。

软件架构400可分成不同的层。底层可以包括对应各自的硬件的相机模块480和照
明模块490。为了进行相机操作,比如打开相机、捕捉图像、控制相机属性、触发传感器以抓
取图像,或者它们任何合适的组合,相机层可以包括相机控制模块460,该相机控制模块460
负责与每个相机通信。相机控制模块460还可以包括电路,以处理由相机模块480传送的图
像。例如,相机控制模块460可以包括处理器(例如,内部存贮程序(ISP),该处理器可以优化
图像质量,检测图像上?#34892;?#36259;的区域,裁剪由相机模块480传送的图像?#21462;?#30456;机层还可以包
括相机和光同步模块470,该相机和光同步模块470与相机和发射源(例如,红外线发射源)
同步,因而以这样的方式控制光:改进用户的眼睛的跟踪、提高视线精度、最小化能量消?#27169;?br />或它们的?#25105;?#32452;合。在一些示例实施例?#26657;?#26681;据眼睛跟踪引擎或相机控制模块460发出的参
数?#26723;?#25110;增加光的数量,采用眼睛跟踪算法来优化照明。在一些示例实施例?#26657;?#30456;机层被配
置为在相机触发输出的?#24503;?#19978;闪光(例如,红外线LED)。在一些示例实施例?#26657;?#36825;种同步通
过使用由相机层提供的一个或多个触发信号到相机模块480和照明模块490?#35789;?#29616;。

一旦相机模块480的传感器捕捉到图像,图像被发送到眼睛跟踪电路,以进一步处
理(例如,眼睛特征的检测和视线方向或注视点的计算)。在一些实施例?#26657;?#30456;机层将图像传
?#36879;?#30456;机控制模块460,相机控制模块460在将图像传送到眼睛跟踪层之前处理该图像。在
眼睛跟踪层?#26657;?#30524;睛探测和跟踪模块440可处理图像以?#19994;?#29305;征,例如眼睛区域位置、瞳孔
?#34892;摹?#30643;?#29366;?#23567;、角膜反射位置、眼角、虹膜?#34892;摹?#34425;膜大小或它们任何合适的组合。在视线
估算阶段,视线估算模块430可使用这些特征,视线估算模块430可能是负责计算用户的注
视点。视线估算模块430还可计算用户的眼睛的光轴和视轴,并基于用户的具体特征校准该
计算。

API层可用于眼睛跟踪层与使用眼睛视线信息的应用程序之间的通信。API模块
420可发送眼睛跟踪层计算的数据,例如注视点的坐标、用户的眼睛方向的三维(3D)矢量、
瞳?#29366;?#23567;、?#20102;?#36895;率或它们任何合适的组合。该API模块420还可接受来自眼睛跟踪层的应
用程序的命令(例如,启动和/或停止眼睛跟踪引擎、查询特定信息、改变眼睛跟踪引擎工作
的模式等)。应用程序模块410可以连接到眼睛跟踪器的API模块420,并为了任何合适的目
的使用眼睛视线信息(例如,控制应用程序或游戏、以供将来使用而记录眼睛数据、确定驾
驶员的睡意水平、测量一个人对特定对象的兴趣,或它们任何合适的组合)。

图5是用于便于眼睛跟踪控制的示例数据流的框图。一个或多个相机和照明模块
510(例如,通过红外LED提供照明)可捕捉用户一个眼睛或多个眼睛的图像。眼睛特征探测
模块520可使用所捕捉的数据探测眼部特征(例如,眼(多个)、瞳?#20303;?#35282;膜反射的位置等)。使
用探测到的眼部特征,视线估算模块530可估算用户的注视点,然后通过眼睛控制模块540,
该用户的注视点可用于控制应用的各方面。

当用户刚开始使用眼睛跟踪功能时,可进行校准过程,以计算特定于用户的校准
参数(例如,光轴与视轴之间的垂直和水平偏移)和/或计算?#25104;?#20989;数的参数,该?#25104;?#20989;数可
以将图像坐标系统?#31995;?#30524;睛特征?#25104;?#21040;屏幕坐标系统。然后通过视线估算算法,这些校准
参数以及面部和眼睛的信息用于估算用户正在观看的屏幕?#31995;?#20301;置和/或用户的视线的位
置。可使用任何适?#31995;?#26657;准过程以计算特定于用户的校准参数。特定于用户的校准参数可
包括任何有关的参数,例如光学角度与视觉角度之间的偏移、角膜半?#19969;?#35282;膜?#34892;?#19982;瞳孔中
心之间的距离?#21462;?#22312;一些实施例?#26657;?#21487;使用通用的回归多项式以将图像数据?#25104;?#21040;屏幕坐
标系统,且该校准参数可包括该多项式的系数。

在保证估算的视线坐标(gaze coordinates)的准确性的同时,为了允许用户移
动,可以使用硬件校准设置,使3-D空间中的硬件组件的相对尺寸、位置和特征是已知的,包
括屏幕大小、一个或多个相机相对屏幕的位置和相对角度、光源的位置、固有相机参数等
?#21462;?br />

图6A和6B是眼睛跟踪技术系统610相对于屏幕620的示意图。屏幕620可以是具有
高度h和宽度w的矩形屏幕。眼睛跟踪技术系统610包括一个或多个光源L1—Ln。在图6A?#26657;琌
是坐标系统XYZ的?#34892;摹?#22312;一些实施例?#26657;?#19968;个或多个相机和一个或多个光源L1—Ln相对于
?#34892;腛的位置是已知的。在一些实施例?#26657;?#23631;幕620相对于?#34892;腛的位置是已知的。在一些实
施例?#26657;?#19968;些相机参数是已知的,包括焦距、光学?#34892;?#31561;?#21462;?#20351;用已知的参数,可以确定未知
的值。

在一些实施例?#26657;?#22914;上所述,眼睛跟踪系统可?#24230;?#21040;屏幕?#26657;?#25110;者可以装载在屏幕
?#31995;?#29305;定位置中。在这种情况下,硬件组件是固定的,对于硬件校准来说一次测量可能是足
够的。当眼睛跟踪装置不固定到屏幕时,用户可能需要手动测量以及输入该装置与该屏幕
之间的距离,以使眼睛跟踪软件在用户校准后可以正确计算屏幕?#31995;?#35270;线坐标。

眼睛跟踪系统可以捕捉关于用户的眼睛和面部特征的信息,包括瞳孔?#34892;摹?#30643;孔
椭圆(pupil ellipse)、角膜反射、眼角、面部方向?#21462;?#30643;孔?#34892;?#26159;位于被探测瞳孔的?#34892;?#30340;
点。瞳孔椭圆是(圆形)瞳孔图像的椭圆表示法(elliptical representation)。瞳孔椭圆的
偏心率与一角度有关,该角度是用户视线的方向与相机和眼睛的连线之间的角度。角膜反
射是从角膜反射的光。?#24065;?#30693;光源L与相机O之间的关系时,相对于瞳孔?#34892;?#27979;量的光源的
角膜反射的位置,可以用于识别视线方向。

在用户校准过程?#26657;?#21487;以在屏幕上显示一个或多个对象,当它们正被显示时,用户
可以观看这些对象。如果在任何给定时间两个或多个校准对象被显示,则系统可以识别用
户正在观看哪一个,通过例如将校准对象所循的路径与当他们观看对象时眼睛所循的路径
进行对?#21462;?#22312;一些实施例?#26657;?#24403;用户被指示观看屏幕的一部分时,例如屏幕的角部,光源处
等等,用户校准可以发生。当校准对象被显示时,眼睛跟踪软件捕捉眼睛信息,包括瞳孔中
心、瞳孔椭圆、角膜反射、眼角、面部方向等?#21462;?br />

图6B示出了要在3-D空间中相对于原点O计算的眼睛特征,这样可以计算视轴,并
且视轴可以与屏幕平面相交。角膜反射在图像平面?#31995;?#20301;置g可以与3-D空间中光源L的位
置结合使用,根据一个或多个相机以及相机的固有参数,计算3-D空间中角膜?#34892;腃的位置。
例如,可以?#29992;?#20010;光源L经由角膜到每个相机来跟踪光线。每个光源相机对提供单独的光
线,并且识别角膜表面?#31995;?#28857;。通过在这些点之间进行三角测量,可以确定角膜半径和C的
位置。当使用多个相机或光源时,可以提高测量的准确性。

瞳孔?#34892;?#22312;图像平面?#31995;?#20301;置p可以与3-D空间中角膜?#34892;腃的位置、眼睛和空气
的光学性质以及相机的固有参数结合使用,以计算3-D空间中瞳孔?#34892;腅的位置。例如,相机
捕捉瞳孔的图像,但是瞳孔?#34892;?#30340;实际位置与图像直接指示的位置不同,因为瞳孔位于角
膜的后方,并且光在角膜与空气的交界处被折射。因此,考虑到该折射,瞳孔?#34892;?#30340;显示位
置(apparent position)要调整。

3-D空间中瞳孔?#34892;腅的位置和角膜?#34892;腃的位置定义一个矢量,称为光轴。实际视
线,?#37096;?#31216;为视轴,具有相对于光轴的角偏移,该角偏移可以通过用户校准来计算。x和y方
向?#31995;?#35282;偏移称为α和β,并且通常在水平方向上大约5°,在垂直方向上大约1.5°,但是这些
值是针对个人的,因此需要基于每个用户来计算。

通过要求用户观看屏幕上和3-D空间中的已知位置上显示的校准目标序?#26657;?#21487;以
计算α和β(在硬件校准的设置?#26657;?#23631;幕相对于相机(多个)的位置和大小是已知的,因此3-D
空间中校准目标的位置是已知的)。

一旦视轴已知,则光线可以与屏幕平面相交。相交点提供用户正在观看的屏幕上
的视线坐标。在用户校准过程?#26657;部?#20197;计算其它眼睛参数,例如角膜半径或瞳孔?#34892;?#19982;角
膜?#34892;?#20043;间的距离,以提高屏幕?#31995;?#35270;线坐标的计算的准确性(由于角膜?#34892;?#30340;较佳估算,
和所产生的光轴和视轴)。否则,可以使用平均值(例如,角膜半径为7.8mm)。

为了减少硬件设置的人工测量的需要,在用户特定校准参数的计算期间,在保证
头部运动的公差(tolerance)的同时,可以计算3-D空间中屏幕相对于眼睛跟踪装置的位置
和方向。

本文描述的视线估算包括校准过程中硬件参数的这种计算(该硬件参数用于计算
用户特定参数),并?#20197;?#29992;户特定校准之前硬件设置未知的情况下可能是相关的。例如,它
可用于眼睛跟踪装置是外围设备的情况下,或者在用户能够将眼睛跟踪装置连接到不同类
型的计算装置(例如,笔记?#38236;?#33041;、计算机屏幕、平板电脑等)的情况下。用户可以将该外围
设备放置在相对于计算装置的各种位置。在每一种情况下,硬件配置(例如,眼睛跟踪装置
相对于屏幕的位置和角度)可以不同,并且用户可能另外需要对每个不同的计算装置进行
硬件校准(例如人工测量某些预定义元素之间的距离,诸如装置的左上角、屏幕的左上角、
装置与屏幕之间的角度等)。

在上述用户校准期间,要校准的未知量的总集合可以包括任何未知信息,例如眼
睛参数(例如,光轴和视轴α和β之间的偏移、角膜半径Rc、瞳孔?#34892;?#19982;角膜?#34892;?#20043;间的距离
h、折射率n等)和硬件参数(例如,3D空间中相对于眼睛跟踪装置S的屏幕位置和方向、以及
屏幕大小(宽度w、高度h))。在校准之前已知的信息可以包括光源相对于一个或多个相机
L1—Ln的位置、一个或多个相机的相机参数(例如,焦距、光学?#34892;?#31561;)等?#21462;?br />

在一些示例实施例?#26657;?#23631;幕大小(w,h)可以是已知的,或者可以通过软件(例如,通
过操作系统API)以编程方式获取,并用作现有已知的信息。在一些实施例?#26657;?#19968;些眼睛参数
可以采用常数值以减小未知量的维度空间。

图7是便于眼睛跟踪校准的示例方法700的流程图。在操作702?#26657;?#22312;计算系统的显
示设备上显示用户特定校准目标组中的一个用户特定校准目标。用户特定校准目标可以以
任何合适的方式显示。

在操作704?#26657;?#22312;显示校准目标的同时,收集与所显示的校准目标相关联的眼睛信
息。眼睛信息的收集可以包括检测和存储信息,例如瞳孔?#34892;摹?#30643;孔椭圆、虹膜?#34892;摹?#34425;膜椭
圆、由相机(多个)捕捉的图像(多个)?#31995;?#35282;膜反射等?#21462;?#22312;一些实施例?#26657;?#22914;果要校准的唯
一的眼睛参数是α和β,则在该阶段可以计算3D空间中相对于相机的瞳孔?#34892;?多个)和角膜
?#34892;?多个)。

在操作706?#26657;?#30524;睛跟踪应用程序确定要显示的校准目标组是否已经被显示。如果
存在该校准目标组中的附加校准目标还未被显示,则眼睛跟踪应用程序返回操作702以呈
现下一个校准目标,并且相应地收集与该校准目标相关联的眼睛信息(操作704)。

在操作708?#26657;?#24403;校准目标组内的所有校准目标已经被显示时,眼睛跟踪应用程序
使用所收集的图像数据(例如,眼睛信息)计算眼睛参数和几何参数。可以计算眼睛参数和
几何参数以最小化成本函数F。成本函数F使用所估算的注视坐标(使用眼睛参数和几何参
数计算)并使用校准目标的坐标计算度量(metric)。成本函数F可以通过使用该眼睛参数组
计算3-D空间中的角膜?#34892;?多个)和瞳孔?#34892;?多个)来计算度量。使用当前眼睛参数组的α
和β来计算光轴和视轴。在示例实施例?#26657;?#35745;算3-D空间中眼睛的视轴会聚的点。计算会聚点
与校准目标之间的几何关系(例如,平面P、旋转和变换矩阵RT、线性或非线性?#25104;銱等)并将
其存储为几何参数。在另一示例性实施例?#26657;?#21487;以计算使给定校准目标的所有视轴之间的
距离最小化的3-D点c。计算每个目标i的点Ci与校准目标之间的几何关系(例如,平面P、旋
转和变换矩阵RT、线性或非线性?#25104;銱等)并将其存储为几何参数。在又一示例实施例?#26657;?#20840;
局优化?#19994;?#20351;视线与校准目标的理论3-D位置之间的累积距离最小化的变换。该变换可以
包括平面P、旋转和变换矩阵RT以及线性或非线性?#25104;銱,并?#20918;?#23384;储为几何参数。在一些示
例实施例?#26657;?#19978;述全局优化还通过同时最小化所有校准参数的成本函数F来优化眼睛参数
EP。

在操作710?#26657;?#20351;用操作708中所计算的眼睛参数和几何参数来计算后续眼睛跟踪
阶段的视线坐标。使用视轴和几何参数(例如,作为视轴与平面P的交点)来计算视线坐标
(也称为注视点(PoR))。

图8是最小化成本函数的示例方法800的流程图。该成本函数与便于眼睛跟踪校准
有关。方法800能够执行图7的操作708中描述的优化例程(optimization routine)。该优化
例程用于计算计算眼睛参数(EP)组和几何参数(GP)组。该计算眼睛参数(EP)组和几何参数
(GP)组根据视轴的会聚点与校准目标之间的距离最小化成本函数F。

在操作802?#26657;?#20174;给定眼睛参数组中计算所收集的样本组的视轴。例如,在该操作
?#26657;?#20351;用当前眼睛参数组(例如角膜半径以及瞳孔?#34892;?#19982;角膜?#34892;?#20043;间的距离)的其它参
数,可以计算3-D空间中的瞳孔?#34892;?多个)和角膜?#34892;?多个)。

使用当前眼睛参数,为每个样本计算3-D空间中视轴会聚的点(操作804)。可替代
地或另外地,使用当前眼睛参数,可以为每个样本计算沿着单个眼睛(或每只眼睛)的视轴
的用户视线。例如,操作704中显示的样本的眼睛信息和对象位置数据,可以被存储以及使
用当前眼睛参数被重新估算,以生成用户视线的方向的更新估算。

?#19994;?#20250;聚点(convergence point)与校准目标坐标之间的几何关系(操作806)。可
选地或另外地,用户视线的当前估算与屏幕平面的当前估算的交集可用作所估算的3-D聚
集点,并且可以?#19994;?#25152;估算的3-D聚集点与校准目标坐标之间的几何关系。该几何关系可以
包括?#19994;?#20195;表3-D空间中屏幕的平面P、旋转和变换矩阵RT、非线性?#25104;銱等?#21462;?#22312;一些示例
性实施例?#26657;?#36890;过最小化每个目标i的会聚点(或相交点)ci与屏幕位置和方向的给定变换M
的理论目标位置T之间的累积距离来计算几何关系。例如,下面的等式可以用于确定几何参
数GP。

GP=min{Transformation M(Σi|M(Ti)-ci|}

?#19994;?#30340;关系存储为几何参数。

在操作808?#26657;?#20351;用视轴和几何参数GP计算视线坐标。在一些示例性实施例?#26657;?#35270;
线坐标被计算为视轴与平面P的交点。

在操作810?#26657;?#35745;算成本函数F。成本函数F可以基于视线坐标与校准目标坐标之间
的误差度量。

在操作812?#26657;?#22914;果成本函数F未被最小化,并且尚未达到最大迭代次数,则算法更
新操作814中的眼睛参数和几何参数,使成本函数F最小化,并返回到操作802。

在操作816?#26657;?#22914;果成本函数F最小化,则返回使成本函数F最小化的所计算的眼睛
参数组和几何参数组。

图9A示出了对于给定校准目标的眼睛参数和几何参数的计算的起始点。对于给定
眼睛参数组,相对于装置902计算视觉的视线向量904。然后估算由初?#25216;?#20309;参数定义的给
定屏幕位置906,并且计算基于理论目标位置908与注视点910之间的屏幕?#31995;?#36317;离的度量。
该度量将被最小化以减小视线坐标与理论目标位置908之间的距离。

图9B示出了方法800所描述的过程的结束部分。一旦度量已经被优化,所计算的眼
睛参数组(例如,每只眼睛的视轴和光轴之间的偏移)和几何参数组(例如,相对于装置902
的屏幕位置和方向)使给定校准目标的视线坐标与理论目标位置908之间的距离最小化。

尽管图9A-9B示出了使用用户的两只眼睛的两个视轴的会聚点来确定在3D空间中
显示器相对于相机的位置的实施例,但是?#37096;?#26500;思使用单眼的实施例。例如,一旦眼睛的α
和β已知,且从眼睛的图像中可以准确地确定眼睛的视轴,则每当用户观看所显示的对象
时,显示器表面?#31995;?#28857;是确定的。通过确定对象在平面显示器?#31995;?#20301;置(例如,三个非共线
点),可以确定几何参数(例如,显示器的平面)。此外,当这些点与显示器的边缘之间的距离
和方向已知时,?#37096;?#20197;确定显示器的方向。在一些示例性实施例?#26657;?#20351;用三个以?#31995;?#26174;示对
象。例如,附加对象可以使用,以增加所确定的几何参数的置信度(confidence),或以提供
将在校准参数确定过程中使用的附加数据,或两者。

在此某些具体实施例被描述为包括逻辑或若干组件、模块或机制。模块可以构成
软件模块(比如,体现在机器可读媒体上或传输信号中的代码)或者硬件模块。硬件模块是
?#34892;?#21333;元,该单元能够进行某些操作并且可以以?#25345;?#26041;式进行配置或安排。在一些具体实
施例?#26657;?#19968;个或多个计算机系统(比如,单机、客户端或服务器计算机系统)或者计算机系统
(比如,一个处理器或一组处理器)的一个或多个硬件模块可以通过软件(比如,应用程序或
应用程序部分)配置成硬件模块,该硬件模块运转以执行此处所述描述的某些操作。

在各种实施例?#26657;?#30828;件模块可以机械化或电子化实现。例如,硬件模块可以包括专
有电路或逻辑电路,该专有电路或逻辑电路被永久配置(例如,作为专用处理器,例如现场
可编程门阵列(FPGA)或特定用途集成电路(ASIC)),以执行某些操作。硬件模块还可以包括
可编程逻辑或电路(例如,被包含在通用处理器或其他可编程处理器内),该可编程逻辑或
电路通过软件临时配置以执行某些操作。应当理解的是,决定在在专用且永久配置的电路
里或在临时配置的电路(例如,通过软件配置)里,机械化执行硬件模块,可能是出于成本和
时间的考虑。

因此,术语“硬件模块”应被理解为包含?#34892;?#23454;体,即一种物理构造的、永久配置的
(如,硬连线的)或临时配置的(例如,程序化的)的实体,以便以特定方式操作和/或执行此
处公开的某些操作。考虑到临时配置的(如,程序化的)硬件模块的实施例,在任?#25105;?#20010;实施
例?#26657;?#21508;个硬件模块都不需要及时进行配置或实例化。例如,当硬件模块包含使用软件配置
的通用处理器时,可以在不同时间将通用处理器配置成各自不同的硬件模块。相应地,例
如,软件可以相应地配置一个处理器,例如,在一个时间的例子构成一个特别的硬件模块,
并?#20197;?#21478;一个时间的例子里构成一个不同的硬件模块。

硬件模块可将信息提供给其他硬件模块并从其他硬件模块处接收信息。因此,可
以认为所描述的硬件模块是通信耦?#31995;摹?#24403;多个这样的硬件模块同时存在时,通过连接该
硬件模块的信号传输(例如,通过合适的电路和总线)可以实现通信。在实施例?#26657;?#22810;个硬件
模块在不同的时间配置或实例化,可实现该硬件模块之间的通信,例如,通过存储和检索多
个硬件模块可以访问的存储结构中的信息。例如,一个硬件模块可以进行一项操作,存储其
通信连接的存储设备中的操作输出。然后,另一硬件模块稍后可以访问该存储设备,检索和
处理存储的输出。硬件模块还可以开始与输入或输出装置的通信,并可以在资源上操作(比
如,信息收集)。

可以进行此处描述的示例方法的各种操作,至少部分地,通过临时配置(例如,通
过软件)或永久配置的一个或多个处理器进行相关操作。不论是临时还是永久配置,该处理
器可构成处理器实现模块,该处理器实现模块执行一个或多个操作或功能。在一些示例实
施例?#26657;?#26412;文所指的模块可以包括处理器实现模块。

类似地,本文描述的方法可至少部分地由处理器实现。例如,该方法的至少某些操
作可由一个或多个处理器或处理器实现模块执行。这些操作的执行可以分配到一个或多个
处理器,不仅在单个机器里,而且部署到若干机器里。在一些示例实施例?#26657;?#22788;理器或多个
处理器可位于一个位置(例如,在家庭环?#25345;小?#21150;公?#19968;肪持?#25110;作为服务器机群),而在其他
实施例?#26657;?#22810;个处理器可分布在若干位置。

一个或多个处理器还可以进行支持“云计算?#34987;肪持?#30456;关操作的运?#26657;?#25110;者作为软
件即服务运行。比如,至少一些操作可以通过一组计算机进行(作为包括处理器的机器的例
子),这些操作通过网络(比如,互联网)和通过一个或多个适当的接口(比如,应用程序接口
(APIs))实现。

示例性实施例可在数字电子电路,或在计算机硬件、固件、软件或它们的组合中执
行。采用计算机程序产品可实现实施例,该计算机程序产品例如?#34892;?#22320;包含在信息载体中
的计算机程序,例如在机器可读的媒体?#26657;?#20197;便于数据处理设备的执行或控制数据处理装
置的操作,该数据处理装置如可编程处理器、计算机或多个计算机。

计算机程序可以用任何形式的编程语言编写,包括编译或解释型语言,且它可以
任何形式部署,包括作为独立程序或作为适合在计算环?#25345;?#20351;用的模块、子程序或其它单
元。计算机程序可部署为在一个地点的一台或多台计算机上运?#26657;?#25110;分散在多个地点并通
过通信网络互相联系。

在示例实施例?#26657;?#36890;过一个或多个可编程处理器执行操作,该可编程处理器通过
操作输入数据和生成输出执行计算机程序以实现多个功能。通过专用逻辑电路(例如,现场
可编程门阵列(FPGA)或专用集成电路(ASIC))?#37096;?#20197;实现方法操作。示例实施例的设备可
以作为专用逻辑电路。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常情
况下是通过通信网络进行互动。客户端和服务器之间的关系通过计算机程序形成,该计算
机程序在各自的计算机上运行并?#20918;?#27492;间形成客户端和服务器关系。在配置可编程计算系
统的实施例?#26657;?#21487;以理解的是,需要考虑硬件和软件架构。具体地,可以理解的是,是否在永
久配置的硬件(如,ASIC)中、在临时配置的硬件(如,软件和可编程处理器的组合)中、或永
久和临时配置相组?#31995;?#30828;件中实施某些功能的选择可以是设计选择。在各种示例具体实施
例?#26657;?#30828;件(例如,机器)和软件架构的部署如下。

图10为计算机系统1000的示例形式的机器的框图,该计算机系统1000中的指令可
以被执?#26657;?#35813;指令使该机器运行本文所讨论的任?#25105;?#20010;或多个方法。在替代的实施例?#26657;?#35813;
机器作为一个独立的设备运行或者可以与其他机器连接(例如,网络连接)。在联网部署?#26657;?br />该机器可以在服务器—客户端网络环?#25345;?#20316;为服务器或客户端机器,或者在对等(或分布
式)网络环?#25345;?#20316;为对等机运行。该机器可以是个人电脑(PC)、平板电脑、机顶盒(STB)、个
人数?#31181;?#29702;(PDA)、蜂窝电话、网络设备、网络路由器、交换机或桥接器,或任何能够执行指
令的机器(时序或其他方式),该指令使由该机器采取的动作具体化。此外,虽然仅描述?#35828;?br />个机器,但是术语“机器?#24065;?#34987;认为包括任何机器群,该机器将被认为单独地或联?#31995;?#25191;行
一组(或多组)指令,以执行本文所讨论的任?#25105;?#20010;或多个方法。

示例计算机系统1000包括处理器1002(例如,中央处理器(CPU)、图?#26410;?#29702;器(GPU)
或两者)、主存储器1004和静态存储器1006,彼此间通过总线1008通信。计算机系统1000还
可以包括视频显示设备1010(例如,液晶显示器(LCD)或阴极射线管(CRT))。计算机系统
1000还包括字母数字输入设备1012(例如,键盘)、用户界面(UI)导航设备1014(例如,鼠标
或触控式显示器)、磁盘驱动单元1016、信号生成设备1018(例如,扬声器),以及网络接口设
备1020。

磁盘驱动单元1016包括机器可读媒体1022,在该机器可读媒体1022上存储了一组
或多组数据结构和指令1024(例如,软件),该数据结构和指令体?#25191;?#22788;描述的任?#25105;?#31181;或
多种方法或功能,或者由此处描述的任?#25105;?#31181;或多种方法或功能利用。指令1024还可以,全
部或至少部分,存储在主存储器1004里、静态存储器1006里和/或在计算机系统1000执行指
令期间的处理器1002里,主存储器1004和处理器1002还构成机器可读媒体。

虽然示例实施例中图示了机器可读媒体1022为单媒体,但是术语“机器可读媒体”
可以包括单个媒体或存储一个或多个指令或数据结构的多个媒体(例如,集中式或分布式
数据库和/或相关联的高速缓存和服务器)。术语“机器可读媒体”还应被理解为包括任何有
形媒体。该媒体能够存储、编码或携带通过机器运行的指令,使机器运行本技术的任?#25105;?#31181;
或多种方法,或能够存储、编码或携带此类指令利用的数据结构或与此类指令相关联的数
据结构。术语“机器可读媒体”应相应地被理解为包括,但不限于,固态存储器和光磁媒体。
机器可读媒体的具体实施例包括?#19988;资源?#20648;器,举例来说包括半导体存储设备,如,可擦
除可编程只读存储器(EPROM)、电可?#33080;?#21487;编程只读存储器(EEPROM)和闪存设备、磁盘如内
部硬盘和移动磁盘、磁光盘和CD-ROM和DVD-ROM盘。

采用传输媒体,通过通信网络1026可以进一步发送或接收指令1024。使用网络接
口设备1020和任?#25105;?#20010;公知的传输协议(例如,超文本传输协议(HTTP))可以传输指令
1024。通信网络的例子包括局域网(LAN)、广域网(WAN)、互联网、移动电话网、普通老式电话
业务(POTS)网络和无线数据网络(例如,无线局网(WiFi)和全球微波互联接入网络
(WiMAX))。术语“传输媒体”应被理解为包括任何无形媒体,该媒体能够存储、编码或携带通
过机器运行的指令,并包括便于这类软件通信的数字或模拟通信信号或其它无形媒体。

虽然已经描述?#21496;?#20307;的示例实施例,但明显的是,可以对这些实施例进行各?#20013;?br />改和改变。因此,说明书和附图被认为是说明性的而不是限制性的。附图构成本文的一部
分,以说明而非限定的方式,展示实践本主题的具体实施例。对实施例进行足够详细地描
述,以使本领域的技术人员能够实施此处公开的教学。可以利用和推断出其他实施例,因而
在不超出本发明?#27573;?#30340;情况下,可以进行结构和逻辑的替换和改变。因此,该具体实施例不
应被理解为是限制性的,且各种实施例的?#27573;?#20165;通过所附权力要求限定,连同这些权力要
求赋予的等同形式的全部?#27573;А?br />

如果实际上公开了不止一个,本发明主题的这些实施例在本文中可以通过术语
“发明”单独地和/或共同地提及,仅仅为了方便而不是想主动将本应用的?#27573;?#38480;定为任何
单个发明或发明?#25293;睢?#22240;此,虽然本文已经说明和描述?#21496;?#20307;实施例,但是应当理解的是,
实施以实现相同目的任何方案可以替代图示的具体实施例。本发明目的在于涵盖任何和所
有的各种实施例的修改或变型。通过回顾上面的说明,上述实施例的组合,以及在?#23435;?#20013;没
有具体描述的其他实施例,对于本领域技术人员是显而?#20934;?#30340;。

关于本文
本文标题:眼睛跟踪校准系统和方法.pdf
链接地址:http://www.pqiex.tw/p-6091690.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 福彩中奖图 贵州十一选五开奖结果彩票控 天天乐棋牌游戏中心下载 北京快乐8走势图 辽宁十一选五助手下载 彩票选号 北京pk10官网投注平台 pk10牛牛技巧 青海11选5开奖电子走势图 高中生炒股赚4.5亿