平码五不中公式规律
  • / 12
  • 下载费用:30 金币  

一种面向互动电视的手势交互方法和系统.pdf

关 键 ?#21097;?/dt>
一种 面向 互动 电视 手势 交互 方法 系统
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201410128223.6

申请日:

2014.04.01

公开号:

CN103914149A

公开日:

2014.07.09

当前法律状态:

授权

有效性:

有权

法?#19978;?#24773;: 授权|||实质审查的生效IPC(主分类):G06F 3/01申请日:20140401|||公开
IPC分类号: G06F3/01; G06K9/00; G06K9/36 主分类号: G06F3/01
申请人: 复旦大学
发明人: 金城; 刘雪君; 刘亚波; 张玥杰; 薛向阳
地址: 200433 上海市杨浦区邯郸路220号
优?#28909;ǎ?/td>
专利代理机构: 上海正旦专利代理有限公司 31200 代理人: 陆飞;盛志范
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201410128223.6

授权公告号:

||||||

法律状态公告日:

2017.02.08|||2014.12.03|||2014.07.09

法律状态类型:

授权|||实质审查的生效|||公开

摘要

本发明属于人机交互技术领域,具体为一种面向互动电视的手势交互方法和系统。本发明采用简单高效的时域特征提取方法,对加速度信号进行平稳降噪、去冗余和归一化处理,并用SVM进行分类和识别。手势识别结果应用于基于Android平台的机顶盒原型系统,实现用户与电视的实时交互。实验结果表明本发明实现了电视常用手势的准确识别,识别率达到了96%,手势动作的识别时间介于48~63ms。

权利要求书

权利要求书
1.  一种面向互动电视的手势交互方法,其特征在于具体步骤如下:
(1)特征提取
设一个手势G定义为:
         (1)
其中,aT代表XYZ三维加速度向量,L是手势序列的长度,即采样点数;采集的手势加速度数据序列是XYZ三维方向上以时间为横轴的向量,且三轴向量的长度相等; 
(1.1)平稳降噪
采用均值滤波的方法对手势加速度数据序列进行平稳降噪处理,以减缓短时波动,使得加速度数据更好地反映手势动作的整体运动趋势;
(1.2)去冗余
采用移动窗口算法,具体步骤为:
(1.2.1)从起始点开始计算窗口振动幅度ξ1,如公式(2): 
   (2)
ξ1的值大于0,记录下样?#38236;?I>i的值;
(1.2.2)从结束点开始计算窗口振动幅度ξ2,如公式(3): 
  (3)
ξ2的值大于0,记录下样?#38236;?I>j的值;
(1.2.3)截取样本中从ij段的手势数据,即为去冗余之后的手势信号;
其中,参数α=9,β=0.2m/s2;
(1.3) 归一化
?#36816;?#26377;特征数据值进行归一化,以消除采样点长度和加速度信号幅度的差异对识别结果的影响,具体计算方式如下:
(1.3.1)长度归一化
加速度传感器采集的数据序列的长度,对于归一化长度,采用手势序列长度的均值;对于第个采样点,归一化结果为:
                     (4)
(1.3.2) 振幅归一化
对于加速度幅值,将其归一化至[-1,+1]的区间,即归一化结果为:
   (5)
(2) 基于SVM手势分类和识别
采用一对多SVM分类器,即将某个手势类别从多类中区分出来,这可以通过转化为两类分类问题来解决;对于k类手势,构造k个SVM子分类器,在构造第j个SVM子分类器时,将属于第j类别的样本数据标记为正类,不属于j类别的样本数据标记为负类;?#32531;?#23545;手势数据分别计算各个子分类器的决策函数值,并选取函数值最大所对应的类别即是相应识别的手势动作。

2.  根据权利要求1所述的面向互动电视的手势交互方法,其特征在于所述基于SVM手势分类和识别,使用LIBSVM开源库作为SVM算法包进行手势数据的分类及识别,其算法步骤如下: 
 (1)将特征提取后的手势数据按照如下格式进行标记,生成特征值向量:
<label> <index1>:<value1> <index2>:<value2> …
其中,<label>用来标识当前数据所属的类别,类别值共有6种,0为“向右?#20445;?为“向左?#20445;?为“向上?#20445;?为“向下?#20445;?为“确定?#20445;?为“返回?#20445;?lt;index>是从1开始的连续整数,代表采样序列;<value>为实数,是实?#22987;?#24405;的加速度向量值;
 (2)选取径向基函数(RBF), 即,作为SVM的核函数;采用交叉验证法确定SVM的误差惩罚系数和RBF核参数的最佳值?#28023;?BR>(3)使用最佳参数对整个训练集进行训?#32602;?#33719;得支持向量机模型;
(4)利用训练的模型对手势数据进行预测识别。

3.  一种基于权利要求1或2所述方法的面向互动电视的手势交互系统,其特征在于手势数据采集模块、手势识别模块和手势应用模块;其中,手势数据采集模块用于对用户手势动作的加速度信号采集获取,并传输给手势识别模块;手势识别模块用于提取加速度信号的时域特征,利用SVM完成手势的建模和识别;手势应用模块将手势识别结果反馈给用户,同时解析成电视机顶盒系统能够响应的命令,以实现对电视的实时控制;手势识别模块?#22336;?#20026;离线SVM模型训练子模块和在线手势识别子模块两部分;
系统的手持端是iPod Touch4,它内置三维加速度传感器以及用于通信的Wifi模块,加速度数据通过系统API获取并传送到手势识别模块;离线SVM模型训练子模块运行在PC端,在线手势识别子模块运行在手持端;系统的电视机顶盒端的?#24067;?#24179;台为sigma8654开发板,?#24067;?#37197;置为1GHz CPU,512MRAM,通过LAN接口与无线路由器连接,搭载了Android 2.2系统。

4.  根据权利要求3所述的面向互动电视的手势交互系统,其特征在于手势数据采集模块采集手势数据时,用户对系统支持的6组基本手势进行交互实验;离线训?#26041;?#27573;,手势数据传输到PC?#31169;?#34892;后续的特征提取及建模;在线识别阶段,手势数据保留在iPod Touch4端;一个手势动作的开始和结束由智能移动终端上的按钮触发,按下按钮表示开始执行一个手势动作,释放按钮表示一个手势动作结束,即可触发手势特征提取算法,进而训练或识别;以6类手势动作实现对电视机顶盒的控制,?#26469;?#26159;向右、向左、向上、向下、确定和返回。

5.  根据权利要求4所述的面向互动电视的手势交互系统,其特征在于手势应用模块主要有两大功能:一是展示手势识别结果,由智能移动终端通过语音的形式为用户提供反馈,同时为系统的手势识别率统计提供直观的依据,二是将识别结果应用于实?#35270;?#36884;,即用手势进行电视机顶盒的遥控,检验本发明算法的实?#24066;?#26524;。

6.  根据权利要求4所述的面向互动电视的手势交互系统,其特征在于智能移动终端对电视机顶盒的遥控通过二者之间建立的稳定可靠的通信协议实现;借鉴FTP协议的架构,所述通信协议定义在TCP/IP协议的应用层,并在协议的命令中加入机顶盒系统能够识别的命令;
根据制定的通信协议,客户端发送手势命令,服务器?#31169;?#21463;到这些命令后,解析命令格式为系统的模拟按键信息,并将按键?#24405;?#25554;入到系统的按键?#24405;?#30340;队列,由此做出正确的响应。

说明书

说明书一种面向互动电视的手势交互方法和系统
技术领域
本发明属于人机交互技术领域,具体涉及一种面向互动电视的手势交互方法和系统。 
背景技术
电视数?#21482;?#21644;网络化的发展在增强电视功能性和互动性的同时,也为人机交互的研究带来了挑战[1][2]。用户如何快捷而高效地操控电视成为一个关键问题。一般而言,电视用户倚靠在沙发上,并与电视机有1~3米的距离。对于这种有一定距离的交互场景,目前用户仍广泛使用传统式红外遥控器。遥控器面板相应地增加了更多的按键,一定程度上满足了操控大量节目?#26723;?#21644;多种功能选项的需求,但也随之带来可扩展性差、?#21152;?#35270;觉注意的问题[3]。基于鼠标和键盘的人机交互模式极大地方便了人们操作和访问计算机上成千上万的资源,但它并不?#35270;?#20110;电视场景和“沙发文化”[4][5]。文献[6]指出,相比手持式设备,使用无线鼠标和键盘的错误率显著增加。基于视觉的手势交互通过摄像头采集并识别用户动作信息,对周围环境的光线和用户所处的位置方向等有强烈的依赖性[5][7],因此应用有一定的局限性。 
加速度传感器以其低功耗、?#32479;?#26412;、高灵敏度和小体积而广泛应用于智能终端上,可以检测宿主设备的三维运动信息,且不受外部环?#31243;?#20214;的限制。基于加速度传感器的手势交互逐步引起重视[8]。同时,以手机为代表的智能移动终端不断发展和普及,且具有“随时随身”、操作轻便、用户个性化的特点,也为基于手势的实时交互提供了契机和支撑环?#22330;?nbsp;
手势特征选取和分类器设计是影响手势识别效果及速度的两个关键问题。文献[9]将加速度数据量化后直接利用HMM(Hidden Markov Model, 隐马尔?#21697;?模型对手势建模。文献[10]基于DTW(Dynamic Time Warping, 动态时间归整)算法实现手势识别。然而,人手的自由度和噪声等因素给手势识别带来了很大的困难,如何克服这些困难以获得更加简洁干净的手势数据成为难点。文献[11]设计了一种基于帧描述的手势特征提取方法,结合了信号的频域特征和时域特征。但是频域特征的提取需要对手势数据进行离散傅里叶变换,计算复杂度是O(n2),不?#35270;?#20110;计算能力受限的智能移动设备。 
另外,现有的手势识别研究成果多是使用加速度传感器采集数据后在PC平台上处理得到,不利于手势识别技术的推广。 
为解决上述问题,本发明解决的问题有:(1)选择内置加速度传感器的智能移动终端作为交互载体;(2)针对智能移动终端计算能力受限的特性,采用复杂度为O(n)的时域特征提取方法,对手势数据?#26469;?#36827;行平稳降噪、去冗余和归一化处理,减小同类手势不同采样数据间的差异性,?#26723;?#38543;机噪声的影响,提升识别质量。由于SVM(Support Vector Machine, 支持向量机)在解决小样本、非线性及高维模式识别问题中具有一定的鲁棒性,系统采用SVM分类器实现手势的建模和识别;(3)将实时识别的手势动作结果以指令的形式发送到应用模块,实现对电视机顶盒的遥控。 
发明内容
本发明的目的在于设计一种对实时手势识别准确率高,且响应及时的面向互动电视的手势交互方法和系统。 
本发明设计的面向互动电视的手势交互方法,具体步骤如下: 
1、特征提取。 
特征提取的主要任务和难点是如?#31283;?#38500;原始信号的噪声及冗余,减小同类手势不同采样数据间的差异性,保留手势动作的主要特征,便于后期进行建模和识别。一个手势G可以定义为: 
         (1)
其中aT代表XYZ三维加速度向量,L是手势序列的长度,即采样点数。采集的手势序列是XYZ三维方向上以时间为横轴的向量,且三轴向量的长度相?#21462;?
1.1平稳降噪。手势加速度信号在采集或传输过程中会不同程度地受到随机噪声的干扰,同时,用户在做手势过程中不可避免的轻微抖动?#19981;?#24341;入噪声。本发明采用均值滤波的方法对手势加速度数据序列进行平稳降噪处理,以减缓短时波动,使得加速度数据更好地反映手势动作的整体运动趋势。如图1所示,“向左”手势的z轴加速度值初始信号及均值滤波后的信号,降噪后的手势信号显然提升了手势的整体动作趋势。 
1.2去冗余。在手势动作数据的采集过程中,并非所有数据都反映了手势信息,在开始和结束时采集的数据是手势操作前后的动作调整,属于冗余数据,应当去除。本发明设计并采用简单移动窗口(Simple Moving Window, SMW)方法。具体算法为: 
(1)从起始点开始计算窗口振动幅度(用ξ1表示,如公式(2))。当ξ1的值大于0,记录下样?#38236;?I>i的值。
   (2) 
(2)从结束点开始计算窗口振动幅度(用ξ2表示,如公式(3))。当ξ2的值大于0,记录下样?#38236;?I>j的值。
  (3) 
(3)截取样本中从ij段的手势数据,即为去冗余之后的手势信号。
该算法核心是移动窗口的宽度α和加速度数据门限阈值β。移动窗口的宽度太大会导致去冗余过程过快结束,部分冗余数据没有被删除;太小会因部分数据突变导致去冗余过程异常结束。β大小的设置关系到过滤数据的振幅。本发明一般采用α=9,β=0.2m/s2。 
1.3 归一化。由于手势动作产生的加速度信号是等间隔采样,相同的手势动作由于完成速度的差异,导致采样数据点个数各不相同。?#36865;猓?#19981;同用户做出指定手势动作的幅度和力度也各不相同,导致采集的手势动作加速度数据振幅存在较大差异。为保证特征识别的准确性,必须?#36816;?#26377;特征数据值进行归一化,以消除采样点长度和加速度信号幅度的差异对识别结果的影响。具体计算方式如?#28388;?#36848;: 
(1) 长度归一化。加速度传感器采集的数据序列的长度,对于归一化长度,本发明采用手势序列长度的均值。对于第个采样点,归一化结果为:
                     (4)
(2) 振幅归一化。对于加速度幅值,本发明将其归一化至[-1,+1]的区间,即归一化结果为:
   (5)。
2、 基于SVM手势分类和识别。 
传统的基于机器学习的方法要求采集大量的训?#36153;?#26412;,但该过程枯燥乏味,会大大?#26723;?#29992;户对基于手势识别的交互系统的使用兴趣。SVM?#28304;?#29702;高维非线性分类问题,尤其是当训?#36153;?#26412;数据量比较小时优于其他机器学习方法。对于两种手势分类问题,SVM的基本思想是?#21644;?#36807;核函数将样本空间映射到高维空间,使其在高维空间变得线性可分,?#32531;?#22312;高维空间构造最优分类超平面,使超平面与不同类样本集之间的距离最大。本系统支持的手势类型不只两种,故采用一对多SVM分类器(One-against-the-rest Method),即将某个手势类别从多类中区分出来,这可以通过转化为两类分类问题来解决。对于k类手势,构造k个SVM子分类器。在构造第j个SVM子分类器时,将属于第j类别的样本数据标记为正类,不属于j类别的样本数据标记为负类。?#32531;?#23545;手势数据分别计算各个子分类器的决策函数值,并选取函数值最大所对应的类别即是相应识别的手势动作。 
本发明使用LIBSVM[12]开源库作为SVM算法包来进行手势数据的分类建模及识别,其算法步骤如下: 
(1)将特征提取后的手势数据按照如下格式进行标记,生成特征值向量:
<label> <index1>:<value1> <index2>:<value2> …
其中<label>用来标识当前数据所属的类别,本发明类别值共有6种,0为“向右?#20445;?为“向左?#20445;?为“向上?#20445;?为“向下?#20445;?为“确定?#20445;?为“返回?#20445;?lt;index>是从1开始的连续整数,代表采样序列;<value>为实数,是实?#22987;?#24405;的加速度向量值;
(2) 选取径向基函数(RBF), 即,作为SVM的核函数。采用交叉验证法确定SVM的误差惩罚系数和RBF核参数的最佳值?#28023;?
(3)使用最佳参数对整个训练集进行训?#32602;?#33719;得支持向量机模型;
(4)利用训练的模型对手势数据进行预测识别。
本发明设计的基于上述的方法的面向互动电视的手势交互系统,其结构如图2所示,该系统包括手势数据采集模块、手势识别模块和手势应用模块。手势数据采集模块用于对用户手势动作的加速度信号采集获取,并传输给手势识别模块。手势识别模块用于提取加速度信号的时域特征,利用SVM完成手势的建模和识别。手势应用模块将手势识别结果反馈给用户,同时解析成电视机顶盒系统能够响应的命令,以实现对电视的实时控制。本发明的核心是手势识别模块和手势应用模块。其中手势识别模块?#22336;?#20026;离线SVM模型训练子模块和在线手势识别子模块两部分。 
系统的手持端是iPod Touch4,它内置三维加速度传感器以及用于通信的Wifi模块,加速度数据通过系统API获取并传送到手势识别模块。离线SVM模型训练子模块运行在PC端,在线手势识别子模块运行在手持端。系统的电视机顶盒端的?#24067;?#24179;台为sigma8654开发板,?#24067;?#37197;置为1GHz CPU,512MRAM,通过LAN接口与无线路由器连接,搭载了Android 2.2系统。 
本发明中,手势数据采集模块采集手势数据时,用户对系统支持的6组基本手势进行交互实验。加速度数据采样频率为50Hz。离线训?#26041;?#27573;,手势数据传输到PC?#31169;?#34892;后续的特征提取及建模。在线识别阶段,手势数据将保留在iPod Touch4端。一个手势动作的开始和结束由智能移动终端上的按钮触发,按下按钮表示开始执行一个手势动作,释放按钮表示一个手势动作结束,即可触发手势特征提取算法,进而训练或识别。以6类手势动作实现对电视机顶盒的控制,?#26469;?#26159;向右、向左、向上、向下、确定和返回,如图3所示。 
本发明中,手势应用模块主要有两大功能:一是展示手势识别结果,由智能移动终端通过语音的形式为用户提供反馈,同时为系统的手势识别率统计提供直观的依据,二是将识别结果应用于实?#35270;?#36884;,即用手势进行电视机顶盒的遥控,检验本发明算法的实?#24066;?#26524;。 
智能移动终端对电视机顶盒的遥控需要二者建立稳定可靠的通信协议。本系统借鉴FTP协议的架构,定义在TCP/IP协议的应用层,并在协议的命令中加入机顶盒系统能够识别的命令。遥控器作为客户端与机顶盒服务器端的连接流程如图4所示。 
根据制定的通信协议,客户端发送手势命令(手势命令对照如表1所示),服务器?#31169;?#21463;到这些命令后,解析命令格式为系统的模拟按键信息,并将按键?#24405;?#25554;入到系统的按键?#24405;?#30340;队列,由此做出正确的响应。 
表1 系统采用的手势语义命令对照表 
本发明设计并实现了面向互动电视的实时手势交互系统。不同于以往HMM及DTW方法中直接对加速度信号建模,该系统在建模之前首先对加速度数据进行特征提取,?#26469;?#36827;行平稳降噪、去冗余和归一化处理,消除随机噪声以及手势动作速度和幅度等因素的影响,减小了同一手势不同数据间的差异性。对于高维非线性的手势向量,利用多类SVM分类器对手势动作进行分类和识别。系统将识别结果转换成控制命令,实?#21482;?#20110;手势动作的电视机顶盒实时控制。 
附图说明
图1:手势信号均值滤波前后对照。 
图2:面向互动电视的手势交互系统结构。 
图3:实现对电视机顶盒的控制的6类手势动作。 
图4:系统建立连接流程图。 
图5:手势识别率。 
图6:手势识别响应耗时。 
具体实施方式
选择7名用户对系统支持的6组基本手势进行交互实验。加速度数据采样频率为50Hz。离线训?#26041;?#27573;,手势数据传输到PC?#31169;?#34892;后续的特征提取及建模。在线识别阶段,手势数据将保留在iPod Touch4端。 
7名实验用户包括6名?#34892;浴?名女性,年龄均在21至25岁之间。用户在不同环境和时间完成上述6组手势,每个手势共完成80次,一共获得了3360组数据。 
准确?#21183;?#27979;。本发明将采集的3360组数据一半作为SVM模型训练的样本,另一半用于手势在线识别,与SVM模型进行匹配,识别结果如图5所示,其中横轴表示定义的手势,纵轴表示手势识别的准确率,手势识别率一般在96%左右。 
耗时分析。主要考察从手势动作结束到电视机顶盒解析指令并做出响应所花费的时间。计时方式为:记?#23478;?#25511;器端释放按钮的时间和机顶盒?#31169;?#26512;和执行命令完成后的时间,两者相减即为总时间。为了保持两边的时间同步,两者都采用NTP协议获取网络时间,wifi环境下误差在0.1ms以内。测试过程中,系统状态为遥控器端与服务器端已连接,且连接状态稳定。遥控器端处于“飞行模式”。实验结果如图6所示,横轴表示定义的手势,竖轴表示响应时间,单位为毫秒。 
由图6可知,每组手势动作的识别时间在48~63ms之间,目前主流电视遥控器的响应时间从?#36127;?#31186;到几十毫秒不等,可见该系统的手势识别耗时与传统遥控器相比是相当的,可以保证以较小的耗时在完成手势识别。 
通过具体实施表明,本发明采用的时域特征提取方法可以有效地标识手势动作,具有较高的识别率,可有效的实现对电视机顶盒的遥控。本研究工作为基于智能移动终端和加速度信号的手势交互研究推进至实用场合进行了一次有意义的尝试。 

关于本文
本文标题:一种面向互动电视的手势交互方法和系统.pdf
链接地址:http://www.pqiex.tw/p-6115639.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - ?#20122;?#38142;接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 二肖包中期期稳145 三公大吃小玩法规则 西游争霸电玩城视频 飞艇冠军在线计划 湖北快三购买官网 侏罗纪游戏手机版 双色球8加2中4个红球 御宅屋写文赚钱 通比牛牛和上庄牛牛的区别 网络平台什么靠谱赚钱