平码五不中公式规律
  • / 20
  • 下载费用:30 金币  

用户认证方法、执行该方法的装置及存储该方法的记录介质.pdf

关 键 ?#21097;?/dt>
用户 认证 方法 执行 装置 存储 记录 介质
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201580025201.X

申请?#30504;?/td>

2015.04.22

公开号:

CN106663157A

公开?#30504;?/td>

2017.05.10

当前法律状态:

实审

?#34892;?#24615;:

审中

法?#19978;?#24773;: 专利申请权的转移IPC(主分类):G06F 21/32登记生效日:20170613变更事项:申请人变更前权利人:金镐变更后权利人:广州市瀛瞳科技有限公司变更事项:地址变更前权利人:韩国首尔变更后权利人:广东省广州市天河区东圃二马路61号B座4楼A室和B室|||实质审查的生效IPC(主分类):G06F 21/32申请日:20150422|||公开
IPC分类号: G06F21/32(2013.01)I; G06K9/00 主分类号: G06F21/32
申请人: 金镐
发明人: 金镐
地址: 韩国首尔
优?#28909;ǎ?/td> 2014.05.12 KR 10-2014-0056802
专利代理机构: ?#26412;?#36335;浩知识产权代理有限公司 11002 代理人: 王莹;王朋飞
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580025201.X

授权公告号:

||||||

法律状态公告?#30504;?/td>

2017.06.30|||2017.06.06|||2017.05.10

法律状态类型:

专利申请权、专利权的转移|||实质审查的生效|||公开

摘要

本发明涉及一种用户认证方法、执行该方法的装置及存储该方法的记录介质。本发明一实施例的在用户认证装置中执行的用户认证方法,包括如下步骤:当从图像拍摄设备接收用户的图像数据时,利用所述图像数据的各个帧图像来检测脸部区域和脸部特征点;通过匹配所述脸部区域与特定脸部模板来执行脸部认证;根据利用所述脸部特征点提取的眼区域的图形来检测是否眨眼,根据预设的基准,并基于所述眨眼状态来识别密码,确认已识别的所述密码与预设的密码是否一致,由此执行密码的认证;以及根据所述脸部认证的结果及所述密码认证的结果来判断所述用户认证成功。

权利要求书

1.一种用户认证方法,所述用户认证方法为在用户认证装置中执行的用户认证方法,
其特征在于,包括如下步骤:
当从图像拍摄设备接收用户的图像数据时,利用所述图像数据的各个帧图像来检测脸
部区域和脸部特征点;
通过匹配所述脸部区域与特定脸部模板来执行脸部认证;
根据利用所述脸部特征点提取的眼区域的图形来检测是否眨眼,根据预设的基准,并
基于所述眨眼状态来识别密码,确认已识别的所述密码与预设的密码是否一致,由此执行
密码的认证;以及
根据所述脸部认证的结果和所述密码认证的结果来判断所述用户认证成功。
2.根据权利要求1所述的用户认证方法,其特征在于,
利用所述图像数据的各个帧图像来检测脸部区域及脸部特征点的步骤包括如下步骤:
从所述帧图像中的特定帧图像中检测脸部区域并将所述特定帧图像定义为关键帧图
像;以及
以所述关键帧图像为基准从一般帧图像中提取变化区域并利用所述变化区域从所述
一般帧图像中检测脸部区域。
3.根据权利要求2所述的用户认证方法,其特征在于,
从所述帧图像中的特定帧图像中检测脸部区域并将所述特定帧图像定义为关键帧图
像的步骤包括如下步骤:
针对所述特定帧图像的各个像素,将通过其周边像素的亮度比值与多个过滤系数的线
性组合来获取的值设定为相应像素的亮度比值,从而消除包括在所述特定帧图像中的噪
声。
4.根据权利要求2所述的用户认证方法,其特征在于,
从所述帧图像中的特定帧图像中检测脸部区域并将所述特定帧图像定义为关键帧图
像的步骤包括如下步骤:
当所述特定帧图像的帧编号除以特定数字而没有余数时,将所述特定帧图像确定为关
键帧图像。
5.根据权利要求2所述的用户认证方法,其特征在于,
以所述关键帧图像为基准而从所述一般帧图像中提取变化区域并利用所述变化区域
从所述一般帧图像中检测脸部区域的步骤包括如下步骤:
比较所述关键帧图像与所述一般帧图像来生成包括帧间差信息的帧差图像;
对所述帧差图像执行二值化来生成所述帧差图像对应的二值帧图像;
将滤波器适用到所述二值帧图像中以消除噪声;
利用所述二值帧图像来从所述一般帧图像中确定脸部检测区域;以及
从所述脸部检测区域中检测脸部区域。
6.根据权利要求5所述的用户认证方法,其特征在于,
对所述帧差图像执行二值化来生成所述帧差图像对应的二值帧图像的步骤包括如下
步骤:
比较所述帧差图像的各个像素的亮度比值与阈值;
当所述像素的亮度比值为阈值以上时,将相应像素转换成白色;以及
当所述像素的亮度比值为阈值以下时,将相应像素转换成黑色。
7.根据权利要求6所述的用户认证方法,其特征在于,
将滤波器适用到所述二值帧图像中以消除噪声的步骤包括如下步骤:
将对应所述二值帧图像噪声的像素的亮度比值置换为周边像素的亮度比值的中值。
8.根据权利要求6所述的用户认证方法,其特征在于,
利用所述二值帧图像从所述一般帧图像中确定脸部检测区域的步骤包括如下步骤:
从所述二值帧图像中提取包括白色像素的多个矩形区域;以及
将包括所述各个矩形区域的最终矩形区域确定为脸部检测区域。
9.根据权利要求5所述的用户认证方法,其特征在于,
从所述脸部检测区域中检测脸部区域的步骤包括如下步骤:
缩小所述脸部检测区域而生成不同大小的多个图形;
分别从所述多个图形中检测候选脸部区域;以及
利用分别从所述多个图形中检测的候选脸部区域的共同区域来检测相应帧图像的脸
部区域。
10.根据权利要求9所述的用户认证方法,其特征在于,
从所述脸部检测区域中检测脸部区域的步骤包括如下步骤:
分别从所述多个图形中检测脸部候选区域,定义针对检测出的所述脸部候选区域的矩
形特征,基于根据AdaBoost算法学习所述矩形特征的学习资料来检测脸部区域;以及
基于主动形状模?#22270;?#26415;从检测出的所述脸部区域中检测脸部特征点。
11.根据权利要求1所述的用户认证方法,其特征在于,
执行所述脸部认证的步骤包括:
比较所述脸部区域的二元特征量与已存储的特定脸部模板的二元特征量来计算相似
度,根据计算得出的所述相似度来输出所述脸部认证的结果。
12.根据权利要求1所述的用户认证方法,其特征在于,
根据利用所述脸部特征点提取的眼区域的图形来检测是否眨眼,确认基于所述眨眼状
态来识别的密码与预设的密码是否一致的步骤,包括如下步骤:
利用脸部特征点从所述脸部区域提取眼区域;
利用所述眼区域的像素值来生成特定维的像素矢量;
适用主成分分析来缩小所述像素矢量的维数;以及
通过将支持向量机适用到已缩小维数的所述像素矢量中来检测是否眨眼。
13.根据权利要求1所述的用户认证方法,其特征在于,
所述预设的基准是基于左眼的眨眼状态、右眼的眨眼状态、双眼同时眨眼的状态中的
至少一个状态,
所述眨眼状态包括眨眼顺序、眨眼次数、闭眼或睁眼状态的维?#36136;?#38388;、左眼及右眼的眨
眼组合中的至少一种。
14.一种用户认证装置,其特征在于,包括:
脸部区域检测部,当从图像拍摄设备接收用户图像数据时,利用所述图像数据的各个
帧图像来检测脸部区域和脸部特征点;
第一认证部,通过匹配所述脸部区域和特定脸部模板来执行脸部认证;
第二认证部,根据利用所述脸部特征点提取的眼区域的图形来检测是否眨眼,根据预
设的基准,并基于所述眨眼状态来识别密码,确认已识别的所述密码与预设的密码是否一
致;以及
判断部,根据所述第一认证部的认证结果和所述第二认证部的认证结果来判断所述用
户认证成功。
15.一种记录介质,所述介质作为存储用于运行在用户认证装置中执行的用户认证方
法的计算机程序的记录介质,其特征在于,包括如下功能:
当从图像拍摄设备接收用户图像数据时,利用所述图像数据的各个帧图像来检测脸部
区域和脸部特征点;
通过匹配所述脸部区域和特定脸部模板来执行脸部认证;
根据利用所述脸部特征点提取的眼区域的图形来检测是否眨眼,根据预设的基准,并
基于所述眨眼状态来识别密码,确认已识别的所述密码与预设的密码是否一致,由此执行
密码的认证;以及
根据所述脸部认证的结果和所述密码认证的结果来判断所述用户认证成功。

说明书

用户认证方法、执行该方法的装置及存储该方法的记录介质

技术领域

本发明的实施例涉及一种用户认证方法、执行该方法的装置及存储该方法的记录
介质。

背景技术

脸部识别技术不同于其他生物识别,具有如下优点:用户无需进行特别动作或行
为,能够以非接触式、不引起用户反感且自然地执行识别,因此从用户的立场来看,可?#36816;?br />是最卓越的生物识别技术。

这种脸部识别技术的应用范围开始扩展到多种领域,作为一例,在安全认证领域
备受瞩目。

若将脸部识别适用到安全认证,则无需输入密码或使用其他附加的认证介质,仅
凝视摄像头就可完成自动认证,能够防止因密码或认证介质的伪造、被盗、遗失等导致的用
户个人信息的非法泄露。

例如,存在如下益处:能够防止登录网络时,用户无限共享帐号及密码的现象,从
网络管理员的立场上看,能够将损失最小化?#21462;?#38500;此之外,还可适用于登录个人电脑(PC)、
智能?#21482;?#30340;解锁、在线学习(E-Learning)等多种认证领域。

但是,因脸部的转动、表情、照明、老化等导致的识别率的变化是脸部识别技术中
普遍存在的弱点,由?#35828;?#33268;的错误率的最小化成为一个问题。

尤其,减少脸部识别的错误接受率(FAR:False Accept Rate)成为将脸部识别适
用到认证领域的最重要的问题之一。

作为?#28304;?#30340;解决方案,可采用?#20013;?#25552;高脸部识别性能的同时,结合脸部识别与其
他不同认证方式的方案。据此,即使因识别错误而接受他人并通过脸部识别认证,但因采用
双重安全认证,能够实现趋于完美的安全认证。

若结合脸部识别与现有的认证方式(密码、USB认证),虽能提高安全强度,但从用
户的立场来看,仍存在现有认证方式的局限性,因?#23435;?#27861;充分发挥脸部识别的优势。

因此,需要开发一种能够发挥脸部识别的优势并与脸部识别相结合而使得认证错
误?#39318;?#23567;化的技术。

发明内容

(一)要解决的技术问题

本发明的目的在于,提供一种用户认证方法、执行该方法的装置及存储该方法的
记录介质,通过结合基于包括在已输入图像中的用户脸部的认证与根据脸部区域中包括的
眨眼状态识别的密码认证,能够同时提供用户认证的便利性及准确性。

本发明的目的在于,提供一种用户认证方法、执行该方法的装置及存储该方法的
记录介质,利用帧图像之间的差异提取帧图像之间的变化区域,仅在变化区域进行脸部检
测,从而针对各个帧图像,无需在整体区域进行脸部检测运算,能够提高对各个帧图像的脸
部检测速?#21462;?br />

并且,本发明的目的在于,提供一种用户认证方法、执行该方法的装置及存储该方
法的记录介质,构成变化区域的图形金字塔之后,对图形金字塔上的各个图形进行分布式
处理而分别检测脸部区域并综合其结果而最终检测脸部区域,从而能够提高脸部区域检测
的准确性。

本发明要解决的技术问题并不限定于以上涉及的(多个)技术问题,本领域的技术
人员可通过以下记载明确理解未涉及的其他(多个)技术问题。

(二)技术方案

在实施例中,在用户认证装置中执行的用户认证方法,包括如下步骤:当从图像拍
摄设备接收用户的图像数据时,利用所述图像数据的各个帧图像来检测脸部区域和脸部特
征点;通过匹配所述脸部区域与特定脸部模板来执行脸部认证;根据利用所述脸部特征点
提取的眼区域的图形来检测是否眨眼,根据预设的基准,并基于所述眨眼状态来识别密码,
确认已识别的所述密码与预设的密码是否一致,由此执行密码的认证;以及根据所述脸部
认证的结果和所述密码认证的结果来判断所述用户认证成功。

在实施例中,用户认证装置,包括:脸部区域检测部,当从图像拍摄设备接收用户
图像数据时,利用所述图像数据的各个帧图像来检测脸部区域和脸部特征点;第一认证部,
通过匹配所述脸部区域和特定脸部模板来执行脸部认证;第二认证部,根据利用所述脸部
特征点提取的眼区域的图形来检测是否眨眼,根据预设的基准,并基于所述眨眼状态来识
别密码,确认已识别的所述密码与预设的密码是否一致;以及判断部,根据所述第一认证部
的认证结果和所述第二认证部的认证结果来判断所述用户认证成功。

在实施例中,存储用于运行在用户认证装置中执行的用户认证方法的计算机程序
的记录介质,包括如下功能:当从图像拍摄设备接收用户图像数据时,利用所述图像数据的
各个帧图像来检测脸部区域和脸部特征点;通过匹配所述脸部区域和特定脸部模板来执行
脸部认证;根据利用所述脸部特征点提取的眼区域的图形来检测是否眨眼,根据预设的基
准,并基于所述眨眼状态来识别密码,确认已识别的所述密码与预设的密码是否一致,由此
执行密码的认证;以及根据所述脸部认证的结果和所述密码认证的结果来判断所述用户认
证成功。

其他实施例的具体内容已包括在详细说明及附图中。

通过参照附图及详细说明的多个实施例,可明确理解本发明的优点及/或特征,以
及达成这些的方法。但是,本发明并不限定于以下公开的实施例,而是能够体现为多种不同
的形态,这些实施例的目的仅在于完整地公开本发明,向本发明所属技术领域的普通技术
人员完整地告知本发明的范畴,因此应根据权利要求的范围而定义本发明。整个说明书中,
同一参照符号表示同一构成要素。

(三)有益效果

本发明有如下优点?#21644;?#36807;结合基于包括在已输入图像中的用户脸部的认证与根据
脸部区域中包括的眨眼状态识别的密码认证,同时提供用户认证的便利性及准确性。

并且,本发明还具有如下效果:利用帧图像之间的差异提取帧图像之间的变化区
域,仅在变化区域进行脸部检测,从而针对各个帧图像,无需在整体区域进行脸部检测运
算,能够提高对各个帧图像的脸部检测速?#21462;?#36825;种检测速度的提高特别适合移动设备等具
有限制性计算资源的终端。

并且,本发明还具有如下效果:构成对变化区域的图形金字塔后,对图形金字塔上
的各个图形进行分布式处理而分别检测脸部区域,综合其结果而最终检测脸部区域,从而
能够提高脸部区域检测的准确性。

附图说明

图1是用于说明本发明一实施例的用户认证装置的框图。

图2是用于说明本发明的用户认证方法的一实施例的流程图。

图3是用于说明本发明的用户认证方法的另一实施例的流程图。

图4是用于说明本发明的用户认证方法的又一实施例的流程图。

图5是用于说明本发明的用户认证方法的又一实施例的流程图。

图6是用于说明利用关键帧图像而从一般帧图像中检测脸部区域的过程的参照
图。

图7是用于说明通过构成对帧图像的图形金字塔而检测脸部区域的过程的参照
图。

图8是表示用于检测脸部区域的矩形特征(对称型、非对称型)的图。

图9是用于说明利用图8的矩形特征而检测脸部区域的过程的参照图。

图10是用于说明从脸部区域中检测眨眼的过程的参照图。

具体实施方式

以下参照附图详细说明本发明的实施例。

图1是用于说明本发明一实施例的用户认证装置的框图。

参照图1,用户认证装置100包括脸部区域检测部110、第一认证部120、第二认证部
130及判断部140。

脸部区域检测部110从图像拍摄设备接收用户图像数据后,利用所述图像数据的
各个帧图像检测脸部区域及脸部特征点。脸部区域检测部110将有关脸部区域及脸部特征
点的信息分别提供给第一认证部120及/或第二认证部130。

脸部区域检测部110从图像拍摄设备接收到帧图像后,从帧图像中检测脸部区域,
将特定帧图像定义为关键帧图像。

首先,脸部区域检测部110针对帧图像的各个像素,将通过其周边像素的亮度比值
与多个过滤系数线性组合而获取的值设定为相应像素的亮度比值,从而消除包括在帧图像
中的噪声。

然后,脸部区域检测部110通过缩小帧图像的尺寸而生成不同大小的多个图形,从
多个图形中分别检测候选脸部区域,利用候选脸部区域中的共同区域,从相应帧图像中检
测脸部区域。

例如,脸部区域检测部110可以从原来的帧图像中检测脸部区域,从已转换成小于
原来帧图像的帧图像中检测脸部区域,?#25191;?#27604;其转换的帧图像大小更小的帧图像中检测脸
部区域后,将从各不同尺度的帧图像中检测的脸部区域的共同区域检测为相应帧中的脸部
区域。这种方式可理解为图形金字塔技法。

在此,脸部区域检测部110可利用矩形特征(或四角特征点模型),分别从帧图像的
多个图形中检测脸部区域及脸部特征点(例如,眼)。对于利用矩形特征(或四角特征点模
型)的脸部区域及脸部特征点(例如,眼)的详?#25913;?#23481;,将参照以下的图8及图9进行更具体的
说明。

若帧图像的帧编号除以特定数字而没有余数,则脸部区域检测部110可将该帧图
像定义为关键帧图像。例如,脸部区域检测部110为了每15次更新关键帧,当将帧编号除以
15而没有余数时,可将该帧图像定义为关键帧图像。

脸部区域检测部110定义关键帧之后,接收一般帧图像,以关键帧图像为基准从一
般帧图像中提取变化区域,利用变化区域从一般帧图像中检测脸部区域。

首先,脸部区域检测部110比较关键帧图像与一般帧图像而生成包括帧间差信息
的帧差图像,对帧差图像执行二值化及滤波处理,以生成帧差图像的二值帧图像。

更具体而言,脸部区域检测部110针对帧差图像的各个像素,比较像素的亮度比值
和阈值,若像素的亮度比值为阈值以上,则将相应像素转换成255,即白色,若像素的亮度比
值为阈值以下,则将相应像素转换成0,即黑色,由此生成二值帧图像。所述阈值可被预先存
储在用户认证装置100中。

并且,脸部区域检测部110将滤波器适用到二值帧图像来消除噪声。例如,脸部区
域检测部110通过将对应二值帧图像噪声的像素的亮度比值置换为周边像素的中值来消除
噪声。这种滤波器可以理解为一种中值(Median)滤波器。

随后,脸部区域检测部110利用二值帧图像从一般帧图像中确定脸部检测区域。更
具体而言,脸部区域检测部110从所述二值帧图像中提取包括白色像素的矩形区域,将包括
所述各个矩形区域的最终矩形区域确定为脸部检测区域。从另一种观点来看,可将“脸部检
测区域”理解为一种用于脸部检测的帧间“变化区域”的?#25293;睢?br />

最后,脸部区域检测部110从脸部检测区域中检测脸部区域。更具体而言,脸部区
域检测部110通过缩小脸部检测区域而生成具有不同大小的多个图形,分别从多个图形中
检测候选脸部区域后,利用候选脸部区域的共同区域从相应帧图像中检测脸部区域。

在此,脸部区域检测部110可利用矩形特征分别从帧图像的多个图形中检测脸部
区域及脸部特征点(例如,眼、鼻、嘴等)。对于利用矩形特征检测脸部区域及脸部特征点的
具体内容,将参照图8及图9进行更具体的说明。

第一认证部120通过匹配脸部区域与特定脸部模板执行脸部认证。一实施例中,第
一认证部120比较脸部区域的二元特征量与已存储的特定脸部模板的二元特征量来算出相
似度,根据算出的相似度来向判断部140提供所述脸部认证的结果。已存储的特定脸部模板
是需要认证的用户脸部模板,可以是预先存储到用户认证装置100中的脸部模板。可将脸部
区域与特定脸部模板的“匹配”理解为比较上述脸部区域的二元特征量与已存储的特定脸
部模板的二元特征量来计算相似?#21462;?br />

第二认证部130利用脸部区域中的眼区域来检测是否眨眼,确认根据眨眼状态识
别的密码与预设的密码是否一致。第二认证部130将根据眨眼状态而识别的密码与预设的
密码是否一致的结果提供给判断部140。

第二认证部130可利用脸部特征点从所述脸部区域提取眼区域,利用所述眼区域
的像素值生成特定维的像素矢量,通过适用主成分分析(PCA:Principal Component
Analysis)来缩小所述像素矢量的维数,并通过将支持向量机(SVM:Support Vector
Machine)适用到所述已缩小的维数的像素矢量来检测是否眨眼。

第二认证部130提取根据眨眼状态识别的密码。例如,第二认证部130可根据预设
的识别基准,提取通过图像输入的密码后,判断所述密码是否与预设并存储在用户认证装
置100中的密码一致,其中,所述预设的识别基准为:当只眨左眼时被识别为0,只眨右眼时
被识别为1,同时眨两眼时被识别为2。

判断部140可根据第一认证部120的认证结果及第二认证部130的认证结果来判断
用户认证成功。例如,所述脸部认证的结果及所述密码认证的结果皆被判断为认证成功时,
可判断用户认证成功。

下面参照图2至图5来说明用户认证方法。后述的用户认证方法通过前述的用户认
证装置100执行,因此,对相应的内容不做重复说明,但本发明所属领域的普通技术人员能
够通过前述的记载内容理解本发明的用户认证方法的一实施例。

图2是用于说明本发明的用户认证方法的一实施例的流程图。图2中公开的一实施
例涉及接收用户的图像数据并通过脸部认证及密码认证来执行用户认证的实施例。

参照图2,用户认证装置100从图像拍摄设备接收用户的图像数据(步骤S210)。用
户认证装置100利用帧图像中的关键帧图像及一般帧图像来检测脸部区域(步骤S220)。

用户认证装置100利用脸部区域中的眼区域来检测是否眨眼,确认根据眨眼状态
识别的密码与预设的密码是否一致(步骤S230)。

在步骤S230的一实施例中,用户认证装置100利用脸部特征点来从所述脸部区域
中检测眼区域,利用眼区域的像素值而生成特定维的像素矢量,利用所述像素矢量检测是
否眨眼。然后,基于预设的基准,提取根据眨眼状态识别的密码。作为一例,所述预设的基准
是基于左眼的眨眼状态及右眼的眨眼状态、双眼同时眨眼的状态中的至少一个状态,所述
眨眼状态包括眨眼顺序、眨眼次数、闭眼或睁眼状态的维?#36136;?#38388;、左眼及右眼的眨眼的组合
中的至少一种。

例如,第二认证部130可基于预设的基准识别密码,然后判断所述识别到的密码与
预设的密码是否一致,其中,所述预设的基准为:当只眨左眼时为0,只眨右眼时为1,同时眨
双眼时为2。

密码的设置及识别可取决于眨眼状态。例如,若只眨左眼时为0,只眨右眼时为1,
同时眨双眼时为2,则用户认证装置100可根据左眼、右眼、左眼、双眼的眨眼顺序,将密码确
定为‘0102’。可通过设定而变更密码的位数,可预设或存储针对特定用户的密码。

用户认证装置100通过匹配脸部区域与特定脸部模板来执行脸部认证(步骤
S240)。

当步骤S240中执行的脸部认证获得成功(步骤S241),步骤S230中执行的密码认证
获得成功(步骤S231)时,用户认证装置100判断用户认证成功。

图3是用于说明本发明的用户认证方法的另一实施例的流程图。图3中公开的另一
实施例涉及通过处理用户图像数据的各个帧图像中的特定帧图像来确定为关键帧图像,利
用关键帧图像检测随后输入的一般帧图像的脸部区域。

参照图3,用户认证装置100接收第0帧图像(第一个帧图像)(步骤S310)。用户认证
装置100从第0帧图像中检测脸部区域(步骤S320)。并且,将第0帧图像作为最初的关键帧图
像来存储。

当用户认证装置100判断随后输入的帧图像的帧编号除以特定数字(例如,15)而
没有余数(步骤S330)时,将相应帧图像更新存储为关键帧图像(步骤S340)。例如,用户认证
装置100为了每15次更新关键帧,当帧编号除以15而没有余数时,可将该帧图像定义为关键
帧图像。例如,第0、15、30、45、...帧图像可被定义为关键帧图像。举例来说:以第0帧图像为
例,因0/15的余数为0,可被存储为关键帧,以下一顺序的第1帧图像为例,因1/15的余数不
为0,被处理为一般帧图像。经过这?#25191;?#29702;过程,到第15帧图像时,因15/15的余数为0,可被
存储为新的关键帧。上述说明中,第0、第1?#20154;?#24207;是用于更新关键帧的过程中为了便利性而
而分配的顺序,只要能够获得相同的结果,可分配其他方式的顺序或序号。

用户认证装置100接收第1帧图像(步骤S350)。用户认证装置100利用关键帧图像
从第1帧图像中检测脸部区域(步骤S360)。用户认证装置100接收到所有帧图像(步骤S370)
时,结束进程。

图4是用于说明本发明的用户认证方法的又一实施例的流程图。图4中公开的又一
实施例涉及一种可通过处理用户图像数据的各个帧图像中的一般帧图像,例如第一个被输
入的一般帧图像,将相应帧图像存储为关键帧图像的方法。

参照图4,用户认证装置100接收图像数据的各个帧图像中的第一个一般帧图像
(步骤S410)。

用户认证装置100通过将滤波器适用到一般帧图像中来消除噪声(步骤S420)。在
步骤S420的一实施例中,用户认证装置100针对一般帧图像的各个像素,将通过其周边像素
的亮度比值与过滤系数的线性组合而获取的值设定为相应像素的亮度比值,从而能够消除
噪声。这种过程如以下的[数学式1]。

[数学式1]

x′i=xi-2c0+xi-1c1+xic2+xi+1c3+xi+2c4

(但,x:帧编号,i:像素编号,c:过滤系数)

用户认证装置100构成对一般帧图像的图形金字塔(步骤S430)。更具体而言,用户
认证装置100通过缩小一般帧图像而生成不同大小的多个图形。

用户认证装置100利用针对一般帧图像的图形金字塔来从相应帧图像中检测脸部
区域(步骤S440)。在步骤S440的一实施例中,用户认证装置100从通过缩小一般帧图像而生
成的不同大小的多个图形中分别检测候选脸部区域,利用候选脸部区域中的共同区域从一
般帧图像中检测脸部区域。

在此,用户认证装置100可利用矩形特征来分别从多个图形中检测脸部区域及脸
部特征点(例如,眼、鼻、嘴等)。

用户认证装置100将一般帧图像存储为关键帧图像(步骤S450)。例如,关键帧图像
的数据包括脸部检测数据和图像数据。脸部检测数据包括脸部区域属性及脸部特征点位置
属性,图形数据包括颜色模型属性及像素数据属性。若用可扩展标记语言(XML)格式例示关
键帧图像数据,则如以下例示代码。

[例示代码]

<key_frame_data number=“帧编号”>

-<detection_data>

<face_rect first=?#30333;?#19978;坐标”last=“右下坐标”/>

<landmarks left_eye=?#30333;?#30524;坐标”right_eye=“右眼坐标”……/>

</detection_data>

-<image_data>

<color_model=“gray”/>

<pixel_data=“”/>

</image_data>

</key_frame_data>

[例示代码]的<image_data>包括作为关键帧图像的图形像素数据的颜色模型属
性<color_model=“gray”/>和像素数据属性<pixel_data=“”/>。图形像素数据用于从一
般帧图像中提取脸部检测区域。

图5是用于说明本发明的用户认证方法的又一实施例的流程图。图5中公开的又一
实施例涉及一种能够利用用户的图像数据的各个帧图像中的关键帧图像来从一般帧图像
中检测脸部区域的方法。

参照图5,用户认证装置100比较关键帧图像与一般帧图像而生成包括帧间差信息
的帧差图像(步骤S510)。

用户认证装置100对帧差图像执行二值化而形成二值帧图像(步骤S520)。在步骤
S520的一实施例中,用户认证装置100针对帧差图像的各个像素,比较像素的亮度比值与阈
值,若像素的亮度比值为阈值以上,则将相应像素转换成255,即白色,若像素的亮度比值为
阈值以下,则将相应像素转换成0,即黑色,由此生成二值帧图像。

用户认证装置100将滤波器适用到二值帧图像中来消除噪声(步骤S530)。在步骤
S530的一实施例中,用户认证装置100可将对应二值帧图像噪声的像素的亮度比值置换为
周边像素的中值来消除噪声。

用户认证装置100利用二值帧图像来从一般帧图像中确定脸部检测区域(步骤
S540)。在步骤S540的一实施例中,用户认证装置100从二值帧图像中提取包括白色像素的
矩形区域,将包括所述各个矩形区域的最终矩形区域确定为脸部检测区域。

用户认证装置100构成对脸部检测区域的图形金字塔(步骤S550)。在步骤S550的
一实施例中,用户认证装置100通过缩小脸部检测区域来生成不同大小的多个图形,由此构
成图形金字塔。

用户认证装置100利用针对脸部检测区域的图形金字塔从相应帧图像中检测脸部
区域(步骤S560)。

在步骤S560的一实施例中,分别从多个图形检测候选脸部区域,利用检测到的候
选脸部区域的共同区域来检测脸部区域。在此,用户认证装置100可利用矩形特征来分别从
多个图形中检测脸部区域和脸部特征点(例如,眼、鼻、嘴等)。

图6是用于说明利用关键帧图像,从一般帧图像检测脸部区域的过程的参照图。

参照图6,用户认证装置100比较图6(a)的关键帧图像和图6(b)的一般帧图像,从
而生成如图6(c)的仅包括帧间差信息的帧差图像。

用户认证装置100对图6(c)的帧差图像执行二值化及中值滤波处理,从而生成如
图6(d)的二值帧图像。

一实施例中,用户认证装置100针对图6(c)的帧差图像的各个像素,比较像素的亮
度比值与阈值,若像素的亮度比值为阈值以上,则将相应像素转换成255,即白色,若像素的
亮度比值为阈值以下,则将相应像素转换成0,即黑色,由此执行二值化。

用户认证装置100利用图6(d)的二值帧图像来从一般帧图像中确定脸部检测区域
(步骤S540)。

一实施例中,用户认证装置100从图6(d)的二值帧图像中提取包括白色像素的多
个矩形区域,将包括所述各个矩形区域的最终矩形区域确定为脸部检测区域。即,如图6(e)
所示,用户认证装置100可从一般帧图像中确定脸部检测区域(变化区域)。

如图6(f)所示,用户认证装置100从图6(e)的脸部检测区域中检测脸部区域。

图7是用于说明通过构成帧图像的图形金字塔来检测脸部区域的过程的参照图。

参照图7,用户认证装置100缩小一般帧图像而生成如图7(a)所示的不同大小的多
个图形。用户认证装置100分别从如图7(a)的不同大小的多个图形中检测候选脸部区域。如
图7(b)所示,用户认证装置100可利用分别从多个图形中检测的候选脸部区域的共同区域
来检测脸部区域。

另外,利用关键帧图像与一般帧图像之间的帧差图像来从一般帧图像中检测脸部
区域时,用户认证装置100从一般帧图像中检测脸部检测区域,缩小脸部检测区域而生成如
图7的(a)的不同大小的多个图形。

用户认证装置100分别从如图7(a)的不同大小的多个图形中检测候选脸部区域。
如图7(b)所示,用户认证装置100可利用分别从多个图形中检测的候选脸部区域的共同区
域来检测脸部区域。

图8是表示用于检测脸部区域的矩形特征(对称型、非对称型)的图。图9是用于说
明利用图8的矩形特征来检测脸部区域的过程的参照图。所述图8或图9中例示的矩形可被
理解为用于脸部区域检测的特征,更具体而言,可被理解为能够较好?#20174;?#27491;面脸部区域的
特征的、具有对称性质的类海尔特征(haar-like feature)(a)和?#20174;?#38750;正面脸部区域的特
征而提出的非对称性的矩形特征(b)。

参照图8和图9,用户认证装置100(图1)从图像拍摄设备200(图1)接收到图像数据
的各个帧中的特定帧时,从特定帧检测脸部区域及脸部特征点(例如,眼、鼻、嘴等)。

一实施例中,用户认证装置100(图1)的脸部区域检测部110从图像数据的各个帧
中检测脸部候选区域,定义对所述检测出的脸部候选区域的矩形特征(或四角特征点模
型),基于根据AdaBoost学习算法学习所述矩形特征的学习资料来检测脸部区域,能够以矩
形形态检测脸部区域。并且,脸部区域检测部110可检测检出的脸部区域中包括的脸部特征
点。

一般而言,在包括正面脸部区域的帧中,如眼、鼻、嘴等的脸部固有结构特性均匀
地分布在整个图象上,且对称。但是,在包括非正面脸部区域的帧中,如眼、鼻、嘴等的脸部
固有结构特性未均匀地分布在图像上,因此非对称,并集中在?#21015;?#30340;范围内,因脸部轮廓也
不?#25163;?#32447;,混合着多个背景区域。

因此,还考虑到利用如图8(a)的对称特征点时难以获得非正面脸部区域的较高检
测性能的问题,更优选地,本实施例中除了使用如图8(a)所示的对称特征点之外,还使用如
图8(b)所示的非对称特征点。如图8(b)所示的非对称特征点与如图8(a)的对称特征点不
同,由非对称的形态、结构、模样构成,较好地?#20174;?#20102;非正面脸部的结构特性,对非正面脸部
区域的检测效果突出。即,可利用如图8(a)所示的对称特征点来从如图9(a)所示的帧中检
测脸部区域,可利用如图8(b)所示的非对称特征点来从如图9(b)所示的帧中检测脸部区
域。

这种脸部区域检测及脸部特征点检测可通过多个公知技术来实?#24103;?#20316;为一例,脸
部区域检测及脸部特征点检测可利用AdaBoost学习算法及主动形状模型(ASM:Active
Shape Model)来实?#24103;?#20316;为另一例,有关脸部区域检测及脸部特征点检测的详细说明可参
照包括本发明人所提供的韩国授权专利第10-1216123号(2012年12月20日授权)、韩国授权
专利第10-1216115号(2012年12月20日授权)在内的多篇论文和专利资料,因此省略其详细
说明。

图10是用于说明从脸部区域中检测眨眼的过程的参照图。

参照图10,用户认证装置100利用脸部特征点中如眼区域周边的四个特征点等来
从脸部区域10中检测眼区域。在此,举例来说,针对眼区域的图形,剪切(crop)成位图并进
行旋转校正后,转换成20*20像素大小的黑白图形20。用户认证装置100进行对眼区域黑白
图形20的直方图正态化。用户认证装置100利用眼区域的黑白图形20的像素值(20*20)而生
成如400维的像素矢量。

用户认证装置100对400维的像素矢量应用主成分分析(Principal Component
Analysis,PCA)30来获得200维的缩小像素矢量,将已缩小的像素矢量输入到SVM(Support
Vector Machine)40中。如上所述,当利用主成分分析缩小SVM40输入资料的维数时,能够提
高SVM40的识别速度,大幅减少包括支持向量及组合系数的数据库的大小。例如,用户认证
装置100可构成200维的被缩小的输入矢量,根据SVM(40)的判别函数来检测是否眨眼。

本发明的实施例包括计算机可读介质,其包括用于执行多种通过计算机实现动作
的计算机程序指令。所述计算机可读介质可单独包括或以组合的形式包括程序指令、数据
文件、数据结构?#21462;?#25152;述介质可以是为了实施本发明而特别设计和构成的介质,或者?#37096;?#20197;
是计算机软件领域的普通技术人员公知而可使用的介质。计算机可读记录介质的例子包
括?#27827;?#30424;、软盘及磁带等磁性介质(magnetic media)、CD-ROM、DVD、USB驱动器等光学介质
(optical media)、光盘(floptical disk)等磁光学介质(magneto-optical media)以及只
读存储器(ROM)、随机存取存储器(RAM)、闪存等特别构成为存储和执行程序指令的?#24067;?#35013;
置。所述介质?#37096;?#20197;是包括传送指定程序指令、数据结构等的信号的载波的光或金属线、波
导管等的传送介质。程序指令的例子,不仅包括通过编译器产生的机器语?#28304;?#30721;,还包括使
用解释器等而能够由计算机运行的高级语?#28304;?#30721;。

以上参照限定的实施例和附图来说明了本发明,但本发明并不限定于所述实施
例,本发明所属技术领域的普通技术人员能够通过所述记载内容进行多种修改及变形。因
此,应根据权利要求书来理解本发明的思想,其等同或等价的变形均属于本发明技术思想
的范畴。

关于本文
本文标题:用户认证方法、执行该方法的装置及存储该方法的记录介质.pdf
链接地址:http://www.pqiex.tw/p-6091845.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 加拿大28 浙江11选5 北京快乐8可以在线投注么 山西泳坛夺金开奖结果 福彩3d组三大遗漏 天津十一选五和值走势 股票行情卡通 吉林11选5任二技巧 双色球几点开奖直播 澳洲幸运10计划助手