平码五不中公式规律
  • / 27
  • 下载费用:30 金币  

实时皮肤平滑图像增强滤波器.pdf

关 键 ?#21097;?/dt>
实时 皮肤 平滑 图像 增强 滤波器
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201580044336.0

申请日:

2015.08.11

公开号:

CN106663314A

公开日:

2017.05.10

当前法律状态:

实审

?#34892;?#24615;:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06T 5/00申请日:20150811|||公开
IPC分类号: G06T5/00; G06T5/20; G06T7/90(2017.01)I 主分类号: G06T5/00
申请人: 英特尔公司
发明人: 李相熙; S·李; 朴珉济; T-H·金
地址: 美国加利福尼亚州
优?#28909;ǎ?/td> 2014.09.19 US 14/491,698
专利代理机构: 上海专利商标事务所有限公司 31100 代理人: 高见
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580044336.0

授权公告号:

|||

法律状态公告日:

2017.06.06|||2017.05.10

法律状态类型:

实质审查的生效|||公开

摘要

用于即时捕获的图像数据增强的系统、装置、方法?#22270;?#31639;机可读介质。利用滤波器与由相机模块生成图像或视频流并行地对所述流进行增强。在一个示例性实施例中,以30fps或更大的速率对HD图像帧进行滤波以便利用边缘保留平滑滤波器来提升人类肤色。在实施例中,所述平滑滤波器被应用于具有降低分辨?#23454;?#22270;像表示,从而降低滤波器的计算开销。然后,对所述滤波图像进行上采样并且将其与识别边缘的图进行混合以便保持边缘质量与以全分辨?#35270;?#29992;的平滑滤波器相当。一种包括相机模块并与示例性架构一致的设备平台可以甚至以低图像处理带宽提供增强型视频相机功能。

权利要求书

1.一种增强图像的计算机实现的方法,所述方法包括:
基于滤波标准对以输入图像分辨?#26102;?#31034;图像帧的图像数据的个体像素值进行评分;
将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨?#23454;?#38477;低分辨率
的表示;
对所述下采样图像数据进行滤波;
将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率;以及
根据所述像素评分将所述输入图像数据与所述上采样的滤波图像数据进行混合。
2.如权利要求1所述的方法,其中,将所述输入图像数据与所述滤波图像数据进行混合
进一步包括:将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上
采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合。
3.如权利要求1所述的方法,其中,
对所述图像帧内的像素进行评分进一步包括确定所述输入图像的个体像素的肤色检
测分值;并且
根据所述像素评分将所述输入图像数据与所述滤波图像数据进行混合进一步包括根
据每个像素肤色检测分值对所述输入图像数据相对于所述个体像素的所述滤波图像数据
的权重进行调制。
4.如权利要求3所述的方法,其中,
根据所述像素评分将所述输入图像数据与所述滤波图像数据进行混合进一步包括基
于所述像素的所述肤色检测分值在所述输入图像数据中的像素的值与所述滤波图像数据
中的所述像素的值之间进行内插。
5.如权利要求4所述的方法,其中,基于所述像素的所述肤色检测分值在所述输入图像
数据中的像素的所述值与所述滤波图像数据中的所述像素的值之间进行线性内插进一步
包括:确定所述输入图像数据中的所述像素的所述值与所述滤波图像数据中的所述像素的
所述值的加权和,所述两个像素?#20302;?#36807;所述肤色检测分值来互补加权。
6.如权利要求5所述的方法,其中,所述肤色检测分值是在0与1之间的与所述个体像素
包括肤色的概率成比例的值。
7.如权利要求1所述的方法,其中,对所述下采样图像数据进行滤波进一步包括:利用
双边滤波器基于与正被平滑的所述像素相邻的所述下采样图像像素的值对所述下采样图
像的像素值进行平滑。
8.如权利要求7所述的方法,其中,对所述下采样图像数据进行滤波进一步包括:对所
述下采样图像中的像素值进行递归双边滤波。
9.如权利要求1所述的方法,其中,
所述输入图像数据包括YUV颜色空间中的像素值;
对所述图像数据进行下采样进一步包括从所述输入图像分辨率进行至少4x分辨率降
低;并且
对所述图像数据进行上采样进一步包括从所述下采样图像分辨率进行至少4x分辨率
增加。
10.如权利要求1所述的方法,进一步包括:
从缓冲器中检索所述输入图像数据,所述缓冲器存储有所述图像的解码表示或由相机
模块以所述输入图像分辨率曝光的捕获图像中的至少一者;
在对所述像素进行评分之前,将所述输入图像数据从RGB颜色空间转换到YUV颜色空
间;以及
将所述混合图像数据存储到存储器中。
11.如权利要求10所述的方法,进一步包括:将所述混合图像数据从所述存储器输出至
显示设备或编码器中的至少一者。
12.如权利要求10所述的方法,进一步包括:
以视频帧速率将连续曝光的图像数据帧流从相机硬件模块(CM)写入所述缓冲器中;以

至少以所述视频帧速率对每个连续曝光的视频数据帧执行所述像素评?#24103;?#22270;像数据下
采样、图像数据放大、图像数据滤波以及图像数据混合中的每一项。
13.一种计算机化的图像增强系统,包括:
检测模块,所述检测模块?#33719;?#21512;以用于接收以输入图像分辨?#26102;?#31034;图像帧的输入图像
数据,所述检测模块包括用于确定所述图像数据的个体像素的肤色检测分值的逻辑;
下采样模块,所述下采样模块?#33719;?#21512;以用于接收所述输入图像数据,所述下采样模块
包括用于将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨?#23454;?#38477;低分
辨?#23454;?#34920;示的逻辑;
滤波模块,所述滤波模块?#33719;?#21512;以用于接收所述下采样图像数据,所述滤波模块包括
用于平滑所述下采样图像数据的逻辑;
上采样模块,所述上采样模块?#33719;?#21512;以用于接收所述经滤波的下采样图像数据,所述
上采样模块包括用于将所述经滤波的下采样图像数据上采样回至所述输入图像分辨?#23454;?br />逻辑;以及
混合模块,所述混合模块?#33719;?#21512;以用于接收所述输入图像数据、所述肤色检测分值以
及所述上采样的滤波图像数据,其中,所述混合模块包括用于根据所述肤色检测分值将所
述输入图像数据与所述上采样的滤波图像数据进行混合的逻辑。
14.如权利要求13所述的系统,其中,
所述检测模块用于确定与个体像素包括肤色的概率成比例的肤色检测分值;
所述混合模块用于基于所述像素的所述肤色检测分值在所述输入图像数据中的像素
的亮度值或色度值与所述滤波图像数据中的所述相应像素的亮度值或色度值之间进行内
插。
15.如权利要求14所述的系统,其中,
所述滤波模块包括用于对所述下采样图像中的个体像素值进行双边滤波的逻辑;并且
所述混合模块包括用于通过以下方式来在所述输入图像数据中的像素的亮度值或色
度值与所述滤波图像数据中的所述相应像素的亮度值或色度值之间进行线性内插的逻辑:
确定所述输入图像数据中的所述像素的所述亮度值或色度值与所述滤波图像数据中的所
述像素的所述亮度值或色度值的加权和,所述两个亮度值或色度?#20302;?#36807;所述肤色检测分值
来互补加权。
16.如权利要求13所述的系统,进一步包括:
应用处理器,所述应用处理器包括用户空间和内核空间,所述应用处理器包括用于实
现所述滤波模块和所述混合模块的逻辑电路;
相机硬件模块(CM),所述相机硬件模块耦合至所述应用处理器用于生成表示以所述输
入图像分辨率曝光的时间连续图像帧的输入图像数据流;
存储器,所述存储器耦合至所述应用处理器,用于存储从所述应用处理器输出的所述
混合图像数据的表示;以及
以下各项中的至少一项:
显示器,所述显示器耦合至所述存储器,用于呈现所述混合图像数据;以及
编码器,所述编码器耦合至所述存储器,用于将所述混合图像数据编码成压缩表示。
17.如权利要求16所述的系统,其中,所述检测模块进一步包括耦合至所述应用处理器
的固定功能逻辑电路,所述固定功能逻辑电路用于将所述肤色检测分值输出至所述应用处
理器。
18.一种或多种计算机可读存储介质,其上存储有指令,所述指令当由处理器执行时使
所述处理器执行如权利要求1至12所述的方法中的任一种方法。
19.如权利要求18所述的介质,其上存储有指令,所述指令当由处理器执行时使所述处
理器执行包括以下步骤的方法:
基于滤波标准对以输入图像分辨?#26102;?#31034;图像帧的图像数据的个体像素值进行评分;
将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨?#23454;?#38477;低分辨率
的表示;
对所述下采样图像数据进行滤波;
将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率;以及
根据所述像素评分将所述输入图像数据与所述上采样的滤波图像数据进行混合。
20.如权利要求19所述的介质,其上进一步存储有指令,所述指令当由处理器执行时使
所述处理器进一步执行包括以下步骤的方法:
通过确定在0与1之间的与所述个体像素包括肤色的概率成比例的肤色检测分值来对
所述像素进行评分;
通过基于与正被平滑的所述像素相邻的一个或多个下采样图像像素的值对所述下采
样图像的像素值进行平滑来对所述下采样图像数据进行滤波;以及
通过将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采
样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合来将所述输入图像数据
与所述上采样的滤波图像数据进行混合。
21.如权利要求19所述的介质,其上进一步存储有指令,所述指令当由处理器执行时使
所述处理器进一步执行包括以下步骤的方法:
通过以下方式将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与
所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行混合:确定所述输入
图像数据中的所述像素的所述亮度值或色度值与所述滤波图像数据中的所述像素的所述
亮度值或色度值的加权和,所述两个亮度值或色度?#20302;?#36807;所述肤色检测分值来互补加权。
22.如权利要求21所述的介质,其上进一步存储有指令,所述指令当由处理器执行时使
所述处理器进一步执行包括以下步骤的方法:
通过对所述下采样图像中的个体像素值进行双边滤波来平滑所述下采样图像的像素
值。
23.如权利要求21所述的介质,其上进一步存储有指令,所述指令当由处理器执行时使
所述处理器进一步执行包括以下步骤的方法:
从缓冲器中检索所述输入图像数据,所述缓冲器存储有所述图像的解码表示或由相机
模块以所述输入图像分辨率曝光的捕获图像中的至少一者;
在对所述像素进行评分之前,将所述输入图像数据从RGB颜色空间转换到YUV颜色空
间;以及
将所述混合图像数据存储到存储器中。
24.一?#36136;?#39057;相机平台,包括:
图像处理装置,所述图像处理装置用于执行如权利要求1至12所述的方法中的任一种
方法;
相机硬件模块(CM),所述相机硬件模块用于生成表示以所述输入图像分辨率曝光的时
间连续图像帧的输入图像数据流;以及
存储器,所述存储器用于存储所述混合图像数据。
25.如权利要求24所述的视频相机平台,其中,所述图像处理装置进一步包括:
检测装置,所述检测装置用于接收以输入图像分辨?#26102;?#31034;图像帧的输入图像数据,并
且用于确定所述图像数据的个体像素的肤色检测分值;
下采样装置,所述下采样装置用于接收所述输入图像数据,并且用于将所述图像数据
下采样至所述图像帧的具有低于所述输入图像分辨?#23454;?#38477;低分辨?#23454;?#34920;示;
滤波装置,所述滤波装置?#33719;?#21512;以用于接收所述下采样图像数据并且用于平滑所述下
采样图像数据;
上采样装置,所述上采样装置?#33719;?#21512;以用于接收所述经滤波的下采样图像数据并且用
于将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率;以及
混合装置,所述混合装置?#33719;?#21512;以用于接收所述输入图像数据、所述肤色检测分值以
及所述上采样的滤波图像数据,并且用于根据所述肤色检测分值将所述输入图像数据与所
述上采样的滤波图像数据进行混合。
26.如权利要求25所述的平台,进一步包括:
相机硬件模块(CM),所述相机硬件模块耦合至所述应用处理器用于生成表示以所述输
入图像分辨率曝光的时间连续图像帧的输入图像数据流;
存储器,所述存储器用于存储从所述应用处理器输出的所述混合图像数据;以及
以下各项中的至少一项:
显示器,所述显示器用于呈现所述混合图像数据;以及
编码器,所述编码器用于将所述混合图像数据编码成压缩表示。

说明书

实时皮肤平滑图像增强滤波器

优?#28909;?#22768;明

本申请要求于2014年9月19日提交的题为“REAL TIME SKIN SMOOTHING IMAGE
ENHANCEMENT FILTER(实时皮肤平滑图像增强滤波器)”的美国专利申请序列号14/491,698
的优?#28909;ǎ?#24182;且所述申请通过引用以其全文结合在此。

背景技术

数字相机是经常被包括在商用电子介质设备平台中的组件。数字相机现在以可穿
戴形状因子可获得(例如,视频采集耳机、视频采集头戴装置、视频采集眼镜等),并且?#24230;?br />在智能电话、平板计算机和笔记本式计算机等等之内。

对来自移动数字相机的流式视频的引入已经利用移动设备之间共享的前所未有
的视频数据量开拓了一个时代。考虑用户佩戴一副装配有视频相机的眼镜的应用。所述相
机捕获描绘一整天内用户活动的视频流。那些数据中的大多数将捕获人类受试者。由于数
十年前引入了数字图像处理,因?#23435;?#20102;视觉上更有吸引力的图像或视频,许多用户已经变
得习惯于减少来自人类受试者的皱纹、雀斑、以及各种瑕疵。具有若干种商业图像处理软件
包,利用所述商业图像处理软件包,用户可移除皱纹、雀斑等并调节色调。然而,这些图像处
理软件包通常需要如此多的用户交互和时间以至于他们使用的人工分析难以处理现在正
在生成的大量图像数据。

自动皮肤平滑图像增强技术尚未跟上需要的步伐,特别是在?#32479;?#26412;、且低功?#23454;?br />包括可穿戴计算平台和移动通信手持装置的市场部门。已经具有相当多有关用于皮肤平滑
的快速且自动方法的研究。一种当前流行的技术是被称作‘双边滤波器’的边缘保留滤波。
然而,双边滤波器具有强大的CPU和GPU实时(例如,以每秒30+帧)处理高分辨率图像(例如,
全HD)所必需的高计算成本/复杂度。由于在移动设备之间共享图像已经变得流行,因此强
大的CPU和GPU不总?#24378;?#29992;。因此,负责生成大多数的用户档案图像数据的平台中的许多平
台因此在执行尖端图像处理时装备极其不良。

因此,可由超轻、?#32479;?#26412;且低功?#23454;?#24179;台利用以可能高帧速率(例如,30帧/秒或者
更多)捕获的视频流来实时实现的自动图像数据增强是极其有利的。

附图说明

在附图中通过举例而非限制的方式展示了在此所描述的材料。为了图示的简明和
清晰,图中所展示的元件不一定按比例绘制。例如,为清楚起见,某些元件的尺寸相对于其
他元件可能被放大了。此外,在认为?#23454;?#30340;情况下,在附图之间对参考标记加以重复以表示
相应的或相似的元件。在附图中:

图1A是根据一个或多个实施例的实时(RT)皮肤平滑图像增强滤波系统;

图1B是根据实施例的包括RT皮肤平滑图像增强滤波系统的系统的功能框图;

图2是根据一个或多个实施例的展示了RT皮肤平滑图像增强方法的流程图;

图3A、3B、3C和3D展示了根据一个或多个皮肤平滑实施例滤波的输入图像数据帧
的表示性分析结果;

图4是根据一个或多个实施例的RT皮肤平滑图像增强滤波器的功能框图;

图5展示了根据一个或多个实施例的RT皮肤平滑图像增强滤波平台;

图6是根据一个或多个实施例的采用RT皮肤平滑图像增强滤波架构的示例性超低
功率系统的简图;以及

图7是根据一个或多个实施例安排的示例性移动手持平台的图。

具体实施方式

参照附图描述一个或多个实施例。虽然对特定配置和安排进行了详细的描绘和讨
论,但应理解,这仅出于说明目的来进行。相关领域的技术人员将认识到,在不背离本描述
的精神和范围的情况下其他配置和安排?#24378;?#33021;的。将对相关领域的技术人员明显的是,本
文描述的技术和/或安排可以在本文详细描述的系统和应用之外的各种各样的其他系统和
应用中被采用。

在以下详细的说明书中对附图进行参考,这些附图形成说明书的一部分并且展示
了示例性实施例。进一步地,应当理解,在不背离要求保护的主题的范围的情况下,可以利
用其他实施例并且可以做出结构和/或逻辑改变。因此,以下详细说明不应以限制的含义来
理解并且要求保护的主题的范围仅由所附权利要求书及其等效物来限定。

在以下描述中,陈述了许多?#38468;冢?#28982;而,将对本领域技术人员明显的是,实施例可
以在没有限制特定?#38468;?#30340;情况下被实践。以框图形式而非详细地示出了众所周知的方法和
设备以避免模糊更显著的方面。贯穿本说明书对“实施例(an embodiment)”或“一个实施例
(one embodiment)”的引用意味着在至少一个实施例中包括了与所述实施例结合描述的具
体特征、结构、功能或特性。因此,贯穿本说明书在各处出现的短语“在实施例中(in an
embodiment)”或在“在一个实施例中(in one embodiment)”并非必须指同一个实施例。此
外,在实施例的上下文中描述的具体特征、结构、功能或特性可以用任何?#23454;?#30340;方式组合在
一个或多个实施例中。例如,第一实施例可以与第二实施例在任何地方进行组合,其中,与
这两个实施例相关联的具体特征、结构、功能或特性不相互排斥。

如在示例性实施例和所附权利要求书的描述中使用的,除非上下文另外明?#20998;?br />示,否则单数形式“一个(a)”、“一个(an)”和“所述(the)”旨在同样包括复数形式。还将理解
的是,如本文使用的术语“和/或”指代并且包括相关联的列举项的一个或多个项的任何和
所有可能组合。

如贯穿说明书并且在权利要求书中使用的,由术语“的至少一个(at least one
of)”或“的一个或多个(one or more of)”联接的项列表可以意味着所例举的项的?#25105;?#32452;
合。例如,短语“A、B或C中的至少一项”可意指A;B;C;A和B;A和C;B和C;或A、B和C。

术语“耦合”和“连接”连同其衍生词在此可以用于描述部件之间的功能关系或结
构关系。应当理解,这些术语并不意为彼此的同义词。相反,在具体实施例中,“连接”可以用
于指示两个或更多个元件彼此直接进行物理的、光学的或电学的接触。“耦合”可以用于指
示两个或更多个元件彼此进行直接的或间接的(在它们之间具有介入元件)物理的、光学的
或电学的接触,和/或指示两个或更多个元件彼此合作或交互(例如,由于因果关系的原
因)。

就对计算机存储器内的数据比特进行的操作的算法和符号表示而言,呈现在此提
供的详细说明书的一些部?#24103;?#22914;从以下?#33268;?#20013;明显的是,除非另外特别声明,否则应认识
到,贯穿本说明书,使用如“运算(calculating)”、“计算(computing)”、“确定
(determining)”、“估计(estimating)”、“存储(storing)”、“收集(collecting)”“显示
(displaying)”、“接收(receiving)”、“合并(consolidating)”、“生成(generating)”、“更
新(updating)”等术语的?#33268;?#26159;指计算机系统或类?#39057;?#23376;计算设备的动作和过程,所述计
算机系统或类?#39057;?#23376;计算设备对表示为计算机系统的包括寄存器和存储器的电路中的物
理(电子)量的数据进行操纵并且将其转换成类?#39057;?#34920;示为计算机系统存储器或寄存器或
其他此类信息存储、传输或显示设备中的物理量的其他数据。

虽然以下描述阐述可以在如例如片上系统(SoC)架构的架构中显?#24103;?#22312;此描述的
技术和/或安排的实现方式不局限于具体的架构和/或计算系统,并且出于类似目的可以由
任何架构和/或计算系统实?#24103;?#37319;用例如多个集成电路(IC)芯片和/或封装体、和/或各种计
算设备和/或消费电?#30828;?#21697;(CE)设备(如机顶盒、智能电话等)的各架构可以实现在此描述
的技术和/或安排。此外,虽然以下描述可以阐述许多特定的?#38468;?如逻辑实?#24103;?#31995;统部件的
类型和内在关系、逻辑划分/集成选择等),但要求保护的主题可以在没有这些特定?#38468;?#30340;
情况下被实践。此外,可以不详细示出某些材料(如,例如,控?#24179;?#26500;和完整的软件指令序
列),以便不模糊在此公开的材料。

在此公开的材料的某些部分可以是在硬件(例如,如图像处理器中的逻辑电路)中
实现的。某些其他部分可以在硬件、固件、软件、或其?#25105;?#32452;合中实?#24103;?#22312;此公开的至少部分
材料还可以被实现为存储于机器可读介质上的指令,这些指令可以被一个或多个处理器
(图?#26410;?#29702;器和/或中央处理器)读取或执行。机器可读介质可以包括用于存储或传输具有
由机器(例如,计算设备)可读的形式的信息的任何介质和/或机制。例如,机器可读介质可
以包括只读存储器(ROM);随机存取存储器(RAM);?#25490;?#23384;储介质?#36824;?#23398;存储介质;闪存设备;
电气、光学、声学或其他类似的非瞬态、?#34892;?#20171;质。

以下描述了一种或多种用于实时图像增强的系统、装置、方法?#22270;?#31639;机可读介质。
在“实时”图像增强中,与逐帧生成图像数据(视频)流并行地逐帧增强所述流。增强算法可
操作用于帧级,并且可以对每个连续图像帧或者帧子集(诸如关键帧)执行所述增强算法。
对实时图像增强的速率要求是与CM相关联的帧速?#23454;?#20989;数。如?#28388;?#36848;,包括CM并且与示例
性架构一致的设备平台可以为(视频)相机功能提供当前移动手持装置的典型功率和处理
带宽约束内的实时图像增强。

图1A是根据一个或多个实施例的实时(RT)皮肤平滑图像增强滤波系统100。图像
增强系统100包括接收输入图像数据(I_入)101并生成输出图像数据(I_出)的RT皮肤平滑
图像增强滤波器102。输入图像数据101是以任何?#23454;?#30340;颜色空间或图像文件格式提供的图
像帧的表示。例如,输入图像数据101可以是存储在存储器中的图像的解码表示。在另一示
例中,当从CM中的图像传感器读出输入图像数据100时,由CM将所述数据写入缓冲器中。输
入图像数据101包括在图像帧内空间关联的多个像素值。图像数据的一个图像帧内的像素
值的数量取决于输入图像分辨率,所述输入图像分辨率在进一步实施例中是本地CM的函
数。虽然本文中的实施例适用于任何输入图像分辨率,但是在示例性实施例中,输入图像数
据101是图像帧的1920×1080像素(2.1兆像素)的表示(即全HD)。在示例性实施例中,输入
图像数据101处于YUV(亮度Y和色度U、V)颜色空间中。可能已经在系统100的上游对输入图
像数据101进行了预处理以便从另一颜色空间(诸如RGB(红-绿-蓝)颜色空间、YPBPR(亮度、
蓝色差色度YB、以及红色差色度PR)颜色空间、或YCBCR(亮度Y、蓝色差色度CB、以及红色差色
度CR)颜色空间等)转换成YUV空间。

如在此进一步?#33268;?#30340;,RT皮肤平滑图像增强滤波器102用于执行对输入图像数据
101的滤波。虽然滤波算法可以是图像处理领域中任?#25105;?#30693;的,但是为了减小与滤波算法相
关联的计算负荷,所述算法以小于输入图像分辨?#23454;?#26576;个分辨?#26102;?#23454;?#24103;?#36890;过对滤波图像
数据的权重进行调制的混合操作来减轻滤波图像数据中所产生的保真度的损失,从而使得
输入图像数据中表示的边缘被保留在已经被滤波的空间区域周围。待滤波的区域可以基于
某个肤色检测标准(可以是用户定义的配置)被检测、和/或从系统驱动器中被接收、和/或
被设置为默?#29616;档取T皮肤平滑图像增强滤波器102生成作为输出图像数据103的混合像素
值。在示例性实施例中,输出图像数据103还可以处于YUV颜色空间中。如在此进一步描述
的,输出图像数据103是输入图像数据101和滤波输入图像像素值的混合。所述混合基于从
像素分值确定的像素级混合系数。例如,当像素具有更高的分值时,输出像素值将是对滤波
像素值进行比输入像素值更重的加权的混合,而具有更低分值的像素将被输出为对输入像
素值进行更重加权的混合。所述混合可以应用于输入图像数据101的每个像素值以便生成
保?#36136;?#20837;图像分辨?#23454;?#36755;出图像数据103。可以在系统100的下游将输出图像数据103存储
到存储器中。可以进一步对输出图像数据103进行后处理、和/或将其呈现在显示器上。例
如,输出图像数据103可以接收进一步的图像增强、和/或被编码成图像帧的压缩表示(例
如,符合MPEG-4、H.264AVC编解码器等)。

图1B是包括视频数据流捕获设备115和显示设备199的系统110的功能框图。根据
实施例,视频捕获设备115包括RT皮肤平滑图像增强滤波器102。在第一实施例中,捕获设备
115包括耦合在视频捕获流水线120与视频编码器150之间的RT皮肤平滑图像增强滤波器
102。视频捕获流水线120以帧速率(例如,30、60、120、240、480fps等)将连续曝光的视频数
据帧流式传输到耦合至RT皮肤平滑图像增强滤波器102的输入端口的输出端口。视频流水
线120包括可操作用于输出与符合任?#25105;?#30693;的流传输协议(诸如MIPI或其他协议)的多个连
续曝光的帧相关联的原始视频数据的传感器。在示例性实施例中,由任?#25105;?#30693;的解码电路
(未描述)将由视频流水线120输出的xvYCC像素数据转换成YUV(Cb、Cr)格式。RT皮肤平滑图
像增强滤波器102的输出端口耦合至编码器150的输入端口。编码器150的输出端口耦合至
存储器(存储设备)190的输入端口。从存储器190输出的增强图像帧的编码表示通过有线或
无线通信信道耦合?#26009;?#31034;设备199,所述显示设备在示例性实施例中通过云195中的后端服
务器耦合至捕获设备115。在不存在云195的替代性实施例中,显示设备199通过本地有线或
无线通信信道直接耦合至视频捕获设备115。在又其他实施例中,显示设备199集成到视频
捕获设备115中(即这两个设备均为同一平台的一部分)。

图2是根据一个或多个实施例的展示了RT皮肤平滑图像增强滤波方法200的流程
图。图2中所展示的操作中的每个操作可以被认为是方法200中的各个阶段,其中,有利地实
时执行每个阶段以便以与所述阶段相关联的给定等待时间实时生成皮肤平滑的输出图像
数据。图1A和图1B中所展示的RT皮肤平滑图像增强滤波器102可以例如实现自动的皮肤平
滑方法200。图3A、3B、3C和3D展示了根据皮肤平滑方法200滤波的输入图像数据帧的表示性
分析结果。

方法200在操作201处以接收输入图像数据开始。在示例性实施例中,在操作201处
接收的输入图像数据是以上描述的输入图像数据101。在操作201处接收的输入图像数据包
括以输入图像分辨率(诸如但不限于1920×1080)表示图像帧的像素值。图3A展示了包括多
个像素的输入图像300。第一像素305在肤色区域303之内,而第二像素306在肤色区域303、
304之外。通用区域301、302可以包括不是肤色区域的任何区域,诸如背景(例如,通用区域
301)和?#36335;?例如,通用区域302)等。如下进一步?#33268;?#30340;,肤色区域303、304可以包括有资格
作为基于肤色检测分值而对其色调进行调节的皮肤的任何区域。

在操作205处,基于滤波标准对图像帧内的个体像素值进行评?#24103;?#22312;评分操作205
处确定的像素分值最终指示随后在方法200中所采用的混合系数或混合权重。当帧内的每
个像素接收分值时,所述像素分值统一指示由输入图像数据101表示的图像帧内的混合系
数图。在实施例中,在操作205处确定的每个像素分值指示所述像素满足滤波标准的概率,
所述滤波标准例如可以基于亮度和/色度分量目标或?#34892;?#20540;(Uc、Vc)。在一个示例性实施例
中,滤波标准是基于颜色的肤色测试,其中,接收肤色检测分值的每个像素指示所述像素为
肤色的概率。当为输入图像数据101中的每个像素提供肤色检测分值时,在操作205处确定
的所述肤色检测分值统一表示在由输入图像数据101表示的图像帧内空间关联的皮肤图。

在有利实施例中,所述肤色检测分值是在0与1之间(包括0和1)的与所述个体像素
为肤色的概率成比例的连续值。作为一个示例,分值0可以指示所述像素为肤色像素的第一
(例如,非常低)可能性,而分值1可以指示所述像素为肤色像素的第二(例如,非常高)可能
性。当然,可以通过任何其他范围(诸如0至10、0至100等)提供肤色检测分值204。当像素分
值的范围在0与1之间时,在随后的混合函数中可以直接采用在操作205处生成的像素分值。
可替代地,可以执行中间?#25104;?#20197;便将在操作205处确定的所述像素分值转换成?#23454;?#30340;混合
系数值。所述中间?#25104;?#21487;以具有任何预定的默?#29616;?#25110;用户可定义的?#25104;?#20989;数。

在实施例中,基于与皮肤颜色(Uc、Vc)?#34892;?#30340;比较来确定肤色检测分值。可以从外
部源(例如,存储器、驱动器、或另一系统组件)接收皮肤颜色的?#34892;摹?#30382;肤颜色的?#34892;?#21487;以
包括指示皮肤颜色?#34892;?#30340;任何数据(例如,YUV颜色空间中的Uc、Vc),从而使得具有匹配颜色
的像素可能为肤色像素。例如,皮肤颜色的?#34892;?#21487;以基于与输入图像帧的预期受试者相关
联的肤色而在预定默?#29616;?#20043;间变化。

可以基于预先学习的肤色模型来计算输入像素值的肤色概率。具?#34892;?#22810;用于对像
素为肤色的概率进行评估的基于像素的模型,并且本文中的实施例可以在操作205处采用
任何这种技术。这些技术区别于面部识别技术,并且具有对非面部皮肤区域进行?#23454;?#35780;分
的优点。作为一个示例性,肤色模型可能需要将皮肤颜色的分布在统计上定义为3D YUV域
中的集?#28023;?#20174;而使得集群的?#34892;?#34987;认为是“准确的”肤色值(例如,集群的?#34892;?#21487;以是皮肤颜
色Uc、Vc的?#34892;?。如果像素与集群的?#34892;?#30456;匹配,则所述像素为肤色像素的概率/可能性可
能处于最大值。当像素值进一步移动远离自集群内的?#34892;?#26102;,可能性降低。可以在集群之外
将可能性进一步限定为零。任何技术可以用于判定输入像素值是否在集群内,并且用于基
于与集群?#34892;?#30340;接近度来确定其肤色检测分值。在一个示例性实施例中,集群在三个平面
(例如,UV平面或VU平面、YV平面或VY平面、以及YU平面或UY平面)上的投影的交叉点被用于
检测输入像素是否在集群内。作为一个示例,可以基于对输入像素与变换的/投射的集群中
心之间的距离关系进行建模的函数来确定所述像素在UV平面中为肤色像素的可能性。所述
函数可以计算当像素朝向皮肤颜色(例如,Uc、Vc)的?#34892;?#31227;动时从零增加到一的可能性。

在进一步实施例中,操作205另外需要将像素分值图输入到在像素评分时减小噪
声的空间平滑滤波器中。由检测算法(例如,肤色检测算法)输出的评分图是到平滑滤波器
的输入。在操作205处可以使用已知的适用于这一目的的任何空间平滑滤波器,示例包括但
不限于采用平滑掩膜(诸如高斯掩膜)的低通卷积滤波器。图3B展示了可在操作205之后被
构建的简化皮肤图370。为了清楚起见,图3B仅描绘了在操作205处生成的最大像素分值和
最小像素分值。在图3B中,具有肤色的最高概?#23454;?#20687;素被表示为白色(例如,皮肤检测分值
1),而黑色表示具有肤色的最低概率(例如,皮肤检测分值0)的像素。虽然为了清楚起见未
展示,但是图3B中展示的二进制级之间的任何数量的“灰度”级可以在操作205处进一步被
生成。

方法200在操作210处继续。在一些实施例中,在至少阈值数量的像素具有指示在
由输入图像数据表示的图像帧内存在肤色的至少阈值像素分值时,可以断定为执行操作
210(以及后续的操作)。当不满足阈?#24403;?#20934;(例如,最小肤色检测分值)时,可以在操作209处
利用存储到存储器中的未经滤波的输入图像数据来终止方法200。所以,在不存在足够的肤
色时,可以对自动的皮肤平滑方法200进行旁路。

响应于满足阈?#24403;?#20934;(例如,检测到足够的皮肤区域),在操作210处对输入图像数
据101进行下采样以改变像素网格(即改变图像尺寸以包含更少的像素)。将输入图像数据
下采样至图像帧的更低分辨?#26102;?#31034;具有降低随后在方法200中执行的平滑操作的图像处理
要求的优点。许多图像缩小算法?#19988;?#30693;的(例如,柏生汉姆、最近邻、双三?#25991;?#25554;),并且相对
于方法200中的其他操作,图像尺寸减小算法通常快速的且在计算时不是高度复杂的。因
此,具?#34892;?#22810;已知的适用于利用给定的图像和/或应用处理器对输入图像数据(例如,全HD)
进行实时缩放(例如,30+FPS)的下采样滤波器。在示例性实施例中,下采样操作210采用像
素负值和/或最近邻采样以便有利地使图像分辨率降低至少因子2且更理想地因子4或者更
多。

方法200然后以操作215继续,其中,利用皮肤平滑滤波器来增强在操作210处生成
的下采样图像。在操作215处,基于与输入像素相邻的下采样图像像素的值来平滑下采样图
像的像素值。在实施例中,边缘保留平滑滤波器用于平滑下采样图像,从而在避免可能导致
可见伪像的边缘的同时移除纹理。在一个有利实施例中,在操作210处采用双边滤波器。所
述双边滤波器具有保留边缘的优点,但是相对于实时皮肤平滑方法200中的其他操作,所述
滤波器实施时在计算上花费高/复杂。在基本形式中,双边滤波器是采用空间内核和范围内
核两者以便用来自附近像素的强度值的加权平均值来替换图像中的每个像素处的强度值
的非线性滤波器:


其中,If为滤波图像数据,I低分辨率为下采样输入图像数据,x为被滤波的像素的坐
标,fr为用于强度平滑的范围内核并且gs为用于协调平滑的空间内核,并且Wp为保持总图像
能量的标称项。对于许多双边滤波器实现方式,计算复杂度是维度(例如,D2)的多项式函
数。因此,相对于以输入图像分辨率对输入图像数据进行滤波,使得对4x下采样图像进行双
边滤波的复杂度降低大约因子16。在进一步实施例中,采用可进一步使得超低功率/带宽处
理器能够实时实现皮肤平滑方法200的快速双边滤波器。所述快速双边滤波器有利地能够
对颜色图像进行滤波并且在示例性实施例?#34892;?#35201;递归实现所述双边滤波器。一些递归双边
滤波器算法具有相对于通过域变换的应用的像素数量是线性的优点,并且因此显著地在计
算上更高效。

尤其是,托管相机模块(例如,当前的手持装置)的许多移动设备的图像和/或应用
处理器不能够甚至利用递归双边滤波算法对全HD图像帧进行实时滤波。然而,30+FPS滤波
对于通过操作210输出的下采样图像变得可能。取决于平台的处理器的计算能力以及帧速
率和输入图像数据的分辨率,可以按照需要改变下采样因子(例如,在2x与4x之间)以确保
在操作215处的实时平滑。图3C展示了根据一个示例性实施例的下采样和平滑图像380,所
述下采样和平滑图像可以从以下操作215可用的图像数据中被构建。

皮肤平滑方法200在操作220处继续,其中,将滤波的低分辨率图像数据上采样(尺
寸增大)回至输入图像分辨率。放大操作220?#34892;?#22320;增加了平滑滤波操作215的输出的尺寸/
维度。上采样至更高的像素计数具有显著的计算复杂度/成本,并且因此,对放大算法的选
择可以影响方法200的整体速率。在有利实施例中,在操作220处执行像素值的双线性内插。
对于大多数移动设备(例如,手持装置)中的图像和/或应用处理器将甚至4x下采样图像实
时上采样回至1920×1080(例如,以30+fps),双线性内插具有在计算上足够简单的优点。

皮肤平滑方法200在操作230处继续,其中,对在操作201处接收的输入图像数据
101与在操作220处生成的上采样的滤波图像数据进行混和。所述两者图像数据的混合是在
操作205处确定的像素分值的函数。注意的是,即使边缘保留平滑滤波器模糊了边缘,但是
使用在操作205处生成的皮肤图提高了可能以其他方式失真(被模糊)或丢失的期望边缘
(例如,噪声、面部轮廓、?#27982;?#31561;)的保留,特别是当以减小图像尺寸进行滤波时。如在图3B中
展示的,皮肤图3B包含皮肤区域与非皮肤区域之间的尖锐边缘信息。在示例性实施例中,根
据每个像素肤色检测分值,可通过对输入图像数据相对于单独的滤波图像数据的权重进行
调制以便将这一边缘信息直接并入混合操作230中。

在示例性实施例中,在操作230处的混合需要基于像素的肤色检测分值在输入图
像数据中的像素的值(例如,亮度分量或色度分量中的至少一项)与滤波图像数据中的那个
像素的相应值之间进行内插。在有利实施例中,所述内插是线性的,其中,混合像素值是输
入图像数据中的像素的值与滤波图像数据中的像素的值的加权和。肤色检测分值对所述两
个像素值进行互补加权。例如,当像素具有指示所述像素为肤色的更大概?#23454;?#26356;高分值时,
输出像素值将是对滤波像素值进行比输入像素值更重的加权的混合,而具有指示所述像素
为肤色的更低概?#23454;?#26356;低分值的像素将被输出为对输入像素值进行更重加权的混合。图3D
展示了具有瑕疵307存在于被平滑出的输入图像帧300中的示例性混合输出图像帧390。

返回至图2,对给定输入图像帧执行方法200的一次迭代在操作240处完成,其中,
混合图像数据被存储到存储器中,例如作为增强型、皮肤平滑的输出图像数据103。可以进
一步将混合图像数据输出?#26009;?#31034;设备或编码器中的至少一项。

图4是根据一个或多个实施例的RT皮肤平滑图像增强滤波器102的功能框图。在示
例性实施例中,对RT皮肤平滑图像增强滤波器102进行计算机化以便以自动方式执行皮肤
平滑方法200。RT皮肤平滑图像增强滤波器102用于从缓冲器中接收或检索输入图像数据
101,所述缓冲器存储有输入图像帧的解码表示或由相机硬件模块以输入图像分辨率曝光
的捕获图像中的至少一者。在一个实施例中,输入图像数据101是由相机硬件模块以给定的
视频帧速率写入缓冲器中的连续曝光的图像数据帧流。RT皮肤平滑图像增强滤波器102包
括逻辑,所述逻辑用于至少以视频帧速率对每个连续曝光的视频数据帧执行如上所述的像
素评?#24103;?#22270;像数据下采样、图像数据上采样、图像数据滤波以及图像数据混合中的每一项以
便使得输入图像帧缓冲器溢出无效。

如图4中进一步示出的,RT皮肤平滑图像增强滤波器102进一步包括?#33719;?#21512;以用于
接收输入图像数据101的检测模块405。所述检测模块包括用于确定图像数据的个体像素的
肤色检测分值的逻辑。在示例性实施例中,检测模块405用于使用以上描述的技术中的任何
技术来确定与个体像素包括肤色的概率成比例的肤色检测分值(例如,在0与1之间)。在进
一步实施例中,检测模块405进一步包括用于例如利用空间平滑滤波器对肤色检测分值进
行降噪的逻辑。可以以肤色概率图406的形式对所述肤色检测分值进行输出。

如图4中进一步描绘的,下采样模块410也?#33719;?#21512;以用于接收输入图像数据101。下
采样模块410包括用于例如使用以上描述的技术中的任何技术来将图像数据101下采样至
图像帧的具有低于输入图像分辨?#23454;?#38477;低分辨?#23454;?#34920;示的逻辑。滤波器模块415?#33719;?#21512;以
用于接收由下采样模块410输出的更低分辨?#23454;?#19979;采样图像数据411。滤波模块415包括用
于例如使用以上描述的平滑技术中的任何技术来平滑下采样图像数据的逻辑。在一个有利
实施例中,滤波模块415包括用于对下采样图像中的个体像素值进行递归双边滤波的逻辑。

如图4中进一步展示的,RT皮肤平滑图像增强滤波器102进一步包括?#33719;?#21512;以用于
接收由滤波模块415输出的经滤波的下采样图像数据416的图像上采样模块420。上采样模
块包括用于使用以上描述的技术中的任何技术来将经滤波的下采样图像数据上采样回至
输入图像分辨?#23454;?#36923;辑。混合模块430然后?#33719;?#21512;以用于接收输入图像数据101、由上采样
模块420输出的高分辨率上采样的滤波图像数据421以及肤色概率图406。混合模块430包括
用于根据肤色概率图406将输入图像数据101与上采样的滤波图像数据421进行混合的逻
辑。在有利实施例中,混合模块430用于基于像素的肤色检测分值在输入图像数据中的像素
的亮度值和/或色度值与滤波图像数据中的相应像素的亮度值和/或色度值之间进行线性
内插。例如,可以确定输入图像数据中的像素的亮度值或色度值与滤波图像数据中的像素
的亮度值或色度值之间的加权和以便通过肤色检测分值对所述两个亮度值或色度值进行
互补加权。

图5展示了根据一个或多个实施例的RT皮肤平滑图像增强滤波平台。图5进一步展
示了RT皮肤平滑图像增强滤波器102可以如何与移动视频捕获设备平台503的各个其他部
件进行集成以便提供适合于高帧曝光速率和低图像处理开销两者的增强型视频相机输出。
例如,移动计算设备可以指具有处理系统和移动电源或供电(诸如一个或多个电池)的任何
设备。移动计算设备的示例可以包括膝上?#22270;?#31639;机、平板机、触摸板、便携式计算机、手?#36136;?br />计算机、掌上?#22270;?#31639;机、个人数?#31181;?#29702;(PDA)、蜂窝电话、组合式蜂窝电话/PDA、电视、智能设
备(例如,智能电话、平板机或智能电视)、移动互联网设备(MID)、消息设备、数据通信设备
等。移动计算设备的示例还包括被配置成以由人穿戴的计算机和/或介质捕获/传输设备,
诸如手腕计算机、?#31181;?#35745;算机、戒指计算机、眼镜计算机、皮带夹计算机、臂带计算机、鞋计
算机、服装计算机、以及其他可穿戴计算机。在各实施例中,例如移动计算设备可以被实现
为能够执行计算机应用、以及语音通信和/或数据通信的智能电话。尽管一些实施例可以用
作为示例实现为智能电话的移动计算设备描述,但应理解,其他实施例也可以使用其他无
线移动计算设备实?#24103;?#23454;施例并不局限于此上下文中。

平台503包括CM 570。在示例性实施例中,CM 570进一步包括相机传感器559。例
如,传感器559可以是HD、FHD、QXGA、WQXGA或QSXGA格式的数字图像设备。相机传感器559可
以提供10位的颜色分辨率(或每像素更多),可操作用于逐渐捕获连续视频帧。传感器559可
以具有170MHz的像素频率或更多。相机传感器559可以包括RGB拜耳滤色器、模拟放大器、A/
D转换器、将入射光转换成与原始图像数据相对应的数?#20013;?#21495;的其他组件。传感器559可以
被控制为操作卷帘式快门或电子焦平面快门过程,在所述过程中,针对帧以线序方式逐渐
读出像素。在示例性视频实施例中,传感器550输出多个连续曝光的帧。CM 570输出与符合
任?#25105;?#30693;的流传输协议(诸如MIPI)的连续曝光的帧相关联的原始数据。将流传输的原始视
频数据输入至ISP 575。ISP 575用于在与CM 570相关联的水平和/或垂直消隐期过程中接
收和分析原始视频数据572的帧。例如,在原始图像数据处理过程中,ISP 575可以执行颜色
空间转换、降噪、像素线性化和遮蔽补偿中的一项或多项。

可以以FIFO方式对作为准备用于皮肤平滑图像增强的YUV输入图像数据101而进
行排队的、由ISP 575输出的预处理视频数据进行缓存。在示例性实施例中,DSP 385和/或
应用处理器(APU)550实现图4中描绘的皮肤平滑图像增强模块中的一个或多个模块。DSP
385可以例如包括一个或多个固定函数、或用于执行以上所述的皮肤平滑方法200中的一个
或多个阶段的半可编程逻辑电路。例如,固定函数模块可以用于实现空间图像滤波、图像缩
小、图像放大、双向平滑或混合中的一项或多项。由APU 550实例化的操作系统(OS)的内核
空间内的子系统驱动器515可以控制各种图像处理参数,诸如肤色检测分值?#25104;洹⒅行?#32932;
色、缩小因子、或双边滤波器内核。可以通过执行OS的用户空间的应用层来提供对皮肤平滑
图像增强控制参数的访问。

采用固定函数逻辑的实施例很好地适用于以最小功?#23454;?#39640;曝光帧速?#23454;?#33410;奏来
实现皮肤平滑方法200。然而,在替代性实施例中,任?#25105;?#30693;的可编程处理器(包括APU 550
的核)、图像处理器的执行单元、或其他类似的向量处理器用于实现RT皮肤平滑图像增强滤
波器102的逻辑。针对这类实施例中,DSP 585无需实现与RT皮肤平滑图像增强滤波器102相
关的固定函数电路(如通过图5中的虚线所指示的)。APU 550则仅负责从接收自ISP 575的
输入图像数据101中生成混合输出图像数据103。有利地,这类基于软件的实现方式比固定
函数逻辑电路更灵活。在一个示例性实施例中,通过APU 550的用户空间对皮肤平滑图像增
强滤波算法555进行实例化。APU 550以足以实时执行皮肤平滑方法200与帧生成的速率来
执行这些算法。可以利用存储在计算机可读介质上的指令对APU 550进行编程以使处理器
执行皮肤平滑方法200的操作中的任何操作。

如图5中进一步展示的,混合输出图像数据103被输出至存储设备/显示器/传输流
水线595。在一个示例性存储流水线实施例中,输出图像数据103被写入电子存储器520(例
如,DDR等)中,所述电子存储器可以是单独的或者是APU 550可访?#23454;?#20027;存储器510的一部
?#24103;?#21487;替代地或另外地,存储设备/显示器/传输流水线595用于传输视频捕获设备503的概
要帧数据597。

图6是根据一个或多个实施例的采用RT皮肤平滑图像增强滤波器的示例性超低功
率系统600的简图。尽管系统600不局限于此上下?#27169;?#20294;系统600可以?#19988;?#21160;设备。系统600可
以并入可穿戴计算设备、膝上?#22270;?#31639;机、平板机、触摸板、手?#36136;?#35745;算机、掌上?#22270;?#31639;机、蜂
窝电话、智能设备(例如,智能电话、智能平板机或移动电视)、移动互联网设备(MID)、消息
设备、数据通信设备等。系统600还可以是基础设施设备。例如,系统600可以并入大尺寸电
视、机顶盒、台式计算机或其他家用或商用网络设备中。

系统600包括设备平台602,所述设备平台可以实现以上图1至图5的上下文中描述
的各种RT皮肤平滑图像增强方法的全部或子集以及RT皮肤平滑图像增强系统中的任何系
统。在各示例性实施例中,视频处理器615执行RT皮肤平滑图像增强。例如,如在本文其他地
方所描述的,视频处理器615包括实现RT皮肤平滑图像增强系统201以便同时平滑图像的肤
色经调节的区域以及从CM 570流传输的视频帧数据的逻辑电路。在一些实施例中,一个或
多个计算机可读介质可以存储指令,所述指令当由CPU 610和/或视频处理器615执行时使
(多个)处理器执行一种或多种RT皮肤平滑图像增强算法,诸如以上详细描述的那些算法中
的任何算法。由CM 570曝光的一个或多个图像数据帧则可以作为增强型图像数据被存储到
存储器612中。

在实施例中,设备平台602耦合至人类接口设备(HID)620。平台602可以利用CM
570来收集原始图像数据,所述原始图像数据被处理并输出到HID 620。包括一个或多个导
航特征的导航控制器650可以用于例如与设备平台602和/或HID 620进行交互。在实施例
中,HID 620可以包括经由无线电618和/或网络660耦合至平台602的任何电视机类型的监
测器或显示器。HID 620可以包括例如,计算机显示屏、触摸?#26009;?#31034;器、视频监视器、类?#39057;?br />视机的设备和/或电视机。

在一个或多个软件应用616的控制下,设备平台602可以在HID 620上显示用户界
面622。可以通过指针、光标、聚?#22815;?#25110;在显示器上显示的其他视觉指示器的移动在显示器
(例如,HID 620)上复制控制器650的导航特征的移动。在软件应用616的控制下,位于导航
控制器650上的导航特征可以例如被?#25104;?#33267;在用户界面622上显示的虚拟导航特征。

在实施例中,设备平台602可以包括CM 570、芯片组605、处理器610、615、存储器/
存储设备612、应用616和/或无线电618的?#25105;?#32452;合。芯片组605可以提供在处理器610、615、
存储器612、视频处理器615、应用616、或无线电618之间的相互通信。

处理器610、615中的一个或多个处理器可以被实现为一个或多个复杂指令集计算
机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器或任何其
他微处理器或中央处理器单元(CPU)。

存储器612可以被实现为?#36164;?#24615;存储设备,如但不限于随机存取存储器(RAM)、动
态随机存取存储器(DRAM)、或静态RAM(SRAM)。存储器612还可以被实现为?#19988;资?#24615;存储设
备,诸如但不限于:闪存、电池备用SDRAM(异步DRAM)、磁性存储器、相变存储器等。

无线电618可以包括能够使用各?#36136;实?#30340;无线通信技术发射并接收信号的一个或
多个无线电。这些技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限
于)无线局域网(WLAN)、无线个人局域网(WPAN)、无线城域网(WMAN)、蜂窝网和卫星网。在跨
这类网络进行通信时,无线电618可以根据任何版本中的一个或多个可适用标准进行操作。

在实施例中,系统600可以被实现为无线系统、有线系统、或两者的组合。当被实现
为无线系统时,系统600可以包括适合于通过如一个或多个天线、发送器、接收器、收发器、
放大器、滤波器、控制逻辑等的无线共享介质进行通信的组件和接口。无线共享介?#23454;?#31034;例
可以包括无线光谱部分,如RF光谱等。当被实现为有线系统时,系统600可以包括适用于通
过有线通信介质(如输入/输出(I/O)适配器、利用相应有线通信介质连接I/O适配器的物理
连接器、网络接口卡(NIC)、光盘控制器、视频控制器、音频控制器等)进行通信的组件和接
口。有线通信介?#23454;?#31034;例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、交?#36824;?br />纤、半导体材料、双绞线、同轴电缆、光?#35828;取?br />

如本文描述的RT皮肤平滑图像增强系统及相关联的皮肤平滑过程可以用各种硬
件架构、元件设计或“IP核”来实?#24103;?br />

如上所述,系统600可以用变化的物理风格或形成因子来体?#24103;?#22270;7进一步展示了
可以用其具体化系统600的移动手持设备700的实施例。在实施例中,例如,设备700可以被
实现为具有无线能力的移动计算手持设备。如图7所示,移动手持设备700可以包括具有前
面701和背面702的壳体。设备700包括显示器704、输入/输出(I/O)设备706、?#22270;?#25104;天线
708。设备700还可以包括导航特征712。显示器704可以包括适合于移动计算设备的用于显
示信息的任何?#23454;?#30340;显示单元。I/O设备706可以包括用于将信息输入移动计算设备中的任
何?#23454;?#30340;I/O设备。I/O设备706的示例可以包括字母数字键盘、数?#20013;?#38190;盘、触摸板、输入
建、按钮、开关、麦克风、扬声器、话音识别设备和软件等。信息还可以借助于麦克风(未示
出)被输入设备700中或者可以由话音识别设备数?#21482;?#23454;施例并不局限于本上下文中。如
在本文其他地方所描述的,集成到至少背面702的是相机705(例如,包括?#20302;貳?#20809;圈?#32479;?#20687;
传感器)和闪光灯710,所述两者可以是流式视频通过其被曝光并输出至视频概要系统的CM
的组件。

如以上例示的,可以使用硬件元件、软件元件或两者的组合实现本文描述的实施
例。硬件元件或模块的示例包括:处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、
电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数?#20013;?#21495;处理
器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。
软件元件或模块的示例包括:应用、计算机程序、应用程序、系统程序、机器程序、操作系统
软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令
集、计算代码、计算机代码、代码段、计算机代码段、数据?#24103;?#20540;、符号、或其?#25105;?#32452;合。判定是
否是使用硬件元件和/或软件元件来实现实施例可以根据针对设计选择所考虑的?#25105;?#25968;量
的因数而变化,如但不限于:期望的计算速率、功率水平、耐热性、处理周期预算、输入数据
速率、输出数据速率、存储器资源、数据总线速度以及其他设计或性能约束。

至少一个实施例的一个或多个方面可以由存储在机器可读存储介质上的代表性
指令实?#24103;?#36825;类指令在由机器对其进行执行的过程中可以完全地或至少部分地驻留在主存
储器内和/或在处理器内,存储指令的主存储器和处理器部分然后还组成机器可读存储介
质。可编程逻辑电路可以具有由实现计算机可读介?#23454;?#22788;理器配置的寄存器、状态机等。这
种如所编程的逻辑电路然后可以被理解为被物理地转换成落入本文描述的实施例的范围
内的系统。表示处理器内的各逻辑的指令当由机器读取时还可以?#29575;?#26426;器制造遵循本文描
述的架构的逻辑和/或执行本文描述的技术。被称为元件设计或IP核的这种表示可以存储
在?#34892;?#30340;、机器可读的介质上或被供应至不同的消费者或制造设施以加载到实际上制造逻
辑的制造机器或处理器中。

虽然已经参照实施例描述了本文阐述的某些特征,并不打算在限制性意义上解释
本说明书。因此,本公开涉及的对本领域技术人员而言明显的对本文描述的实现方式以及
其他实现方式的各?#20013;?#25913;被视为是在本公开的精神和范围内。

以下段落简要描述了一些示例性实施例。

在一个或多个第一实施例中,一种增强图像的计算机实现的方法包括基于滤波标
准对以输入图像分辨?#26102;?#31034;图像帧的图像数据的个体像素值进行评?#24103;?#25152;述方法包括:将
所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨?#23454;?#38477;低分辨?#23454;?#34920;示。
所述方法包括:对所述下采样图像数据进行滤波。所述方法包括:将所述经滤波的下采样图
像数据上采样回至所述输入图像分辨率。所述方法包括:根据所述像素评分将所述输入图
像数据与所述上采样的滤波图像数据进行混合。

为促进所述第一实施例,将所述输入图像数据与所述滤波图像数据进行混合进一
步包括:将所述输入图像数据中的个体像素的亮度值或色度值中的至少一项与所述上采样
的滤波图像数据中的相应像素的所述亮度值或色度值进行混合。

为促进所述第一实施例,对所述图像帧内的像素进行评分进一步包括:确定所述
输入图像的个体像素的肤色检测分值。根据所述像素评分将所述输入图像数据与所述滤波
图像数据进行混合进一步包括:根据每个像素肤色检测分值对所述输入图像数据相对于所
述个体像素的所述滤波图像数据的权重进行调制。

为促进上文刚刚描述的实施例,根据所述像素评分将所述输入图像数据与所述滤
波图像数据进行混合进一步包括:基于所述像素的所述肤色检测分值在所述输入图像数据
中的像素的值与所述滤波图像数据中的所述像素的值之间进行内插。

为促进上文刚刚描述的实施例,基于所述像素的所述肤色检测分值在所述输入图
像数据中的像素的所述值与所述滤波图像数据中的所述像素的值之间进行线性内插进一
步包括:确定所述输入图像数据中的所述像素的所述值与所述滤波图像数据中的所述像素
的所述值的加权和,通过所述肤色检测分值对所述两个像素值进行互补加权。

为促进上文刚刚描述的实施例,所述肤色检测分值是在0与1之间的与所述个体像
素包括肤色的概率成比例的值。

为促进所述第一实施例,对所述下采样图像数据进行滤波进一步包括:利用双边
滤波器基于与正被平滑的所述像素相邻的所述下采样图像像素的值对所述下采样图像的
像素值进行平滑。

为促进上文刚刚描述的实施例,对所述下采样图像数据进行滤波进一步包括对所
述下采样图像中的像素值进行递归双边滤波。

为促进所述第一实施例,所述输入图像数据包括YUV颜色空间中的像素值。对所述
图像数据进行下采样进一步包括:从所述输入图像分辨?#23454;?#33267;少4x分辨率降低。对所述图
像数据进行上采样进一步包括:从所述下采样图像分辨?#23454;?#33267;少4x分辨率增加。

为促进所述第一实施例,所述方法进一步包括从缓冲器中检索所述输入图像数
据,所述缓冲器存储有所述图像的解码表示或由相机模块以所述输入图像分辨率曝光的捕
获图像中的至少一者。所述方法进一步包括:在对所述像素进行评分之前,将所述输入图像
数据从RGB颜色空间转换到YUV颜色空间。所述方法进一步包括:将所述混合图像数据存储
到存储器中。

为促进上文刚刚描述的实施例,所述方法进一步包括:将所述混合图像数据从所
述存储器输出?#26009;?#31034;设备或编码器中的至少一项。

为促进以上实施例,所述方法进一步包括:以视频帧速率将连续曝光的图像数据
帧流从相机硬件模块(CM)写入所述缓冲器中。所述方法进一步包括:至少以所述视频帧速
率对每个连续曝光的视频数据帧执行所述像素评?#24103;?#22270;像数据下采样、图像数据放大、图像
数据滤波以及图像数据混合中的每一项。

在一个或多个第二实施例中,一种计算机化的图像增强系统包括:检测模块,所述
检测模块?#33719;?#21512;以用于接收以输入图像分辨?#26102;?#31034;图像帧的输入图像数据,所述检测模块
包括用于确定所述图像数据的个体像素的肤色检测分值的逻辑。所述系统包括?#21512;?#37319;样模
块,所述下采样模块?#33719;?#21512;以用于接收所述输入图像数据,所述下采样模块包括用于将所
述图像数据下采样至所述图像帧的具有低于所述输入图像分辨?#23454;?#38477;低分辨?#23454;?#34920;示的
逻辑。所述系统包括:滤波模块,所述滤波模块?#33719;?#21512;以用于接收所述下采样图像数据,所
述滤波模块包括用于平滑所述下采样图像数据的逻辑;所述系统包括:上采样模块,所述上
采样模块?#33719;?#21512;以用于接收所述经滤波的下采样图像数据,所述上采样模块包括用于将所
述经滤波的下采样图像数据上采样回至所述输入图像分辨?#23454;?#36923;辑。所述系统包括:混合
模块,所述混合模块?#33719;?#21512;以用于接收所述输入图像数据、所述肤色检测分值以及所述上
采样的滤波图像数据,其中,所述混合模块包括用于根据所述肤色检测分值将所述输入图
像数据与所述上采样的滤波图像数据进行混合的逻辑。

为促进所述第二实施例,所述检测模块用于确定与个体像素包括肤色的概率成比
例的肤色检测分值。所述混合模块用于基于所述像素的所述肤色检测分值在所述输入图像
数据中的像素的亮度值或色度值与所述滤波图像数据中的所述相应像素的亮度值或色度
值之间进行内插。

为促进上文刚刚描述的实施例,所述滤波模块包括用于对所述下采样图像中的个
体像素值进行双边滤波的逻辑。所述混合模块包括用于通过以下方式来在所述输入图像数
据中的像素的亮度值或色度值与所述滤波图像数据中的所述相应像素的亮度值或色度值
之间进行线性内插的逻辑:确定所述输入图像数据中的所述像素的所述亮度值或色度值与
所述滤波图像数据中的所述像素的所述亮度值或色度值的加权和,通过所述肤色检测分值
对所述两个亮度值或色度值进行互补加权。

为促进所述第二实施例,所述系统进一步包括:应用处理器,所述应用处理器包括
用户空间和内核空间,所述应用处理器包括用于实现所述滤波模块和所述混合模块的逻辑
电路。所述系统进一步包括:相机硬件模块(CM),所述相机硬件模块耦合至所述应用处理器
用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流。所述系统
进一步包括:存储器,所述存储器耦合至所述应用处理器用于存储对从所述应用处理器输
出的所述混合图像数据的表示。所述系统进一步包括以下各项中的至少一项?#21512;?#31034;器,所述
显示器耦合至所述存储器用于呈现所述混合图像数据;以及编码器,所述编码器耦合至所
述存储器用于将所述混合图像数据编码成压缩表示。

为促进上文刚刚描述的实施例,所述检测模块进一步包括:固定功能逻辑电路,所
述固定功能逻辑电路耦合至所述应用处理器用于将所述肤色检测分值输出至所述应用处
理器。

在一个或多个第三实施例中,一种或多种计算机可读存储介质具有在其上存储的
指令,所述指令当由处理器执行时使所述处理器执行包括以下步骤的方法:基于滤波标准
对以输入图像分辨?#26102;?#31034;图像帧的图像数据的个体像素值进行评?#24103;?#25152;述指令进一步使所
述处理器将所述图像数据下采样至所述图像帧的具有低于所述输入图像分辨?#23454;?#38477;低分
辨?#23454;?#34920;示。所述指令进一步使所述处理器对所述下采样图像数据进行滤波。所述指令进
一步使所述处理器将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率。所述
指令进一步使所述处理器根据所述像素评分将所述输入图像数据与所述上采样的滤波图
像数据进行混合。

为促进所述第三实施例,所述介质进一步在其上存储有指令,所述指令当由处理
器执行时使所述处理器通过确定在0与1之间的与所述个体像素包括肤色的概率成比例的
肤色检测分值来对所述像素进行评?#24103;?#25152;述指令进一步使所述处理器通过以下方式来对所
述下采样图像数据进行滤波:基于与正被平滑的所述像素相邻的一个或多个下采样图像像
素的值对所述下采样图像的像素值进行平滑。所述指令进一步使所述处理器通过以下方式
将所述输入图像数据与所述上采样的滤波图像数据进行混合:将所述输入图像数据中的个
体像素的亮度值或色度值中的至少一项与所述上采样的滤波图像数据中的相应像素的所
述亮度值或色度值进行混合。

为促进所述第三实施例,所述介质进一步在其上存储有指令,所述指令当由处理
器执行时使所述处理器通过以下方式将所述输入图像数据中的个体像素的亮度值或色度
值中的至少一项与所述上采样的滤波图像数据中的相应像素的所述亮度值或色度值进行
混合:确定所述输入图像数据中的所述像素的所述亮度值或色度值与所述滤波图像数据中
的所述像素的所述亮度值或色度值的加权和,所述通过所述肤色检测分值对所述两个亮度
值或色度值进行互补加权。

为促进上文刚刚描述的实施例,所述介质进一步在其上存储有指令,所述指令当
由处理器执行时使所述处理器通过对所述下采样图像中的个体像素值进行双边滤波来平
滑像素值。

为促进所述第三实施例,所述介质进一步在其上存储有指令,所述指令当由处理
器执行时使所述处理器从缓冲器中检索所述输入图像数据,所述缓冲器存储有所述图像的
解码表示或由相机模块以所述输入图像分辨率曝光的捕获图像中的至少一者。所述指令进
一步使所述处理器在对所述像素进行评分之前将所述输入图像数据从RGB颜色空间转换到
YUV颜色空间。所述指令进一步使所述处理器将所述混合图像数据存储到存储器中。

在一个或多个第四实施例中,一种或多种计算机可读存储介质具有存储在其上的
指令,所述指令当由处理器执行时使所述处理器执行所述第一实施例中的任何一个实施
例。

在一个或多个第五实施例中,视频相机平台包括用于执行所述第一实施例中的任
何一个实施例的图像处理装置。所述平台进一步包括:相机硬件模块(CM),所述相机硬件模
块用于生成表示以所述输入图像分辨率曝光的时间连续图像帧的输入图像数据流。所述平
台进一步包括用于存储所述混合图像数据的电子存储器。

为促进所述第五实施例,所述图像处理装置进一步包括:检测装置,所述检测装置
用于接收以输入图像分辨?#26102;?#31034;图像帧的输入图像数据,并且用于确定所述图像数据的个
体像素的肤色检测分值。所述图像处理装置进一步包括?#21512;?#37319;样装置,所述下采样装置用于
接收所述输入图像数据,并且用于将所述图像数据下采样至所述图像帧的具有低于所述输
入图像分辨?#23454;?#38477;低分辨?#23454;?#34920;示。所述图像处理装置进一步包括:滤波装置,所述滤波装
置?#33719;?#21512;以用于接收所述下采样图像数据并且用于平滑所述下采样图像数据。所述图像处
理装置进一步包括:上采样装置,所述上采样装置?#33719;?#21512;以用于接收所述经滤波的下采样
图像数据并且用于将所述经滤波的下采样图像数据上采样回至所述输入图像分辨率。所述
图像处理装置进一步包括:混合装置,所述混合装置?#33719;?#21512;以用于接收所述输入图像数据、
所述肤色检测分值以及所述上采样的滤波图像数据,并且用于根据所述肤色检测分值将所
述输入图像数据与所述上采样的滤波图像数据进行混合。

为促进上文刚刚描述的实施例,所述平台进一步包括:相机硬件模块(CM),所述相
机硬件模块耦合至所述应用处理器用于生成表示以所述输入图像分辨率曝光的时间连续
图像帧的输入图像数据流。所述平台进一步包括:电子存储器,所述电子存储器用于存储从
所述应用处理器输出的所述混合图像数据。所述平台进一步包括以下各项中的至少一项:
显示器,所述显示器用于呈现所述混合图像数据;或者编码器,所述编码器用于将所述混合
图像数据编码成压缩表示。

将认识到的是所述实施例并不局限于这些示例性实施例描述,但可以使用修饰和
改变而不偏离在所附权利要求的范围。例如,以上实施例可以包括特征的特定组合。然而,
以上实施例不局限于这个方面,并且在实施例中,以上实施例可以包括仅采取这类特征的
子集、采取这类特征的不同顺序、采取这类特征的不同组合和/或采取除了明确例举的那些
特征之外的附加特征。因此,范围连同被授予权利的这些权利要求书的等效物的全部范围
应参照所附权利要求书来确定。

关于本文
本文标题:实时皮肤平滑图像增强滤波器.pdf
链接地址:http://www.pqiex.tw/p-6091949.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 欢乐斗地主下载桌面 北京pk10论坛 云南时时彩基本走势图 山东11选5玩法 时时彩评测 网上真钱打麻将游戏 高频彩赚钱 三分彩开奖走势图 意甲赛程什么时候公布 彩票网站介绍