平码五不中公式规律
  • / 21
  • 下载费用:30 金币  

用于基于渐进式改良从视频序列选择帧的方法.pdf

关 键 ?#21097;?/dt>
用于 基于 渐进 改良 视频 序列 选择 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201580045681.6

申请日:

2015.08.28

公开号:

CN106687990A

公开日:

2017.05.17

当前法律状态:

授权

有效性:

有权

法?#19978;?#24773;: 授权|||实质审查的生效IPC(主分类):G06K 9/00申请日:20150828|||公开
IPC分类号: G06K9/00; G06K9/46; G06K9/62 主分类号: G06K9/00
申请人: 柯达阿拉里斯股份有限公司
发明人: 亚历山大·C·路易; 戴维·K·罗达
地址: 美国纽约州
优?#28909;ǎ?/td> 2014.09.02 US 14/475,074
专利代理机构: ?#26412;?#24459;盟知识产权代理有限责任公司 11287 代理人: 齐杨
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580045681.6

授权公告号:

||||||

法律状态公告日:

2018.12.21|||2017.09.29|||2017.05.17

法律状态类型:

授权|||实质审查的生效|||公开

摘要

本申请案旨在用于自动地且有效地组合多个度量以从视频序列选择所关注或关键帧的新方法。在一个方面中,所述方法包含从视频序列选择参考帧及在所述经组合度量下迭代地计算候选帧相对于所述参考帧的改良或增益。在另一方面中,确定参考关键帧的主列表,计算与每一参考关键帧相关联的多个候选帧中的每一者的品质度量,及用产生优于所述参考关键帧的最大总品质改良的候选帧取代所述主列表中的每一参考关键帧。

权利要求书

1.一种从视频序列选择关键帧的方法,其包括:
使用关键帧提取算法确定参考关键帧的主列表;及
对于所述主列表中的每一参考关键帧:
选择相邻于所述参考关键帧的多个候选帧;
基于一或多个品质度量评估所述多个候选帧;
从所述多个候选帧选择产生如通过所述一或多个品质度量测量的优于所述参考关键
帧的改良的候选关键帧;及
用所述候选关键帧取代所述主列表中的所述参考关键帧。
2.根据权利要求1所述的方法,其中基于一或多个品质度量评估所述多个候选帧包括:
计算所述多个候选帧中的每一者的第一品质度量得分;
从所述多个候选帧当中选择第一候选帧,其中所述第一候选帧具有所述第一品质度量
的最高得分;
计算所述多个候选帧中的每一者的第二品质度量得分;
从所述多个候选帧当中选择第二候选帧,其中所述第二候选帧具有所述第二品质度量
的最高得分;
计算所述第一候选帧优于所述参考关键帧的第一总品质改良;及
计算所述第二候选帧优于所述参考关键帧的第二总品质改良。
3.根据权利要求2所述的方法,其中从所述多个候选帧选择产生如通过所述一或多个
品质度量测量的优于所述参考关键帧的改良的候选关键帧包括:
如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述
第一候选帧具有高于所述参考关键帧的品质,那么将所述第一候选帧选择为所述候选关键
帧;及
如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述
第二候选帧具有高于所述参考关键帧的品质,那么将所述第二候选帧选择为所述候选关键
帧。
4.根据权利要求1所述的方法,其进一步包括下列步骤:
在执行任何品质改良取代之前,将所述主列表中的参考关键帧的子集指定为最终帧;
产生关键帧的最终列表,其中所述最终列表包括如通过所述品质改良取代修改的来自
所述主列表的所述最终帧;及
将来自所述主列表的任何额外关键帧添加到所述关键帧最终列表,所述任何额外关键
帧的所述品质改良取代完成大于预定义阈值的总改良。
5.一种从视频序列选择关键帧的方法,其包括:
使用关键帧提取算法确定参考关键帧的主列表;
对于所述主列表中的每一参考关键帧:
确定与所述参考关键帧相关联的多个候选帧;
计算所述多个候选帧中的每一者的第一品质度量得分;
从所述多个候选帧当中选择第一候选帧,其中所述第一候选帧具有所述第一品质度量
的最高得分;
计算所述多个候选帧中的每一者的第二品质度量得分;
从所述多个候选帧当中选择第二候选帧,其中所述第二候选帧具有所述第二品质度量
的最高得分;
计算所述第一候选帧优于所述参考关键帧的第一总品质改良;
计算所述第二候选帧优于所述参考关键帧的第二总品质改良;
如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述
第一候选帧具有高于所述参考关键帧的品质,那么用所述第一候选帧取代所述主列表中的
所述参考关键帧;及
如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述
第二候选帧具有高于所述参考关键帧的品质,那么用所述第二候选帧取代所述主列表中的
所述参考关键帧。
6.根据权利要求5所述的方法,其中帧的所述第一品质度量的计算是基于所述帧的清
晰度。
7.根据权利要求5所述的方法,其中帧的所述第二品质度量的计算包括:
检测所述帧中出现人脸的区域;及
评估所述经检测区域的品质。
8.根据权利要求5所述的方法,其进一步包括下列步骤:
在执行任何品质改良取代之前,将所述主列表中的参考关键帧的子集指定为最终帧;
产生关键帧的最终列表,其中所述最终列表包括如通过所述品质改良取代修改的来自
所述主列表的所述最终帧;及
将来自所述主列表的任何额外关键帧添加到所述关键帧最终列表,所述任何额外关键
帧的所述品质改良取代完成大于预定义阈值的总改良。
9.根据权利要求5所述的方法,其中确定与参考关键帧相关联的多个候选帧包含:
确定任何两组多个候选帧是否共享一或多个候选帧;及
修改所述多个候选帧中的一者或两者使得两组多个候选帧?#36824;?#20139;候选帧。
10.一种从视频序列选择关键帧的最终列表的方法,其包括:
使用关键帧提取算法确定参考关键帧的主列表;
将所述主列表中的参考关键帧的子集指定为最终帧;
对于所述主列表中的每一参考关键帧:
确定与所述参考关键帧相关联的多个候选帧;
计算所述多个候选帧中的每一者的第一品质度量得分;
从所述多个候选帧当中选择第一候选帧,其中所述第一候选帧具有所述第一品质度量
的最高得分;
计算所述多个候选帧中的每一者的第二品质度量得分;
从所述多个候选帧当中选择第二候选帧,其中所述第二候选帧具有所述第二品质度量
的最高得分;
计算所述第一候选帧优于所述参考关键帧的第一总品质改良;
计算所述第二候选帧优于所述参考关键帧的第二总品质改良;
如果所述第一总品质改良大于所述第二总品质改良且所述第一总品质改良指示所述
第一候选帧具有高于所述参考关键帧的品质,那么用所述第一候选帧取代所述主列表中的
所述参考关键帧;
如果所述第二总品质改良大于所述第一总品质改良且所述第二总品质改良指示所述
第二候选帧具有高于所述参考关键帧的品质,那么用所述第二候选帧取代所述主列表中的
所述参考关键帧;
产生关键帧的最终列表,其中所述最终列表包括如通过所述品质改良取代修改的来自
所述主列表的所述最终帧;及
将来自所述主列表的任何额外关键帧添加到所述关键帧最终列表,所述任何额外关键
帧的所述品质改良取代完成大于设置阈值的总改良。
11.根据权利要求10所述的方法,其中帧的所述第一品质度量的计算是基于所述帧的
清晰度。
12.根据权利要求10所述的方法,其中帧的所述第二品质度量的计算包括:
检测所述帧中出现人脸的区域;及
评估所述经检测区域的品质。
13.根据权利要求10所述的方法,其中确定与参考关键帧相关联的多个候选帧包含:
确定任何两组多个候选帧是否共享一或多个候选帧;及
修改所述多个候选帧中的一者或两者使得两组多个候选帧?#36824;?#20139;候选帧。
14.一种从视频序列选择关键帧的方法,其包括:
使用关键帧提取算法确定参考关键帧的主列表;及
对于所述主列表中的每一参考关键帧:
选择相邻于所述参考关键帧的多个候选帧;
基于第一品质度量评估所述多个候选帧;
从所述多个候选帧选择产生如通过所述第一品质度量测量的优于所述参考关键帧的
改良的候选关键帧;
用所述候选关键帧取代所述主列表中的所述参考关键帧;
选择相邻于所述参考关键帧的多个候选帧;
基于第二品质度量评估所述多个候选帧;
从所述多个候选帧选择产生如通过所述第二品质度量测量的优于所述参考关键帧的
改良的候选关键帧;
用所述候选关键帧取代所述主列表中的所述参考关键帧。

说明书

用于基于渐进式改良从视频序列选择帧的方法

相关申请案的交叉参考

本申请案主张2014年9月2日申请的标题为“用于基于渐进式改良从视频序列选择
帧的方法(A METHOD FOR SELECTING FRAMES FROM VIDEO SEQUENCES BASED ON
INCREMENTAL IMPROVEMENT)”的第14/475,074号美国专利申请案的优?#28909;ǎ?#25152;述案的全文
以引用方式并入本文中。

技术领域

本发明涉及视频处理的领域,且更特定来说涉及用于从视频选择关键帧的经改良
方法。

背景技术

关键视频帧的选择可用于许多应用中。举例来说,常期望提取并呈现可传达视频
的准确且可辨识摘要或概要的视频数据的一些子集。关键帧提取算法用于从视频选择信息
最丰富帧的子集,其目标为用有限数目个帧表示视频中的最重要内容。关键帧提取应用于
若干广泛领域的视频处理中,例如视频概述、产生DVD中的章名、视频索引及从视频打印。摘
要或概要还可促进视频共享或帮助用户决定整个视频是否?#26723;?#19979;载或观看。关键帧提取是
活跃的研究领域,且已提出用于从视频提取关键帧的许多方法。

用于通过提取关键视频帧来产生视频摘要的算法在所属领域中?#19988;?#30693;的,但其具
有通过本发明解决的缺点。主要基于帧间运动检测确定关键视频帧的?#25191;?#31639;法(例如在
Aaron T.Deever的第8,599,313号美国专利中揭示的算法)具有至少两个缺点。此些算法要
么不考虑品质度量以协助关键帧的选择,要么需要多个度量的广泛联合优化(计算昂贵的
方法)。

举例来说,J.Luo等人的标题为“从视频剪辑提取关键帧候选(Extracting key
frames candidates from video clip)”的第7,889,794号美国专利的方法通过对视频剪
辑执行指示场景或相机?#25581;频?#20840;域运动估计来分析视频剪辑以确定关键帧。作为额外实
例,I.Wilf等人的标题为“从视频序列选择关键帧的方法(Method of selecting key-
frames from a video sequence)”的第7,184,100号美国专利教示通过使用区域分析及运
动分析两者比较视频序列中的每一帧与相邻帧而从视频序列选择关键帧。

现有技术方法不包含或组合其它不基于运动的度量(例如视频帧的图像品质或语
义内容)以改良关键帧选择过程的品质。将此些度量集成到此些方法中将需要新的复杂且
耗时的优化过程。因此,需要制定使用额外品质度量改良当前算法的新策略。本发明的一个
目的是选择感知上佳于通过常见基于运动的方法选择的关键帧但稍微影响计算成本的关
键帧。本发明的进一步目的是通过在无需算法的新优化或新特征的规范化的情况下并入新
度量来改良?#25191;?#31639;法。

发明内容

本申请案旨在用于自动地且有效地组合多个度量以从视频序列选择所关注或关
键帧的新方法。在一个方面中,所述方法包含从视频序列选择参考帧及在所述经组合度量
下迭代地计算候选帧相对于所述参考帧的改良或增益。根据本发明的度量可包含图像品质
度量,例如清晰度、对比度及噪声;基于运动的度量,例如相机抖动及运动模糊;及美学品质
度量,例如图像的构成以及脸部的品质及表情。在其它方面中,本发明使用其它基于内容的
特征以制定用于改良算法的新度量。此些基于内容的特征包含图像的颜色直方图、图像的
黑色直方图、图像的语义信息、图像中的对象、图像的背景及图像的前景。

在一个实施例中,本发明方法包括计算清晰度度量及所检测人脸的品质度量,本
文中称为faceIVI。根据此方法,计算每一参考关键帧及时间上相邻于每一参考关键帧的多
个候选帧中的每一者的清晰度得?#26088;癴aceIVI得?#24103;?#22312;其它实施例中,本发明方法包含计算
其它度量。

附图说明

图1A到B含有说明本发明的一种方法的流程图。

图2A展示从视频序列中的帧选择的两个参考关键帧。

图2B展示其中与两个相邻参考关键帧相关联的多个候选关键帧重叠的情况。

图2C展?#38236;?#25972;重叠的多个候选关键帧使得其不再重叠的一种方法。

图3是说明从基于运动的关键帧提取算法输出的主列表的实例。

图4是说明对应主列表帧的预定义搜索范围内具有最高图像清晰度得分的候选帧
的实例。

图5是说明对应主列表帧的预定义搜索范围内具有最高faceIVI得分的候选帧的
实例。

图6是说明在根据本发明的方法合并来自图4的输出与来自图5的输出之后的主列
表的实例。

图7是说明从图6的主列表选择的关键帧的最终列表的实例。

图8是展示根据本发明的实施例的系统的组件的高级图。

具体实施方式

本申请案揭示用于从视频序列选择关键帧的经改良方法。如所属领域的技术人员
将明白,本申请案中揭示的本发明方法适于运用许多类型的关键帧选择算法进行实施。举
例来说,本申请案中揭示的方法可用来改良所属领域中已知的关键帧选择算法,包含但不
限于基于运动的算法,例如在Aaron T.Deever的第8,599,313号美国专利中揭示的算法,所
述专利的揭示内容以引用方式并入本文中。替代地,所揭示方法与基于镜头边界检测的算
法兼容。在本发明的方法中,通过基于某些品质度量在参考关键帧附近搜索?#35789;?#21035;候选帧。
在本发明的一个方面中,所使用品质度量可为清晰度度量及所检测人脸的品质度量,本文
中称为faceIVI。

在下文描述中,将从通常将被实施为软件程序的方面描述本发明的一些实施例。
所属领域的技术人员将认知,此软件的等效物还可构建在硬件中,且硬件实施方案可带来
可能够在更广泛应用中(例如在实时系统中)使用本发明的优点。因为图像操控算法及系统
是熟知的,本发明描述将尤其旨在形成根据本发明的方法的部分或与根据本发明的方法更
直接地协作的算法及系?#22330;?#21487;从所属领域中已知的此些系?#22330;?#31639;法、组件及元件选择本文中
未具体展示或描述的此些算法及系统的其它方面,连同涉及所述方面的用于产生及以其它
方式处理图像信号的硬件及软件。鉴于如本发明中描述的根据本发明的系?#24120;?#21487;用于本发
明的实施方案的本文中未具体展示、建议或描述的软件是常见的且在所属领域的一般技术
范围内。

本发明包含本文中描述的实施例的组合。对“特定实施例”等的引用指代存在于本
发明的至少一个实施例中的特征。对“实施例”或“特定实施例”等的单独引用未必指代相同
实施例;然而,此些实施例并不互斥,除非如此指示或所属领域的技术人?#24065;?#20110;理解。在引
用“方法”等中使用单数或复数并非为限制性。应注意,除非上下文另外明确地提及或要求,
否则单词“或”在本发明中以非排斥意义加以使用。

将参考图1A到B中展示的步骤描述本发明方法的一个实施例的步骤。首先,在步骤
101中,使用关键帧提取算法(例如前文提及的基于运动的算法)从视频序列计算参考关键
帧的主列表。还可使用其它算法,例如基于镜头边界检测的算法。出于在下文论述中说明的
目的,每一参考关键帧将被标记为RKFi,其中i是1与主列表中的参考关键帧的数目之间的
整数。

在步骤102中,基于单品质度量、品质度量的组合或一些其它量度将来自主列表的
参考关键帧的子集指定为最终帧。在步骤103到107a-b中相同地处理主列表中的参考关键
帧中的每一者,而?#36824;?#20854;是否被指定为最终帧。在步骤108中使用此指定。

对主列表中的每一参考关键帧执行步骤103到107a或107b。在步骤103中,计算相
邻于主列表中的每一参考关键帧RKFi的多个候选帧中的每一者的清晰度得?#24103;?#22312;本文中由
记号SHARP(frame)标记此清晰度得?#26088;?#31639;。多个候选帧可为紧接视频序列中的每一参考关
键帧的一定数目个帧、紧随视频序列中的每一参考关键帧的一定数目个帧、或紧接视频序
列中的每一参考关键帧的一定数目个帧及紧随视频序列中的每一参考关键帧的一定数目
个帧两者。

在本发明的一个方面中,如果视频序列中的两个参考关键帧与一定数目个候选帧
的接近度使得所述序列中的帧将是两个参考关键帧的候选帧,那么一定数目个候选帧经调
整使得每一候选帧与仅一个参考关键帧相关联。举例来说,考虑其中多个候选帧被选择为
每一参考关键帧前的三十个帧及每一参考关键帧后的三十个帧的情况,步骤101中选择的
又两个相邻参考关键帧通过视频序列中的仅二十个帧分离。在此情况中,此两个参考关键
帧的多个候选帧将减少。在一个方面中,此两个参考关键帧中的前者可与三十个前候选帧
及十个后候选帧相关联,而此两个参考关键帧中的后者可与十个前候选帧及三十个后候选
帧相关联。换句话来说,两个连续参考关键帧之间的介入候选帧的数目一分为二并且第一
半分配给结合前一参考关键帧考虑的多个候选帧且第二半分配给结合后一参考关键帧考
虑的多个候选帧。

图2A到C中展示?#35828;?#25972;。在图2A中,已从视频序列201的片段选择参考关键帧210及
220。图2B说明多个候选帧211(结合前一参考关键帧210考虑)将如何与多个候选帧221(结
合后一参考关键帧220考虑)重叠。图2C展示借此参考关键帧210与220之间的距离对半分并
且第一半与前面多个候选帧212相关联且第二半与后面多个候选帧222相关联的调整。图2A
到C中说明的调整仅是可在此方法内使用的一个代表性调整。

返回到图1A到B中的流程图中的步骤104,对于主列表中的每一参考关键帧RKFi,
识别并存储与所述参考关键帧相关联的来自多个候选帧当中具有最高清晰度得分的帧。出
于说明的目的,与参考关键帧RKFi相关联的具有最高清晰度得分的候选帧在本文中被标记
为CFi,Sharp。

在步骤105中,计算相邻于主列表中的每一参考关键帧RKFi的多个候选帧中的每
一者的faceIVI得?#24103;?#36890;过检测每一候选帧中人脸出现的任何区域并评估所述区域的品质
来计算faceIVI得?#24103;?#22312;本文中由记号FACEIVI(frame)标记此faceIVI得?#26088;?#31639;。不描绘被分
析人脸的任何候选帧不接收faceIVI得分,其可由空值、零值或一些其它指示来?#20174;场?#22312;步
骤103与105之间将结合每一参考关键帧考虑的多个候选帧是相同的,使得评估相同候选帧
的清晰度得?#26088;癴aceIVI得?#24103;?#25442;句话来说,如上文揭示,归因于与参考关键帧的接近度对
多个候选帧的任何调整适用于这两个步骤。

在步骤106中,对于主列表中的每一参考关键帧RKFi,识别并存储与所述参考关键
帧相关联的来自多个候选帧当中具有最高faceIVI得分的帧。出于说明的目的,与参考关键
帧RKFi相关联的具有最高faceIVI得分的候选帧被标记为CFi,Face。如果记录具有清晰度得
?#26088;癴aceIVI得分的帧,那么所述方法前进到步骤107a。另一方面,如果不存在具有faceIVI
得分的候选帧,那么所述方法前进到步骤107b。

在步骤107a中,计算通过用具有最高清晰度得分的帧CFi,Sharp或具有最高faceIVI
得分的帧CFi,Face取代参考关键帧RKFi将完成的清晰度得?#26088;癴aceIVI得分的总增加;且用
具有最大总增加的候选帧(CFi,Sharp或CFi,Face)取代参考关键帧RKFi。在所述方法的一个方面
中,如下般计算清晰度得?#26088;癴aceIVI得分的净增加:




其中

Si是通过用具有最高清晰度得分的帧CFi,Sharp取代参考关键帧RKFi将完成的清晰
度得?#26088;癴aceIVI得分的净增加,且

Fi是通过用具有最高faceIVI得分的帧CFi,Face取代参考关键帧RKFi将完成的清晰
度得?#26088;癴aceIVI得分的净增加。

然而,如果两个候选帧(CFi,Sharp及CFi,Face)的清晰度得?#26088;癴aceIVI得分的总增加
是负的,那么参考关键帧RKFi不被任一候选帧取代,而是?#21592;?#30041;在主列表中。

可能的是,如果参考关键帧RKFi的相关联候选帧中的一者具有所检测脸区域,那
么在参考关键帧RKFi不含有所检测脸区域时到达步骤107a处。在此情况中,通过除以
FACEIVI(RKFi)来评估Fi是不可能的。在此事件中,可将Fi的第二项设置为与包含视频摘要中
的人脸的相对可期望性相?#39057;脑?#23450;值。如果设计者高度重视视频摘要中的脸,那么此预定
值可为1.0,或如果设计者希望在品质度量之间?#19994;?#19981;同平衡,那么此预定值可为一些更小
值。如果具有最高清晰度得分的帧CFi,Sharp具有任何所检测脸区域,那么Si的计算将遇到相
同问题,且因此FACEIVI(CFi,Sharp)可被评估为非零值。在此事件中,与Fi的第二项相似,也可
将Si的第二项设置为预定值。否则,如果具有最高清晰度得分的帧CFi,Sharp不具有任何所检
测脸区域,那么Fi的第二项可被评估为零。

如果在步骤107a之后主列表中存在更多参考关键帧,那么所述方法在步骤103中
继续处理下一参考关键帧。否则,所述方法继续进行步骤108。

在步骤107b中,在参考关键帧RKFi的候选帧未被指派faceIVI得?#36136;保?#30001;具有最高
清晰度得分的候选帧CFi,Sharp取代参考关键帧,条件是此帧的清晰度得分SHARP(CFi,Sharp)超
过预定义阈值。如果在步骤107b之后主列表中存在更多参考关键帧,那么所述方法在步骤
103中继续处理下一参考关键帧。否则,所述方法继续进行步骤108。

在步骤108中,从主列表中在步骤102被指定为最终帧的如已在步骤103到107a-b
中通过取代修改的关键帧产生最终列表。

在步骤109中,基于在步骤103到107a-b中完成的品质的总增加选择性地将在步骤
102中未被指定为最终帧的来自主列表的关键帧添加到最终列表,使得最终列表包含此些
关键帧中的每一者,所述关键帧的清晰度得?#26088;癴aceIVI得分的总增加超过预定义阈值。举
例来说,如果参考关键帧(RKFi)最初未被指定为最终帧,但用来自多个相关联候选帧的帧
取代且所述帧的品质的总增加(Si或Fi,适用时)超过预定义阈值,那么将所述参考关键帧添
加到最终列表。否则,参考关键帧(RKFi)被舍弃且不出现在最终列表中。

图3到7说明所述方法的各个阶?#26410;?#30340;各种参考关键帧及候选帧的实例。图3是说
明如在步骤101中识别的从基于运动的关键帧提取算法输出的主列表的实例。在此实例中,
主列表含有六个参考关键帧31到36且参考关键帧34到36被指定为最终帧。

图4展示在步骤104中选择的候选帧41到46,其是每一参考关键帧的预定义搜索范
围内具有最高图像清晰度得分的帧。

图5展示在步骤106中选择的候选帧51、53、55及56,其是每一参考关键帧的预定义
搜索范围内具有最高faceIVI得分的帧。不存在对应于参考关键帧32及34的帧,因为在与所
述参考关键帧相关联的任何候选帧中?#20063;?#21040;可检测脸。

图6是说明在对每一参考关键帧执行步骤107a及107b之后的主列表的实例。在括
号中指示每一关键帧的来源。举例来说,第一关键帧31是用候选帧51(具有最高faceIVI得
分的帧)取代,所述候选帧51在图6中表现为关键帧61;关键帧32是用候选帧42(具有最高清
晰度得分的帧)取代,所述候选帧42在图6中表现为关键帧62;以此类推。

图7是说明如在步骤108及109中指定的从图6的主列表选择的关键帧的最终列表
的实例。在步骤108中,将最终列表的帧73到75选择为最终帧。在步骤109中选择帧71及72,
因为其品质的总增加足够高以超过预定阈值。已省略来自图6中的主列表的第二关键帧。此
最终输出?#32570;?#22312;步骤102处产生的最终帧的原始列表更具代表性又比在步骤101处产生的
原始主列表更简洁。

在本发明方法的替代实施例中,省略步骤102、108及109,使得主列表中的所有关
键帧出现在最终列表中。

本发明中揭示的方法的主要优点是可在不实行整个新优化程序或广泛规范化(归
因于不同特征维度)过程的情况下使用不同度量。本文中揭示的方法的本质是在考虑所有
度量的情况下在相对于参考关键帧评估新候选帧时确定品质的净增加或减小。因此,可容
易以模块化方式将新度量并入到算法中。可从任何类型的图像序列(不限于视频序列)选择
或提取此些方法所操作的帧集。举例来说,帧集可来自在事件中捕获的图像集,或来自源自
视频序列的静止图像与帧的混合物。

图8是根据本发明的实施例的用于识别并改良来自视频序列的关键帧集的系统的
组件的高级图。所述系统包含数据处理系统810、外围系统820、用户接口系统830及数据存
储系统840。外围系统820、用户接口系统830及数据存储系统840通信地连接到数据处理系
统810。

数据处理系统810包含实施本发明的各个实施例的过程(包含本文中描述的示例
性过程)的一或多个数据处理装置。短语“数据处理装置”或“数据处理器?#24065;?#22270;包含任何数
据处理装置,例如中央处理单元(“CPU”)、台式计算机、膝上型计算机、主机计算机、个人数
?#31181;?#29702;、数字相机、蜂窝式电话,或用于处理数据、管理数据或处置数据(无论是运用电组
件、磁组件、光学组件、生物组件还?#19988;?#20854;它方式实施)的任何其它装置。

数据存储系统840包含经配置以存储信息(包含执行本发明的各个实施例的过程
(包含本文中描述的示例性过程)所需的信息)的一或多个处理器可访问存储器。数据存储
系统840可为分布式处理器可访问存储器系?#24120;?#20854;包含经由多个计算机或装置通信地连接
到数据处理系统810的多个处理器可访问存储器。另一方面,数据存储系统840无需是分布
式处理器可访问存储器系统且因此,可包含位于单数据处理器或装置内的一或多个处理器
可访问存储器。

短语“处理器可访问存储器?#24065;?#22270;包含任?#26410;?#29702;器可访问数据存储装置,无论?#19988;?br />失性的或?#19988;资?#24615;的、电子的、磁性的、光学的还?#19988;?#20854;它方式的存储装置,包含但不限于
寄存器、软盘、硬盘、光盘、DVD、快闪存储器、ROM及RAM。

短语“通信地连?#21360;币?#22270;包含其中可传达数据的装置、数据处理器或程序之间的任
何类型的连接,无论是有线还是无线连?#21360;?#30701;语“通信地连?#21360;币?#22270;包含单数据处理器内的
装置或程序之间的连?#21360;?#20301;于不同数据处理器中的装置或程序之间的连接?#26696;?#26412;不位于数
据处理器中的装置之间的连?#21360;?#23601;此来说,尽管数据存储系统840被展示为与数据处理系统
810分离,但所属领域的技术人员将明白,数据存储系统840可全部或部分存储在数据处理
系统810内。进一步就此来说,尽管外围系统820与用户接口系统830被展示为与数据处理系
统810分离,但所属领域的技术人员将明白,此些系统中的一者或两者可全部或部分存储在
数据处理系统810内。

外围系统820可包含经配置以将数字内容记?#32487;?#20379;到数据处理系统810的一或多
个装置。举例来说,外围系统820可包含数字?#21442;?#30456;机、数字摄像机、蜂窝式电话或其它数据
处理器。数据处理系统810在从外围系统820中的装置接收数字内容记录之后可将此些数字
内容记?#21363;?#20648;在数据存储系统840中。

用户接口系统830可包含鼠标、键盘、另一计算机、或数据从其输入到数据处理系
统810的任何装置或装置组合。就此来说,尽管外围系统820被展示为与用户接口系统830分
离,但外围系统820可被包含为用户接口系统830的部?#24103;?br />

用户接口系统830还可包含显示装置、处理器可访问存储器、或数据通过数据处理
系统810输出到其的任何装置或装置组合。就此来说,如果用户接口系统830包含处理器可
访问存储器,那么此存储器可为数据存储系统840的部分,即使用户接口系统830与数据存
储系统840在图8中被展示为分离。

本发明的另一实施例利用以整个帧的图像品质量度及所述帧中的所检测脸的图
像品质量度为特征的?#26088;?#25628;索。在此实施例中,首先使用关键侦提取算法(例如前文提及的
基于运动的算法)从视频序列计算参考关键帧的主列表,如上文关于步骤101描述。还可使
用其它算法,例如基于镜头边界检测的算法。出于在下文论述中说明的目的,每一参考关键
帧将被标记为RKFi,其中i是1与主列表中的参考关键帧的数目之间的整数。

然后,将来自主列表的参考关键帧的子集指定为最终列表,如上文关于步骤102描
述。基于单品质度量、品质度量的组合或一些其它量度指定最终列表帧。

在此实施例的下一步骤中,计算相邻于主列表中的每一参考关键帧RKFi的多个候
选帧中的每一者的清晰度得分,如上文关于步骤103描述。在本文中由记号SHARP(frame)标
记此清晰度得?#26088;?#31639;。多个候选帧可为紧接视频序列中的每一参考关键帧的一定数目个
帧、紧随视频序列中的每一参考关键帧的一定数目个帧、或紧接视频序列中的每一参考关
键帧的一定数目个帧及紧随视频序列中的每一参考关键帧的一定数目个帧两者。

然后,执行清晰度搜索,其中如果非参考关键帧具有大于绝对阈值的清晰度,那么
所述帧将取代参考关键帧。可参考主列表确定绝对阈值。绝对阈值还可为预置常数,或可基
于帧集中的平均图像品质从全帧集计算。如果任何初始参考关键帧被取代,那么此步骤导
致第二主列表,包含取代的参考关键帧。此步骤还导致第二最终列表。第二最终列表与初始
最终列表相同,但还在第二最终列表中用相同取代帧取代第二主列表中取代的任何参考关
键帧。

在清晰度搜索期间,存在即使正取代的帧不在最终列表中帧仍可被推广到第二最
终列表的可能性。此推广可在帧的清晰度大于上文描述的绝对阈值且帧基本上清晰于初始
参考关键帧时发生。可使用若干方法来确定帧何时基本上清晰于参考关键帧。举例来说,可
预置绝对清晰度差,使得具有高于预置差的清晰度差的任何帧被视为基本上清晰于初始参
考关键帧。替代地,可计算帧集或任何帧子集当中的标准清晰度偏差,且可使用所述标?#35745;?br />差来确定帧何时基本上清晰于参考关键帧。举例来说,可将帧的清晰度与初始参考关键帧
的清晰度之间的差除以上文描述的标?#35745;?#24046;以确定差是否大于阈值。如果差大于阈值,那
么帧可被视为基本上清晰于初始参考关键帧。因为此类型的推广,第二最终列表可能含有
多于初始最终列表的帧。

在完成清晰度搜索之后,使用第二主列表执行基于faceIVI的搜索,其中如果非参
考关键帧具有大于绝对阈值的faceIVI得分,那么所述帧将取代参考关键帧。可以与上文关
于清晰度搜索描述的方式相?#39057;?#26041;式确定绝对阈值。如果来自第二主列表的任何参考关键
帧被取代,那么此步骤导致第三主列表,包含取代的参考关键帧。此步骤还导致第三最终列
表。第三最终列表与第二最终列表相同,但还在第三最终列表中用相同取代帧取代第三主
列表中取代的任何参考关键帧。

正如清晰度搜索,存在即使正取代的帧不在第二最终列表中帧仍可被推广到第三
最终列表的可能性。此推广可在帧的faceIVI得分大于上文描述的绝对阈值且帧的faceIVI
得分基本上大于第二主列表中的参考关键帧时发生。可使用若干方法来确定帧的faceIVI
得分何时基本上大于参考关键帧。举例来说,?#31245;?#32622;绝对faceIVI得分差,使得具有高于预
置差的faceIVI得分的任何帧被视为具有基本上大于初始参考关键帧的faceIVI得?#24103;?#26367;代
地,可计算帧集或任何帧子集当中的faceIVI得分的标?#35745;?#24046;,且可使用所述标?#35745;?#24046;来确
定帧何?#26412;?#26377;基本上大于参考关键帧的faceIVI得?#24103;?#20030;例来说,可将帧的faceIVI得分与
参考关键帧的faceIVI得分之间的差除以上文描述的标?#35745;?#24046;以确定差是否大于阈值。如
果差大于阈值,那么帧可被视为具有基本上大于初始参考关键帧的faceIVI得?#24103;?#22240;为此类
型的推广,第三最终列表可能含有多于第二最终列表的帧。

在上文描述的实施例中,可颠倒清晰度搜索与faceIVI搜索的顺序,使得在清晰度
搜索之前执行faceIVI搜索。另外,可计算图像品质量度(例如定界脸区域的清晰度),而非
计算视频帧中的所检测脸中的每一者的faceIVI得?#24103;?#28982;后将使用此清晰度得分来选择待
包含在最终列表中的具有脸的最佳帧。应注意,在评估中可将其它品质因子(例如对比度、
噪声、脸部表情)用作量度或量度组合。

本发明已特别参考其某些优选实施例详细地作描述,但将理解,可在本发明的精
神及范围内实现变动及修改。

关于本文
本文标题:用于基于渐进式改良从视频序列选择帧的方法.pdf
链接地址:http://www.pqiex.tw/p-6091605.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 快乐8开奖历史记录 双色球杀兰球公式 彩票黑龙江11选5 双色球基本走势图大赢家 脉动棋牌手机版怎么下载 北京快乐8开奖走势图360 国彩合买是怎么回事 123网址安徽11选5遗漏 3d和尾走势图 足彩17146奖金多少