平码五不中公式规律
  • / 35
  • 下载费用:30 金币  

姿态估算的系统和方法.pdf

关 键 ?#21097;?/dt>
姿态 估算 系统 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201580048693.4

申请日:

2015.06.30

公开号:

CN106688013A

公开日:

2017.05.17

当前法律状态:

实审

有效性:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06T 7/00申请日:20150630|||公开
IPC分类号: G06T7/00(2017.01)I; H04N13/02 主分类号: G06T7/00
申请人: 高通股份有限公司
发明人: 林昆翰; 塞拉姆·孙达雷桑; 迈克尔·阿迪布·萨尔基斯
地址: 美国加利福尼亚州
优?#28909;ǎ?/td> 2014.09.19 US 14/491,857
专利代理机构: 北京律盟知识产权代理有限责任公司 11287 代理人: 宋献涛
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580048693.4

授权公告号:

|||

法律状态公告日:

2017.06.09|||2017.05.17

法律状态类型:

实质审查的生效|||公开

摘要

一种方法包含从图像捕获装置接收图像帧序列的第一图像帧。所述方法还包含在处理器处通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态。所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述方法另外包含在所述处理器处通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态。所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。

权利要求书

1.一种方法,包括:
从图像捕获装置接收图像帧序列的第一图像帧;
在处理器处通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的
摄像头姿态,其中,所述第二图像帧在所述图像帧序列中在所述第一图像帧之前;以及
在所述处理器处通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的
优化摄像头姿态,其中,所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的
特定图像帧。
2.根据权利要求1所述的方法,其中,所述摄像头姿态作为所述处理器的第一处理线程
的一部分被估算,并且其中,所述优化摄像头姿态作为所述处理器的第二处理线程的一部
分被估算。
3.根据权利要求2所述的方法,其中,所述处理器被配置成并行执行处理线程,并且其
中,所述第一处理线程和所述第二处理线程被并?#26800;?#25191;行。
4.根据权利要求1所述的方法,其中,估算对应于所述第一图像帧的所述摄像头姿态包
括:
基于所述图像捕获装置在所述第一图像帧的捕获和所述第二图像帧的捕获之间的相
对运动的估算通过变换所述第一图像帧来生成扭曲帧;
确定像素强度误差,其中,所述像素强度误差指示在所述扭曲帧的一或多个像素和所
述第二图像帧的一或多个像素之间像素强度的差值;以及
确定深度误差,其中,所述深度误差指示在所述扭曲帧的所述一或多个像素和所述第
二图像帧的所述一或多个像素之间的深度的差值,并且其中,所述深度误差基于所述第二
图像帧的所述一或多个像素的正常值来确定。
5.根据权利要求1所述的方法,其中,估算对应于所述第一图像帧的所述优化摄像头姿
态包括:
基于所述图像捕获装置在所述第一图像帧的捕获和所述关键帧的捕获之间的相对运
动的估算通过变换所述第一图像帧来生成扭曲帧;
确定像素强度误差,其中,所述像素强度误差指示在所述扭曲帧的一或多个像素和所
述关键帧的一或多个像素之间像素强度的差值;以及
确定深度误差,其中,所述深度误差指示在所述扭曲帧的所述一或多个像素和所述关
键帧的所述一或多个像素之间的深度的差值,并且其中,所述深度误差基于所述关键帧的
所述一或多个像素的正常值来确定。
6.根据权利要求1所述的方法,另外包括:
在所述处理器处确定在所述第一图像帧和所述关键帧之间的重叠比,其中,所述重叠
比基于所述第一图像帧的第一像素值和所述关键帧的第二像素值的逐像素比较;
比较所述重叠比和重叠比阈值以生成比较结果;以及
基于指示所述第一图像帧和所述关键帧是不类似的所述比较结果,使用所述第一图像
帧生成新关键帧。
7.根据权利要求6所述的方法,其中,生成所述新关键帧包括形成对应于在存储器中的
所述第一图像帧的?#21271;?#22270;像帧,并且其中,所述?#21271;?#22270;像帧被指定为所述新关键帧。
8.根据权利要求6所述的方法,其中,所述第一像素值包含深度值、光度值或其组合。
9.根据权利要求1所述的方法,另外包括:使用所述优化摄像头姿态和所述图像帧序列
生成三维点云。
10.根据权利要求9所述的方法,另外包括:
从所述图像捕获装置接收所述图像帧序列的一或多个另外图像帧;以及
基于所述一或多个另外图像帧更新所述三维点云,其中,更新所述三维点云的速率大
体?#31995;?#20110;接收所述一或多个另外图像帧的速率。
11.根据权利要求1所述的方法,其中,所述摄像头姿态指示所述图像捕获装置在当所
述第一图像帧被捕获时的特定时间的位置的逼近。
12.根据权利要求1所述的方法,其中,所述第一图像帧具有第一分辨?#21097;?#20854;中,所述关
键帧具有关键帧分辨?#21097;?#24182;且其中,所述第一分辨率不同于所述关键帧分辨率。
13.一种设备,包括
处理器;以及
存储指令的存储器,所述指令能够由所述处理器执行以致使所述处理器:
从图像捕获装置接收图像帧序列的第一图像帧;
基于所述第一图像帧和第二图像帧的第一比较来估算对应于所述第一图像帧的摄像
头姿态,其中,所述第二图像帧在所述图像帧序列中在所述第一图像帧之前;以及
基于所述第一图像帧和关键帧的第二比较来估算对应于所述第一图像帧的优化摄像
头姿态,其中,所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像
帧。
14.根据权利要求13所述的设备,其中,所述摄像头姿态作为所述处理器的第一处理线
程的一部分被估算,并且其中,所述优化摄像头姿态作为所述处理器的第二处理线程的一
部分被估算。
15.根据权利要求14所述的设备,其中,所述指令另外能够执行以致使所述处理器从一
组关键帧选择所述关键帧,其中,所述关键帧基于所述估算摄像头姿态来选择。
16.根据权利要求13所述的设备,其中,所述指令另外能够执行以致使所述处理器变换
所述第一图像帧以生成扭曲帧,其中,所述第一图像帧基于在所述图像捕获装置和对应于
所述第二图像帧的坐标之间的相对运动的估算来变换。
17.根据权利要求16所述的设备,其中,所述指令另外能够执行以致使所述处理器确定
像素强度误差,其中,所述像素强度误差指示在所述扭曲帧的一或多个像素和所述第二图
像帧的一或多个像素之间的像素强度的差值。
18.根据权利要求16所述的设备,其中,所述指令另外能够执行以致使所述处理器确定
深度误差,其中,所述深度误差指示在所述扭曲帧的一或多个像素和所述第二图像帧的一
或多个像素之间的深度的差值,并且其中,所述深度误差基于所述第二图像帧的所述一或
多个像素的正常值来确定。
19.根据权利要求13所述的设备,其中,所述指令另外能够执行以致使所述处理器确定
在所述第一图像帧和关键帧之间的重叠比。
20.根据权利要求19所述的设备,其中,所述重叠比基于所述第一图像帧的第一像素值
和所述关键帧的第二像素值的逐像素比较。
21.根据权利要求19所述的设备,其中,所述指令另外能够执行以致使所述处理器基于
所述重叠比和重叠比阈值的比较来生成结果。
22.根据权利要求21所述的设备,其中,所述指令另外能够执行以致使所述处理器基于
指示所述第一图像帧不类似于所述关键帧的所述结果使用所述第一图像帧来生成新关键
帧。
23.一种存储指令的计算机可读存储装置,所述指令在由处理器执行时致使所述处理
器:
从图像捕获装置接收图像帧序列的第一图像帧;
基于所述第一图像帧和第二图像帧的第一比较来估算对应于所述第一图像帧的摄像
头姿态,其中,所述第二图像帧在所述图像帧序列中在所述第一图像帧之前;以及
基于所述第一图像帧和关键帧的第二比较来估算对应于所述第一图像帧的优化摄像
头姿态,其中,所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像
帧。
24.根据权利要求23所述的计算机可读存储装置,其中,所述摄像头姿态作为所述处理
器的第一处理线程的一部分被估算,其中,所述优化摄像头姿态作为所述处理器的第二处
理线程的一部分被估算,并且其中,所述第一处理线程和所述第二处理线程被并?#26800;?#25191;行。
25.根据权利要求23所述的计算机可读存储装置,其中,所述指令在由所述处理器执行
时,另外致使所述处理器基于所述图像帧序列生成三维点云,其中,生成所述三维点云的速
率大体?#31995;?#20110;接收所述图像帧序列的速率。
26.一种设备,包括:
用于从图像捕获装置接收图像帧序列的第一图像帧的装置;
用于基于所述第一图像帧和第二图像帧的第一比较来估算对应于所述第一图像帧的
摄像头姿态的装置,其中,所述第二图像帧在所述图像帧序列中在所述第一图像帧之前;以

用于基于所述第一图像帧和关键帧的第二比较来估算对应于所述第一图像帧的优化
摄像头姿态的装置,其中,所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前
的特定图像帧。
27.根据权利要求26所述的设备,另外包括:
用于执行所述第一图像帧和所述第二图像帧的所述第一比较的装置;以及
用于执行所述第一图像帧和所述关键帧的所述第二比较的装置。
28.根据权利要求26所述的装置,另外包括用于从一组关键帧选择所述关键帧的装置。
29.根据权利要求26所述的设备,另外包括用于基于所述第一图像帧生成新关键帧的
装置。
30.根据权利要求26所述的设备,另外包括用于使用所述优化摄像头姿态和所述图像
帧序列生成三维点云的装置。

说明书

姿态估算的系统和方法

相关申请的交叉引用

本申请主张在2014年9月19日提交的共同拥有的第14/491,857号美国非临时专利
申请的优?#28909;ǎ?#25152;述申请的内容以全文引用的方式明确地并入本文中。

技术领域

本公开大体上涉及姿态估算的系统和方法。

背景技术

技术的进步已经带来更小且更强大的计算装置。例如,当前存在各种便携式个人
计算装置,包含无线电话,例如移动和智能电话、平板计算机和膝上?#22270;?#31639;机,其体积小、重
量轻?#20918;?#20110;用户携带。这些装置可经由无线网络传达语音和数据包。另外,许多此些装置并
入有另外的功能,例如数字静态相机、数字摄像机、数字记录器和音频文件播放器。并且,此
些装置可处理可执行指令,其包含软件应用,例如可用以接入因特网的网络浏览器应用。由
此,这些装置可包含相当大的计算能力。

无线电话和类似装置可用于捕获图像。此些图像可用于生成物体的三维(3D)模
型。一般来说,用于生成3D模型的装置并不实时或准实时运行。而是图像帧序列被捕获(例
如,通过摄像头),并且所述图像帧序列随后被处理为一组(例如,在处理系统,例如计算机)
以生成所述3D模型。如果所述图像帧序列不足以或不适合生成完整的3D模型,则此些不足
或不适合可能不被注意直到处理以生成所述3D模型之后。在此情况下,可能生成不完整或
不精确的3D模型。为生成更完整或更精确的3D模型,用户可能必须捕获所述物体的新图像
序列且处理所述新图像序列。

发明内容

公开了能够基于所捕获的图像帧序列实时或准实时生成3D点云和/或3D模型的系
统和方法。所述图像帧序列可由图像捕获装置(例如,移动电话的摄像头)捕获。所述图像捕
获装置的用户(例如,操作者)可围绕物体移动所述图像捕获装置以捕获所述物体的所述图
像帧序列。

所述3D点云和/或所述3D模型可在电子装置(例如,包含所述摄像头的移动电话)
通过利用平行处理线程以处理图像帧序列来生成。例如,第一处理线程和第二处理线程可
并行处理以使得能够实时或准实时处理所述图像帧。例如,所述第一处理线程可从帧到帧
执行摄像头姿态估算,以及所述第二处理线程可从帧到关键帧执行摄像头姿态估算。

在具体实施例中,所述第一处理线程和所述第二处理线程可以以不同分辨率处理
图像。例如,所述第一处理线程可处理?#22836;?#36776;率(例如,四等分-四等分视频图形阵列
(QQVGA)分辨率)图像帧以估算一或多个图像帧的摄像头姿态。所述第二处理线程可处理更
高分辨率(例如,四等分视频图形阵列(QVGA)分辨率)图像帧和参考图像帧(即,关键帧)以
优化特定图像帧的所述摄像头姿态。例如,所述摄像头姿态可通过比较QVGA图像帧和特定
关键帧以确定当所述QVGA图像帧被下采样到QQVGA分辨率时可能丢失的另外的信息?#20174;?br />化。所述特定关键帧可为多个关键帧中的一者,并且所述多个关键帧中的?#31354;?#21487;充当在相
对于所述物体的对应位置的参考图像帧。在所述图像帧序列被捕获时,生成一或多个另外
的关键帧以优化摄像头姿态估值以生成所述3D点云和/或3D模型。所述另外的关键帧可充
当与在相对于所述物体的不同位置的所述图像帧序列进行比较的另外的参考图像帧。

在具体实施例中,方法包含从图像捕获装置(例如,摄像头)接收图像帧序列的第
一图像帧。所述方法也包含在处理器通过比较所述第一图像帧和第二图像帧来估算对应于
所述第一图像帧的摄像头姿态,其中,所述第二图像帧在所述图像帧序列中在所述第一图
像帧之前。所述方法另外包含在所述处理器通过比较所述第一图像帧和关键帧来估算对应
于所述第一图像帧的优化摄像头姿态,其中,所述关键帧对应于在所述图像帧序列中在所
述第二图像帧之前的特定图像帧。

在另一具体实施例中,设备包含存储器和处理器。所述处理器被配置成从图像捕
获装置接收图像帧序列的第一图像帧。所述处理器还被配置成通过比较所述第一图像帧和
第二图像帧来估算对应于所述第一图像帧的摄像头姿态,其中,所述第二图像帧在所述图
像帧序列中在所述第一图像帧之前。所述处理器另外被配置成通过比较所述第一图像帧和
关键帧来估算对应于所述第一图像帧的优化摄像头姿态,其中,所述关键帧对应于在所述
图像帧序列中在所述第二图像帧之前的特定图像帧。

在另一具体实施例中,计算机可读存储装置包含指令,在由处理器执行时,所述指
令致使所述处理器从图像捕获装置接收图像帧序列的第一图像帧。所述指令还致使所述处
理器通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态,
其中,所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述指令另外致使所
述处理器通过比较所述第一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头
姿态,其中,所述关键帧对应于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。

在又一特定实施例中,设备包含用于从图像捕获装置接收图像帧序列的第一图像
帧的装置。所述设备也包含用于基于所述第一图像帧和第二图像帧的第一比较来估算对应
于所述第一图像帧的摄像头姿态的装置,其中,所述第二图像帧在所述图像帧序列中在所
述第一图像帧之前。所述设备另外包含用于基于所述第一图像帧和关键帧的第二比较来估
算对应于所述第一图像帧的优化摄像头姿态的装置,其中,所述关键帧对应于在所述图像
帧序列中在所述第二图像帧之前的特定图像帧。

所公开的实施例中的至少一者所提供的一个特定优点在于基于在图像帧序列中
的相邻图像帧之间的比较的摄像头姿态的估算,并?#19968;?#20110;在特定图像帧和关键帧之间的比
较的优化摄像头姿态的估算可使用单独处理线程同时(例如并行)执行。摄像头姿态估算和
摄像头姿态优化的平行处理能够实时或准实时处理所述图像帧序列以生成3D点云或3D模
型。所公开的实施例中的至少一者所提供的另一特定优点在于根据物体的图像帧的所述捕
获实时或准实时生成所述物体的3D点云的能力。

在审核整个申请之后,将明白本公开的其它方面、优点和特征,所述申请包含以下
部分:附图说明、具体实施方式和权利要求书。

附图说明

图1为基于图像帧序列以生成点云数据的系统的特定说明性实施例的框图;

图2为生成点云数据的所述系统的另一特定说明性实施例的框图;

图3为由图像捕获装置捕获的场景的透视图,所述场景包含准实时生成的点云数
据的时间流逝描绘的图示;

图4为示出基于所述图像帧序列生成摄像头姿态或新关键帧的简图;

图5为包含使用另外的图像帧以生成新关键帧的图4的所述简图的后续视图;

图6为包含使用另外的图像帧以生成新关键帧的图4和5的所述简图的后续视图;

图7为示出确定在所述图像帧序列的两个图像帧之间的像素强度误差和/或深度
误差的简图;

图8为生成新关键帧的方法的特定说明性实施例的流程图;

图9为估算在图像帧序列中的图像帧的摄像头姿态的方法的特定说明性实施例的
流程图;

图10为基于成本函数估算特定图像帧的摄像头姿态的方法的特定说明性实施例
的流程图;

图11为估算摄像头姿态和估算优化摄像头姿态的方法的特定说明性实施例的流
程图;以及

图12为包含处理器的计算装置的框图,其中,所述处理器被配置成基于图像帧序
列执行摄像头姿态估算。

具体实施方式

参考图1,该图示出了系统100的特定说明性实施例。所述系统100包含通信地耦合
至处理器106和存储器112的摄像头102。在说明性实施例中,所述摄像头102、所述处理器
106和所述存储器112可被集成到计算或电子装置,例如移动电话、平板计算机、个人计算
机、媒体播放器装置等中。

在具体实施例中,所述系统100被配置成在图像捕获装置(例如,所述摄像头102)
围绕物体移动的图像捕获处理期间生成点云数据116(例如,3D点云或3D模型)。所述摄像头
102(或另一图像捕获装置)可被配置成捕获图像帧序列104。所述摄像头102可围绕所述物
体移动(例如,通过可围绕所述物体步行的用户),同时摄像头102捕获所述图像帧序列104。
在所示的实施例中,所述图像帧序列104包含五个图像帧;然而,所述图像帧序列104可包含
多于五个图像帧或少于五个图像帧。每一图像帧包含多个像素,并且每一像素对应于一组
像素值,例如深度值、光度值(例如,红绿蓝(RGB)值、强度值、色度值、饱和度?#26723;?或它们的
组合。

所述摄像头102?#19978;?#25152;述处理器106的比较器108提供所述图像帧序列104。在具体
实施例中,所述处理器106可为单核处理器。在另一实施例中,所述处理器106可包含多个处
理核,并且所述比较器108可对应于所述多个处理核的至少一个核(例如,被其执行)。在另
一具体实施例中,所述处理器106可包含并行运行的多个处理器,其中,所述多个处理器的
每一处理器包含对应的比较器,例如所述比较器108。在说明性实施例中,在所述图像帧序
列104中的每一图像帧可以以源分辨率(例如,高分辨?#21097;?#20363;如高清(HD))被捕获。

尽管未示出,所述图像帧序列104的一或多个图像帧可通过所述处理器106缓存
(例如,存储)。例如,所述处理器106可以以源分辨率(例如,高分辨?#21097;?#20363;如高清(HD))接收
所述图像帧序列104的特定图像帧并且可在存储器,例如耦合至或包含于所述处理器106中
的随机存取存储器(RAM)以所述源分辨率存储所述图像帧。另外地或可替代地,所述处理器
106可被配置?#19978;?#37319;样所述图像帧序列104的一或多个图像帧或调整其大小。例如,所述处
理器106可生成所述特定图像帧的一或多个?#26723;头?#36776;率图像帧(相比于所述源分辨率)。举
例而言,当所述源分辨率为所述高分辨率(例如,HD分辨率)时,所述处理器106可生成所述
特定图像帧的中等分辨率(例如,四等分视频图形阵列(QVGA)分辨率)图像帧和/或?#22836;?#36776;
率(例如,四等分-四等分视频图形阵列(QQVGA)分辨率)图像帧。在一些实施方案中,所述处
理器106可以以各种(例如,不同)分辨率接收所述特定图像帧。所述处理器106可被配置成
在包含于所述处理器106中或耦合至所述处理器106的所述存储器(例如,所述RAM)存储(例
如,缓存)所述特定图像帧的所述一或多个?#26723;头?#36776;率的图像帧。在所述处理器106缓存或
通过所述处理器106缓存的处于各种分辨率的所述图像帧可由所述处理器106的一或多个
组件,例如所述比较器108和/或所述关键帧生成器110访问。所述特定图像帧的一或多个降
?#22836;?#36776;率版本?#19978;?#24212;于所述处理器106接收所述特定图像帧而生?#26705;?#25110;可在所述处理器106
的组件需要(例如,请求)所述特定图像帧的所述一或多个?#26723;头?#36776;率版本?#22791;?#25454;需要而生
成。

所述比较器108可使用所述处理器106的一或多个?#24067;?#35013;置(例如,逻辑电路)、可
由所述处理器106执行的软件指令(例如,程序代码)或它们的组合来实?#24103;?#22312;具体实施例
中,所述比较器108被配置成执行所述图像帧序列104中的图像帧相对于彼此和/或相对于
存储于所述存储器112中的一或多个关键帧114的逐像素比较。在具体实施例中,所述比较
器108执行所述逐像素比较以确定重叠比109,如下文中另外描述。所述逐像素比较可包含
所述第一图像帧121的像素值(例如,深度值、光度值(例如、红绿蓝(RGB)值)或它们的组合)
和所述第二图像帧122或所述关键帧114的像素值之间的比较。

所述重叠比109可为所述图像帧序列104的两个或两个以上图像帧的类似性的数
?#24403;?#31034;。例如,所述数?#24403;?#31034;可为“类似”像素数除以总像素数。当所述像素精确匹配(例如,
对于特定像素值具有相同数值)时或当所述像素大体上匹配(例如,第一像素的所述数值在
第二像素的对应数值的差?#28857;兄的?时,两个或两个以上图像帧的像素可被确定为类似的。
在替代实施例中,所述重叠比109可为所述图像帧序列104的两个或两个以上图像帧之间的
差异性的数?#24403;?#31034;。例如,所述重叠比109可为“不类似”的像素(例如,不是如上所述类似的
像素)数除以所述总像素数。在具体实施例中,确定所述重叠比109包含基于逐像素比较确
定图像帧和关键帧之间的多个差值并确定满足差?#28857;?#20540;(其可对应于所述重叠比阈值131)
的所述多个差值数,其中,所述重叠比109基于所述数量除以所述图像帧的总像素数。

所述关键帧生成器110可基于所述图像帧序列104的初始捕获帧(例如,第一图像
帧121)来生成新关键帧111。例如,当没有与所述图像帧序列104相关联的关键帧114被存储
到所述存储器112时,则所述第一图像帧121(或其版本)可默认用作新关键帧111。特定生成
的关键帧可被存储为所述关键帧114中的一者,并且可具有与所捕获图像帧相同的分辨率
或可具有与所述捕获图像帧不同的分辨率(例如,基于所述第一图像帧121生成的所述关键
帧111可具有与所述第一图像帧121不同的分辨率)。例如,在使用比在源分辨率(例如,第一
图像帧121的初始分辨率)的所述第一图像帧121更低的存储器或处理?#21152;?#38754;积时,所述特
定关键帧可为保持所述第一图像帧121的至少一些?#38468;?#30340;中等分辨率(例如,四等分视频图
形阵列(QVGA)分辨率)图像帧。在具体实施例中,所述处理器106(例如,所述关键帧生成器
110)可被配置?#19978;?#37319;样所述第一图像帧121或调整其大小以生成所述新关键帧111。

另外地或可替代地,所述关键帧生成器110可基于所述一或多个关键帧114的特定
关键帧和所述图像帧序列104的所捕获图像(例如,所述第二图像122)生成所述新关键帧
11。举例而言,所述一或多个关键帧114中的?#31354;?#21487;用于充当所述图像帧序列104的一或多
个图像帧的参考图像帧(例如,以如下所述优化摄像头姿态估算)。例如,所述比较器108可
用于比较所述一或多个关键帧114的特定关键帧(即基于所述第一图像帧121)和第二图像
帧122以优化与所述第二图像帧122相关联的摄像头姿态。在接收到所述图像帧序列104的
另外的图像帧时,所述比较器108可执行每一所接收的图像帧或其?#26723;头?#36776;率版本与在所
述存储器112中的所述一或多个关键帧114的先前存储的关键帧的逐像素比较。在具体实施
例中,所述逐像素比较确定类似于所述特定关键帧的对应像素的所述第二图像帧122的像
素。所述比较器108可基于所述类似像素数来计算所述重叠比109。例如,所述比较器108可
基于在所述第二图像帧122和所述特定关键帧之间的所述类似像素数除以所述第二图像帧
122中的总像素数来生成所述重叠比109。在替代实施例中,所述重叠比109可为在所述第一
图像帧121和所述第二图像帧122之间的不类似像素数除以总像素数的数?#24403;?#31034;。所述第二
图像帧122也可被改动(例如,如参考图6所述被扭曲或变形)以对齐所述第一图像帧121以
计算所述重叠比109。

所述关键帧生成器110可以被配置成比较所述重叠比109和重叠比阈值131。所述
重叠比阈值131可按照百分比、像素数或以一些其它方式来表示。例如,当所述重叠比109被
表示为百分比时,所述重叠比阈值131可为百分比。在具体实施例中,所述重叠比109为总像
素数的类似像素的百分比,以及所述重叠比阈值131为图像帧被视为大体上类似于(例如,
90%类似性)关键帧的百分比或在其之上的百分比。所述重叠比阈值131的值可被调节(例
如,由用户)以提高或?#26723;?#30830;定图像帧是否大体上类似的灵敏度。在具体实施例中,当所述
重叠比109大于或等于所述重叠比阈值131时,所述重叠比109可满足所述重叠比阈值131。
当所述重叠比109大于或等于所述重叠比阈值131时,所述图像帧和所述关键帧是大体上类
似的,并且所述关键帧生成器110并不生成用于存储在所述存储器112中的所述新关键帧
111(例如,另一关键帧)。在另一具体实施例中,当所述重叠比109小于或等于所述重叠比阈
值131时,所述重叠比109可满足所述重叠比阈值131。当所述重叠比109小于或等于所述重
叠比阈值131时,所述图像帧和所述关键帧并不是大体上类似的,并且所述关键帧生成器
110生成用于存储在所述存储器112中的新关键帧111(例如,另一关键帧)。生成所述新关键
帧111可包含形成所述图像帧序列104的源帧的?#21271;尽?#22312;具体实施例中,所述?#21271;?#20855;有相对
于所述源帧(例如,HD分辨率)的?#26723;头?#36776;率(例如,QVGA分辨率)。

在具体实施例中,当所述重叠比109与所述重叠比阈值131的所述比较指示所述图
像帧和所述关键帧大体上不类似时,确定在所述摄像头102的第一位置和第二位置之间出
现相当大的变化,例如所述摄像头102在捕获所述第一图像帧121期间的第一位置和所述摄
像头102在捕获所述第二图像帧122期间的第二位置。因此,基于在所述重叠比109和所述重
叠比阈值131之间的所述比较,所述第一图像帧121和所述第二图像帧122可被确定为具有
不同图像数据的大体上不同的图像帧。当所述第一图像帧121和所述第二图像帧122被确定
为大体上不同的图像帧时,所述关键帧生成器110可基于所述第二图像帧122生成新关键帧
111。另一选择为,当所述重叠比109和所述重叠比阈值131的所述比较指示所述图像帧和所
述关键帧大体上类似时,没有新关键帧111基于所述第二图像帧122而生?#26705;?#22240;为所述关键
帧114和所述第二图像帧122包含大体上相同的图像数据。当所述关键帧114和所述第二图
像帧122大体上类似时,不需要生成新关键帧111。通过减小所生成的和可供用于比较的新
关键帧的数量,所述图像帧序列104可以以更高效的方式进行处理。

一般来说,并不是所述图像帧序列104的每个图像帧基于所述重叠比阈值131而被
确定类似于所述关键帧。当特定图像帧,例如第四图像帧123被捕获并被提供给所述比较器
108时,所述摄像头102可处在当与对应于所述一或多个关键帧114的特定关键帧(例如,基
于所述第一图像帧121的所述特定关键帧)的图像帧被捕获时大体上不同的位置。因此,对
应于在所述特定关键帧和所述第四图像帧123之间的比较的所述重叠比109可被确定,并可
与所述重叠比阈值131比较以指示所述第四图像帧123和所述特定关键帧是否类似。因此,
当基于所述比较确定所述第四图像帧123和所述特定关键帧不类似时,基于所述第四图像
帧123的新关键帧111可被生成并被存储在所述存储器112中。当基于所述第四图像帧123生
成所述新关键帧111时,在所述图像帧序列104的所述第四图像帧123之后的所接收到的图
像帧可被所述比较器108用于执行此些图像帧(或此些图像帧的?#26723;头?#36776;率版本)与基于所
述第四图像帧123生成的所述新关键帧111的另外逐像素比较。因此,在图像帧序列104中的
初始所接收的图像帧被指定为关键帧并存储在所述存储器112中之后,由所述比较器108执
行的比较相对于在所述存储器112中的?#30333;?#36817;生成”关键帧来执行(例如,基于所述关键帧
114的时间戳的最后生成的关键帧)。另一选择为,比较可由所述比较器108相对于在所述存
储器112中的一组先前生成的关键帧来执行。例如,所述存储器112可存储在处理所述图像
帧序列104期间先前生成的一或多个关键帧。在一些实施例中,所述先前关键帧中的一者可
被选择用在由所述比较器108执行的所述比较中,如参考图2另外描述。

在具体实施例中,所述新关键帧111以相对于所述图像帧序列104的图像帧的?#26723;?br />分辨率生成。?#26723;头?#36776;率图像帧可经?#19978;?#37319;样、调整大小和/或其它操作从图像帧生成。例
如,如果所述第二图像帧122为HD图像帧,则所述新关键帧111可为中等分辨率图像帧(例
如,QVGA分辨?#21097;?#20363;如320x240像素)。所述关键帧生成器110?#19978;?#25152;述存储器112发送新生成
关键帧,例如所述新关键帧111。在具体实施例中,所述存储器112可包含随机存取存储器
(RAM)、只读存储器(ROM)、盘式存储器、固态存储器或其任何组合。在图1所示的所述实施例
中,所述新关键帧111可被存储为所述存储器112内的所述一或多个关键帧114中的一者。与
所述图像帧序列104相关联的一或多个关键帧114可在操作所述摄像头102期间被存储在所
述存储器112中。在具体实施例中,所述多个关键帧114的数?#21487;?#20110;在所述图像帧序列104中
的图像帧的总数。所述多个关键帧114可提供多个参考图像帧以从围绕所述场景的不同相
对位置优化摄像头姿态。在具体实施例中,在所述存储器112中的所述关键帧114中的?#31354;?br />可供选择并作为参考图像帧用在所述比较器108的比较中。例如,在一些实施方案中,所述
存储器112可包含多个关键帧114,并且所存储的多个关键帧114的最类似关键帧可被选择
以用在与所述图像帧序列104的特定图像帧的比较中,如在本文中另外参考图2所述。另外
地或可替代地,存储在所述存储器112中并对应于所述组的图像帧序列104的所述一或多个
关键帧114可包含基于所述图像序列104所生成的每一关键帧,或可包含少于与所述图像帧
序列104相关联的所有所述关键帧114的关键帧114。例如,所述一或多个关键帧114可包含
特定数量的关键帧,例如最近生成的关键帧的数量,使得所述一或多个关键帧114并不产生
大的存储器?#21152;?#38754;积。

在生成新关键帧111时并且在从所述摄像头102接收到另外的图像帧时,所述处理
器106可生成点云数据116。在具体实施例中,所述点云数据116包含关于在3D空间中的点
(例如,坐标)的数据,例如坐标集合(例如,x、y及z坐标或其它坐标)或表示特定形状的方程
式。所述点云数据116的生成参考图3另外描述。在说明性实施例中,所述点云数据116可基
于包含于所述图像帧序列104中的一或多个图像帧、存储在所述存储器112中的一或多个关
键帧、由本文参考图2所述的所述处理器106计算的摄像头姿态信息或其任何组合中的数据
而生成。例如,所述点云数据116?#19978;?#23545;于所述图像帧序列104的捕获实时或准实时生?#26705;?#24182;
且,在说明性实施例中,所述点云数据116可在生成由所述摄像头102捕获的一或多个物体
的三维(3D)模?#25512;?#38388;使用,如本文另外描述。在具体实施例中,所述3D模型基于插入所述点
云数据116而生?#26705;?#20363;如使用所述坐标来识别在3D空间中的为所述3D模型的一部分的点。

在操作期间,所述处理器106可从所述摄像头102接收所述图像帧序列104的所述
第一图像帧121。所述处理器106可基于所述第一图像帧121生成第一关键帧(例如,所述一
或多个关键帧114的所述第一关键帧),因为所述第一图像帧121为所述图像帧序列104的所
述第一(例如,初始)图像帧,并因此没有与所述图像帧序列104相关联的关键帧被存储在所
述存储器112中。生成所述第一关键帧可包含下采样所述第一图像帧121以生成所述第一图
像帧121的比所述第一图像帧121被捕获时的分辨率更低的分辨率版本(例如,QVGA)。

在接收所述第一图像帧121之后,所述处理器106可从所述摄像头102接收所述第
二图像帧122。所述处理器106可确定在所述第二图像帧122和所述第一关键帧之间的所述
重叠比109。所述重叠比109可基于所述第二图像帧122的像素值(例如,颜色值、强度值或其
任何组合)和所述关键帧114的对应像素值的逐像素比较。在一些实施方案中,用于确定所
述重叠比109的所述第二图像帧122的特定分辨率可与所述第一关键帧的分辨率相同(例
如,两者均为QVGA)。在其它实施方案中,用于确定所述重叠比109的所述第二图像帧122的
所述特定分辨率可与所述第一关键帧的所述分辨率不同,并且所述第二图像帧122和/或所
述第一关键帧的一或多个像素值可被内插以执行逐像素比较以生成所述重叠比109。

所述重叠比109可与所述重叠比阈值131比较,并?#19968;?#20110;所述第二图像帧122并不
大体类似于所述关键帧114的确定,所述第二图像帧122可用于生成用于存储在所述存储器
112中的新关键帧111。另一选择为,当基于所述比较确定所述第二图像帧122大体上类似于
所述关键帧114时,所述第二图像帧122可能不被用于生成新关键帧111。基于所述第二图像
帧122生成所述新关键帧111可包含下采样所述第二图像帧122以生成所述第二图像帧122
的?#31995;头?#36776;率(例如,QVGA)版本,或使用所述第二图像帧122的先前下采样版本。

在图1中的所述系统100可用于选择性生成关键帧,使得所述生成的关键帧的数量
小于所述图像帧序列104的所述图像帧数量。此外,识别所述关键帧的所述图像帧的处理可
以以与所述图像帧序列104的所接收的图像的特定分辨率相比?#26723;?#30340;分辨率来执行。通过
使用?#31995;头?#36776;率以生成所述关键帧114,所述点云数据116的所述生成和其它处理运算?#19978;?br />对于所述图像帧序列104被捕获的速度实时或准实时执行。因此,图1的所述系统可用于相
对于捕获所述图像帧序列104的速率实时或准实时生成点云数据和/或3D模型。

参考图2,其示出了可操作以选择性生成关键帧的系统200的另一具体实施例。所
述系统200包含摄像头202、处理器206和存储器212。所述处理器206包含图像帧缓存器207、
一或多个摄像头姿态估算器208、一或多个比较器220和关键帧生成器210。所述图像帧缓存
器207可对应于被配置成用于从所述摄像头202接收图像帧序列204的超高速缓存器和/或
盘式存储器。来自所述图像帧缓存器207的图像帧可被提供给所述一或多个摄像头姿态估
算器208,使得多个帧(例如,第一图像帧221和第二图像帧222)可被同时提供给所述一或多
个摄像头姿态估算器208。

所述一或多个摄像头姿态估算器208可生成用于所述图像帧序列204中的一或多
个图像帧和/或由所述关键帧生成器210生成的一或多个关键帧的摄像头姿态信息。在一些
实施例中,所述关键帧生成器210可对应于图1的所述关键帧生成器110。摄像头姿态估算可
为在捕获特定图像帧期间所述摄像头202的相对位置(例如,与相对于初始位置,例如“原
点”坐标位置的位置差?#36842;?#20851;联的坐标)和取向(例如,与相对于初始角度,例如“原点”角度
的差?#36842;?#20851;联的角度)的逼近。在具体实施例中,一或多个摄像头姿态与定位数据,例如使
所述特定图像帧与特定位置(例如,地理标记)相关联的全球定位卫星(GPS)数据无关地进
行估算。结合特定图像帧的所述像素值的所述摄像头姿态估算可用于生成点云数据216。所
述点云数据216可对应于图1的所述点云数据116。在说明性实施例中,所述一或多个摄像头
姿态估算器208基于多个图像帧(例如,所述第一图像帧221和所述第二图像帧222)之间的
比较来估算特定图像帧的摄像头姿态。例如,所述一或多个摄像头姿态估算器208可比较所
述图像帧序列204中的图像帧的?#22836;?#36776;率(例如,QQVGA分辨?#21097;?#21363;,160x120)版本。基于所述
图像帧的所述?#22836;?#36776;率版本的所述比较,所述一或多个摄像头姿态估算器208可生成摄像
头姿态估算250。如本文中所述的,所述摄像头姿态估算250对应于所述两个图像帧的后者
(例如,所述第二图像帧222)。举例而言,所述图像帧序列204的所述第一图像帧221可用作
“原点?#20445;?#20197;及所述图像帧序列204的每一后续图像帧可具有相对于所述第一图像帧221(例
如,所述“原点”)所确定的对应摄像头姿态。例如,与所述第一图像帧121相关联的摄像头姿
态可被表示为具有相对零角度的参照点(例如,零点)。在该示例中,后续摄像头姿态估算可
被表示为指示在真实空间(例如,指示距离的近似变化的(x,y,z)坐标)中的相对运动的坐
标和指示所述摄像头102的倾角的相对变化的角度(例如,角度改变10°)。

在说明性实施例中,生成对应于所述两个图像帧的所述后者(例如,后来接收和/
或生成)的摄像头姿态估算250包含通过基于所述摄像头202的相对运动而扭曲(即,变换)
所述后来捕获的帧和由所述摄像头202在所述两个图像帧之间捕获的物体(和/或场景)来
生成扭曲帧。所述后来捕获的帧被扭曲以成为更类似于如本文中参考图6所述的所述更早
捕获的图像帧。

在具体实施例中,由所述一或多个摄像头姿态估算器208基于图像帧对图像帧比
较所生成的所述摄像头姿态估算250可对应于“初始”摄像头姿态。所述摄像头姿态估算250
可凭借已基于?#22836;?#36776;率(例如,QQVGA)运算生成而为“初始的”。所述“初始”摄像头姿态可在
后续运算期间被优化。在一些实施例中,所述“初始”摄像头姿态估算?#19978;?#23545;于特定图像帧
为“初始的?#20445;?#20854;中,后续图像帧可具有它们自身的相应的“初始”摄像头姿态估算。所述一或
多个比较器220可使用所述关键帧选择器242从所述关键帧214选择最类似的关键帧,如在
本文中另外描述。在一些实施例中,所述关键帧选择器242使用所述摄像头姿态估算250来
选择识别出的关键帧252,其中,所述识别出的关键帧252为相对于所述摄像头姿态估算250
最类似的关键帧。所述识别出的关键帧252(或其指示)可被提供给所述摄像头姿态估算器
208。

所述摄像头姿态估算器208可接收所述识别出的关键帧252且可优化初始摄像头
姿态估算,例如所述摄像头姿态估算250。例如,所述摄像头姿态估算器208可被配置成通过
比较所述图像帧的QVGA版本和对应于所述图像帧序列204中的先前图像帧的所述识别关键
帧252的QVGA分辨率版本来估算对应于图像帧的优化摄像头姿态256。在一些实施例中,所
述一或多个比较器220可对应于图1的比较器108。

举例而言,在对应于所述图像帧序列204中的所述图像帧中的一者的初始摄像头
姿态估算被确定之后,所述一或多个摄像头姿态估算器208可通过比较图像帧和由所述关
键帧生成器210先前生成且存储于所述存储器212中的关键帧214,例如最近生成的关键帧
或最类似关键帧(例如所述识别出的关键帧252)来生成对应于所述图像帧的优化摄像头姿
态估算256。所述存储器212可对应于图1的存储器112。确定所述图像帧223的初始摄像头姿
态估算250可包含比较所述图像帧223和先前图像帧,例如所述图像帧222或另一图像帧。所
述一或多个比较器220包含被配置成从所述存储器212选择所述关键帧214的关键帧选择器
242。在一些实施例中,所述关键帧选择器242可基于在所述摄像头姿态估算250和所述一或
多个关键帧214的特定关键帧的对应摄像头姿态估算之间的类似性选择所述关键帧214。在
一些实施例中,在所述摄像头姿态估算250和所述特定关键帧的所述对应摄像头姿态估算
之间的类似性可基于相对位置、取向或其组合之间的比较(例如,坐标和角度)。

例如,为识别相对于所述摄像头姿态估算250的最类似关键帧,所述关键帧选择器
242可比较所述摄像头姿态估算的相对位置(例如,坐标)及取向(例如,角度)和与所述关键
帧214相关联的一或多个摄像头姿态。举例而言,所述关键帧214的每一关键帧可与对应于
用于生成所述关键帧的所述图像帧序列204的特定图像帧的摄像头姿态相关联。例如,第一
关键帧可与“原点”相关联,如上所述。第二关键帧可基于在所述第一图像帧221之后的特定
图像帧生?#26705;?#19988;所述第二关键帧可与所述特定关键帧的摄像头姿态相关联。

所述关键帧选择器242可基于所述摄像头姿态估算250的相对位置和/或相对角度
识别出所述关键帧214的类似关键帧(或最类似关键帧)。例如,所述关键帧选择器242可确
定在所述摄像头姿态估算250的所述相对位置和与特定关键帧相关联的特定摄像头姿态的
相对位置之间的第一差值。另外地或可替代地,所述关键帧选择器242可确定在所述摄像头
姿态估算250的所述相对角度和所述特定摄像头姿态的相对角度之间的第二差值。所述关
键帧选择器242可确定所述关键帧214中的?#31354;?#30340;第一差值和/或第二差值,且可将产生所
述最小差值(例如,相对位置的最小差值和/或相对角度的最小差值)的所述关键帧选择为
所述最类似关键帧。

又如,所述关键帧选择器242可迭代地比较所述摄像头姿态估算250和(所述关键
帧214的)一组一或多个关键帧,直到所述关键帧选择器242识别出满足相对位置阈值和/或
相对距离阈值的特定关键帧为止。例如,所述关键帧选择器242可确定第一关键帧(例如,最
近生成的关键帧)的所述第一差值和/或所述第二差值。所述关键帧选择器242可比较所述
第一差值和所述相对位置阈值和/或可比较所述第二差值和所述相对角度阈值。如果所述
第一差值满足(小于或等于)所述相对位置阈值,和/或如果所述第二差值满足(小于或等
于)所述相对角度阈值,则所述关键帧可被识别为类似于所述摄像头姿态估算250(例如,所
述最类似),且所述摄像头姿态估算250可不与另一关键帧(例如,在所述最近生成的关键帧
之前生成的关键帧)比较。如果没有所述组一或多个关键帧满足所述相对位置阈值和/或所
述相对角度阈值,则不选择最类似关键帧,且可发指令给所述关键帧生成器201以基于对应
于所述摄像头姿态估算250的所述图像帧来生成新关键帧。

生成所述图像帧223的所述优化摄像头姿态估算256可涉及比较所述图像帧223和
存储在所述存储器212中的所述特定关键帧,例如具有最类似于与所述图像帧223的所述摄
像头姿态估算250的摄像头姿态对应的摄像头姿态的所述关键帧。在一些实施例中,所述一
或多个关键帧214的每一关键帧与对应的优化摄像头姿态估算256相关联。

所述一或多个比较器220可执行所述图像帧序列204中的特定图像帧的QVGA分辨
率版本和所述存储器212中的所述最类似关键帧的逐像素比较。基于所述特定图像帧和所
述关键帧的所述比较,所述一或多个比较器220可生成重叠比209且向所述关键帧生成器
210提供所述重叠比209。所述关键帧生成器210可比较所述重叠比209和所述重叠比阈值以
确定所述特定图像帧和所述关键帧是否类似(例如,没有有待于生成的新关键帧),或所述
特定图像帧和所述关键帧是否不类似(例如,有待于生成另外的关键帧)。例如,当所述特定
图像帧和所述关键帧不类似时,所述关键帧生成器210可生成新关键帧211。在一些实施例
中,所述重叠比209和所述重叠比阈值分别对应于图1的所述重叠比109和所述重叠比阈值
131。

所述重叠比209可由所述一或多个比较器220基于本文所述的扭曲比较来生成。另
一选择为,所述摄像头姿态估算250可基于扭曲所述图像帧以使其成为更类似于更早捕获
的(或生成的)关键帧而生?#26705;?#22914;本文中所述。在另一替代性实施例中,所述重叠比209可基
于在所述优化摄像头姿态估算256和所述关键帧214的对应摄像头姿态估算之间的比较而
生成。所述重叠比209可按照百分比、像素数或以一些其它方式来表示。所述一或多个比较
器220可确定像素强度误差,其中,所述像素强度误差指示在所述扭曲帧的一或多个像素和
在所述对的图像帧中的先前捕获帧(或所述关键帧114中的一者)的一或多个像素之间的像
素强度的差值。接着所述一或多个摄像头姿态头估算器208可确定指示在所述扭曲帧的所
述一或多个像素和所述先前捕获的帧(或所述先前的关键帧)的所述一或多个像素之间的
深度的差值的深度误差。确定像素强度和深度误差的示例另外参考图7来描述。所述像素强
度误差和深度误差可用于估算所述后来所捕获图像帧的所述摄像头姿态。

在具体实施例中,初始摄像头姿态信息可由所述处理器206的第一线程生?#26705;?#19988;优
化摄像头姿态可由所述处理器206的第二处理线程估算。所述第一处理线程和所述第二处
理线程可由所述处理器206并行(例如,同时)执行。所述第一处理线程可包含或对应于处理
器206的第一处理核,且所述第二处理核可包含或对应于所述处理器206的第二处理核。平
行处理使所述第二处理线程能够执行操作以优化摄像头姿态而无需中断如上所述的摄像
头姿态的所述初始估算。在说明性实施例中,所述一或多个摄像头姿态估算器208被配置成
由所述处理器206的不同处理线程执行。所述不同处理线程可在多个处理器核中并?#26800;?#25191;
行和/或在单个处理核中以时分?#20174;?#30340;方式执行。尽管所述第一处理线程和第二处理线程
被描述为被包含在单个处理器(例如,处理器206)中,但在其它实施方案中,所述第一处理
线程可被包含在第一处理器中且所述第二处理线程可被包含在不同于所述第一处理器的
第二处理器中。

所述一或多个摄像头姿态估算器208可执行图像帧(例如,所述第一图像帧221和
所述第二图像帧222)之间或图像帧(例如,所述第二图像帧222)和关键帧(例如,所述关键
帧214中的一者)之间的比较。例如,所述一或多个摄像头姿态估算器208可逐像素或以某种
其它方式比较所述图像帧序列204中的连续图像帧对。举例而言,所述一或多个摄像头姿态
估算器208可比较所述第一图像帧221和所述第二图像帧222。在具体实施例中,由所述一或
多个摄像头姿态估算器208执行的所述图像帧对图像帧比较可与地标或其它此些特征(例
如,边缘、顶点等)无关(例如,不基于此些特征),而是可以以每像素为基础来执行。因此,所
述一或多个摄像头姿态估算器208可执行逐像素比较而不是搜索所述图像帧序列204的图
像帧中的地标。由所述一或多个摄像头姿态估算器208执行的所述比较的结果可作为所述
摄像头姿态估算250提供给所述一或多个比较器220。

在操作期间,所述摄像头姿态估算器208可生成摄像头姿态信息,且所述关键帧生
成器210可在适当时生成新关键帧211。所述处理器206可使用此信息相对于所述图像帧序
列204的所述捕获实时或准实时生成点云数据216。在具体实施例中,由所述一或多个摄像
头姿态估算器208生成的所述摄像头姿态中的?#31354;?#25351;?#38236;?#25152;述图像帧序列204中的对应图
像帧被捕获时所述摄像头202对应于特定时间的所述定位的逼近。所述处理器206可从所述
摄像头202接收所述图像帧序列204中的一或多个另外的图像帧,且可基于所述一或多个另
外的图像帧更新所述点云数据216,例如三维点云。在具体实施例中,更新所述三维点云的
速率大体?#31995;?#20110;接收所述一或多个另外的图像帧的速率。所述第一处理线程可被配置成以
足够速率处理QQVGA图像帧以在捕获所述图像帧序列204期间运行。因此,所述点云数据216
?#19978;?#23545;于所述摄像头202的所述图像捕获操作实时或准实?#22791;?#26032;。点云数据的此实时或准
实时生成的示例另外参考图3示出。

因此,图2的所述系统可处理帧的多个分辨?#26159;?#36873;择性生成关键帧且更新点云数
据以在点云/3D模型生成装置执行准实时或实时运算。在说明性实施例中,由所述摄像头
202捕获的所述图像帧中的?#31354;?#20026;高分辨率图像帧(例如,HD分辨率),存储在所述存储器
212中的所述关键帧214为中等分辨率帧(例如,QVGA帧),且由所述一或多个摄像头姿态估
算器208执行的所述图像帧对图像帧比较以?#22836;?#36776;率执行(例如,QQVGA分辨率)。在说明性
实施例中,在所述图像帧序列104中的所述图像帧的所述QVGA和所述QQVGA版本可基于下采
样、调整大小或其它技术来生成。

参考图3,该图示出了图1的所述系统100或图2的所述系统200的运算的说明性实
施例且大体指定为300。在图3中,图像捕获装置302,例如图1的所述摄像头102或图2的所述
摄像头202沿围绕物体310,例如图3中所示出的杯的路径304(例如,弧线)移动。在所述图像
捕获装置302沿所述路径的所述移动期间,所述图像捕获装置302被摄像头姿态306A、306B、
306C、306D、306E和306F定位在图3中示出的不同位置。应注意,图3中所示的摄像头姿态
306A到306F的数量、间距和取向仅用于说明而示出,?#20063;?#24212;被视为限制性的。例如,可使用
更多摄像头姿态或更少摄像头姿态。

所述路径304可为任何配置,其基于所述图像捕获装置302如何围绕所述物体310
移动。在所述图像捕获装置302沿所述路径304从与所述摄像头姿态306A相关联的位置移动
?#25509;?#25152;述摄像头姿态306F相关联的位置时,所述物体310的3D点云可实时或准实时生?#26705;?#22914;
上面参考图1和图2所述。例如,在所述摄像头姿态306A处,其表示所述图像捕获装置302在
沿所述路径304的第一位置的初始摄像头姿态,第一局部3D点云310A可在所述图像捕获装
置302生?#26705;?#22914;在307A处所示。在所述图像捕获装置302继续沿着所述路径304移动时,可捕
获另外数据且将其用以向所述局部3D点云添加点。例如,当所述计算装置302已沿所述路径
304移动?#25509;?#25152;述摄像头姿态306D相关联的位置时,可生成更完整的3D点云310D,如在307D
处所示。在所述图像捕获装置302到达与所述摄像头姿态306F相关联的位置之后,可生成完
整的3D点云310F,如在307F处所示。

因此,图3示出了使用由所述图像捕获装置302捕获的图像的基于所述图像捕获装
置302的运动的3D点云数据的准实时或实时生成。所述3D点云数据的完整性可取决于所捕
获的所述图像的数量和所述图像捕获装置302的所述定位。例如,在生成所述3D点云数据期
间,如果未收集另外的3D点云数据,则所述3D点云数据可能不完整(例如,在所述图像捕获
装置302到达与所述摄像头姿态306F相关联的所述位置之前),这可能引起生成所述物体
310的不完整3D表示。举例而言,如果所述图像捕获装置302并不从所述物体310的所有可见
角度捕获所述物体310的图像,则所述物体310的3D表示可能不完整。在此情况下,更多图像
可需要由所述图像捕获装置302捕获,以完成或填充所述物体310的3D表示中的空隙。

参考图4,该图示出了关于图1的所述系统100或图2的所述系统200的简图400。在
图4中,水平地示出不同操作层级或处理线程。图4包含图像捕获/检索层级、第一操作模式/
处理线程、第二操作模式/处理线程和存储器运算层级。在说明性实施例中,所述图像捕获/
检索层级对应于由图1的所述摄像头102、所述摄像头202、所述图像捕获装置302或其组合
执行的操作。所述第一操作模式/处理线程可对应于由图1的所述比较器108或由图2的所述
一或多个比较器220执行的操作。所述第二操作模式/处理线程可对应于由图2的所述一或
多个比较器220执行的操作。所述存储器可对应于图1的所述存储器112或对应于图2的所述
存储器212。

如图4中所示,不同操作段可涉及处理具有不同分辨?#21097;?#20363;如HD、QQVGA和QVGA分辨
率的图像数据。在图4的所述实施例中,所述图像捕获/检索层级接收、生成和/或处理高分
辨率(HD)数据,所述第一操作模式/处理线程接收、生成和/或处理?#22836;?#36776;率(例如,QQVGA)
数据,以及所述第二操作模式/处理线程接收、生成和/或处理中等分辨率(例如,QVGA)数
据。例如,所述图像捕获/检索层级可在某一时间?#25991;?#25509;收图像帧序列(例如,图4中的源帧:
0,源帧:1,源帧:2,及源帧:3)。所述第一操作模式/处理线程?#19978;?#37319;样所述源帧中的每一者
以生成供在摄像头姿态估算中使用的对应帧(例如,图4中的帧:0,帧:1,帧:2,及帧:3)。类
似地,所述第二操作模式/处理线程?#19978;?#37319;样所述源帧中的至少一些以生成用于关键帧生
成的对应帧(例如,图4中的帧:1')。另一选择为,所述第二操作模式/处理线程可使用完整
分辨率(例如,HD)的源帧以用于关键帧生成。在具体实施例中,所述源帧的下采样版本可从
另一处理线程或从另一装置(例如,提供所述图像帧序列的装置)被提供给所述第一操作模
式/处理线程、所述第二操作模式/处理线程或这两者。

当第一帧(例如,图像帧序列中的第一图像帧),例如源帧:0被捕获或接收时,所述
第一帧可自动被用于生成关键帧,例如关键帧:0。在说明性实施例中,生成关键帧:0包含制
作所述源帧:0的QVGA分辨率?#21271;?#21450;在存储器存储所述源帧:0的所述QVGA分辨率?#21271;尽?#22914;所
述第一操作模式/处理线程所示,所述源帧中的?#31354;?#23545;应于可与前述QQVGA帧比较的QQVGA
帧。例如,如图4中所示,用于帧:1的摄像头姿态可基于帧:1与帧:0的比较来确定。类似地,
用于帧:2的摄像头姿态可基于帧:2与帧:1的比较来生?#26705;?#29992;于帧:3的摄像头姿态可基于
帧:3与帧:2的比较来生成。在说明性实施例中,所述摄像头姿态信息可如参考图2的所述一
或多个摄像头姿态估算器208来生成且可被存储在所述存储器中。

所述第二操作模式/处理线程涉及优化由所述第一操作模式/处理线程所确定的
摄像头姿态,如参考图2的所述一或多个摄像头姿态估算器208所述,且确定是否应生成新
关键帧,如参考图1的所述关键帧生成器110或图2的所述关键帧生成器210所述。例如,如图
4中所示,处于QVGA分辨率的帧:1与关键帧:0比较以确定重叠比,例如图1的所述重叠比109
或图2的所述重叠比209。基于帧:1与关键帧:0的比较,相对于帧:1的所述QQVGA版本所确定
的所述摄像头姿态可被优化以形成优化的摄像头姿态估算,如参考图2所述。接着所述优化
摄像头姿态估算被用于更新与由所述第一操作模式/处理线程生成的所述特定帧相关联的
所述摄像头姿态估算。例如,用于帧:1的所述摄像头姿态估算被更新以?#20174;?#25152;述对应的优
化摄像头姿态估算。另外,当所述生成的重叠比和重叠比阈值,例如图1的所述重叠比131的
比较指示帧:1与关键帧:0不类似时,可生成新关键帧且其被存储在所述存储器中,如参考
图1和2所述。在图4所示的所述实施例中,未生成新关键帧,因为所述重叠比和所述重叠比
阈值的所述比较指示帧:1类似于关键帧:0。

参看图5,该图示出了示出参考图4所述的操作的?#26377;?#37096;分的简图500。在图5中,已
从所述图像捕获装置接收到另外的HD源帧。例如,如图5中所示,已接收到源帧:4、源帧:5和
源帧:6。在所述第一操作模式/处理线程中,图像帧的连续对被比较以生成初始摄像头姿态
信息。所选的QVGA处理由所述第二操作模式/处理线程执行。例如,在图5中,帧:2与帧:1比
较以生成用于帧:2的初始摄像头姿态。然而,帧:2在所述QVGA分辨?#24335;?#34892;比较,因为在图4
中示出的在帧:1的所述QVGA分辨率和关键帧:0的所述QVGA分辨率之间的所述比较由于所
述更高分辨率要花费另外的处理时间。因此,所述第二处理线程可能不能够比较新帧直到
所述第一比较完成为止。因此,在图5的所述示例中,所述第二操作模式/处理线程在处理
帧:1之后处理帧:3而不是帧:2。如参考图4所述,关键帧:0可与帧:3比较以确定重叠比和所
述重叠比是否满足或并不满足所述重叠比阈值。当所述比较指示关键帧:0和帧:3不类似
时,可生成新关键帧。例如,如图5中所示,帧:3充分不同于关键帧0,因此基于帧:3生成表示
关键帧:1的新关键帧。与帧:3相关联的所述摄像头姿态估算可被更新以?#20174;?#19982;帧:3相关联
的所述优化摄像头姿态估算,以供在所述第一操作模式/处理线程中的将来比较中使用。

参看图6,该图示出了示出参考图4和5所述的操作的?#26377;?#37096;分的简图600。在图6
中,已从所述图像捕获装置接收到另外的HD源帧。例如,如图6中所示,已接收到源帧:n、源
帧:n+1、源帧n+2和源帧:n+3,其中,n可为任何非负整数。在所述第一操作模式/处理线程
中,图像帧的连续对被比较以生成初始摄像头姿态信息。所选的QVGA处理由所述第二操作
模式/处理线程执行。例如,在图6中,帧:n+1与帧:n比较以生成用于帧:n+1的初始摄像头姿
态。如参考图4和5所述,关键帧:0至关键帧:m可与帧:n+1比较以确定与帧:n+1相关联的重
叠比,其中,m为非负整数。例如,关键帧:0可与帧:n+1比较以确定第一重叠比,关键帧:1可
与帧:n+1比较以确定第二重叠比,以及关键帧:m可与帧:n+1比较以确定第三重叠比。所述
第二操作模式/处理线程被配置成基于在所述第一操作模式/处理线程中估算的所述摄像
头姿态来确定从关键帧:0到关键帧m的最类似关键帧。在特定实施方案中,所述最类似关键
帧基于从所述第一重叠比到第三重叠比之中识别的最高重叠比值来选择。如果所述最高重
叠比值并不满足所述重叠比阈值,则可生成新关键帧。例如,如图5中所示,帧:n+1充分不同
于关键帧:0至关键帧:m(使得所述重叠比并不满足所述重叠比阈值),因此表示关键帧:m+1
的新关键帧基于帧:n+1来生成。与帧:n+1相关联的所述摄像头姿态估算可被更新以?#20174;?#19982;
帧:n+1相关联的所述优化摄像头姿态估算,以供在所述第一操作模式/处理线程中的将来
比较中使用。

参看图7,该图示出了执行包含确定误帧以作为估算摄像头姿态的一部分的操作
的方法的具体实施例并且其大体被指定为700。例如,所述操作可由图2的所述一或多个比
较器220和/或图4至6的所述第一处理线程来执行。在图7的所述实施例中,参考图像702与
“当前”图像704比较。所述“当前”图像704可为摄像头姿态信息被估算的所述图像。因此,所
述“当前”图像704可对应于最近所捕获的图像帧。所述参考图像702可对应于先前所捕获的
图像帧或对应于基于先前所捕获图像帧生成/存储的关键帧。举例而言,参看图5,所述当前
图像704可对应于帧:3,以及所述参考图像702可对应于帧:2或关键帧:0。又如,所述当前图
像704可对应于帧:6以及所述参考图像702可对应于帧:5或关键帧:1。

如图7中示出,所述当前图像704可为被扭曲以生成扭曲当前图像706。所述当前图
像704可被扭曲,使得在所述扭曲过程完成之后,所述扭曲当前图像706密切接近所述参考
图像702。所述参考图像702可与所述扭曲当前图像706比较。例如,可在所述参考图像702和
所述扭曲当前图像706之间执行减法运算以生成误差图像708。所述误差图像708指示在所
述参考图像702和所述扭曲当前图像706之间的像素强度和/或深度误差。所述像素强度和
所述深度误差可被用在可由以下方程式表示的成本函数C中:


在上述方程式中,I表示对应于特定图像帧的像素强度图像。所述变量P表示来自
对应于所述特定图像帧的深度图像的所测量的3D点。所述变量n表示来自所述深度图像的
正常值(例如,正常值)。所述函数π()表示摄像头投影模型。所述变量ε表示在欧几里德se
(3)空间中的6x1矢量。所述函数T(ε)表示从se(3)到SE(3)空间的变换。所述函数向
特定点应用所述SE(3)变换。

所述成本函数C的所述结果可由图2的所述一或多个比较器220与成本阈值比较。
如果所述结果满足所述成本阈值,则所述一或多个摄像头姿态估算器208可生成摄像头姿
态估算并使所述摄像头姿态估算与所述当前图像704相关联。如果所述结果并不满足所述
成本阈值,则所述当前图像704被再次扭曲以生成修改的扭曲当前图像706以减小所述像素
强度和/或深度误差。

参考图8,该图示出了用于基于图像帧序列生成新关键帧的方法800。在说明性实
施例中,所述方法800可由图1的所述处理器106或图2的所述处理器206执行。

所述方法800包含在802接收图像帧序列的第一图像帧。例如,所述图像帧序列可
由图像捕获装置,例如图1的所述摄像头102、图2的所述摄像头202或图3的所述图像捕获装
置302捕获。所述方法800另外包含在804确定在所述第一图像帧和关键帧之间的重叠比。所
述重叠比的所述确定基于所述第一图像帧的第一像素值和所述关键帧的第二像素值的逐
像素比较。例如,所述重叠比的所述确定可由图1的所述比较器108或图2的所述一或多个比
较器220执行。所述重叠比可与在所述第一图像帧和所述关键帧之间类似的像素的比率、值
或百分比相关联。另一选择为,所述重叠比可与在所述第一图像和所述关键帧图像之间不
类似的像素的比率、值或百分比相关联。

所述方法800也包含在806比较所述重叠比和重叠比阈值。例如,所述比较可由图1
的所述关键帧生成器110或图2的所述关键帧生成器210执行。所述方法800另外包含在808
基于不满足所述重叠比阈值的所述重叠比使用所述第一图像帧生成新关键帧。例如,当所
述重叠比阈值对应于在所述第一图像帧和所述关键帧之间是类似的像素的阈值比、阈值或
阈值百分比时,当所述比较指示所述重叠比大于或等于所述重叠比阈值时,可满足所述重
叠比阈值。又如,当所述重叠比阈值对应于在所述第一图像帧和所述关键帧之间是不类似
的像素的阈值比、阈值或阈值百分比时,当所述比较指示所述重叠比小于或等于所述重叠
比阈值时,可满足所述重叠比阈值。所述新关键帧可为存储在图1的所述存储器112中的所
述新关键帧111或存储在图2的所述存储器212中的所述新关键帧211。因此,图8的所述方法
800可使得能够选择性生成关键帧,从而允许所生成的关键帧的数?#21487;?#20110;所捕获的图像帧
的数量。通过生成更少的关键帧,可更快执?#26800;?#20113;数据的生成和其它处理操作(例如,相对
于捕获图像帧的速度为实时或准实时的)。

参考图9,该图示出了用于优化图像帧的摄像头姿态估算的方法900。在说明性实
施例中,所述方法900可由图1的所述处理器106或图2的所述处理器206执行。

所述方法900包含在902接收第一图像帧和第二图像帧。所述第一图像帧和第二图
像帧可从图像捕获装置,例如图1的所述摄像头102、图2的所述摄像头202或图3的所述图像
捕获装置302接收。所述方法900包含在904使用?#22836;?#36776;率(例如,QQVGA分辨率)的所述第一
图像帧计算所述第二图像帧的摄像头姿态估算。生成所述摄像头姿态估算可由图2的所述
一或多个摄像头姿态估算器208执行。所述摄像头姿态估算可包含或可基于可由图2的所述
一或多个比较器220执行的所述第一图像帧和所述第二图像帧的比较所产生的信息。所述
方法800另外包含在806计算所述第一图像帧和关键帧之间的重叠比。所述重叠比可在图1
的所述比较器108或图2的所述一或多个比较器220计算。

所述方法900也包含在908确定所述重叠比是否大于重叠比阈值。所述确定可由图
1的所述关键帧生成器110或图2的所述关键帧生成器210执行。如果所述重叠比大于所述重
叠比阈值(例如,所述第一帧和所述关键帧是相对类似的),则所述方法900包含在910使用
中等分辨率(例如,QVGA分辨率)的所述关键帧优化所述第二图像帧的所述摄像头姿态估
算。在优化所述第二图像帧的所述摄像头姿态估算之后,所述方法900用一组新图像帧重
复,而无需基于所述第一图像帧生成新关键帧。在具体实施例中,所述组新图像帧包含所述
第二图像帧和在所述第二图像帧之后的第三图像帧。

如果所述重叠比小于所述重叠比阈值,则所述方法900包含在912使用中等分辨率
(例如,QVGA分辨率)的所述第一图像帧优化所述第二图像帧的所述摄像头姿态估算。在一
些实施方案中,当在908确定所述重叠比等于所述重叠比阈值时,所述方法可前进到910。在
其它实施方案中,当在908确定所述重叠比等于所述重叠比阈值时,所述方法可前进到912。
所述方法900另外包含在914基于所述第一图像帧生成新关键帧且将所述摄像头姿态估算
存储到存储器,例如图1的所述存储器112或图2的所述存储器212。在生成所述新关键帧之
后,所述方法900可用一组新图像帧重复。在具体实施例中,所述组新图像帧包含所述第二
图像帧和在所述第二图像帧之后的第三图像帧。当没有接收到另外的图像帧时,所述方法
900可終止。

参考图10,该图示出了用于设置特定图像帧的摄像头姿态估算的方法1000。在说
明性实施例中,所述方法1000可由图1的所述处理器106或图2的所述处理器206执行。

所述方法1000包含在1002计算第一图像帧的像素的子集的每个像素的正常值。所
述每个像素的正常值为指示垂直于对应于每个像素的相切平面的方向的矢量。像素的所述
子集可包含所述第一图像帧的下采样或调整大小?#21271;荊?#20363;如具有高分辨率(例如,HD)的所
述第一图像帧的?#22836;?#36776;率(例如,QQVGA分辨率)?#21271;尽?#25152;述方法1000也包含在1004扭曲所述
第一图像帧且比较所得扭曲图像帧的对应像素和第二图像帧(或关键帧)。例如,所述第一
图像帧可对应于图7的所述“当前”图像704,所述第二图像帧可对应于图7的所述参考图像
702,以及所述扭曲图像帧可对应于图7的所述扭曲当前图像706。所述方法1000另外包含在
1006计算在扭曲第一图像帧和所述第二图像帧(或关键帧)之间的像素强度误差和深度误
差。所述像素强度误差或所述深度误差可由图7的所述误差图像708描绘。

所述方法1000另外包含在1008基于所述像素强度误差和所述深度误差计算成本
函数。所述成本函数可由本文关于图7所述的方程式表示。所述方法1000另外包含在1010确
定所述成本函数的所述结果是否满足成本阈值。如果所述结果并不满足所述成本阈值,则
所述方法1000返回1004且所述第一图像帧被再次扭曲。如果所述结果满足所述成本阈值,
则所述摄像头姿态估算在1012设置。

参考图11,该图示出了用于估算摄像头姿态和估算优化摄像头姿态的方法1100。
所述方法1100包含在1102检索图像帧序列的第一图像帧。所述图像帧序列可用图像捕获装
置,例如所述摄像头102、所述摄像头202或所述图像捕获装置302捕获。所述方法1100也包
含在1104通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头
姿态,其中,所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。在一个实施例
中,估算所述摄像头姿态可由图2的所述一或多个摄像头姿态估算器208、图4至6的所述第
一操作模式/处理线程或其任何组合执行。所述方法1100另外包含在1106通过比较所述第
一图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态。所述关键帧可对应于
在所述图像帧序列中在所述第二图像帧之前的特定图像帧。在一个实施例中,估算所述优
化摄像头姿态可由图2的所述一或多个摄像头姿态估算器208、图4至6的所述第二操作模
式/处理线程或其任何组合执行。

图8的所述方法800、图9的所述方法900、图10的所述方法1000、图11的所述方法
1100或其组合可通过现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、处理单元例如
中央处理单元(CPU)、数?#20013;?#21495;处理器(DSP)、控制器、另一?#24067;?#35013;置、固件装置或其任何组
合来实施。例如,图8的所述方法800、图9的所述方法900、图10的所述方法1000和图11的所
述方法1100中的一或多个可由执行指令的处理器执行,如关于图12所述。

参考图12,电子装置,例如无线通信装置的特定说明性实施例的框图被描绘和大
体指定为1200。所述装置1200包含耦合至存储器1232的处理器,例如数?#20013;?#21495;处理器(DSP)
1210。所述处理器可包含或对应于图1的所述处理器106或图2的所述处理器206。所述存储
器可包含或对应于图1的所述存储器112和/或图2的所述存储器212。摄像头1262可经由摄
像头控制器1260耦合至所述处理器1210。在说明性实施例中,所述摄像头1262对应于图1的
所述摄像头102、对应于图2的所述摄像头202或对应于图3的所述图像捕获装置302。一或多
个比较器1250可使用所述处理器1210内的一或多个?#24067;?#35013;置、可由所述处理器1210执行的
软件指令或其组合实?#24103;?#22312;说明性实施例中,所述一或多个比较器1250可对应于图1的所述
比较器108、可对应于图2的所述一或多个比较器208和/或可根据图6至9的所述方法来运
行。所述一或多个比较器1250可提供比较结果(例如,在多个图像帧之间的重叠比),其由所
述处理器1210使用摄像头姿态估算逻辑1252和/或关键帧生成逻辑1254进行分析或处理。

所述存储器1232可为存储执行参考图1至11所述的一或多个操作的全部或一部分
的计算机可执行指令1256的非暂时性或非瞬时性计算机可读介质。例如,所述指令1256可
包含指令,其在由所述处理器1210执行时,致使所述处理器1210接收图像帧序列的第一图
像帧、确定在所述第一图像帧和关键帧之间的重叠比、比较所述重叠比和重叠比阈值并基
于所述重叠比并不满足阈值使用所述第一图像帧生成新关键帧,其中,所述重叠比基于所
述第一图像帧的第一像素值和所述关键帧的第二像素值的逐像素比较。如果所述重叠比满
足所述阈值,则可不生成新关键帧。如果生成新关键帧,则所述新关键帧可作为关键帧1258
被存储到所述存储器1232。由所述摄像头姿态估算逻辑1252生成的摄像头姿态估算可被存
储为摄像头姿态估算1259。

根据所公开的实施例,公开了计算机可读存储装置,例如图1的所述存储器112、图
2的所述存储器212或图12的所述存储器1232。所述计算机可读存储装置包含指令,其在由
处理器,例如图1的所述处理器106、图2的所述处理器206或图12的所述处理器1210执行时,
致使所述处理器从图像捕获装置接收图像帧序列的第一图像帧。所述图像帧序列可包含或
对应于图1的所述图像帧序列104或图2的所述图像帧序列204。所述指令也致使所述处理器
通过比较所述第一图像帧和第二图像帧来估算对应于所述第一图像帧的摄像头姿态,其
中,所述第二图像帧在所述图像帧序列中在所述第一图像帧之前。所述摄像头姿态可包含
或对应于图2的所述摄像头姿态估算250。所述指令另外致使所述处理器通过比较所述第一
图像帧和关键帧来估算对应于所述第一图像帧的优化摄像头姿态,其中,所述关键帧对应
于在所述图像帧序列中在所述第二图像帧之前的特定图像帧。所述优化摄像头姿态可包含
或对应于图2的所述优化摄像头姿态估算256。

图12也示出?#33719;?#21512;至所述数?#20013;?#21495;处理器1210和耦合?#26009;?#31034;器1228的显示控制
器1226。编解码器(CODEC)1234也可以?#33719;?#21512;至所述数?#20013;?#21495;处理器1210。扬声器1236和麦
克风1238可以?#33719;?#21512;至所述编解码器1234。

图12还指示无线接口1240可以?#33719;?#21512;至所述数?#20013;?#21495;处理器1210和耦合至天线
1242。在具体实施例中,所述处理器1210、所述显示控制器1226、所述摄像头控制器1260、所
述存储器1232、所述编解码器1234和所述无线接口1240被包含在系统级封装或片上系统装
置1222中。在具体实施例中,输入装置1230和电源1244?#33719;?#21512;至片上系统装置1222。此外,
在具体实施例中,如图12中所示,所述显示器1228、所述输入装置1230、所述扬声器1236、所
述麦克风1238、所述天线1242、所述摄像头1262和所述电源1244在所述片上系统装置1222
外部。然而,所述显示器1228、所述输入装置1230、所述扬声器1236、所述麦克风1238、所述
天线1242、所述摄像头1262和所述电源1244中的?#31354;?#21487;以?#33719;?#21512;至所述片上系统装置1222
的组件,例如接口或控制器。

结合所述实施例,公开了可包含用于接收图像帧序列的第一图像帧的装置的系
统。所述用于接收图像的装置可包含图1的所述摄像头102、图2的所述摄像头202、图3的所
述图像捕获装置302、图12的所述摄像头1262、被配置成接收所述图像帧序列的所述第一图
像帧的一或多个其它装置或电路或其任何组合。所述系统也可包含用于生成新关键帧的装
置。生成所述新关键帧包含确定在所述第一图像帧和关键帧之间的重叠比、比较所述重叠
比和重叠比阈值并基于所述重叠比并不满足所述重叠比阈值使用所述第一图像帧生成新
关键帧,其中,所述重叠比基于所述第一图像帧的第一像素值和所述关键帧的第二像素值
的逐像素比较。例如,所述用于生成所述新关键帧的装置可包含图1的所述处理器106、图1
的所述关键帧生成器110、图2的所述处理器206、图2的所述关键帧生成器210、图12的所述
处理器1210(或其组件,例如所述关键帧生成逻辑1254)、被配置成确定在所述第一图像帧
和所述关键帧之间的重叠比的一或多个其它器件或电路或其任何组合。

结合所述实施例,设备可包含用于从图像捕获装置接收图像帧序列的第一图像帧
的装置。所述用于接收的装置可包含图1的所述比较器108、图1的所述关键帧生成器110、图
2的所述图像帧缓存器207、图2的所述一或多个摄像头姿态估算器208、图12的所述摄像头
控制器1260、被配置成接收所述图像帧序列的图像帧的一或多个其它结构、装置或电路或
其任何组合。所述设备也可包含用于基于所述第一图像帧和第二图像帧的第一比较来估算
对应于所述第一图像帧的摄像头姿态的装置,其中,所述第二图像帧在所述图像帧序列中
的所述第一图像帧之前。所述用于估算所述摄像头姿态的装置可包含图2的所述一或多个
摄像头姿态估算器208、图12的所述摄像头姿态估算逻辑单元1252、被配置成估算摄像头姿
态的一或多个其它结构、装置或电路或其任何组合。

所述设备可另外包含用于基于所述第一图像帧和关键帧的第二比较来估算对应
于所述第一图像帧的优化摄像头姿态的装置,其中,所述关键帧对应于在所述图像帧序列
中在所述第二图像帧之前的特定图像帧。所述用于估算所述优化摄像头姿态的装置可包含
图2的所述一或多个摄像头姿态估算器208、图12的所述摄像头姿态估算逻辑单元1252、被
配置成估算摄像头姿态的一或多个其它结构、装置或电路或其任何组合。

本领域的技术人员应另外?#31169;猓?#32467;合本文中所公开的实施例所述的各种说明性逻
辑块、配置、模块、电路和算法步骤可被实现为电子?#24067;?#30001;处理器执行的计算机软件或两
者的组合。上文已大体上?#36879;?#31181;说明性组件、块、配置、模块、电路和步骤的功能对它们加以
描述。?#26031;?#33021;被实现为?#24067;?#36824;是处理器可执行指令取决于特定应用和强加于整个系统的设
计约束。本领域的技术人员可针对每一特定应用以不同方式实现所述的功能,但此些实施
方案决策不应被解释为引起偏离本公开的范围。

结合本文中所公开的实施例所述的方法或算法的步骤可直接在?#24067;?#20013;、由处理器
执行的软件模块中或所述两个的组合中实?#24103;?#36719;件模块可驻留在随机存取存储器(RAM)、闪
存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可
擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、紧凑光盘只读存储器(CD-
ROM)或本领域中已知的任何其它形式的非暂时?#28304;?#20648;介质中。示例?#28304;?#20648;介?#26102;获?#21512;至所
述处理器,使得所述处理器可以从所述存储介质读取信息和将信息写入所述存储介质。在
替代方案中,所述存储介质可与所述处理器整合。所述处理器和所述存储介质可驻留在专
用集成电路(ASIC)中。所述ASIC可驻留在计算装置或用户终端中。在替代方案中,所述处理
器和所述存储介质可作为分立组件驻留在计算装置或用户终端中。

提供对所公开的实施例的先前描述以使得本领域的技术人员能够制造或使用所
公开的实施例。对这些实施例的各种修改对于本领域的技术人员将显而?#20934;?#19988;可在不脱
离本公开的范围的情况下将本文中所定义的原理应用于其它实施例。因此,本公开并不意
图局限于本文中所示出的实施例,而是将被赋予本公开与如由所附权利要求书定义的所述
原理和新颖特征一致的可能的最广范围。

关于本文
本文标题:姿态估算的系统和方法.pdf
链接地址:http://www.pqiex.tw/p-6091574.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站?#22836;?/a> - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 双色球第17140期历史同期 qq分分彩计划人工在线 最好玩的手机棋牌游戏 沈阳官方四冲下载 福彩3d最有效的赚钱法子 股票融资额度 彩票站主不买彩票得原因 青海十一选五走势图今日 福建11选5即乐彩开奖 北京pk10最稳办法