平码五不中公式规律
  • / 17
  • 下载费用:30 金币  

图像处理装置和图像处理方法.pdf

关 键 ?#21097;?/dt>
图像 处理 装置 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201280069773.4

申请日:

2012.10.31

公开号:

CN104160426A

公开日:

2014.11.19

当前法律状态:

授权

有效性:

有权

法?#19978;?#24773;: 授权|||实质审查的生效IPC(主分类):G06T 19/00申请日:20121031|||公开
IPC分类号: G06T19/00(2011.01)I 主分类号: G06T19/00
申请人: 株式会社微网
发明人: 伊藤和彦
地址: 日本北海道
优先权: 2012.02.22 JP 2012-036628
专利代理机构: ?#26412;?#38134;龙知识产权代理有限公司 11243 代理人: 曾贤伟;杨继平
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201280069773.4

授权公告号:

||||||

法律状态公告日:

2017.03.15|||2014.12.17|||2014.11.19

法律状态类型:

授权|||实质审查的生效|||公开

摘要

本发明涉及增强现实(AR)技术,其能够在?#19978;?#26426;所捕获的自然背景等的数字图像上实时地合成及显示具有合适位置、尺寸及定向的CG对象,而无需手动定位操作。本发明的特征在于?#21644;?#36807;第一AR分析器(3A)分析?#19978;?#26426;(1)捕获并且包括AR标记图像的第一捕获图像,以便确定AR标记图像在视场?#26800;?#20301;置、定向和缩放;在视场?#26800;?#20301;置处虚拟放置对应的CG,以便具有AR标记图像的位置、定向和缩放;第二AR分析器(3B)计算CG对象相对于在?#19978;?#26426;随后捕获的第二捕获图像在视场?#26800;?#20301;置处虚拟放置的立体图;CG呈现单元(5)在第二捕获图像中相应位置处合成具有所述位置、定向和缩放的CG对象的图像;并且在显示器(7)上显示所合成的图像。

权利要求书

权利要求书
1.  一种AR图像处理方法,包括如下步骤:
获取?#19978;?#26426;捕获并且包括AR标记及其周边环境的第一视场?#26800;?#22330;景的第一捕获图像;
使得第一AR分析器分析由所述相机捕获并且包括AR标记图像及其周边环境的所述场景的第一捕获图像,确定所述AR标记图像在所述第一视场?#26800;?#20301;置、姿态和缩放,并且在与所述AR标记图像的位置、姿态和缩放相对应的所述第一视场中在?#23454;?#30340;位置处虚拟放置对应的CG对象;
使得第二AR分析器针对在所述第一视场中在?#23454;?#30340;位置处虚拟放置的CG对象来计算所述CG对象在由所述相机在第二视场中随后捕获的第二捕获图像?#26800;?#25152;述相机的所述第二视场?#26800;?#22806;观;
使得CG呈现单元在所述相机的第二捕获图像?#26800;氖实?#30340;位置处合成在所述第二视场?#26800;?#22806;观?#26800;?#25152;述CG对象的图像;以及
使得显?#38236;?#20803;显示所合成的图像。

2.  一种AR图像处理装置,包括:
相机;
第一AR分析器,被配置为分析由所述相机捕获并且包括AR标记及其周边环境的第一视场?#26800;?#22330;景的第一捕获图像,确定AR标记图像在所述第一视场?#26800;?#20301;置、姿态和缩放,并且在与所述AR标记图像的位置、姿态和缩放相对应的所述第一视场中在?#23454;?#30340;位置处虚拟放置对应的CG对象;
第二AR分析器,被配置为针对在所述第一视场中在?#23454;?#30340;位置处虚拟放置的所述CG对象来计算所述CG对象在由所述相机在第二视场中随后捕获的第二捕获图像?#26800;?#25152;述相机的所述第二视场?#26800;?#22806;观;
CG呈现单元,被配置为在由所述第二AR分析器获取的所述相机的第二捕获图像?#26800;氖实?#30340;位置处合成在所述第二视场?#26800;?#22806;观中所述CG对象的图像;以及
显?#38236;?#20803;,被配置为显示由所述CG呈现单元所合成的图像。

说明书

说明书图像处理装置和图像处理方法
技术领域
本发明涉及采用了AR标记和自然特征追踪方法的组合的AR图像处理装置和方法。
背景技术
在许多领域中,已经采用了这样的AR图像处理装置,所述AR图像处理装置被配置为通过使用增强现实(AR)技术来在诸如AR标记图像之类的目标对象图像上实时地合成CG对象,所述目标对象图像是由作为诸如网络相机或数字视频相机之类的图像捕获设备的相机所捕获的。
基于标记的AR技术涉及:在形成具有数字图像?#26800;?#29305;定形状的组的高级特征点中进?#26800;?#35760;;通过使用单应矩阵等来从由图像捕获设备捕获的数字图像中检测所登记的特征点;估计组的位置和姿态等;并且在与组的位置和姿态等对应的AR标记图像的位置处合成并显示CG对象。
在该AR技术中,事先登记并且具有特定形状的特征点被称为AR标记(或简称为“标记”)。通过在标记的登记中增加用于指示现实世界?#26800;?#26631;记的尺寸和姿态的额外信息,可以在一定程度上准确地估计到从图像捕获设备获取的数字图像?#26800;腁R标记的距离和所述AR标记的尺寸。而且,当在数字图像中不存在可识别的特征点时,显然无法估计标记的位置和姿态。
基于自然特征追踪的AR技术(其典型代表为PTAM(“Parallel Tracking and Mapping for Small AR Workspaces(小型AR工作空间的并行追踪和?#25104;?",牛津大学))是优秀的方法,其不需要在数字图像中事先登记特征点,并且其允许以?#25105;?#26041;向和向任何位置移动图像捕获设备,只要能够追踪特征点即可,即便当连续移动图像捕获设备的位置?#24065;?#26159;如此。
然而,由于需要首先指定基础位置,因此需要以特定方式来移动图像捕获设备,以根据随着相机的移动而捕获的多个图像?#26800;?#29305;征点的移动量来确定基础位置,并且需要额外地提供位置和姿态信息。在这个过程中,除非正确地移 动图像捕获设备,否则无法准确地确定基础平面。此外,在基于自然特征追踪的AR技术中,由于因为技术的特性而通常没有执行特征点的事先登记,因?#23435;?#27861;准确地知晓与所捕获的数字图像?#26800;?#29305;征点的尺寸和所述特征点之间的距离相关的信息。因此,存在通常使用的这样的方法,即相对于基础平面来手动设置CG对象的尺寸、方向和位置。
现有技术文献
专利文献
专利文献1:日本专利申请公开No.2011-141828
专利文献2:日本专利申请公开No.2012-003598
发明内容
本发明要解决的问题
本发明的目的在于提供一种AR图像处理方法和装置,其集成了常规的基于标记的AR技术和常规的基于自然特征追踪的AR技术这两者的优势,并且在?#19978;?#26426;捕获的自然景致等的数字图像上?#23454;?#22320;合成并显示CG对象。
更具体而言,本发明的目的在于提供一种AR图像处理方法和装置,其能够以准确的位置、尺寸和姿态而不需要手动定位操作,在?#19978;?#26426;捕获的自然景致等的数字图像上实时地合成并显示CG对象,并且即使在向各个位置并且在各个方向上移动所述相机时,其也能够实现实际再现。
解决问题的方案
本发明提供的AR图像处理方法包括如下步骤:包括如下步骤:获取?#19978;?#26426;捕获并且包括AR标记及其周边环境的固定视场?#26800;?#22330;景;使得第一AR分析器分析由所述相机捕获并且包括AR标记图像及其周边环境的所述场景的第一捕获图像,确定所述AR标记图像在所述视场?#26800;?#20301;置、姿态和缩放,并且在与所述AR标记图像的位置、姿态和缩放相对应的所述视场中在?#23454;?#30340;位置处虚拟放置对应的CG对象;使得第二AR分析器针对在第一视场中在?#23454;?#30340;位置处虚拟放置的CG对象来计算所述CG对象在由所述相机在第二视场中随后捕获的第二捕获图像?#26800;?#25152;述相机的所述第二视场?#26800;?#22806;观;使得CG呈现单元在所述相机的第二捕获图像?#26800;氖实?#30340;位置处合成在所计算出的外观?#26800;?#25152;述CG对象的图像;以及使得显?#38236;?#20803;显示所合成的图像。
此外,本发明提供的AR图像处理装置包括:相机;第一AR分析器,被配置为分析由所述相机捕获并且包括AR标记及其周边环境的视场?#26800;?#22330;景的第一捕获图像,确定AR标记图像在所述视场?#26800;?#20301;置、姿态和缩放,并且在与所述AR标记图像的位置、姿态和缩放相对应的所述视场中在?#23454;?#30340;位置处虚拟放置对应的CG对象;第二AR分析器,被配置为针对在所述第一视场中在?#23454;?#30340;位置处虚拟放置的所述CG对象来计算所述CG对象在由所述相机在第二视场中随后捕获的第二捕获图像?#26800;?#25152;述相机的所述第二视场?#26800;?#22806;观;CG呈现单元,被配置为在由所述第二AR分析器获取的所述相机的第二捕获图像?#26800;氖实?#30340;位置处合成所述CG对象在计算出的外观?#26800;?#22270;像;以及显?#38236;?#20803;,被配置为显示由所述CG呈现单元所合成的图像。
本发明的效果
本发明的AR图像处理技术能够以准确的位置、准确的尺寸和姿态而不需要手动定位操作,在?#19978;?#26426;捕获的自然景致等的数字图像上实时地合成并显示CG对象,并且即使在向各个位置并且在各个方向上移动所述相机时,其也能够实现实际再现。
附图说明
图1是示出了本发明?#26800;?#31532;一AR分析器的视景体空间和第二AR分析器的视景体空间的示意图。
图2是示出了本发明?#26800;?#31532;一AR分析器的视景体空间和以在视景体空间中检测到的标记图像的位置为原点的坐标之间的关系的示意图。
图3是在本发明中使用的AR标记和与所述AR标记对应的CG对象图像的示意图。
图4是示出了本发明?#26800;?#31532;一AR分析器的视景体空间中检测到的标记图像和与所述标记图像相对应的CG对象的示意图。
图5是通常的针孔相机模型?#26800;?#35270;景体的定义的示意图。
图6是本发明一个实施例?#26800;腁R图像处理装置的框图。
图7是本发明一个实施例?#26800;腁R图像处理方法的流程图。
图8A是实施例?#26800;腁R合成图像,并且?#19988;?#30456;机能够捕获整个AR标记的角度捕获的图像的AR合成图像。
图8B是实施例?#26800;腁R合成图像,并且?#19988;?#30456;机无法捕获AR标记的向上角度捕获的图像的AR合成图像。
具体实施方式
在下文中基于附图详细地描述本发明的实施例。
首先,描述本发明的主旨。总体而言,为了分析由诸如网络相机或数字视频相机之类的具有AR分析器的相机捕获的数字图像,并且随后基于数字图像?#26800;?#29305;定目标对象的图像上的位置信息在数字图像上合成并显示CG对象,需要将空间?#26800;腃G对象投影变换为数字图像。在执行这样的投影变换的AR分析器中,需要创建4×4的投影矩阵P和4×4的模型视图矩阵M。被配置为检测?#19978;?#26426;捕获的数字图像?#26800;?#30446;标对象图像的位置的第一AR分析器A的投影变换被表达为:
[数学公式1]
Ma'=Sa·Pa·Ma
而且,被配置为通过追踪自然特征来检测数字图像?#26800;?#30446;标对象图像的位置的第二AR分析器B的投影变换被表达为:
[数学公式2]
Mb'=Sb·Pb·Mb
这里,Sa和Sb是常量,并且是其上投影了CG对象的数字图像的?#23454;?#30340;缩放参数。投影矩阵Pa和Pb是通过预先执行相机校准而确定的投影矩阵,其作为用于图像捕获的相机的相机参数。矩阵Pa和Pb可以根据第一AR分析器A和第二AR分析器B的特性而采用彼此不同的值。这是本发明的特性之一。
鉴于作为图1中所?#38236;?#25237;影变换的几何示意图的AR分析器A、B的相应的视景体11A、11B,可以考虑这两个不同的投影变换矩阵Pa、Pb共享相同的正规化的屏幕平面SCR-A,即当使用相同的图像捕获设备(相机)时的投影平面。
在本发明中首先执?#26800;?#20108;AR分析器B的初始化处理。具体而言,执行自然特征追踪的第二AR分析器B假定?#19978;?#26426;捕获的数字图像被投影在屏幕平面SCR-A上,并且根据已知的投影矩阵Pb确定初始模型视图矩阵Mb。该操作使用例如公知的方法,在所述公知的方法中,用于捕获图像的相机的图像捕获 位置被改变,并且通过使用极线几何来根据特征点的移动量估计相机的位置。
该初始的模型视图矩阵Mb确定相机在第二AR分析器B的坐标系?#25345;械?#20301;置和姿态,并?#19968;?#20110;自然特征追踪的AR分析器根据捕获的特征点的移动量估计相机的图像捕获位置,即从这样确定的初始位置的模型视图矩阵Mb。
模型视图矩阵Mb包括缩放元素。然而,无法从与自然特征点相关的信息获取数字图像中观测到的自然特征点之间的距离和它们的尺寸。相应地,在常规的技术中,需要执行手动校正的工作,同时合成CG图像以代表数字图像上的给定值。
然而,在本发明中,作为后继步骤执行以下处理来解决?#23435;?#39064;。在第二AR分析器B的上述初始化步骤中,第一AR分析器A使用其缩放、姿态和位置事先已知的AR标记,以确定视景体,即通过投影变换Pa获取的模型视图矩阵Ma,形成?#19978;?#26426;捕获的数字图像的规格化的屏幕平面SCR-A。
如图2中所示,该模型视图矩阵Ma具有与空间?#26800;?#26041;向、尺寸和标记位置坐标相关的信息,其中所述空间与在第一AR分析器A的投影变换中捕获的数字图像中检测到的标记图像MRK的位置相对应,并且允许第一AR分析器A的视景体空间11A?#26800;?#22270;像捕获位置相对于原点O3被确定,其中视景体空间?#26800;?#26631;记图像MRK的位置被设置为原点O3。
在本发明中,仅在外观方面确定图像捕获位置。仅需要的是,正确代表数字图像?#26800;?#20301;置关系,并且无需代表几何上精确的位置。
根据上述处理,在第一AR分析器A的坐标系?#25345;?#20272;计在屏幕平面SCR-A上投影的标记图像MRK的缩放、姿态和位置,并?#19968;?#21462;第二AR分析器B的坐标系?#25345;械?#21021;始模型视图矩阵Mb。然而,总体而言,第一AR分析器A的坐标系统(原点O1)和第二AR分析器B的坐标系统(原点O2)被完全不同地解释,并且如图1中所示,包括光学中心轴的视景体11A、11B的相应配置也彼此不同。
在本发明中,考虑视景体11A、11B的正规化的屏幕平面SCR-A处于相同的位置,并且通过使用与屏幕平面SCR-A相关的空间位置信息作为线索来执行这两个坐标系?#25345;?#38388;的转换。从而在外观方面匹配在屏幕平面SCR-A上投影的?#25104;洹?#36825;意味?#29275;?#30001;第一AR分析器A估计的实?#26102;?#35760;图像MRK的位 置、姿态和尺寸用来确定与由第二AR分析器B?#25104;?#22312;屏幕平面SCR-A上的自然特征点相关的位置信息的?#23454;?#30340;位置、姿态和缩放的参数。
考虑第一AR分析器A的坐标系?#25345;械?#27169;型视图矩阵Ma的平移分量代表AR标记图像MRK的空间坐标?#26800;?#21407;点O3,并且考虑其缩放和旋转分量代表第一AR分析器A的坐标空间?#26800;?#26631;记图像MRK的尺寸和姿态。
第一AR分析器A的坐标系统的4×4投影矩阵被表达为Pa,而4×4模型视图矩阵被表达为Ma,并且假定如下方式确定Pa和Ma。
[数学公式3]
Pa=a00a100b0b1000c0c100-10]]>
Ma=e0e4e8e12e1e5e9e13e2e6e10e14e3e7e11e15]]>
a0=2n/(r-l)
b0=2n/(t-b)
a1=(r+l)(r-l)
b1=(t+b)/(t-b)
c0=-(f+n)/(f-n)
c1=-2fn(f-n)
如图5中所示,从第一AR分析器A的相机坐标系统(X,Y,Z)?#26800;?#21407;点O1的视景体柱身11A的近侧上的投影平面PJ-A1的左上顶点的坐标是(l,t,-n),左下顶点的坐标是(l,b,-n),右上顶点的坐标是(r,t,-n),右下顶点的坐标是(r,b,-n),并?#19994;?#36828;侧平面PJ-A2的距离被表达为f。
考虑这样的情形:
[数学公式4]
M[X,Y,Z,1]T
其?#26800;?#19968;AR分析器A的坐标系?#25345;械娜我?#31354;间坐标被远交转换为与屏幕平面SCR-A相对应的数字图像?#26800;腁R标记观测的位置。这是按如下方式 计算的。
首先,通过使用模型视图矩阵Ma和n,如下方式表达通过数学公式5
[数学公式5]
Ma·M[X,Y,Z,1]T
移动到屏幕平面SCR-A的位置的平移矢量Tr。
[数学公式6]
Tr(-e12,-13,-e14,+n)
如下表达考虑到投影矩阵P的投影变换的缩放参数s
[数学公式7]
s=-(1/e14·Vb)/(t-b)
这里,Vb是常量,并且是屏幕平面SCR-A的高?#20154;?#25918;。
如下表达考虑到光学中心轴的偏转分量的屏幕平面SCR-A的位置处的移动量Tp。
[数学公式8]
Tp(sx/sz·Vb·Ax,sy/sz·Vb,0)
其中,
sx=a0·e12+a1·e14
sy=b0·e13+b1·e14
sz=c0·e14+e14
这里,Ax是表达屏幕平面SCR-A在水平方向上的长宽比的常量。如果数字图像是16:9的图像,则Ax采用16/9的值,并且如果数字图像是4:3的图像,则Ax采用4/3的值。
Mp代表4×4矩阵,其用于通过使用上述的参数,在齐次坐标表示中,将第一AR分析器A的坐标系?#25345;械娜我?#31354;间坐标远交转换为
[数学公式9]
M[X,Y,Z,1]T
与屏幕平面SCR-A相对应的数字图像?#26800;腁R标记观测的位置。通过使用作为平移矢量的齐次坐标表?#38236;?×4矩阵的[Tp]和[Tr],如下方式表达Mp。
[数学公式10]
Mp=[Tp]·s·[Tr]·Ma
相应地,在第一AR分析器A的坐标系?#25345;校?#34920;达数学公式11
[数学公式11]
M[X,Y,Z,1]T
到屏幕平面SCR-A的?#25104;?#30340;ma'能够被如下方式计算。
[数学公式12]
ma'=Mq·Mp·M[X,Y,Z,1]T
仅关注于标记坐标的原点O3,如下方式计算ma'。
[数学公式13]
ma'=Mq·Mp·[0,0,0,1]T
这里,考虑在第二AR分析器B的坐标系?#25345;校?#20063;能够按照相同的方式观测到到屏幕平面SCR-A的?#25104;鋗a'。在这种情况下,类似于Pa,第二AR分析器B的投影变换矩阵Pb以如下方式定义。
[数学公式14]
Pb=a00a100b0b1000c0c100-10]]>
此外,如同在Pa的情形中,能够如下方式计算第二AR分析器B的视景体11B的顶点参数。
[数学公式15]
r=n(a1+1)/a0
l=n(a1-1)/a0
t=n(b1+1)/b0
b=n(b1-1)/b0
在第一AR分析器A和第二AR分析器B分别使用相同的长宽比的数字图像的情形中,视景体11A、11B的相应的投影平面PJ-A、PJ-B也具有相同的长宽?#21462;?#30456;应地,如果S'代表第一AR分析器A和第二AR分析器B之间的缩放解释的比率,则可以考虑下述:
[数学公式16]
S'=Pb[n(b1+1)/b0]/Pa[n(b1+1)/b0]
需要注意的是,Pb[n(b1+1)/b0]表?#38236;?#20108;AR分析器B的坐标系?#25345;械腜b的参数,而Pa[n(b1+1)/b0]表?#38236;?#20108;AR分析器B的坐标系?#25345;械腜a的参数。
在第一AR分析器A和第二AR分析器B之间的缩放解释上,直接考虑这是不同的。
当考虑在第一AR分析器A的坐标系?#25345;?#20272;计的标记图像MRK的位置表?#38236;?#20108;AR分析器B的坐标系?#25345;械目?#38388;坐标的原点位置O3时,通过第二AR分析器B的投影变换,能够将第二AR分析器B的坐标系统的原点位置[0,0,0,1]T观测为ma'。相应地,
[数学公式17]
S'·ma'=Mo·Mb[0,0,0,1]T
被设置。这里,Mo是4×4常量矩阵。
由于在上述的公式中已知ma',因此能够根据以下公式确定常量矩阵Mo。
[数学公式18]
Mo=S'·ma'/Mb·[0,0,0,1]T
当偏移矩阵Mo被应用于第二AR分析器B的投影变换时,能够确定以下的公式。
[数学公式19]
Mb'=Sb·Pb·Mo·Mb
上述确定的常量矩阵Mo是表?#38236;?#20108;AR分析器B的投影变换Mb?#26800;?#21407;点处的标记图像MRK的姿态和尺寸的偏移矩阵,其中由第一AR分析器A分析的标记图像MRK的位置被设置为原点。在执行常规的自然特征追踪的第二AR分析器B中,用户在观看合成屏幕的同时手动确定该偏移矩阵。
接下来,使用图6和图7来描述本发明的一个实施例的AR图像处理装置以及由该装置执?#26800;腁R图像处理方法。图6示出了实施例的AR图像处理装置的配置。AR图像处理装置主要包括相机1、基于AR标记识别的第一AR分析器3A、基于自然特征追踪的第二AR分析器3B、CG呈现单元5和显?#38236;?#20803;7。
基于AR标记识别的第一AR分析器3A分析?#19978;?#26426;1捕获并且包括AR 标记图像MRK的视场?#26800;?#22330;景的捕获图像,确定视场?#26800;腁R标记图像MRK的位置、姿态和缩放,在与AR标记图像的位置、姿态和缩放对应的相机1的视景体11A?#26800;氖实?#30340;位置处再现对应的CG对象OBJ,并且确定AR标记图像MRK的坐标。第一AR分析器3A包括:存储部3A1(其被配置为存储对于存储部3A1的该处理所需的各条数据)、相机校准部3A3、AR标记图像分析部3A5、远交转换矩阵确定部3A7、?#25104;?#22788;理部3A9和投影变换处理部3A11。由投影变换处理部3A11算出的第一AR分析器3A的视景体空间11A?#26800;腁R标记图像的空间坐标数据被输出到第二AR分析器3B。
第二AR分析器3B是基于自然特征追踪的AR分析器,并且包括存储部3B1(其被配置为存储各条数据)、相机校准部3B3、初始化处理部3B5(其被配置为执?#26800;?#20108;AR分析器3B的初始化处理)、模型视图矩阵估计部3B7、投影变换处理部3B9和偏移矩阵确定部3B11。
CG呈现单元5包括存储部51(其被配置为存储各条数据)、相机图像输入部53(其被配置为接收?#19978;?#26426;1捕获的图像)、CG对象图像生成部55(其被配置为通过使用第二AR分析器3B的偏移矩阵Mo来生成CG对象图像)、以及CG图像合成部57。CG呈现单元5的CG图像合成部57合?#19978;?#26426;图像输入部53的相机捕获图像和CG对象图像生成部55的对象图像两者,并且将合成图像输出到显?#38236;?#20803;7。
如图8B中所示,显?#38236;?#20803;7显示这样的图像,在所述图像中,以对应的姿态在对应的位置处在相机1的当前视场中捕获的图像上合成CG对象OBJ。
接下来,使用图7来描述上述的AR图像处理装置执?#26800;腁R图像处理方法。总而言之,实施例的AR图像处理方法的特征在于,所述方法包括:使得相机1捕获包括AR标记MRK及其周边环境的视场?#26800;?#22330;景:使得第一AR分析器3A分析?#19978;?#26426;1捕获并且包括AR标记图像MRK及其周边环境的场景的捕获图像,确定视景体11A?#26800;腁R标记图像MRK的位置、姿态和缩放,在与AR标记图像ARK的位置、姿态和缩放对应的视景体空间?#26800;氖实?#30340;位置处虚拟放置对应的CG对象OBJ;使得第二AR分析器3B计算?#19978;?#26426;1当前捕获的图像的相机的视场?#26800;腃G对象OBJ的外观;在?#19978;?#26426;1捕获的图像?#26800;氖实?#30340;位置处以?#23454;?#30340;外观来合成所述CG对象OBJ;并且在显示器7 上显示所合成的图像。
更具体而言,执行以下步骤。
步骤1:存储与AR标记相对应的CG对象。
步骤3?#21644;?#36807;分别在第一AR分析器3A和第二AR分析器3B?#26800;?#30456;机校准来计算相机参数Pa、Pb,并且所述相机参数Pa、Pb被分别存储在存储部3A1、3B1中。
步骤5:在第二AR分析器3B中,执行初始化处理以确定模型视图矩阵Mb并存储模型视图矩阵Mb。
上述步骤被包括在预处理中。
步骤7:包括AR标记MRK的场景被?#19978;?#26426;1捕获,并且所捕获的图像被输入到第一AR分析器3A中。
步骤9、步骤11:在第一AR分析器3A中,根据所捕获的图像?#19994;紸R标记图像MRK,算出AR标记图像MRK的位置、姿态和缩放,并且确定视图模型矩阵Ma。
步骤13:在第一AR分析器3A中,通过使用矩阵Pa、Ma将AR标记图像MRK投影到屏幕SCR-A上,并且投影的结果被输出到第二AR分析器3B。
步骤15:在第二AR分析器3B中,确定标记图像MRK的偏移矩阵Mo。
步骤17:在第二AR分析器中,确定与相机的当前位置和中心轴方向相对应的CG对象的外观(位置、姿态和缩放),CG对象被投影到屏幕平面SCR-A上,并且投影的结果被输出到CG呈现单元5。
步骤19:从存储部51读取CG对象OBJ的图像数据,通过使用来自第二AR分析器3B的投影变换矩阵的数据来生成CG对象的当前相机角度处观看到的CG对象的形状的图像,并且该图像是在?#19978;?#26426;1当前捕获的图像中对应的空间坐标位置处合成的CG。
步骤21:在显?#38236;?#20803;7上显示合成图像。
在本发明的实施例中,基于标记识别的第一AR分析器3A能够自动确定目标标记图像MRK的位置、姿态和尺寸,并且即使?#21271;?#35760;图像MRK处于屏幕之外时,基于自然特征追踪的第二AR分析器3B也能够继续进行位置估计。相应地,如图8中所示,可以在正确的位置处以正确的尺寸和正确的姿态,在 ?#19978;?#26426;1捕获的数字图像?#26800;?#33258;然景致上实时地合成并显示CG对象OBJ而无需手动定位操作,并且可以向各个位置并且以各个方向移动相机1。在图8A中,针对该标记图像MRK合成并显示与其中捕获了几乎整个AR标记的标记图像MRK相对应的CG对象OBJ。在屏幕的右上部分中,还捕获了汽车CAR的前保险杠的下部的小部分。在这种情形中,即使当相机被向上移动并?#20918;?#35774;置到其中在屏幕中没有包括AR标记的相机角度时(如图8B中所示),也能够以如同从移动的相机中观看到的那样的位置和姿态来在相机捕获的图像上合成并显示CG对象OBJ。具体而言,在图8B的CG合成图像中,?#28304;?#36739;高位置的视线中观看的方式来显示图8A的图像中所?#38236;腃G对象OBJ。此外,在图8B中,还应当注意的是,由于相机1的向上移动,因此在图像中捕获了几乎整个的汽车CAR。
附图标记的解释
MRK   AR标记(图像)
OBJ   CG对象
1     固定的相机
3A    第一AR分析器
3B    第二AR分析器
5     CG呈现单元
7     显?#38236;?#20803;

关于本文
本文标题:图像处理装置和图像处理方法.pdf
链接地址:http://www.pqiex.tw/p-6124275.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 中原福彩官方手机客户端下载 北京十一选五开奖结果走势图表 南通棋牌游戏手机版 qq分分彩漏洞刷钱 江西多乐彩视频开奖 沈阳中彩票 qq分分彩波色什么意思 青海十一选五今天开奖结果查询 北京11选5走势图带连线 2012最新股票推荐