平码五不中公式规律
  • / 20
  • 下载费用:30 金币  

一种视频监控的成像方法及系统.pdf

关 键 ?#21097;?/dt>
一种 视频 监控 成像 方法 系统
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201510752614.X

申请日:

2015.11.06

公开号:

CN106683163A

公开日:

2017.05.17

当前法律状态:

实审

?#34892;?#24615;:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06T 17/00申请日:20151106|||公开
IPC分类号: G06T17/00; H04N7/18 主分类号: G06T17/00
申请人: 杭州海康威视数字技术股份有限公司
发明人: 许爱秋; 汪?#21363;?
地址: 310051 浙江省杭州市滨江区阡陌路555号
优?#28909;ǎ?/td>
专利代理机构: ?#26412;?#20013;政联科专利代理事务所(普通合伙) 11489 代理人: 谢磊
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201510752614.X

授权公告号:

|||

法律状态公告日:

2017.06.09|||2017.05.17

法律状态类型:

实质审查的生效|||公开

摘要

本发明公开了一种视频监控的成像方法及系统,所述方法包括:对同一监控场景中的同一监控对象进行图像采集,以获取多个视角下的监控图像数据;对所述监控图像数据进行三维信息恢复,生成所述监控对象在所述监控场景中的三维空间图像,所述三维空间图像包括具有三维空间?#24674;?#20449;息的三维点集;对所述三维点集进行显示变换处理,生成所述监控对象在所述监控场景中的显示数据;对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据,得到所述显示视窗所属空间内的视窗显示数据。本发明通过对显示数据进行空间划分和优化,能够提高计算速度?#22270;?#23569;显示时间,同时解决了重复构建三维显示数据的问题。

权利要求书

1.一种视频监控的成像方法,该方法包括:
对同一监控场景中的同一监控对象进行图像采集,以获取多个视角下
的监控图像数据;
对所述监控图像数据进行三维信息恢复,生成所述监控对象在所述监
控场景中的三维空间图像,所述三维空间图像包括具有三维空间?#24674;?#20449;息
的三维点集;
对所述三维点集进行显示变换处理,生成所述监控对象在所述监控场
景中的显示数据;
对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示视窗
所属空间外的显示数据,得到显示视窗所属空间内的视窗显示数据,以供
显示。
2.根据权利要求1所述的方法,其中,对所述监控图像数据进行三
维信息恢复的步骤,包括:
获取图像坐标与世界坐标系的?#25104;?#20851;系;
获得三维空间中的监控对象到像平面的投影关系,生成透视成像变换
矩阵;
利用所述透视成像变换矩阵计算每个像素所对应的方向;
计算每个所述像素的当前?#24674;?#22788;的深度值,得到深度图;
利用所述深度图恢复出的三维坐标点建立三维图,得到三维空间图像。
3.根据权利要求2所述的方法,其中,所述透视成像变换矩阵M为:
<mrow> <mi>M</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>m</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>13</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>14</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>23</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>24</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>32</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>33</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>34</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
满足如下关系: <mrow> <msub> <mi>Z</mi> <mi>c</mi> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>m</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>13</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>14</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>23</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>24</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>32</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>33</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>34</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中,xw,yw,zw为世界坐标系中的坐标,u,v为图像坐标系中的坐标,M
为透视变换矩阵,mij为透视矩阵的元素,Zc为摄像机坐标系中的Z坐标。
4.根据权利要求1所述的方法,其中,对所述三维点集进行显示变
换处理,包括如下步骤:
在显示系统的显示窗口下创建显示视窗;
对所述三维点集进行坐标变换,将世界坐标转换为图像坐标;
创建Do类型显示数据对象,将所述三维点集划分为多种类型的Do数
据;
在所述显示视窗下创建管理节点,以管理所述显示数据;
在管理节点下创建根节点,每个所述显示数据作为一个子节点以由所
述根节点管理。
5.根据权利要求4所述的方法,其中,所述多种类型的Do数据,包
括:点数据、多段线数据和多边形数据。
6.根据权利要求1所述的方法,其特征在于,在所述对显示视窗下的
显示数据进行空间划分得到视窗显示数据的步骤之后,还包括:基于所述
显示视窗的缩放比例,对所述视窗显示数据中的图元数据进行优化的步骤。
7.根据权利要求6所述的方法,其特征在于,所述对所述视窗显示数
据中的图元数据进行优化的步骤包括:
计算所述显示视窗的缩放比例;
基于所述显示视窗的缩放比例,对所述视窗显示数据中的图元数据进
行减少或增加。
8.根据权利要求1或6所述的方法,其特征在于,所述对显示视窗下
的显示数据进行空间划分的步骤包括:
基于所述显示视窗所属的空间,对所述显示视窗下的所述显示数据进
行空间划分以过滤掉所述显示视窗所属空间外的显示数据,得到显示视窗
所属空间内的视窗显示数据。
9.一种视频监控的成像系统,包括:
至少一个图像采集设备(1),用于对同一监控场景中的同一监控对象
进行图像采集,获取多个视角下的监控图像数据;
三维图像创建模块(2),用于对所述监控图像数据进行三维信息恢复,
生成所述监控对象在所述监控场景中的三维空间图像,所述三维空间图像
包括具有三维空间?#24674;?#20449;息的三维点集;
显示数据创建模块(3),用于对所述三维点集进行显示变换处理,得
到所述监控对象在所述监控场景中的显示数据;
空间划分模块(4),用于对显示视窗下的所述显示数据进行空间划分
以过滤掉所述显示视窗所属空间外的显示数据,得到所述显示视窗所属空
间内的视窗显示数据,以供显示。
10.如权利要求9所述的系统,其中,所述三维图像创建模块(2)
获取图像坐标系与世界坐标系的?#25104;?#20851;系,获得三维空间中的监控对象到
像平面的投影关系,生成透视成像变换矩阵,利用所述透视成像变换矩阵
计算每个像素所对应的方向,计算每个所述像素的当前?#24674;?#22788;的深度值,
得到深度图,利用所述深度图恢复出的三维坐标点建立三维图,得到三维
空间图像。
11.如权利要求10所述的系统,其中,所述透视成像变换矩阵为:
<mrow> <mi>M</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>m</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>13</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>14</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>23</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>24</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>32</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>33</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>34</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
满足如下关系: <mrow> <msub> <mi>Z</mi> <mi>c</mi> </msub> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>u</mi> </mtd> </mtr> <mtr> <mtd> <mi>v</mi> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>m</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>12</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>13</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>14</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>22</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>23</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>24</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>m</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>32</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>33</mn> </msub> </mtd> <mtd> <msub> <mi>m</mi> <mn>34</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>x</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>z</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>
其中,xw,yw,zw为世界坐标系中的坐标,u,v为图像坐标系中的坐标,mij
为透视矩阵的元素,Zc为摄像机坐标系中的Z坐标。
12.如权利要求9所述的系统,其中,所述显示数据创建模块(3)
在显示窗口下创建显示视窗,对所述三维点集进行坐标变换,将世界坐标
转换为图像坐标,创建Do类型显示数据对象,将所述三维点集划分为多
种类型的Do数据,在显示视窗下创建管理节点,以管理所述显示数据,在
管理节点下创建根节点,每个显示数据会作为一个子节点以由所述根节点
管理。
13.如权利要求12所述的系统,其中,所述多种类型的Do数据,包
括:点数据、多段线数据和多边形数据。
14.如权利要求9所述的系统,其中,所述空间划分模块(4)基于所
述显示视窗所属的空间,对所述显示视窗下的所述显示数据进行空间划分
以过滤掉所述显示视窗所属空间外的显示数据,得到显示视窗所属空间内
的视窗显示数据。
15.如权利要求9-14中任一项所述的系统,其特征在于,还包括图元
调整模块(5),用于基于所述显示视窗的缩放比例,对所述视窗显示数据
中的图元数据进行优化。
16.如权利要求15所述的系统,其中,所述图元调整模块(5)计算
所述显示视窗的缩放比例,基于所述显示视窗的缩放比例,对所述视窗显
示数据中的图元数据进行减少或增加。

说明书

一种视频监控的成像方法及系统

技术领域

本发明涉及视频监控技术领域,特别涉及一种视频监控的成像方法及系
统。

背景技术

三维监控对象的虚拟表示是基于计算机对其进行各种性能或者特性的关
键的分析,利用获取的低维信号经过处理表示成具有一定三维空间?#24674;?#20449;息
的图形图像,借助于各种深度恢复算法重建三维空间信息。

传统的三维建模的方法可以分为两类:

第一类是人工通过计算机软件进行三维几何建模,?#28909;?#20511;助于计算机图
形软件进行实现。

第二类是利用获取的低维信号,经过处理表示成具有一定三维空间?#24674;?br />信息的图?#20301;?#32773;图像,借助于各种深度恢复算法重建三维空间信息。

传统的成像的存在一种缺陷:将三维空间中的信息?#25104;?#21040;二维空间中,
因而丢失了距离深度信息。如果需要从二维空间恢复出三维空间的信息,则
必须要在得到二维的方位信息的同时得到距离信息,才能够准确的恢复三维
信息。

目前采用最多的一种三维重建方法是双目立体视觉方法,其主要利用图
像采集设备在不同?#24674;?#22788;对同一个场景中物体进行观测时产生的视差进行深
度信息的恢复。但是双目立体视觉也还存在着许多问题:例如同名点的查找
与匹配是整个双目视觉的关键和难点,另外双目视觉还面临着计算速度和精
度之间的问题,需要专门的硬件进行加速计算。

上述的三维重建方法采用的深度恢复算法中获取透视成像模型中的转换
矩阵,采用的是直接线性变换法。但该方法没有考虑图像采集设备的系统误
差,不能够进行系统误差的纠正,另外它也不能够消除镜头的相差,因而标
定精度一般。此外,显示数据也存成重复构建多余数据,效?#23454;?#30340;问题。

发明内容

本发明的目的是提供一种视频监控的成像方法及系统,本发明通过对显
示数据进行空间划分和优化,能够提高计算速度?#22270;?#23569;显示时间,同时解决
了重复构建三维显示数据的问题。

为实现上述目的,本发明提供一种视频监控的成像方法,该方法包括:
对同一监控场景中的同一监控对象进行图像采集,以获取多个视角下的监控
图像数据;对所述监控图像数据进行三维信息恢复,生成所述监控对象在所
述监控场景中的三维空间图像,所述三维空间图像包括具有三维空间?#24674;?#20449;
息的三维点集;对所述三维点集进行显示变换处理,生成所述监控对象在所
述监控场景中的显示数据;对显示视窗下的所述显示数据进行空间划分以过
滤掉显示视窗所属空间外的显示数据,得到所述显示视窗所属空间内的视窗
显示数据,以供显示。

其中,对所述监控图像数据进行三维信息恢复的步骤,包括:获取图像
坐标系与世界坐标系的?#25104;?#20851;系;获得三维空间中的监控对象到像平面的投
影关系,生成透视成像变换矩阵;利用所述透视成像变换矩阵计算每个像素
所对应的方向;计算每个所述像素的当前?#24674;?#22788;的深度值,得到深度图;利
用所述深度图恢复出的三维坐标点建立三维图,得到三维空间图像。

其中,所述透视成像变换矩阵为:


满足如下关系:

其中,xw,yw,zw为世界坐标系中的坐标,u,v为图像坐标系中的坐标,mij为
透视矩阵的元素,Zc为摄像机坐标系中的Z坐标。

其中,对所述三维点集进行显示变换处理,包括如下步骤:在显示系统
的显示窗口下创建显示视窗;对所述三维点集进行坐标变换,将世界坐标转
换为图像坐标;创建Do类型显示数据对象,将所述三维点集划分为多种类型
的Do数据;在所述显示视窗下创建管理节点,以管理所述显示数据;在管理
节点下创建根节点,每个显示数据会作为一个子节点以由所述根节点管理。

其中,所述多种类型的Do数据,包括:点数据、多段线数据和多边形数
据。

其中,在所述对显示视窗下的显示数据进行空间划分得到视窗显示数据
的步骤之后,还包括:基于所述显示视窗的缩放比例,对所述视窗显示数据
中的图元数据进行优化的步骤。

其中,所述对所述视窗显示数据中的图元数据进行优化的步骤包括:计
算所述显示视窗的缩放比例?#25442;?#20110;所述显示视窗的缩放比例,对所述视窗显
示数据中的图元数据进行减少或增加。

其中,所述对显示视窗下的显示数据进行空间划分的步骤包括:基于所
述显示视窗所属的空间,对所述显示视窗下的所述显示数据进行空间划分以
过滤掉所述显示视窗所属空间外的显示数据,得到显示视窗所属空间内的视
窗显示数据。

根据本发明的另一方面,提供了一种视频监控的成像方法,包括:至少一
个图像采集设备,用于对同一监控场景中的同一监控对象进行图像采集,获
取多个视角下的监控图像数据;三维图像创建模块,用于对所述监控图像数
据进行三维信息恢复,生成所述监控对象在所述监控场景中的三维空间图像,
所述三维空间图像包括具有三维空间?#24674;?#20449;息的三维点集;显示数据创建模
块,用于对所述三维点集进行显示变换处理,得到所述监控对象在所述监控
场景中的显示数据;空间划分模块,用于对显示视窗下的所述显示数据进行
空间划分以过滤掉所述显示视窗所属空间外的显示数据,得到所述显示视窗
所属空间内的视窗显示数据,以供显示。

其中,所述三维图像创建模块获取图像坐标系与世界坐标系的?#25104;?#20851;系,
获得三维空间中的监控对象到像平面的投影关系,生成透视成像变换矩阵,
利用所述透视成像变换矩阵计算每个像素所对应的方向,计算每个所述像素
的当前?#24674;?#22788;的深度值,得到深度图,利用所述深度图恢复出的三维坐标点
建立三维图,得到三维空间图像。

其中,所述透视成像变换矩阵为:


满足如下关系:

其中,xw,yw,zw为世界坐标系中的坐标,u,v为图像坐标系中的坐标,mij为
透视矩阵的元素,Zc为摄像机坐标系中的Z坐标。

其中,所述显示数据创建模块在显示窗口下创建显示视窗,对所述三维
点集进行坐标变换,将世界坐标转换为图像坐标,创建Do类型显示数据对象,
将所述三维点集划分为多种类型的Do数据,在显示视窗下创建管理节点,以
管理所述显示数据,在管理节点下创建根节点,每个显示数据会作为一个子节
点以由所述根节点管理。

其中,所述多种类型的Do数据,包括:点数据、多段线数据和多边形数
据。

其中,所述空间划分模块基于所述显示视窗所属的空间,对所述显示视
窗下的所述显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示
数据,得到显示视窗所属空间内的视窗显示数据。

优选的,还包括图元调整模块,用于基于所述显示视窗的缩放比例,对
所述视窗显示数据中的图元数据进行优化。

其中,所述图元调整模块计算所述显示视窗的缩放比例,基于所述显示
视窗的缩放比例,对所述视窗显示数据中的图元数据进行减少或增加。

如上所述,本发明通过将图像采集设备设置在不同?#24674;?#22788;的,对同一个
场景中的同一监控对象进行观测时产生的视差进行三维信息的恢复,准确的
获取监控?#27573;?#20869;的具有一定三维空间?#24674;?#20449;息的图像。在获得三维点集构造
的显示数据后,将显示数据加入到显示系统的管理中,让显示系统来维护显
示数据的关系,由显示系统对显示数据进行空间划分以提高图像成型的计算
速度,并对所述显示数据进行优化管理,调整显示数据中的图元数据,进而
减少显示数据的显示时间,并解决了重复构建三维显示数据的问题。

附图说明

图1是根据本发明实施方式的视频监控的成像方法的流程图;

图2是根据本发明实施方式的三维信息恢复的流程图;

图3是根据本发明实施方式的三维坐标恢复示意图;

图4是根据本发明实施方式的显示变换处理的流程图;

图5是根据本发明实施方式的显示变换处理的架构图;

图6是根据本发明实施方式的显示创建关系示意图;

图7是根据本发明实施方式的Do类型对象创建示意图;

图8是根据本发明实施方式的绘制图元数目的示意图;

图9是根据本发明实施方式的监控的成像系统的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施
方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例
性的,而并非要限制本发明的?#27573;А?#27492;外,在以下说明中,省略了对公知结
构?#22270;?#26415;的描述,以避免不必要地混淆本发明的概念。

图1是根据本发明实施方式的视频监控的成像方法的流程图。

如图1所示,本发明提供一种视频监控的成像方法,所述方法包括如下
步骤:

步骤S1,对同一监控场景中的同一监控对象进行图像采集,获取多个视
角下的监控图像数据。

本步骤中,对同一监控场景下的同一监控对象,在其周围设置多个图像
采集设备,通过所述多个图像采集设?#22797;?#22810;个角度对该监控对象进行图像采
集或拍摄,例如,可以从两个(或多个)视点观察同一监控对象,以获取多
个视角下的监控图像数据,此时图像采集设备采集的监控图像数据是二维的。

步骤S2,对所述监控图像数据进行三维信息恢复,生成所述监控对象在
所述监控场景中的三维空间图像,所述三维空间图像包括具有三维空间?#24674;?br />信息的三维点集。

如前所示,在将三维空间中的物体?#25104;?#21040;二维空间中时,丢失了距离深
度信息,如果需要从二维空间恢复出三维空间的信息,必须要在得到二维的
方位信息的同时得到距离深度信息,才能够准确的恢复出三维信息。

本步骤中,对采集到的多个视角下的二维监控图像数据进行三维信息恢
复,具体的,通过三角测量原理计算图像像素间的?#24674;?#20559;差(即视差)来获
取监控对象的三维信息,以生成所述监控对象在所述监控场景中的三维空间
图像,即生成整个监控场景中深度图像中各点变换后构建的一个世界坐标系
中的三维点集。

需要说明的是,视差是?#22797;?#26377;一定距离的两个视点上观察同一个目标所
产生的方向差异。从目标看两个点之间的夹角,叫做这两个视点的视差角,
两视点之间的距离称作基线。只要知道视差角度和基线长度,就可以计算出
目标和观测者之间的距离。

这里,所述三维空间图像包括具有三维空间?#24674;?#20449;息的三维点集,即具
有三维空间?#24674;?#20449;息的三维点集构成了所述三维空间图像。

步骤S3,对所述三维点集进行显示变换处理,生成所述监控对象在所述
监控场景中的显示数据。

本步骤中,通过三维信息恢复后得到具有一定三维空间?#24674;?#20449;息的三维
空间图像,在获得三维点集后需要构造显示数据,具体的,对所述三维点集进
行显示变换处理,例如,经过坐标变化处理,将所述三维点集划分为多种类
型的Do数据等,生成所述监控对象在所述监控场景中的显示数据。

步骤S4,对显示视窗下的所述显示数据进行空间划分以过滤掉所述显示
视窗所属空间外的显示数据,得到所述显示视窗所属空间内的视窗显示数据,
以供显示。

本步骤中,将所述显示数据加入到显示系统中,在显示系统的显示窗口
下创建显示视窗,对所述显示视窗下的所述显示数据进行空间划分,目的是
过滤掉所述显示视窗所属空间外的显示数据,保留所述显示视窗所属空间内
的视窗显示数据,用于显示。

图2是根据本发明优选实施方式的三维信息恢复的流程图。

如图2所示,本发明优选实施例中,对所述监控图像数据进行三维信息
恢复的步骤,包括下述步骤:

步骤S21,获取图像坐标系与世界坐标系的?#25104;?#20851;系。

本步骤中,获取图像坐标系中u,v与世界坐标系中XwYwZw的?#25104;?#20851;系,本
步骤也称摄像机标定。

摄像机标定是为了确定摄像机的图像坐标系与物体空间中的世界坐标系
之间的对应关系,以便确定空间坐标系中物理点同它在图像平面上像素点之
间的对应关系。只有当摄像机被恰当的标定以后,才能根据图像平面中的二
维坐标?#39057;?#20986;对应监控对象在三维空间中的实际?#24674;謾?#32463;过标定的图像采集
设备包括更多关于场景以及图像的信息,能够有助于后续进行三维轮廓(三
维空间图像)的重建。步骤S22,获得三维空间中的监控对象到像平面的投
影关系,生成透视成像变换矩阵。

本步骤包括下述处理流程:

具体地,获得三维空间中的监控对象到像平面的投影关系,即为透视成
像模型。优选的透视成像模型是小孔成像模型,在该优选实施例中,将三维
空间往二维空间中的?#25104;?#34920;示为如下的一个透视线性变换:


其中,xw,yw,zw为世界坐标系中的坐标,u,v为图像坐标系中的坐标,mij为
透视成像变换矩阵的元素,Zc为摄像机坐标系中的Z坐标。

通过下式计算u,v方向视线与水平面的交点:


整理得到下式(3):


上述式(3)中,设定u,v,zw=0求解得到世界坐标系中的xw,yw。

根据上述的式(3)中得到的世界坐标系xw,yw以及式(2)计算的u,v方
向视线与水平面的交点,可以得到透视成像变换矩阵,即透视成像模型中的
转换矩阵M,记为式(4):


步骤S23,利用所述透视成像变换矩阵计算每个像素所对应的方向。

本步骤中,利用透视成像变换矩阵计算世界坐标系中的Zw,就可知道每个
像素所对应的方向,即像素的矢量。

通过遍历所有u,v,计算出xw,yw后形成两个矩阵Xu,v,Yu,v。

进而,通过下式(5)计算出Xu,v,Yu,v,0距离摄像机的距离:

distance(u,v)=sqrt((xu,v-xc)2+(yu,v-yc)2+(Hc)2) (5)

其中,xc,yc,Hc表示摄像机的?#24674;?#22352;标,Hc表示摄像机在世界坐标系中的
深度值。

步骤S24,计算各个像素的当前?#24674;?#22788;的深度值,得到深度图。

具体的,依据立体几何中的等比三角形理论,配合深度摄像机采集到的
像素相对于摄像机的深度值Hc,计算深度图像中图像点u,v对应真实世界中的
坐标,即该图像的深度信息depth(u,v),参考图3所示。

步骤S25,利用所述深度图恢复出的三维坐标点建立三维图,得到三维
空间图像。

本步骤中,利用每个像素的深度值恢复得到对应的三维坐标,进而形成
三维空间图像,?#28205;?#22270;3。

图3是根据本发明优选实施方式的三维信息恢复的流程示意图。

如图3所示,本发明优选实施方式的三维信息恢复方法中,利用每个像
素的深度值恢复得到对应的三维坐标,得到图像在世界坐标系中的三维点集,
进而构建出三维空间图像,本步骤包括下述处理流程:

设深度信息与同一像素点地面投影点距离之间的比值为:


该像素点所对应世界坐标系中的三维空间坐标可通过下式计算为:

xw=(xu,v-xc).ratio(u,v)+xc (7)

yw=(yu,v-yc).ratio(u,v)+yc (8)

Hw=(1-ratio(u,v)).Hc (9)

其中,(xw,yw,Hw)表示像素点在世界坐标系中的三维坐标,遍历各个像
素点,最后形成三维坐标的集合,即三维点集。

利用深度图恢复出的三维坐标点x,y,H,建立f(x,y)=H的三维图可得到
三维空间信息。即,利用深度图恢复出的三维坐标点建立三维图,得到三维
空间图像。

具体地,首先初始化一幅高程图IL×W=0,大小为房间的长度L和宽度W;
对深度图像的u,v像素点依据上述方法计算xw,yw,zw,在轮廓高程图中通过式
I(xw,yw)=max(I(xw,yw),zw)将?#24674;?#20026;xw,yw的像素进行更新?#25345;擔?#28982;后逐点遍历
深度图像,即可生成整个监控场景中深度图像中各点变换后构建的世界坐标
系中的三维点集。

图4是根据本发明优选实施方式的显示变换处理的流程图。

三维点集需要经过一系列的转换得到基本的点、多段线、多边形等基本
元素,这样就能精简数据结构来方便显示系统进行管理和显示,得到监控对
象在该监控场景中的显示数据。

如图4所示,所述三维点集进行显示变换处理的步骤,包括:

步骤S31,在显示系统的显示窗口下创建显示视窗。

步骤S32,对所述三维点集进行坐标变换,将世界坐标转换为图像坐标。
本步骤中。首先,在显示系统的显示窗口下创建显示视窗。然后,对三维点
集进行坐标变换,将世界坐标转换为图像坐标。具体地,三维点集例如在
GraphicSystem中先进行坐标变换的处理,将世界坐标转为图像坐标。

步骤S33,创建Do类型显示数据对象,将所述三维点集划分为多种类型
的Do数据。

具体地,创建Do类型显示数据对象,根据数据的不同可以将三维点集划
分为多种类型的Do数据,包括点,多段线,多边形等基础数据。

步骤S34,在所述显示视窗下创建管理节点,以管理所述显示数据。

步骤S35,在管理节点下创建根节点,每个所述显示数据作为一个子节
点以由所述根节点管理。

本步骤中,将Do数据加入到GsModule的根节点GsRoot进行管理。具体
地,将Do数据加入到GsModule的根节点GsRoot,视图改变(平移,缩放)
时显示数据的修改,建立视图与显示数据的关系,使每个视图都有各自的显
示数据生成并管理这些数据,方便管理图元数据。

在一优选实施方式中,在所述对显示视窗下的显示数据进行空间划分得
到视窗显示数据的步骤之后,还包括:步骤S5,基于所述显示视窗的缩放比
例,对所述视窗显示数据中的图元数据进行优化的步骤。

所述对所述视窗显示数据中的图元数据进行优化的步骤包括:

步骤S51,计算所述显示视窗的缩放比例。

本步骤中,对所述显示视窗的缩放比例进行计算,目的是根据所述显示
视窗的缩放比例对所述显示视窗中的图元数据进行调整。

步骤S52,基于所述显示视窗的缩放比例,对所述视窗显示数据中的图
元数据进行减少或增加。

本步骤中,基于所述显示视窗的缩放比例,来调整所述视窗显示数据中
的图元数据,例如,当视窗的缩放比例缩小时,减少图元数据中的基本点的
数量;当视窗的缩放比例放大时,增加图元数据中的基本点的数量。

图5是根据本发明可选实施方式的显示变换处理的架构图。

如5所示,GraphicSystem表示显示系统,用于管理图像数据,显示系
统包括Gs模块,Gi模块、Do模块、Gr模块以及Si模块。在得到步骤S32
获得的图元的基本元素后,由Gs模块构建成像系统的管理,用于生成显示数
据并显示,以及进行视口管理。而后由Gi模块,构成成像系统的坐标变换,
用于执行坐标变换操作,以及进行视窗比例计算等几何运算功能。经过Gi
模块的运算,将转换后的图元元素由Do模块进行构成成像系统的数据构建,
构建显示对象即Do显示对象,而该对象在显示系统的视口中显示需要借助Gr
模块,进行成像系统的图像渲染,借助显卡或CPU对成像显示对象进行渲染。
而为了提高显示系统的缩放和平移效?#21097;琒i模块为显示数据完成了成像系统
的空间划分。

使用Si模块对该视窗下的显示数据进行空间划分。具体地,将显示数据
作为空间对象,通过空间划分使空间对象与空间?#24674;?#36827;行?#25104;洌?#27599;个显示数
据都会有对应的空间索引。把当前屏幕的坐标作为一个搜索矩形,在平移和
缩放的过程中,迅速的?#19994;?#19982;该矩形相交的所有空间对象集合,以此来提高
显示的效?#30465;?br />

图6是根据本发明实施方式的显示创建关系示意图。

如图6所示,首先在显示窗口下创建显示视窗GsView,然后将三维点集
数据交给GsView创建显示数据对象(Do模块类型的数据),GsView会创建
GsModule来管理显示数据。

GsModule为示显示视窗对应的模型管理类,负责视窗和显示数据的管理。
在GsModule下创建根节点GsRoot,每个显示数据会作为一个GsNode被
GsRoot所管理。

图7是根据本发明实施方式的Do类型对象创建示意图。

如图7所示,多种类型的Do数据,包括:点数据(Do Point Object)、
多段线数据(Do Polyline Object)和多边形数据(Do Polygon Object)等
基础数据。

然后,在显示视窗GsView下创建管理节点GsModule,以管理显示数据,
包括下述操作。

首先,加入GsModule的GsRoot节点进行管理

在管理节点GsModule下创建根节点GsRoot,每个显示数据会作为一个
子节点以由根节点GsRoot管理。

具体地,将Do数据加入到GsModule的根节点GsRoot进行管理。

其次,Si模块进行空间划分

对显示视窗GsView下的显示数据进行空间划分。具体地,使用Si模块
对该显示视窗下的显示数据进行空间划分。

图8是根据本发明实施方式的绘制图元数目的示意图。

目前传统显示效?#23454;停?#20854;根本存在的是由于两个关键的因素,绘制图元
个数k,每个图元绘制所需要的元素v。如图8所示,当需要绘?#39057;?#22270;元数目
k多时,需要绘?#39057;?#22270;元的元素v相应的就会增加,这样就无可避免的就会
使生成显示数据的成本变大,一旦窗口触发缩放或者移动时,就会极大的消
耗内存,影响显示的速?#21462;?br />

本发明采用以下手段来解决?#23435;?#39064;:

1)Gs模块依据Gi模块计算当前视窗的缩放比例。由于此前已经由Si模
块对显示数据进行了空间划分,因此能?#24674;?#36947;当前视窗所属的空间内的显示
数据,可以过滤掉显示视窗所属空间外的外的图元,?#25442;?#21046;空间内的图元,
即只创建该空间内的显示数据对象。

2)减少绘制元素v的个数,当显示缩小到一定程度时,人眼能够看到的
图元只有一个基本轮廓。而传统的做法是?#36824;?#32553;放比例如何都统一生成所有
的图元的每个基本元素,而本发明则可以依据缩放的比例,来调整创建显示
对象所需要的基本元素,即减少Do对象中维护的基本点的数量。

如上所述,详?#38468;?#32461;了本发明的视频监控的成像方法,通过将图像采集
设备设置在不同?#24674;?#22788;对同一个场景中的同一监控对象进行图像采集时产生
的视差进行三维信息恢复,形成三维空间图像。在获得三维点集后构造显示
对象,将显示数据加入到显示系统的管理中,让显示系统对显示数据进行空
间划分和优化,提高图像成型的计算速度,减少三维显示数据的显示时间,
同时解决三维显示数据的重复构建问题。

图9是根据本发明实施方式的智能视频监控的成像系统的结构图。

如图9所示,本发明的视频监控的成像系统,包括:至少一个图像采集
设备1、三维图像创建模块2、显示数据创建模块3和空间划分模块4。

至少一个图像采集设备1,将所述图像采集设备1置于不同?#24674;?#22788;,用
于对同一监控场景中的同一监控对象进行图像采集,从不同角度拍摄监控对
象,获取多个视角下的图像数据。

通常来说,单个图像采集设备1采集的图像数据仅为二维数据或平面数
据,不足以构成?#34892;?#30340;三维图像数据。本发明利用多个图像采集设备对采集
的多个视角下的图像数据进行深度恢复,并获取二维图像数据所在?#24674;?#30340;深
度信息,进而构成三维空间图像。当通过一个图像采集设备对监控对象进行
图像采集时,可以将这一个图像采集设备转换不同角度,这样也能够实现一
个图像采集设备多角度对监控对象进行拍摄的目的。

本发明中,所述图像采集设备可以是摄像机或其他能够进行图像采集的
设备。

三维图像创建模块2关联到所述图像采集设备1,用于对所述图像数据
进行三维信息恢复,生成所述监控对象在所述监控场景中的三维空间图像,
所述三维空间图像包括具有三维空间?#24674;?#20449;息的三维点集。

具体地,三维图像创建模块2获取图像坐标系与世界坐标系的?#25104;?#20851;系。

三维图像创建模块2获取图像坐标系中u,v与世界坐标系中XwYwZw的映
射关系,

本步骤中,获取图像坐标系中u,v与世界坐标系中XwYwZw的?#25104;?#20851;系,本
步骤也称摄像机标定。

摄像机标定是为了确定摄像机的图像坐标系与物体空间中的世界坐标系
之间的对应关系,以便确定空间坐标系中物理点同它在图像平面上像素点之
间的对应关系。只有当摄像机被恰当的标定以后,才能根据图像平面中的二
维坐标?#39057;?#20986;对应监控对象在三维空间中的实际?#24674;謾?#32463;过标定的图像采集
设备包括更多关于场景以及图像的信息,能够有助于后续进行三维轮廓(三
维空间图像)的重建。

三维图像创建模块2获得三维空间中监控对象到像平面的投影关系,生
成透视成像变换矩阵。

具体地,三维图像创建模块2获得三维空间中的监控对象到像平面的投
影关系,即为透视成像模型。理想的透视成像模型是小孔成像模型。将理想
情况下三维空间往二维空间中的?#25104;?#30475;作是如下的一个透视线性变换:


其中,xw,yw,zw为世界坐标系中的坐标,u,v为图像坐标系中的坐标,mij为
透视成像变换矩阵的元素,Zc为摄像机坐标系中的Z坐标。

三维图像创建模块2计算u,v方向视线与水平面的交点,如下:


整理得到如下二元一次方程:


设u,v,zw=0时通过上述方程(3)求解得到世界坐标系中的xw,yw。

根据上述式(3)中得到的世界坐标系xw,yw以及式(2)计算的u,v方向
视线与水平面的交点,三维图像创建模块2可以得到透视成像变换矩阵,即
透视成像模型中的转换矩阵M,记为:


三维图像创建模块2利用透视成像变换矩阵计算世界坐标系中的Zw,就
可知道每个像素所对应的方向,即像素的矢量。

通过遍历所有u,v,计算出xw,yw后形成两个矩阵Xu,v,Yu,v。

进而,计算出Xu,v,Yu,v,0距离摄像机的距离:

distance(u,v)=sqrt((xu,v-xc)2+(yu,v-yc)2+(Hc)2) (5)

其中xc,yc,Hc表示摄像机的?#24674;?#22352;标,Hc表示的是摄像机在世界坐标系中
的深度值。

三维图像创建模块2计算每个像素的当前?#24674;?#22788;的深度值,得到深度图,
利用深度图恢复出的三维坐标点建立三维图,得到三维空间图像。

依据立体几何中的等比三角形理论,配合深度摄像机采集到的像素相对
于摄像机的深度值Hc,三维图像创建模块2计算深度图像中图像点u,v对应真
实世界中的坐标,即该图像的深度信息depth(u,v),设深度信息与同一像素点
地面投影点距离之间的比值为:


该图像点所对应世界坐标系中的三维空间的坐标由立体几何可计算为:

xw=(xu,v-xc).ratio(u,v)+xc (7)

yw=(yu,v-yc).ratio(u,v)+yc (8)

Hw=(1-ratio(u,v)).Hc (9)

其中,(xw,yw,Hw)表示实际的像素点在世界坐标系中的三维坐标,遍历
各个像素点,最后形成三维坐标的集合,即三维点集。

三维图像创建模块2利用深度图恢复出的三维坐标点x,y,H,建立
f(x,y)=H的三维图,即可得到三维空间信息。即,利用深度图恢复出的三维
坐标点建立三维图,得到三维空间图像。

具体地,生成三维轮廓。首先初始化一幅高程图IL×W=0,I为高程图的
名称,大小为房间的长度L和宽度W;对深度图像的u,v点依据上述方法计算
xw,yw,zw,在轮廓高程图中将?#24674;?#20026;xw,yw处进行更新?#25345;擔?br />I(xw,yw)=max(I(xw,yw),zw),然后逐点遍历深度图像,即可生成整个监控场景中
深度图像中各点变换后构建的一个世界坐标系中的三维点集。

显示数据创建模块3关联到所述三维图像创建模块2,用于对三维点集
进行显示变换处理,得到所述监控对象在所述监控场景中的显示数据。

显示数据创建模块3在显示窗口下创建显示视窗,对三维点集进行坐标
变换,将世界坐标转换为图像坐标。

具体地,显示数据创建模块3对三维点集在GraphicSystem会先进行坐
标变换的处理,将世界坐标转为图像坐标。

显示数据创建模块3创建Do类型显示数据对象,将三维点集划分为多种
类型的Do数据。多种类型的Do数据,包括:点数据(Do Point Object)、
多段线数据(Do Polyline Object)和多边形数据(Do Polygon Object)等
基础数据。

显示数据创建模块3在显示视窗GsView下创建管理节点GsModule,以
管理显示数据。显示数据创建模块3在管理节点GsModule下创建根节点
GsRoot,每个显示数据会作为一个子节点以由根节点GsRoot管理。具体地,
将Do数据加入到GsModule的根节点GsRoot进行管理。显示视图改变(平移,
缩放)时显示数据的修改,建立显示视图与显示数据的关系,使每个视图都
有各自的显示数据生成并管理这些数据,方便管理图元数据。

空间划分模块4关联到所述显示数据创建3,用于对显示视窗下的所述
显示数据进行空间划分以过滤掉所述显示视窗所属空间外的显示数据,得到
所述显示视窗所属空间内的视窗显示数据,以供显示。具体的,所述空间划
分模块4基于所述显示视窗所属的空间,对所述显示视窗下的所述显示数据
进行空间划分以过滤掉所述显示视窗所属空间外的显示数据,得到显示视窗
所属空间内的视窗显示数据。

这里,对该显示视窗下的显示数据进行空间划分,将显示数据作为空间
对象,通过空间划分使空间对象与空间?#24674;?#36827;行?#25104;洌?#27599;个显示数据都会有
对应的空间索引。把当前屏幕的坐标作为一个搜索矩形,在平移和缩放的过
程中,迅速的?#19994;?#19982;该矩形相交的所有空间对象集合,以此来提高显示的效
?#30465;?br />

在一优选实施方式中,本发明的成像系统还包括:图元调整模块5与所
述空间划分模块4关联,用于基于所述显示视窗的缩放比例,对所述视窗显
示数据中的图元数据进行优化。具体的,所述图元调整模块5计算所述显示
视窗的缩放比例,基于所述显示视窗的缩放比例,对所述视窗显示数据中的
图元数据进行减少或增加。对所述显示视窗的缩放比例进行计算的目的是根
据所述显示视窗的缩放比例对所述显示视窗中的图元数据进行调整。例如,
当视窗的缩放比例缩小时,减少图元数据中的基本点的数量;当视窗的缩放
比例放大时,增加图元数据中的基本点的数量。

如上所述,详?#38468;?#32461;了本发明的视频监控的成像系统,通过将图像采集
设备设置在不同?#24674;?#22788;对同一个场景中的同一监控对象进行图像采集时产生
的视差进行三维信息恢复,形成三维空间图像。并对显示数据进行空间划分
和优化,提高了图像成型的计算速度,减少了三维显示数据的显示时间,同
时解决了三维显示数据的重复构建问题。

如上所述,本发明提供了一种视频监控的成像方法及系统,基于使用结
构光编码技术的摄像头,利用摄像头在不同?#24674;?#22788;对同一个场景中的同一监
控对象进行观测时产生的视差进行三维信息恢复,准确的获取监控?#27573;?#20869;的
具有一定三维空间?#24674;?#20449;息的图像。在获得三维点集后构造显示对象,将显
示数据加入到显示系统的管理中,让显示系统来维护显示数据的关系,对显
示数据进行空间划分和图元数据优化,?#26723;?#20102;图元数目和控制图元的基本元
素。本发明可以提高图像成?#22270;?#31639;速度,三维建模后的显示数据构成可以方
便用户管理,必要时才进行绘制使显示简单高效,减少显示时间。

应当理解的是,本发明的上述具体实施方式仅仅用于示例?#36816;?#26126;或解释
本发明的原理,而?#36824;?#25104;对本发明的限制。因此,在不偏离本发明的精神和
?#27573;?#30340;情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保
护?#27573;?#20043;内。此外,本发明所附权利要求旨在涵盖落入所附权利要求?#27573;?#21644;
边界、或者这种?#27573;?#21644;边界的等同形式内的全部变化和修改例。

关于本文
本文标题:一种视频监控的成像方法及系统.pdf
链接地址:http://www.pqiex.tw/p-6079705.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网?#26223;?#26435;所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 彩票平台骗局 北京pk10是国家彩票吗 零点棋牌官方免费下载 北京pc28开奖官方网站 七星彩复式排列号 新加坡二分彩软件 极速11选5投注技巧 山东11选5全双遗漏 福建11选5复式玩法 安徽11选5遗漏查询