平码五不中公式规律
  • / 11
  • 下载费用:30 金币  

一种三维人体稠密表面运动场重建方法.pdf

关 键 ?#21097;?/dt>
一种 三维 人体 稠密 表面 运动场 重建 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201710009779.7

申请日:

2017.01.06

公开号:

CN106683181A

公开日:

2017.05.17

当前法律状态:

实审

?#34892;?#24615;:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06T 17/00申请日:20170106|||公开
IPC分类号: G06T17/00; G06T7/33(2017.01)I; G06T7/246(2017.01)I; G06T7/10(2017.01)I; G06K9/62 主分类号: G06T17/00
申请人: 厦门大学
发明人: 曾鸣; 刘新国; 郑家祥; 程轩
地址: 361005 福建省厦门市思明?#19979;?22号
优先权:
专利代理机构: 厦门南强之路专利事务所(普通合伙) 35200 代理人: 马应森
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201710009779.7

授权公告号:

|||

法律状态公告日:

2017.06.09|||2017.05.17

法律状态类型:

实质审查的生效|||公开

摘要

一种三维人体稠密表面运动场重建方法,涉及计算机视觉中的三维重建技术。三维模板数据准备与预处理;数据采集与初始配准;人体表面数据的分段跟踪与配准;人体表面数据的精确跟踪与重建。采用单个RGBD传感器进行人体稠密表面运动场重建,所提出的方法能?#34892;?#20811;服单个RGBD传感器采集数据不完整导致重建失败的困?#36873;?#39318;先利用人体语义信息对跟踪模板进行分割,然后利用分段跟踪的方法约束了初始配准时的优化空间,大幅度提高匹配稳定性。最后再放弃分段约束?#36816;?#26377;顶点进行优化,实现精确跟踪与重建。使单个RGBD传感器进行稠密的动态人体表面重建成为可能,设备成?#38236;?#24265;,操作简单,重建稳定,重建质量高。

权利要求书

1.一种三维人体稠密表面运动场重建方法,其特征在于包括以下步骤:
1)三维模板数据准备与预处理;
2)数据采集与初始配准;
3)人体表面数据的分段跟踪与配准;
4)人体表面数据的精确跟踪与重建。
2.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤1)中,
所述三维模板数据准备与预处理的具体方法为:对三维人体模板数据进行语义分割,同时
生成用于后续人体变形的动态节点,并根据语义分割对节点进行聚类。
3.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤1)中,
所述三维模板数据准备与预处理的具体步骤为:
(1)根据人体结构,对人体模板分为10个刚体部分以及8个非刚体部分;
(2)对人体模板上顶点根据空间分布进行均匀采样,生成动态节点;
(3)对于同属一个刚体部分的动态节点进行聚类,同一个聚类的动态顶点具有相同的
变换。
4.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤2)中,
所述数据采集与初始配准的具体方法为:布置RGBD传感器进行数据采集。利用RGBD传感器
采集深度数据和视频数据,同时计算模板数据与第一帧数据的刚体变?#36824;?#31995;,进行初始配
准;
5.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤2)中,
所述数据采集与初始配准的具体步骤为:
(1)选择4m×3m×3m以上的空间,设置RGBD传感器,准备进行数据采集;
(2)被采集人摆出标准姿态;
(3)RGBD传感器开始进行视频和深度数据采集,被采集人可开始进行各种运动动作,数
据被离线录制到计算机硬盘中;
(4)对于采集数据的第一帧,利用基于彩色和深度图的骨架识别算法定位出人的头部、
左?#24103;?#21491;?#24103;?#24038;脚和右脚的位置,利用人的头部、左?#24103;?#21491;?#24103;?#24038;脚和右脚的位置5点信息,以
及人体模板上对应的人的头部、左?#24103;?#21491;?#24103;?#24038;脚和右脚的位置5点信息,计算人体模板与第
一帧数据的初始配准信息。
(5)利用步骤(4)计算的配准信息,将人体模板配准到第一帧数据的坐标系下。
6.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤3)中,
所述人体表面数据的分段跟踪与配准的具体方法为:基于人体的语义分割,采用分段刚体
变换策略,对分属于人体每个部分的动态节点集估算其各自的刚体变换,实现人体各部分
的配准。
7.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤3)中,
所述人体表面数据的分段跟踪与配准的具体步骤为:
(1)对于每个时刻t,计算时刻t与时刻t+1图像的光流图。根据光流图找出图像对应关
系,同时求出深度图的对应关系。得到t时刻和t+1时刻的顶点初始对应;
(2)对于每个时刻,对人体模板上的动态节点,施加刚性变换约束、?#20132;?#32422;束以及与步
骤(1)求出的顶点对应关系,同?#24065;?#27714;属于人体同一部分的动态节点应有相同的变换,构建
能量函数,通过能量最优化,求得每个动态节点的最优变换;
(3)求得动态节点最优变换之后,对于人体模板上的其他节点,可根据其与近邻动态节
点的关系,用近邻动态节点的变换插值出自身的变换,从而求得整个人体模板所有表面顶
点的运动。
8.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤4)中,
所述人体表面数据的精确跟踪与重建的具体方法为:在步骤3)的基础上,进一步对人体模
板上的所有动态节点各自估计其变换,使之与所采集的数据匹配,实现精确配准。随后,对
所有时刻重建出的数据进行滤波处理,得到?#20132;?#31283;定的重建结果。
9.如权利要求1所述一种三维人体稠密表面运动场重建方法,其特征在于在步骤4)中,
所述人体表面数据的精确跟踪与重建的具体步骤可为:
(1)在步骤3)的基础上,对于每一帧数据,对于人体模板上的每个动态节点,计算其与
当前帧深度数据的最近顶点,构建最近邻对应关系;
(2)对人体模板上的动态节点,施加刚性变换约束、?#20132;?#32422;束以及与步骤(1)求出的顶
点对应关系,放弃动态节点聚类,构建能量函数,通过能量最优化,求得每个动态节点的最
优变换;
(3)求得动态节点最优变换之后,对于人体模板上的其他节点,可根据其与近邻动态节
点的关系,用近邻动态节点的变换插值出自身的变换,从而求得整个人体模板所有表面顶
点的运动;
(4)对于同一时刻的相邻顶点,以及相邻时刻的顶点,采用双向双边滤波对重建出来的
人体表面动态数据进行?#20132;?#33719;取?#20132;?#31283;定的重建结果。

说明书

一种三维人体稠密表面运动场重建方法

技术领域

本发明涉及计算机视觉中的三维重建技术,尤其涉及一种三维人体稠密表面运动
场重建方法。

背景技术

获取人体的运动几何表面是计算机图形学、计算机视觉等领域中的核心问题之
一。此技术可?#36824;?#27867;应用于数字娱?#24103;?#30005;子商务、科学模拟、医学研究等诸多领域,具有重要
经济价值。

动态人体重建技术扩展了静态人体三维重建的研究对象,它?#24066;?#34987;重建人体处于
运动状态,并通过视频或深度数据恢复出每一时刻人体的三维形状。主要技术分为多视图
重建与单视图重建两大类。多视图重建方法从不同角度采集动态人体数据,能够全面获取
不同方位的人体数据,重建准确性、完整性较高。多视图重建方法往往需要大量的视频、深
度数据采集设备,造价昂贵。同时,不同设备之间还需要进行位置标定与时间同步,对设备
的配置与操作均要求较高,不方便使用。而单视图重建的方法仅从一个角?#28982;?#21462;人体动态
数据,对于其他角度的人体数据可通过人体结构等先验信息进行推断。单视图重建方法所
需设备相对简单,无需进行设备之间的定标与同步,操作方便,易于普及推广。但因其仅采
集一个角度信息,重建结果难免不准确,动态重建过程中容易出现跟踪漂移、丢失等现象,
重建过程不稳定效果不理想。

目前,常用的单视图动态人体重建技术主要包括(1)基于深度相机(例如Kinect)
的人体骨架跟踪方法。这种方法利用机器学习技术,根据深度相机获取的深度数据估计人
体骨架,这种方法虽然用于游戏等领域,但其骨架计算容易出错,受遮挡影响较大。而且这
种方法仅能恢复人体运动的简单骨架信息,无法恢复人体运动的稠密表面信息,例如胸腔
的起伏?#21462;?2)基于图像/深度数据轮廓的表面跟踪算法。这种方法仅利用在相机?#19978;?#32467;果
的外层轮廓信息,同样无法准确恢复人体表面信息。(3)基于模板的非刚体跟踪方法。利用
人体模板的非刚体变?#31283;?#25311;合所采集的视频/深度数据,不可见区域可通过模板的先验信
息进行补全,能够实现人体运动表面的恢?#30784;?#29616;有方法往往因运动幅度过大或数据噪声影
响,使模板拟合过程出现无匹配或者在优化过程中陷入局部极小值,重建过程经常容易失
败,效果不理想。

发明内容

本发明的目的在于针对现有动态人体表面采集与重建技术存在的上述不足,提供
一种三维人体稠密表面运动场重建方法。

本发明包括以下步骤:

1)三维模板数据准备与预处理;

在步骤1)中,所述三维模板数据准备与预处理的具体方法可为:对三维人体模板
数据进行语义分割,同时生成用于后续人体变形的动态节点,并根据语义分割对节点进行
聚类。

所述三维模板数据准备与预处理的具体步骤可为:

(1)根据人体结构,对人体模板分为10个刚体部分以及8个非刚体部分(关节处);

(2)对人体模板上顶点根据空间分布进行均匀采样,生成动态节点;

(3)对于同属一个刚体部分的动态节点进行聚类,同一个聚类的动态顶点具有相
同的变换。

2)数据采集与初始配准;

在步骤2)中,所述数据采集与初始配准的具体方法可为:布置RGBD传感器进行数
据采集。利用RGBD传感器采集深度数据和视频数据,同时计算模板数据与第一帧数据的刚
体变?#36824;?#31995;,进行初始配准;

所述数据采集与初始配准的具体步骤可为:

(1)选择4m×3m×3m以上的空间,设置RGBD传感器,准备进行数据采集;

(2)被采集人摆出标准姿态(与人体模板姿态接近);

(3)RGBD传感器开始进行视频和深度数据采集,被采集人可开始进行各种运动动
作,数据被离线录制到计算机硬盘中;

(4)对于采集数据的第一帧,利用基于彩色和深度图的骨架识别算法定位出人的
头部、左?#24103;?#21491;?#24103;?#24038;脚和右脚的位置,利用人的头部、左?#24103;?#21491;?#24103;?#24038;脚和右脚的位置5点信
息,以及人体模板上对应的人的头部、左?#24103;?#21491;?#24103;?#24038;脚和右脚的位置5点信息,计算人体模
板与第一帧数据的初始配准信息;

(5)利用步骤(4)计算的配准信息,将人体模板配准到第一帧数据的坐标系下。

3)人体表面数据的分段跟踪与配准;

在步骤3)中,所述人体表面数据的分段跟踪与配准的具体方法可为:基于人体的
语义分割,采用分段刚体变换策略,对分属于人体每个部分的动态节点集估算其各自的刚
体变换,实现人体各部分的配准。

所述人体表面数据的分段跟踪与配准的具体步骤可为:

(1)对于每个时刻t,计算时刻t与时刻t+1图像的光流图。根据光流图找出图像对
应关系,同时求出深度图的对应关系。得到t时刻和t+1时刻的顶点初始对应;

(2)对于每个时刻,对人体模板上的动态节点,施加刚性变换约束、?#20132;?#32422;束以及
与步骤(1)求出的顶点对应关系,同?#24065;?#27714;属于人体同一部分的动态节点应有相同的变换,
构建能量函数,通过能量最优化,求得每个动态节点的最优变换;

(3)求得动态节点最优变换之后,对于人体模板上的其他节点,可根据其与近邻动
态节点的关系,用近邻动态节点的变换插值出自身的变换,从而求得整个人体模板所有表
面顶点的运动;

4)人体表面数据的精确跟踪与重建;

在步骤4)中,所述人体表面数据的精确跟踪与重建的具体方法可为:在步骤3)的
基础上,进一步对人体模板上的所有动态节点各自估计其变换,使之与所采集的数据匹配,
实现精确配准。随后,?#36816;?#26377;时刻重建出的数据进行滤波处理,得到?#20132;?#31283;定的重建结果。

所述人体表面数据的精确跟踪与重建的具体步骤可为:

(1)在步骤3)的基础上,对于每一帧数据,对于人体模板上的每个动态节点,计算
其与当前帧深度数据的最近顶点,构建最近邻对应关系;

(2)对人体模板上的动态节点,施加刚性变换约束、?#20132;?#32422;束以及与步骤(1)求出
的顶点对应关系,放弃动态节点聚类,构建能量函数,通过能量最优化,求得每个动态节点
的最优变换;

(3)求得动态节点最优变换之后,对于人体模板上的其他节点,可根据其与近邻动
态节点的关系,用近邻动态节点的变换插值出自身的变换,从而求得整个人体模板所有表
面顶点的运动;

(4)对于同一时刻的相邻顶点,以及相邻时刻的顶点,采用双向双边滤波对重建出
来的人体表面动态数据进行?#20132;?#33719;取?#20132;?#31283;定的重建结果。

本发明实现了一种基于单个RGBD传感器的三维人体稠密表面运动场重建方法,它
分为4个主要阶段:(1)对三维人体模板进行语义预分割,确定属于同一刚性部分(例如上
臂)的表面顶点,以及属于关节部分的表面顶点;(2)对人体模板与RGBD传感器采集的视频/
深度数据进行初始配准,使之在同一坐标系下;(3)利用分段模板的语义信息,对同一分段
的顶点进行整体约束,对RGBD传感器提供的视频和深度信息进行跟踪,计算三维人体各部
分的分段运动信息;(4)在分段信息基础上,不再考虑模板的分段信息,对模板上的每个顶
点进行非刚体变形,对人体表面上所有结点准确估计表面运动形变,得到每个时刻的三维
人体表面形状。本发明使用的设备简单,具有真实、便利、高效等优点,同时能够实现稳定的
人体表面跟踪,得到高质量动态人体表面重建效果,具有较高实用价值。

本发明的有益效果是:本发明采用单个RGBD传感器进行人体稠密表面运动场重
建,所提出的方法能?#34892;?#20811;服单个RGBD传感器采集数据不完整导致重建失败的困?#36873;?#39318;先
利用人体语义信息对跟踪模板进行分割,然后利用分段跟踪的方法约束了初始配准时的优
化空间,大幅度提高匹配稳定性。最后再放弃分段约束?#36816;?#26377;顶点进行优化,实现精确跟踪
与重建。本发明使单个RGBD传感器进行稠密的动态人体表面重建成为可能,设备成?#38236;?#24265;,
操作简单,重建稳定,重建质量高。

附图说明

图1为本发明所使用人体模板的一个实例,以及人体分段和动态节点实例。

图2为人体模板配准初始化的示意图。

图3为本发明所重建出的动态人体表面序列中其中一帧-例1。

图4为本发明所重建出的动态人体表面序列中其中一帧-例2。

图5为本发明所重建出的动态人体表面序列中其中一帧-例3。

具体实施方式

为了更好理解本发明的技术方?#31119;?#20197;下结合附图和实施示例做进一步详?#24863;?#36848;。

本发明的核心是通过单个RGBD传感器获取人体运动的视频和深度数据,并利用这
些数据对人体稠密表面进行运动场重建,得到完整的三维人体运动表面序列。

本发明实施例包括如下步骤:

1.三维模板数据准备与预处理(此步骤只需准备一次,数据可重复使用):对三维
人体模板数据进行语义分割,同时生成用于后续人体变形的动态节点,并根据语义分割对
节点进行聚类。

(1.1)首先获取三维网格人体模板数据,采用实时距离场合成技术(例如
KinectFusion)技术对静态人体进行采集,利用采集后的数据作为模板数据。如图1所示,根
据人体结构,对模板数据进行分段,分为10个刚体部分以及8个非刚体部分(关节处)。此步
采用手工标记方式,用三维建模软件(Maya)对属于同一分段的进行标记.对于关节部分,视
其为柔性部分,?#36816;?#26377;柔性部分统一标记为一个记号。

(1.2)对人体模板上的表面根据空间分布进行均匀采样,采样距离为0.05m,采样
点即为后续步骤中控制人体模板变形的动态节点。根据不同人体型大小,生成的动态节点
数为200到400。随后将邻近动态节点互相连接,构建邻接关系,形成动态节点图。

(1.3)对每个动态节点,计算人体模板表面与其最近的K(K取10)个顶点,根据这K
个顶点的标号(步骤1.1),将此动态节点归为投票最多的标号,实现动态节点的聚类。

2.数据采集与初始配准:布置RGBD传感器进行数据采集。利用RGBD传感器采集深
度数据和视频数据,同时计算模板数据与第一帧数据的刚体变?#36824;?#31995;,进行初始配准。

(2.1)选择4m*3m*3m以上的空间,将RGBD传感器立于支架上,RGBD传感器离地高度
1m。

(2.2)被采集人在RGBD传感器正前方3m左右,摆出标准姿态(与人体模板姿态接
近),标准姿态如图1所示。

(2.3)RGBD传感器开始进行视频和深度数据采集,采集视频分辨率640*480,深度
数据分辨率640*480,帧数为30帧每秒。被采集人开始进行各种运动动作,数据被录制到计
算机硬盘中。

(2.4)对于采集数据的第一帧,利用基于彩色图像和深度图的骨架识别算法定位
出人的头部、双?#24103;?#20197;及双脚的位置,利用这5点信息(如图2所示),以及人体模板上对应的5
点信息,计算人体模板与第一帧数据的初始配准的刚体变换{R,t}。其中R为旋转矩阵,t为
平移向量。求取方法为最小化下式:


其中,pi为模板上的顶点,qi是深度数据中与pi对应的点。

(2.5)对人体模板数据中的每一点利用(2.4)计算的{R,t}进行刚体变换,将其配
准到第一帧数据的坐标系下。

3.人体表面数据的分段跟踪与配准:基于人体的语义分割,采用分段刚体变换策
略,对分属于人体每个部分的动态节点集估算其各自的刚体变换,实现人体各部分的配准。

(3.1)对于每个时刻t,计算时刻t与时刻t+1图像的稠密光流图。对于每个动态节
点n,首先利用相机投影矩阵求出其在t时刻对应的图像位置It(n),再根据光流图得到其在
t+1时刻的位置It+1(n),通过t+1时刻图像与深度图的对应关系,得到t+1时刻深度图像的位
置Dt+1(n),从而得到t时刻动态节点n在t+1时刻深度图的对应位置Dt+1(n)。

(3.2)对于每个时刻,对人体模板上的动态节点,施加刚性变换约束、?#20132;?#32422;束以
及与步骤(3.1)求出的顶点对应约束,同?#24065;?#27714;属于人体同一部分的动态节点应有相同的
变换,构建能量函数,通过能量最优化,求得每个动态节点的最优变换。

(a)具体而言,对于每个动态节点,其待求变换为{Hi,ti},其中Hi为3*3矩阵,ti为
3*1向量,其变换为Hi·n+ti。首先要求变换尽量保持刚性,即要求对于所有动态顶点,应使
如下刚性变换能量尽量小:


其中Rot(H)=(h1·h2)2+(h1·h3)2+(h2·h3)2+(1-h1·h1)2+(1-h2·h2)2+(1-h3·
h3)2,h1,h2,h3为别为矩阵H的各列。|S|为动态节点的个数。

(b)同时,还要求邻近的动态节点应具备相近的变换。为此,构建如下?#20132;?#33021;量:


其中ni是第i个节点的位置,e(i,j)=1表示节点i与节点j相邻。

(c)此外,构建配准约束能量,使模板变形之后能拟合当前深度数据:


其中,q(n)为节点在深度数据上的对应点,Nq(n)为其法向量。第一项要求拟合之后
距离尽量近,第二项要求拟合之后动态节点与目标表面的垂?#26412;?#31163;尽量近。ρ控制二者的平
衡,建议取0.1。

(d)将,Erot,Esmooth和Efit加权组合构建总体能量式:

Etotal=Efit+wsmooth·Esmooth+wrot·Erot

其中,wsmooth建议取值5000,wrot建议取值1000000。同时,增加约束要求同属一个分
段的动态节点的变换应完全一致。利用高斯牛顿法最小化Etotal求得每个动态节点的变换
{Hi,ti}。

(3.3)求得动态节点最优变换之后,对于人体模板上的其他节点,根据其与近邻动
态节点的关系,用近邻动态节点的变换插值出自身的变换,从而求得整个人体模板所有表
面顶点的运动。

4.人体表面数据的精确跟踪与重建:在步骤(3)的基础上,进一步对人体模板上的
所有动态节点各自估计其变换,使之与所采集的数据匹配,实现精确配准。随后,?#36816;?#26377;时
刻重建出的数据进行滤波处理,得到?#20132;?#31283;定的重建结果。

(4.1)在步骤(3)的基础上,对于每一帧数据,对于人体模板上的每个动态节点,计
算其与当前帧深度数据的最近顶点,构建最近邻对应关系。

(4.2)对人体模板上的动态节点,类似(3.2)施加刚性变换约束、?#20132;?#32422;束以及与
步骤(4.1)求出的顶点对应关系,在此步骤中,应放弃动态节点的聚类关系,不再施加等变
换约束。考虑人体头部后侧为一个刚体,为?#20048;?#22312;本次非刚体变形中使头部后侧发生变化,
应对头部后侧的顶点施加定点约束,即增加如下定点能量:


其中,ni'为经过上一步分段变换之后第i个动态节点的位置。加入定点能量式之
后,通过优化总体能量,进一步求得每个动态节点的精细变换。

(4.3)求得动态节点最优变换之后,对于人体模板上的其他节点,根据其与近邻动
态节点的关系,用近邻动态节点的变换插值出自身的变换,从而求得整个人体模板所有表
面顶点的运动。

(4.4)对于同一时刻的相邻顶点,以及相邻时刻的顶点,采用双向双边滤波对重建
出来的人体表面动态数据进行?#20132;?#33719;取?#20132;?#31283;定的重建结果。双向双边滤波采用如下公
式进行:


其中,为t时刻第i个顶点的位置,σ是控制相邻帧相互约束的权重,建议取值
0.05。

实施例:

在一台配有Intel Core2Duo E7400 2.80GH CPU、2GB内存的台式机器上实现了本
发明的实施实例。实施中使用具体实施方式中提及的参数设置,通过采集一个运动人体数
据,采用本发明得到图3~5中的结果。用各种运动姿态测试本方法的运行?#20302;场?#32467;果表明,
本发明对各种运动姿态包括跳?#23613;?#36386;?#21462;?#20391;身等动作都能得到满意的结果,所需处理时间平
均为每帧2min。

关于本文
本文标题:一种三维人体稠密表面运动场重建方法.pdf
链接地址:http://www.pqiex.tw/p-6079570.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 腾讯捕鱼达人3d有啥用 欢乐生肖规则 2019古剑奇谭网络版好赚钱吗 江苏时时开奖号96期 耽美在英国赚钱的文 重庆时时历史开奖记录 幸运飞艇大小计划网 银记肠粉店加盟赚钱吗 正规赛车北京pk10官网 pk10怎样分析走势分析