平码五不中公式规律
  • / 19
  • 下载费用:30 金币  

双目视觉系统的三维重建方法、装置及双目视觉系统.pdf

关 键 ?#21097;?/dt>
双目 视觉 系统 三维重建 方法 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201611208332.4

申请日:

2016.12.23

公开号:

CN106683174A

公开日:

2017.05.17

当前法律状态:

实审

?#34892;?#24615;:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06T 17/00申请日:20161223|||公开
IPC分类号: G06T17/00; G06T5/00 主分类号: G06T17/00
申请人: 上海斐讯数据通信技术有限公司
发明人: 代伟佳
地址: 201616 上海市松江区思贤路3666号
优?#28909;ǎ?/td>
专利代理机构: 上海?#35835;?#30693;识产权代理事务所 31251 代理人: 郭桂峰
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201611208332.4

授权公告号:

|||

法律状态公告日:

2017.06.09|||2017.05.17

法律状态类型:

实质审查的生效|||公开

摘要

本发明涉及计算机视觉技术领域,公开了一种双目视觉系统的三维重建方法、装置及双目视觉系统。所述双目视觉系统的三维重建方法,包括:获取双目摄像设备像素位置与场景点位置的摄像模型参数;对双目摄像设备采集的图像进行预处理;对预处理后的图像进行去模糊处理;从去模糊处理后的图像中提取图像中物体的特征点;对提取的图像中物体的特征点进行立体匹配处理,以获取图像中物体?#30446;?#38388;离散点;以及根据摄像模型参数和空间离散点生成图像中物体的三维模型。本发明针对模糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像,提高了特征点提取和空间离散点立体匹配的精确度,提高了双目视觉系统的三维重建的精确?#21462;?#25928;果和工作效率。

权利要求书

1.一种双目视觉系统的三维重建方法,其特征在于,包括:
获取双目摄像设备像素位置与场景点位置的摄像模型参数;
对双目摄像设备采集的图像进行预处理;
对预处理后的图像进行去模糊处理;
从去模糊处理后的图像中提取图像中物体的特征点;
对提取的图像中物体的特征点进行立体匹配处理,以获取图像中物体?#30446;?#38388;离散点;
以及
根据获取的摄像模型参数和获取的图像中物体?#30446;?#38388;离散点生成图像中物体的三维
模型。
2.根据权利要求1所述的双目视觉系统的三维重建方法,其特征在于,所述对预处理后
的图像进行去模糊处理,包括:
对预处理后图像的小视场图像进行模糊核估计处理,以获取小视场模糊核;
将获取的小视场模糊核替代图像全视场图像的全视场模糊核;以及
根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理。
3.根据权利要求2所述的双目视觉系统的三维重建方法,其特征在于,所述对预处理后
图像的小视场图像进行模糊核估计处理,包括:
获取预处理后图像的小视场图像的高频信息;
通过迭代收缩阈值算法对获取的高频信息进行迭代更新,以获取更新的高频信息值;
通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新,以获取更新的点扩散
函数值;以及
根据获取的更新的高频信息值和更新的点扩散函数值计算能量函数,以评估获取小视
场模糊核。
4.根据权利要求3所述的双目视觉系统的三维重建方法,其特征在于,所述小视场模糊
核评估为:其中f为图像的高频信息值,h为点扩散函数值,*表示
二维的卷积操作。
5.根据权利要求2所述的双目视觉系统的三维重建方法,其特征在于,所述根据替代后
的全视场模糊核对全视场图像进行非盲区卷积处理,包括:
根据替代后的全视场模糊核通过超拉普拉斯先验?#30446;?#36895;去卷积算法对全视场图像进
行非盲区卷积处理。
6.根据权利要求1所述的双目视觉系统的三维重建方法,其特征在于,所述对双目摄像
设备采集的图像进?#22411;?#20687;预处理,包括:
对双目摄像设备采集的图像进行自?#35270;?#20013;值滤波处理;
对自?#35270;?#20013;值滤波处理处理后的图像进行有限对比?#35270;?#24615;直方均衡化处理;
对有限对比?#35270;?#24615;直方均衡化处理后的图像进行直方?#35745;?#37197;处理;以及
对直方?#35745;?#37197;处理后的图像进行锐化处理。
7.一种双目视觉系统的三维重建装置,其特征在于,包括:
摄像模型参数获取模块,用于获取双目摄像设备像素位置与场景点位置的摄像模型参
数;
预处理模块,用于对双目摄像设备采集的图像进行预处理;
去模糊模块,用于对所述预处理模块预处理后的图像进行去模糊处理;
特征点提取模块,用于从所述去模糊模块去模糊处理后的图像中提取图像中物体的特
征点;
离散点获取模块,用于对所述特征点提取模块提取的图像中物体的特征点进行立体匹
配处理,以获取图像中物体?#30446;?#38388;离散点;以及
三维模型生成模块,用于根据所述摄像模型参数获取模块获取的摄像模型参数和所述
离散点获取模块获取的图像中物体?#30446;?#38388;离散点生成图像中物体的三维模型。
8.根据权利要求7所述的双目视觉系统的三维重建装置,其特征在于,所述去模糊模
块,包括:
小视场模糊核获取单元,用于对所述预处理模块预处理后图像的小视场图像进行模糊
核估计处理,以获取小视场模糊核;
模糊核替代单元,用于将所述小视场模糊核获取单元获取的小视场模糊核替代图像全
视场图像的全视场模糊核;以及
非盲区卷积处理单元,用于根据所述模糊核替代单元替代后的全视场模糊核对全视场
图像进行非盲区卷积处理。
9.根据权利要求8所述的双目视觉系统的三维重建装置,其特征在于,所述小视场模糊
核获取单元,包括:
高频信息获取子单元,用于获取所述预处理模块预处理后图像的小视场图像的高频信
息;
高频信息值更新子单元,用于通过迭代收缩阈值算法对所述高频信息获取子单元获取
的高频信息进行迭代更新,以获取更新的高频信息值;
点扩散函数值更新子单元,用于通过无约束迭代重加权最小二乘法对点扩散函数进行
迭代更新,以获取更新的点扩散函数值;以及
小视场模糊核评估子单元,用于根据所述高频信息值更新子单元获取的更新的高频信
息值和所述点扩散函数值更新子单元更新的点扩散函数值计算能量函数,以评估获取小视
场模糊核。
10.根据权利要求9所述的双目视觉系统的三维重建装置,其特征在于,所述小视场模
糊核评估子单元对小视场模糊核评估为:其中f为图像的高频信
息值,h为点扩散函数值,*表示二维的卷积操作。
11.根据权利要求8所述的双目视觉系统的三维重建装置,其特征在于,所述非盲区卷
积处理单元用于根据所述模糊核替代单元替代后的全视场模糊核通过超拉普拉斯先验的
快速去卷积算法对全视场图像进行非盲区卷积处理。
12.根据权利要求7所述的双目视觉系统的三维重建装置,其特征在于,所述预处理模
块,包括:
自?#35270;?#20013;值滤波处理单元,用于对双目摄像设备采集的图像进行自?#35270;?#20013;值滤波处
理;
直方均衡化处理单元,用于对所述自?#35270;?#20013;值滤波处理单元自?#35270;?#20013;值滤波处理处理
后的图像进行有限对比?#35270;?#24615;直方均衡化处理;
直方?#35745;?#37197;处理单元,用于对所述直方均衡化处理单元有限对比?#35270;?#24615;直方均衡化处
理后的图像进行直方?#35745;?#37197;处理;以及
锐化处理单元,用于对所述直方?#35745;?#37197;处理单元直方?#35745;?#37197;处理后的图像进行锐化处
理。
13.一种双目视觉系统,其特征在于,所述双目视觉系统包括如权利要求7至12任一项
所述的双目视觉系统的三维重建装置。

说明书

双目视觉系统的三维重建方法、装置及双目视觉系统

技术领域

本发明涉及计算机视觉技术领域,尤其涉及一种双目视觉系统的三维重建方法、
装置及双目视觉系统。

背景技术

双目立体视觉是当前计算机视觉领域中的重要研究课题,现有立体视觉系统通过
两个摄像机从不同角度同时获取目标物体的两幅数字图像,并基于视差原理和两摄像机内
外参数的基础上,恢复出目标物体的三维空间信息。

现有双目视觉系统在特征点提取之前通常只进行降噪、锐化等简单的图像预处
理,虽然针对普通静态图像可达到较好的三维重建效果,但针对由抖动导致的模糊图像,提
取的特征点和空间立体匹配的离散点的精确度?#31995;停?#23548;致现有双目视觉系统三维重建的精
确?#21462;?#25928;果和工作效率效果不?#36873;?br />

发明内容

鉴于此,本发明提供一种双目视觉系统的三维重建方法、装置及双目视觉系统,解
决现有双目视觉系统针对模糊图像进行三维重建的精确?#21462;?#25928;果和工作效率效果不佳的技
术问题。

根据本发明的一个实施例,提供一种双目视觉系统的三维重建方法,包括:获取双
目摄像设备像素位置与场景点位置的摄像模型参数;对双目摄像设备采集的图像进行预处
理;对预处理后的图像进行去模糊处理;从去模糊处理后的图像中提取图像中物体的特征
点;对提取的图像中物体的特征点进行立体匹配处理,以获取图像中物体?#30446;?#38388;离散点;以
及根据获取的摄像模型参数和获取的图像中物体?#30446;?#38388;离散点生成图像中物体的三维模
型。

优选的,所述对预处理后的图像进行去模糊处理,包括:对预处理后图像的小视场
图像进行模糊核估计处理,以获取小视场模糊核;将获取的小视场模糊核替代图像全视场
图像的全视场模糊核;以及根据替代后的全视场模糊核对全视场图像进行非盲区卷积处
理。

优选的,所述对预处理后图像的小视场图像进行模糊核估计处理,包括:获取预处
理后图像的小视场图像的高频信息;通过迭代收缩阈值算法对获取的高频信息进行迭代更
新,以获取更新的高频信息值;通过无约束迭代重加权最小二乘法对点扩散函数进行迭代
更新,以获取更新的点扩散函数值;以及根据获取的更新的高频信息值和更新的点扩散函
数值计算能量函数,以评估获取小视场模糊核。

优选的,所述小视场模糊核评估为:其中f为图像的高频
信息值,h为点扩散函数值,*表示二维的卷积操作。

优选的,所述根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理,包
括:根据替代后的全视场模糊核通过超拉普拉斯先验?#30446;?#36895;去卷积算法对全视场图像进行
非盲区卷积处理。

优选的,所述对双目摄像设备采集的图像进?#22411;?#20687;预处理,包括:对双目摄像设备
采集的图像进行自?#35270;?#20013;值滤波处理;对自?#35270;?#20013;值滤波处理处理后的图像进行有限对比
?#35270;?#24615;直方均衡化处理;对有限对比?#35270;?#24615;直方均衡化处理后的图像进行直方?#35745;?#37197;处
理;以及对直方?#35745;?#37197;处理后的图像进行锐化处理。

根据本发明的另一个实施例,提供一种双目视觉系统的三维重建装置,包括:摄像
模型参数获取模块,用于获取双目摄像设备像素位置与场景点位置的摄像模型参数;预处
理模块,用于对双目摄像设备采集的图像进行预处理;去模糊模块,用于对所述预处理模块
预处理后的图像进行去模糊处理;特征点提取模块,用于从所述去模糊模块去模糊处理后
的图像中提取图像中物体的特征点;离散点获取模块,用于对所述特征点提取模块提取的
图像中物体的特征点进行立体匹配处理,以获取图像中物体?#30446;?#38388;离散点;以及三维模型
生成模块,用于根据所述摄像模型参数获取模块获取的摄像模型参数和所述离散点获取模
块获取的图像中物体?#30446;?#38388;离散点生成图像中物体的三维模型。

优选的,所述去模糊模块,包括:小视场模糊核获取单元,用于对所述预处理模块
预处理后图像的小视场图像进行模糊核估计处理,以获取小视场模糊核;模糊核替代单元,
用于将所述小视场模糊核获取单元获取的小视场模糊核替代图像全视场图像的全视场模
糊核;以及非盲区卷积处理单元,用于根据所述模糊核替代单元替代后的全视场模糊核对
全视场图像进行非盲区卷积处理。

优选的,所述小视场模糊核获取单元,包括:高频信息获取子单元,用于获取所述
预处理模块预处理后图像的小视场图像的高频信息;高频信息值更新子单元,用于通过迭
代收缩阈值算法对所述高频信息获取子单元获取的高频信息进行迭代更新,以获取更新的
高频信息值;点扩散函数值更新子单元,用于通过无约束迭代重加权最小二乘法对点扩散
函数进行迭代更新,以获取更新的点扩散函数值;以及小视场模糊核评估子单元,用于根据
所述高频信息值更新子单元获取的更新的高频信息值和所述点扩散函数值更新子单元更
新的点扩散函数值计算能量函数,以评估获取小视场模糊核。

优选的,所述小视场模糊核评估子单元对小视场模糊核评估为:
其中f为图像的高频信息值,h为点扩散函数值,*表示二维的卷积
操作。

优选的,所述非盲区卷积处理单元用于根据所述模糊核替代单元替代后的全视场
模糊核通过超拉普拉斯先验?#30446;?#36895;去卷积算法对全视场图像进行非盲区卷积处理。

优选的,所述预处理模块,包括:自?#35270;?#20013;值滤波处理单元,用于对双目摄像设备
采集的图像进行自?#35270;?#20013;值滤波处理;直方均衡化处理单元,用于对所述自?#35270;?#20013;值滤波
处理单元自?#35270;?#20013;值滤波处理处理后的图像进行有限对比?#35270;?#24615;直方均衡化处理;直方图
匹配处理单元,用于对所述直方均衡化处理单元有限对比?#35270;?#24615;直方均衡化处理后的图像
进行直方?#35745;?#37197;处理;以及锐化处理单元,用于对所述直方?#35745;?#37197;处理单元直方?#35745;?#37197;处
理后的图像进行锐化处理。

根据本发明的又一个实施例,提供一种双目视觉系统,所述双目视觉系统包括上
述的双目视觉系统的三维重建装置。

本发明提供的双目视觉系统的三维重建方法、装置及双目视觉系统,获取双目摄
像设备像素位置与场景点位置的摄像模型参数,对双目摄像设备采集的图像进行预处理,
对预处理后的图像进行去模糊处理,从去模糊处理后的图像中提取图像中物体的特征点,
对提取的图像中物体的特征点进行立体匹配处理以获取图像中物体?#30446;?#38388;离散点,根据获
取的摄像模型参数和获取的图像中物体?#30446;?#38388;离散点生成图像中物体的三维模型,针对模
糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像,提高了特征点提取和
空间离散点立体匹配的精确度,进而提高了双目视觉系统的三维重建的精确?#21462;?#25928;果和工
作效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使
用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于
本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他
的附图。

图1为本发明一个实施例中双目视觉系统的三维重建方法的流程示意图。

图2为本发明一个实施例?#22411;?#20687;预处理的流程示意图。

图3为本发明一个实施例中去模糊处理的流程示意图。

图4为本发明一个实施例中模糊核估计处理的流程示意图。

图5为本发明另一个实施例中双目视觉系统的三维重建装置的结构示意图。

图6为本发明另一个实施例中预处理模块的结构示意图。

图7为本发明另一个实施例中去模糊模块的结构示意图。

图8为本发明另一个实施例?#34892;?#35270;场模糊核获取单元的结构示意图。

图9为本发明又一个实施例中双目视觉系统的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步更详细的描述。显
然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的
实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,
?#21152;?#23646;于本发明保护的范围。

在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不
能理解为指示或暗示相对重要性。在本发明的描述中,需要说明的是,除非另有明确的规定
和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆?#35835;?#25509;,
或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介
间接相连。对于本领域的普通技术人员而言,可以结合具体情况理解上述术语在本发明中
的具体含义。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括
一个或更多个用于实现特定逻辑功能或过程的步骤?#30446;?#25191;行指令的代码的模块、片?#20301;?#37096;
分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或?#33268;?#30340;顺
序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明
的实施例所属技术领域的技术人员所理解。

图1为本发明一个实施例中双目视觉系统的三维重建方法的流程示意图。如图所
示,所述双目视觉系统的三维重建方法,包括:

步骤S101:获取双目摄像设备像素位置与场景点位置的摄像模型参数。

在本实施例中,首选对双目摄像设备进行标定,并计算双目摄像设备的内外参数
以及光心坐标,最终获取双目摄像设备像素位置与场景点位置的摄像模型参数,即场景点
在双目摄像设备图像像素对应?#30446;?#38388;位置的摄像模型参数。

步骤S102:对双目摄像设备采集的图像进行预处理。

在本实施例中,在对双目摄像设备采集的图像进行三维重建之前,还需要预先进
?#22411;?#20687;预处理。参见图2,所述图像预处理,包括:

步骤S201:对双目摄像设备采集的图像进行自?#35270;?#20013;值滤波处理。

步骤S202:对自?#35270;?#20013;值滤波处理处理后的图像进行有限对比?#35270;?#24615;直方均衡化
处理。

步骤S203:对有限对比?#35270;?#24615;直方均衡化处理后的图像进行直方?#35745;?#37197;处理。

步骤S204:对直方?#35745;?#37197;处理后的图像进行锐化处理。

在本实施例中,双目摄像设备采集的图像进行自?#35270;?#20013;值滤波处理,以?#26723;?#22270;像
噪音,对自?#35270;?#20013;值滤波处理处理后的图像进行有限对比?#35270;?#24615;直方均衡化处理以及直方
?#35745;?#37197;处理,以提升图像对亮度匹配,最后对直方?#35745;?#37197;处理后的图像进行锐化处理,以突
出图像边缘,通过预处理提升了图像的质量和清晰度,以便于后续对图像进行去模糊处理,
提高了双目视觉系统的三维重建的精?#21462;?#25928;果和工作效?#21097;?#25552;升了双目视觉系统的三维重
建系统性能和用户体验。

步骤S103:对预处理后的图像进行去模糊处理。

在本实施例中,为进一步提升图像质量和清晰度,对预处理后的图像进行去模糊
处理。参见图3,所述去模糊处理,包括:

步骤S301:对预处理后图像的小视场图像进行模糊核估计处理,以获取小视场模
糊核。

为了对预处理的图像进行最大程度的复原,首先对预处理后图像的小视场图像进
行模糊核估计处理,以获取小视场模糊核。具体的,参见图4,所述模糊核估计处理,包括:

步骤S401:获取预处理后图像的小视场图像的高频信息。

在本实施例中,为了?#34892;?#22320;根据图像的特征信息来估计模糊核和原始图像,利用
图像梯度域的稀疏性来作为正则约束项。所述稀疏先验算法的能量函数为:


其中:约束条件为:h>0,∑ihi=1,f为原始图像的高频信息,h为点扩散函数,*表
示二维的卷积操作。

在本实施例中,首先使用离散滤波器和来生成图像的高频信息

所述能量函数公式(1)包含三项,第一项为保真项,表示原始图像和模糊图像之间
的差异,用于保证方程的解满足原问题的物理要求;第二项是有关x的先验约束条件l1/l2;
第三项是有关h的约束项,利用模糊核h的正则项来减少模糊核中的噪声。关于h的约束条
件(和为1、非负)遵循了模糊形成的物理原理,参数λ和β用于平衡保真项和约束项之间的比
重。

所述能量函数是一个典型的非凸问题,为了?#34892;?#22320;解决这一问题,本实施例中采
用交替迭代法来完成,即从最初给定的f与h开始,然后交替更新f与h。为了获得更加精确的
模糊核估计值h,采用金字塔迭代方法对图像和模糊核进行分层处理。所述金字塔迭代方法
先从最顶层开始,每层得到的结果都将作为下一层进一步迭代的初始值,由粗到精进行求
解,以获取估计值h更接近于真实的模糊核。

步骤S402?#21644;?#36807;迭代收缩阈值算法对获取的高频信息进行迭代更新,以获取更新
的高频信息值。

在本实施例中,通过迭代收缩阈值算法对获取的高频信息进行迭代更新,以获取
更新的高频信息值。更新f的问题可表达为:


由于约束项的存在,更新f的问题公式(2)变成了非凸问题。为了求解这个非
凸问题,首先使约束项的分母保持不变,则公式(2)就可以转化成求解凸的优化问题。对
于凸的优化解法,本实施例采用迭代收缩阈值算法(Iteration Shrinkage
Thresholding Algorithm,ISTA)求解常用线?#38405;?#38382;题,通过固定分母,公式(2)可以简化
为:


其中,H为模糊矩阵。

在更新f时,通过迭代收缩阈值算法进行内部迭代,通过外部循环更新||x||2达到
求解公式(2)的目的。具体的,输入:更新的模糊核h,更新的图像f作为图像f0;输入:正则化
参数λ=20,最大外层迭代次数M=2,内层迭代次数N=2,ISTA阈值t=0.001;并执行步骤:

1:for j=0到M-1 do

2:λ′=λ||fj||2

3:xj+1=ISTA(h,λ′,fj,t,N)

4:end for

5:输出:图像fM

尽管公式(2)是非凸问题,但本实施例采用迭代收缩阈值算法通过内部迭代和外
部循环求解公式(2)简化的公式(3),提高了更新的高频信息值f的处理速度和精确?#21462;?br />

步骤S403?#21644;?#36807;无约束迭代重加权最小二乘法对点扩散函数进行迭代更新,以获
取更新的点扩散函数值。

在更新f后,进一步更新模糊核h的子问题,将前一次更新的图像作为已知量,则可
以化简能量函数为:


公式(4)是一个凸优化问题,为了求解这个问题,本实施例采用无约束迭代重加权
最小二乘法(Iterative Re-weighted Least Squares,IRLS)通过?#22797;?#36845;代获取最佳解,具
有很好的收敛性。

具体的,用能量函数J替换函数J符合条件,当h取前一次更新后
的值时当h为请他情况时而且多次
迭代之后是收敛的。根据上述的条件,所述能量函数J可表达为:


其中,||h||2D=<h,Dh>,D为一个对角正定矩阵。

使用公式(5)的最佳解替换公式(4)的最佳解,即:


对公式(6)求导得:


公式(7)符合Ah=b形式的表达,本实施例采用?#26597;?#26799;度(Conjugate Gradient,
GG)迭代进行计算。为了得到最佳解,可以增加迭代次数,并对得到的解进行约束。所述约束
条件为有两个:第一个是将小于零的值?#25345;?#20026;0,第二个是对点扩散函数PSF(point spread
function)元素的和归一化为1。具体的,所述点扩散函数的具体计算方法为:

(a)将前一次得到的值作为h的初始值,取这一层更新后的图像,λ3=0.02,k为迭
代次数,最大迭代次数为5。

(b)计算



(c)利用?#26597;?#26799;度法进行计算得h(k+1),k=k+1,如果k运行到最大迭代次数,则执行
步骤(d),否则执行步骤(b)。

(d)h=h(k+1),对h按照下式进行处理。


在本实施例中,通过无约束迭代重加权最小二乘法对点扩散函数进行迭代更新,
以获取更新的点扩散函数值,通过迭代更新获取到接近于真?#30340;?#31946;核的估计值h,提高了模
糊核估计的准确度和处理速度,提升了图像还原的质量。

步骤S404:根据获取的更新的高频信息值和更新的点扩散函数值计算能量函数,
以评估获取小视场模糊核。

在获取到小视场图像的高频信息、更新的高频信息值、以及更新的点扩散函数值
后,根据获取的更新的高频信息值和更新的点扩散函数值计算能量函数公式(1),以评估获
取小视场模糊核。

步骤S302:将获取的小视场模糊核替代图像全视场图像的全视场模糊核。

由于抖动模糊对全视场图像的影响基本一致,所以全视场模糊核和小视场模糊核
函数基本相同。小视场捕捉的图像分辨率更高,因此小视场模糊核的估计更为准确。在获取
到小视场模糊核后,将获取的小视场模糊核替代图像全视场图像的全视场模糊核,提升了
整个图像模糊核估计的准确性和便捷性。

步骤S303:根据替代后的全视场模糊核对全视场图像进行非盲区卷积处理。

在本实施例中,根据替代后的全视场模糊核通过超拉普拉斯先验?#30446;?#36895;去卷积算
法对全视场图像进行非盲区卷积处理,以实现图像的去模糊处理,提高了图像的清晰度和
质量,便于后续基于清晰和高质量的图像进行三维重建,提高了双目视觉系统的三维重建
的精确?#21462;?#25928;果和工作效率。

步骤S104:从去模糊处理后的图像中提取图像中物体的特征点。

在对预处理后的图像进行去模糊处理后,在双目视觉系统获取的两幅图像中?#19994;?br />匹配的像点坐标,使得这两像点坐标为空间同一物点的投影,进而从去模糊处理后的图像
中提取图像中物体的特征点。

步骤S105:对提取的图像中物体的特征点进行立体匹配处理,以获取图像中物体
?#30446;?#38388;离散点。

在提取到图像中物体的特征点后,对提取的图像中物体的特征点进行立体匹配处
理,由两幅图像重建物体?#30446;?#38388;坐标,以获取图像中物体?#30446;?#38388;离散点。

步骤S106:根据获取的摄像模型参数和获取的图像中物体?#30446;?#38388;离散点生成图像
中物体的三维模型。

在获取到图像中物体?#30446;?#38388;离散点后,根据获取的摄像模型参数对获取的图像中
物体?#30446;?#38388;离散点进行深度分析,进而根据空间离散点和对应的深度分析信息生成图像中
物体的三维模型,最终方便快捷地实现了双目视觉系统的三维重建,提高了双目视觉系统
的三维重建的准确?#21462;?#25928;果和工作效率。

在本实施例的双目视觉系统的三维重建方法中,获取双目摄像设备像素位置与场
景点位置的摄像模型参数,对双目摄像设备采集的图像进行预处理,对预处理后的图像进
行去模糊处理,从去模糊处理后的图像中提取图像中物体的特征点,对提取的图像中物体
的特征点进行立体匹配处理以获取图像中物体?#30446;?#38388;离散点,根据获取的摄像模型参数和
获取的图像中物体?#30446;?#38388;离散点生成图像中物体的三维模型,针对模糊图像通过图像预处
理和去模糊处理快速获取清晰和高质量的图像,提高了特征点提取和空间离散点立体匹配
的精确度,进而提高了双目视觉系统的三维重建的精确?#21462;?#25928;果和工作效率。

图5为本发明另一个实施例中双目视觉系统的三维重建装置的结构示意图。如图
所示,在上述方法实施例的基础上,本实施例提供的双目视觉系统的三维重建装置100,包
括摄像模型参数获取模块10、预处理模块20、去模糊模块30、特征点提取模块40、离散点获
取模块50和三维模型生成模块60。

在本实施例中,所述摄像模型参数获取模块10对双目摄像设备进行标定,并计算
双目摄像设备的内外参数以及光心坐标,最终获取双目摄像设备像素位置与场景点位置的
摄像模型参数,即场景点在双目摄像设备图像像素对应?#30446;?#38388;位置的摄像模型参数。

在所述三维模型生成模块60对双目摄像设备采集的图像进行三维重建之前,还需
要通过所述预处理模块20预先进?#22411;?#20687;预处理。参见图6,所述预处理模块20,包括自?#35270;?br />中值滤波处理单元201、直方均衡化处理单元202、直方?#35745;?#37197;处理单元203和锐化处理单元
204。

在本实施例中,所述自?#35270;?#20013;值滤波处理单元201双目摄像设备采集的图像进行
自?#35270;?#20013;值滤波处理,以?#26723;?#22270;像噪音,所述直方均衡化处理单元202对所述自?#35270;?#20013;值滤
波处理单元201自?#35270;?#20013;值滤波处理处理后的图像进行有限对比?#35270;?#24615;直方均衡化处理,
直方?#35745;?#37197;处理单元203对所述直方均衡化处理单元202有限对比?#35270;?#24615;直方均衡化处理
后的图像进行直方?#35745;?#37197;处理,以提升图像对亮度匹配,最后所述锐化处理单元204对所述
直方?#35745;?#37197;处理单元203直方?#35745;?#37197;处理后的图像进行锐化处理,以突出图像边缘,所述预
处理模块20通过预处理提升了图像的质量和清晰度,以便于后续所述去模糊模块30对图像
进行去模糊处理,提高了双目视觉系统的三维重建的精?#21462;?#25928;果和工作效?#21097;?#25552;升了双目视
觉系统的三维重建系统性能和用户体验。

在本实施例中,为进一步提升图像质量和清晰度,所述去模糊模块30对所述预处
理模块20预处理后的图像进行去模糊处理。参见图7,所述去模糊模块30,包括小视场模糊
核获取单元301、模糊核替代单元302和非盲区卷积处理单元303。

为了对所述预处理模块20预处理后的图像进行最大程度的复原,所述小视场模糊
核获取单元301首先对所述预处理模块20预处理后图像的小视场图像进行模糊核估计处
理,以获取小视场模糊核。具体的,参见图8,所述小视场模糊核获取单元301,包括高频信息
获取子单元3011、高频信息值更新子单元3012、点扩散函数值更新子单元3013和小视场模
糊核评估子单元3014。

为了?#34892;?#22320;根据图像的特征信息来估计模糊核和原始图像,利用图像梯度域的稀
疏性来作为正则约束项。所述稀疏先验算法的能量函数为:


其中:约束条件为:h>0,∑ihi=1,f为原始图像的高频信息,h为点扩散函数,*表
示二维的卷积操作。

在本实施例中,所述高频信息获取子单元3011使用离散滤波器和
来生成图像的高频信息以获取所述预处理模块20预处理后图像的
小视场图像的高频信息。

所述能量函数公式(1)包含三项,第一项为保真项,表示原始图像和模糊图像之间
的差异,用于保证方程的解满足原问题的物理要求;第二项是有关x的先验约束条件l1/l2;
第三项是有关h的约束项,利用模糊核h的正则项来减少模糊核中的噪声。关于h的约束条
件(和为1、非负)遵循了模糊形成的物理原理,参数λ和β用于平衡保真项和约束项之间的比
重。

所述能量函数是一个典型的非凸问题,为了?#34892;?#22320;解决这一问题,本实施例中采
用交替迭代法来完成,即从最初给定的f与h开始,然后交替更新f与h。为了获得更加精确的
模糊核估计值h,采用金字塔迭代方法对图像和模糊核进行分层处理。所述金字塔迭代方法
先从最顶层开始,每层得到的结果都将作为下一层进一步迭代的初始值,由粗到精进行求
解,以获取估计值h更接近于真实的模糊核。

所述高频信息值更新子单元3012通过迭代收缩阈值算法对所述高频信息获取子
单元3011获取的高频信息进行迭代更新,以获取更新的高频信息值。具体的,通过迭代收缩
阈值算法对获取的高频信息进行迭代更新,以获取更新的高频信息值。更新f的问题可表达
为:


由于约束项的存在,更新f的问题公式(2)变成了非凸问题。为了求解这个非
凸问题,首先使约束项的分母保持不变,则公式(2)就可以转化成求解凸的优化问题。对
于凸的优化解法,本实施例采用迭代收缩阈值算法(Iteration Shrinkage
Thresholding Algorithm,ISTA)求解常用线?#38405;?#38382;题,通过固定分母,公式(2)可以简化
为:


其中,H为模糊矩阵。

在所述高频信息值更新子单元3012更新f时,通过迭代收缩阈值算法进行内部迭
代,通过外部循环更新||x||2达到求解公式(2)的目的。具体的,所述高频信息值更新子单
元3012输入:更新的模糊核h,更新的图像f作为图像f0;输入:正则化参数λ=20,最大外层
迭代次数M=2,内层迭代次数N=2,ISTA阈值t=0.001;并执行步骤:

1:for j=0到M-1 do

2:λ′=λ||fj||2

3:xj+1=ISTA(h,λ′,fj,t,N)

4:end for

5:输出:图像fM

尽管公式(2)是非凸问题,但本实施例的所述高频信息值更新子单元3012采用迭
代收缩阈值算法通过内部迭代和外部循环求解公式(2)简化的公式(3),提高了更新的高频
信息值f的处理速度和精确?#21462;?br />

所述点扩散函数值更新子单元3013通过无约束迭代重加权最小二乘法对点扩散
函数进行迭代更新,以获取更新的点扩散函数值。在所述高频信息值更新子单元3012更新f
后,所述点扩散函数值更新子单元3013进一步更新模糊核h的子问题,将前一次更新的图像
作为已知量,则可以化简能量函数为:


公式(4)是一个凸优化问题,为了求解这个问题,本实施例的所述点扩散函数值更
新子单元3013采用无约束迭代重加权最小二乘法(Iterative Re-weighted Least
Squares,IRLS)通过?#22797;?#36845;代获取最佳解,具有很好的收敛性。

具体的,用能量函数J替换函数J符合条件,当h取前一次更新
后的值时当h为请他情况时而且多
次迭代之后是收敛的。根据上述的条件,所述能量函数J可表达为:


其中,||h||2D=<h,Dh>,D为一个对角正定矩阵。

使用公式(5)的最佳解替换公式(4)的最佳解,即:


对公式(6)求导得:


公式(7)符合Ah=b形式的表达,本实施例采用?#26597;?#26799;度(Conjugate Gradient,
GG)迭代进行计算。为了得到最佳解,可以增加迭代次数,并对得到的解进行约束。所述约束
条件为有两个:第一个是将小于零的值?#25345;?#20026;0,第二个是对点扩散函数PSF(point spread
function)元素的和归一化为1。具体的,所述点扩散函数的具体计算方法为:

(a)将前一次得到的值作为h的初始值,取这一层更新后的图像,λ3=0.02,k为迭
代次数,最大迭代次数为5。

(b)计算



(c)利用?#26597;?#26799;度法进行计算得h(k+1),k=k+1,如果k运行到最大迭代次数,则执行
步骤(d),否则执行步骤(b)。

(d)h=h(k+1),对h按照下式进行处理。


在本实施例中,所述点扩散函数值更新子单元3013通过无约束迭代重加权最小二
乘法对点扩散函数进行迭代更新,以获取更新的点扩散函数值,通过迭代更新获取到接近
于真?#30340;?#31946;核的估计值h,提高了模糊核估计的准确度和处理速度,提升了图像还原的质
量。

在高频信息获取子单元3011获取到小视场图像的高频信息、所述高频信息值更新
子单元3012获取到更新的高频信息值、以及所述点扩散函数值更新子单元3013获取到更新
的点扩散函数值后,所述小视场模糊核评估子单元3014根据所述高频信息值更新子单元
3012获取的更新的高频信息值和所述点扩散函数值更新子单元3013获取的更新的点扩散
函数值计算能量函数公式(1),以评估获取小视场模糊核。

所述模糊核替代单元302将所述小视场模糊核获取单元301获取的小视场模糊核
替代图像全视场图像的全视场模糊核。由于抖动模糊对全视场图像的影响基本一致,所以
全视场模糊核和小视场模糊核函数基本相同。小视场捕捉的图像分辨率更高,因此小视场
模糊核的估计更为准确。在所述小视场模糊核获取单元301获取到小视场模糊核后,所述模
糊核替代单元302将获取的小视场模糊核替代图像全视场图像的全视场模糊核,提升了整
个图像模糊核估计的准确性和便捷性。

在本实施例中,所述非盲区卷积处理单元303根据所述模糊核替代单元302替代后
的全视场模糊核通过超拉普拉斯先验?#30446;?#36895;去卷积算法对全视场图像进行非盲区卷积处
理,以实现图像的去模糊处理,提高了图像的清晰度和质量,便于后续所述三维模型生成模
块30基于清晰和高质量的图像进行三维重建,提高了双目视觉系统的三维重建的精确?#21462;?br />效果和工作效率。

在所述去模糊模块30对所述预处理模块20预处理后的图像进行去模糊处理后,所
述特征点提取模块40在双目视觉系统获取的两幅图像中?#19994;?#21305;配的像点坐标,使得这两像
点坐标为空间同一物点的投影,进而从所述去模糊模块30去模糊处理后的图像中提取图像
中物体的特征点。

在所述特征点提取模块40提取到图像中物体的特征点后,所述离散点获取模块50
对所述特征点提取模块40提取的图像中物体的特征点进行立体匹配处理,由两幅图像重建
物体?#30446;?#38388;坐标,以获取图像中物体?#30446;?#38388;离散点。

在所述离散点获取模块50获取到图像中物体?#30446;?#38388;离散点后,所述三维模型生成
模块60根据所述摄像模型参数获取模块10获取的摄像模型参数对所述离散点获取模块50
获取的图像中物体?#30446;?#38388;离散点进行深度分析,进而根据空间离散点和对应的深度分析信
息生成图像中物体的三维模型,最终方便快捷地实现了双目视觉系统的三维重建,提高了
双目视觉系统的三维重建的准确?#21462;?#25928;果和工作效率。

在本实施例的双目视觉系统的三维重建装置100中,所述摄像模型参数获取模块
10获取双目摄像设备像素位置与场景点位置的摄像模型参数,所述预处理模块20对双目摄
像设备采集的图像进行预处理,所述去模糊模块30对所述预处理模块20预处理后的图像进
行去模糊处理,所述特征点提取模块40从所述去模糊模块30去模糊处理后的图像中提取图
像中物体的特征点,所述离散点获取模块50对所述特征点提取模块40提取的图像中物体的
特征点进行立体匹配处理以获取图像中物体?#30446;?#38388;离散点,所述三维模型生成模块60根据
所述摄像模型参数获取模块10获取的摄像模型参数和所述离散点获取模块50获取的图像
中物体?#30446;?#38388;离散点生成图像中物体的三维模型,针对模糊图像通过图像预处理和去模糊
处理快速获取清晰和高质量的图像,提高了特征点提取和空间离散点立体匹配的精确度,
进而提高了双目视觉系统的三维重建的精确?#21462;?#25928;果和工作效率。

图9为本发明又一个实施例中双目视觉系统的结构示意图。如图所示,在上述实施
例的基础上,所述双目视觉系统200包括上述实施例中所述的双目视觉系统的三维重建装
置100,针对模糊图像通过图像预处理和去模糊处理快速获取清晰和高质量的图像,提高了
特征点提取和空间离散点立体匹配的精确度,进而提高了双目视觉系统200的三维重建的
精确?#21462;?#25928;果和工作效?#21097;?#25552;升了双目视觉系统200的精确?#21462;?#31995;统性能和工作效率。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合?#35789;?#29616;。在上述
实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件
或固件?#35789;?#29616;。例如,如果用硬件?#35789;?#29616;,和在另一实施方式中一样,可用本领域公知的下
列技术中的任一项或他们的组合?#35789;?#29616;:具有用于对数据信号实现逻辑功能的逻辑门电路
的离散逻辑电路,具有合适的组?#19979;?#36753;门电路的专用集成电路,可编程门阵列(PGA),现场
可编程门阵列(FPGA)?#21462;?br />

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示
例”、或“一些示例”等描述意?#38468;?#21512;该实施例或示例描述的具体特征、结构、材料或者特点
包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一
定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的
一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不
脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本
发明的范围由权利要求及其等同物限定。

关于本文
本文标题:双目视觉系统的三维重建方法、装置及双目视觉系统.pdf
链接地址:http://www.pqiex.tw/p-6079602.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网?#26223;?#26435;所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 网球怎么打 服装代购赚钱之道 北京pk赛车的平台 pc蛋蛋预测网计划 捕鱼世界唯一官网首页 二八杠怎么看生死门 美式足球时间 农场游戏大全 下载荣耀棋牌 彩霸王綜合资料