平码五不中公式规律
  • / 12
  • 下载费用:30 金币  

追踪并覆盖动态贴纸的图像处理方法.pdf

关 键 ?#21097;?/dt>
追踪 覆盖 动态 贴纸 图像 处理 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201611237723.9

申请日:

2016.12.28

公开号:

CN106683120A

公开日:

2017.05.17

当前法律状态:

实审

有效性:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06T 7/262申请日:20161228|||公开
IPC分类号: G06T7/262(2017.01)I 主分类号: G06T7/262
申请人: 杭州趣维科技有限公司
发明人: 陈力; 孙浓海
地址: 310013 浙江省杭州市天?#21487;?#36335;294号杭钢冶金科技大厦16楼
优?#28909;ǎ?/td>
专利代理机构: 浙江杭州金通专利事务所有限公司 33100 代理人: 董世博
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201611237723.9

授权公告号:

|||

法律状态公告日:

2017.06.09|||2017.05.17

法律状态类型:

实质审查的生效|||公开

摘要

本发明公开了追踪并覆盖动态贴纸的图像处理方法,步骤包括选择追踪物、初始化图像、追踪处理、动态贴纸和保存处理结果;本发明解决了追踪效果不好,受环境影响大,移植到手机端时速度缓慢等问题。

权利要求书

1.追踪并覆盖动态贴纸的图像处理方法,其特征在于,具体步骤如下:
101)选择追踪物步骤:选取视频或使用摄像机镜?#26041;信?#25668;,并确定具体需要追踪的
物体;
102)初始化图像步骤:在步骤101)之后,对图像进行数据分析,初始化?#38382;?br />103)追踪处理步骤:在步骤102)后,读取下一帧图像数据,根据追踪处理规则对画面中
的追踪物体进行新位置的确定,所述跟踪规则包括dsst和meanshift两种对追踪物体的定
位,并结合两者结果确定最佳追踪物体的新位置;所述dsst和meanshift是定位方法的名
称;
104)动态贴纸步骤:在步骤103)中,对追踪物体选择性的覆盖上动态贴纸,提高标识
度;
105)保存处理结果步骤:在步骤104)后,对处理后的视频或停止拍摄的视?#21040;?#34892;存储。
2.根据权利要求1所述的追踪并覆盖动态贴纸的图像处理方法,其特征在于,所述dsst
定位包括位置评估、尺度评估和模?#36879;?#26032;;所述dsst定位中图像定义为patch,上一帧的图
片信息中位置为Pt-1,尺度为St-1,位置模型为和尺度模型为
得到的追踪物质新位置为Pt和新尺度为St,更新位置模型为
和更新尺度模型为所述t为迭代?#38382;?br />
3.根据权利要求2所述的追踪并覆盖动态贴纸的图像处理方法,其特征在于,所述位置
评估,首先参照追踪物体在前一帧的位置,在当前帧中按照前一帧目标尺度2倍大小提取一
个样本Ztrans,再利用Ztrans和根据如下公式(1)得到ytrans,ytrans为公式求
得的相应位置,最后由max(ytrans)即最大的相应位置,由?#35828;?#21040;目标最终的新的位置Pt;

其中F-1指离散傅里叶反变换,B指的是当前帧的模型特征,Al指的是滤波操作后的模型
的某一维的特征,Zl指的是图片patch的模型的某一维的特征,d指的是特征的维度,λ?#38382;?br />是为了防止分母为0。
4.根据权利要求2所述的追踪并覆盖动态贴纸的图像处理方法,其特征在于,所述尺度
评估,首先以追踪物体当前新位置为中?#27169;?#25552;取33种不同尺度的样本Zscale,再利用Zscale和
根据公式(1)把相应的?#38382;?#20195;入得到yscale,yscale为相应的尺度,由max
(yscale)即最大的追踪物体的尺度,由?#35828;?#21040;追踪物体准确的尺度St;所述模?#36879;?#26032;包括更
新位置模型、更新尺度模型和提取样本。
5.根据权利要求1所述的追踪并覆盖动态贴纸的图像处理方法,其特征在于,所述
meanshift定位采用循环重复迭代,来获取追踪物体更新后的位置和更新后的尺度;所述
meanshift定位方式中追踪物体初始模型初始位置y0,以及尺寸S0,更新后的位置为yt,更
新后的尺度为ht,更新前的位置yt-1,更新前的尺度为ht-1,迭代?#38382;?#20026;t;所述迭代?#38382;?#30340;范
围为达到如下条件(||yt-yt-1||2<ε并且|ht-ht-1|<ξ)或者t>maxIter就终止,其中ε和ξ为事
先定义的?#38382;琺axIter为变量定义为15。
6.根据权利要求5所述的追踪并覆盖动态贴纸的图像处理方法,其特征在于,所述追踪
物体模型用描述具体位置和尺度的值,具体位置为y,尺度的值为h,用以下公式
(2)来获得;

其中Ch指的是归一化方程,N为选中跟踪区域像素,K指的是核函数采用Epannechnikov
核函数,a,b指的是初始框的宽高,b(xi)指的是像素值在直方图中的位置,u指的是直方图
bin数量的index,直方图bin为颜色直方图将颜色空间划分为若干小的颜色区间,index是
素组里的第几项;δ指的是Kroneckerdelta函数即克罗内克函数,y1,y2,xi1,xi2分别指迭代
目标的位置和目标初始的位置;所述Ch归一化方程如下公式(3)

7.根据权利要求6所述的追踪并覆盖动态贴纸的图像处理方法,其特征在于,所述更新
后的位置yt采用如下公式(4)获取权重wi,再由公式(5)进?#26800;?#20195;得到追踪物体更新后的位
置,


其中和分别指权x和y方向上的权重值,为对应u的追踪物体初始模型,指
的是物体位置,和表示的两个分量;y1指的是物体新的另一个位置,和表示
y1的两个分量,h0为h的实例化的尺度的值。
8.根据权利要求7所述的追踪并覆盖动态贴纸的图像处理方法,其特征在于,所述更新
后的尺度ht通过公式(6)来获取,

其中G为权重值的总和,h0、h1为尺度ht的两个实例化表示,g(x)=-k′(x)是k(x)的导
数,所述k(x)是一种核函数。

说明书

追踪并覆盖动态贴纸的图像处理方法

技术领域

本发明涉及手机拍摄、视频领域,更具体的说,其涉及用于追踪并覆盖动态贴纸的
图像处理方法。

背景技术

手机拍摄、视频中对追踪物体的动态定位处理一直是个热点,目前仍然存在各种
问题,包括:追踪效果不好,受环境影响大,移植到手机端时速度缓慢,应用场景不明确等问
题。

发明内容

本发明的目的在于提供追踪并覆盖动态贴纸的图像处理方法,解决如何让用户高
效方便的视频及手机拍摄?#20445;?#36827;行追踪物体的动态定位。

为了解决上述技术问题,本发明的技术方案如下:

追踪并覆盖动态贴纸的图像处理方法,具体步骤如下:

101)选择追踪物步骤:选取视频或使用摄像机镜?#26041;信?#25668;,并确定具体需要追
踪的物体;

102)初始化图像步骤:在步骤101)之后,对图像进行数据分析,初始化?#38382;?br />

103)追踪处理步骤:在步骤102)后,读取下一帧图像数据,根据追踪处理规则对画
面中的追踪物体进行新位置的确定,所述跟踪规则包括dsst和meanshift两种对追踪物体
的定位,并结合两者结果确定最佳追踪物体的新位置;所述dsst和meanshift是定位方法的
名称;

104)动态贴纸步骤:在步骤103)中,对追踪物体选择性的覆盖上动态贴纸,提高标
识度;

105)保存处理结果步骤:在步骤104)后,对处理后的视频或停止拍摄的视?#21040;?#34892;
存储。

进一步的,所述dsst定位包括位置评估、尺度评估和模?#36879;?#26032;;所述dsst定位中图
像定义为patch,上一帧的图片信息中位置为Pt-1,尺度为St-1,位置模型为
和尺度模型为得到的追踪物质新位置为Pt和新尺度为St,更新位置模型为
和更新尺度模型为所述t为迭代?#38382;?br />

进一步的,所述位置评估,首先参照追踪物体在前一帧的位置,在当前帧中按照前
一帧目标尺度2倍大小提取一个样本Ztrans,再利用Ztrans和根据如下公式
(1)得到ytrans,ytrans为公式求得的相应位置,最后由max(ytrans)即最大的相应位置,由?#35828;?br />到目标最终的新的位置Pt;


其中F-1指离散傅里叶反变换,B指的是当前帧的模型特征,Al指的是滤波操作后的
模型的某一维的特征,Zl指的是图片patch的模型的某一维的特征,d指的是特征的维度,λ
?#38382;?#26159;为了防止分母为0。

进一步的,所述尺度评估,首先以追踪物体当前新位置为中?#27169;?#25552;取33种不同尺度
的样本Zscale,再利用Zscale和根据公式(1)把相应的?#38382;?#20195;入得到yscale,
yscale为相应的尺度,由max(yscale)即最大的追踪物体的尺度,由?#35828;?#21040;追踪物体准确的尺
度St;所述模?#36879;?#26032;包括更新位置模型、更新尺度模型和提取样本。

进一步的,所述meanshift定位采用循环重复迭代,来获取追踪物体更新后的位置
和更新后的尺度;所述meanshift定位方式中追踪物体初始模型初始位置y0,以及尺寸S0,
更新后的位置为yt,更新后的尺度为ht,更新前的位置yt-1,更新前的尺度为ht-1,迭代?#38382;?#20026;
t;所述迭代?#38382;?#30340;范围为达到如下条件(||yt-yt-1||2<ε并且|ht-ht-1|<ξ)或者t>maxIter就
终止,其中ε和ξ为事先定义的?#38382;琺axIter为变量定义为15。

进一步的,所述追踪物体模型用描述具体位置和尺度的值,具体位置为
y,尺度的值为h,用以下公式(2)来获得;


其中Ch指的是归一化方程,N为选中跟踪区域像素,K指的是核函数采用
Epannechnikov核函数,a,b指的是初始框的宽高,b(xi)指的是像素值在直方图中的位置,u
指的是直方图bin数量的index,直方图bin为颜色直方图将颜色空间划分为若干小的颜色
区间,index是素组里的第几项;δ指的是Kroneckerdelta函数即克罗内克函数,y1,y2,xi1,
xi2分别指迭代目标的位置和目标初始的位置;所述Ch归一化方程如下公式(3)


进一步的,所述更新后的位置yt采用如下公式(4)获取权重wi,再由公式(5)进?#26800;?br />代得到追踪物体更新后的位置,



其中和分别指权x和y方向上的权重值,为对应u的追踪物体初始模型,
指的是物体位置,和表示的两个分量;y1指的是物体新的另一个位置,和
表示y1的两个分量,h0为h的实例化的尺度的值。

进一步的,所述更新后的尺度ht通过公式(6)来获取,


其中G为权重值的总和,h0、h1为尺度ht的两个实例化表示,g(x)=-k′(x)是k(x)的
导数,所述k(x)是一种核函数。

本发明相比现有技术优点在于:

1.本发明追踪效果较?#21040;?#27700;平有明显提升,精准度高,画质清晰。

2.在手机端运行速度流畅,超过real-time的标准,每秒处理25帧。

3.追踪过程中,附着各种动态贴纸的特效,视觉效果新?#20445;?#23545;追踪物质的标记清
晰。

4.追踪效果好,受环境影响小,移植到手机端时速度快,应用场景明确。

附图说明

图1为本发明追踪并覆盖动态贴纸的图像处理方法的处理流程图;

图2为本发明追踪并覆盖动态贴纸的图像处理方法的追踪效果的精度对比图;

图3为本发明追踪并覆盖动态贴纸的图像处理方法的追踪效果的覆盖率对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1所示,追踪并覆盖动态贴纸的图像处理方法,具体步骤如下:

101)选择追踪物步骤:打开手机,选取?#38597;?#25668;的视频或调用摄像机镜?#26041;信?#25668;,
并确定所要具体追踪的物体。

102)初始化图像步骤:在步骤101)之后,对图像进行数据分析,初始化?#38382;?#19981;同
的两个追踪物体的定位方法,初始化的?#38382;不?#26377;所区别,整体上是?#36816;?#35201;追踪物体在图
像中的位置数据。

103)追踪处理步骤:在步骤102)后,读取下一帧图像数据,根据追踪处理规则对画
面中的追踪物体进行新位置的确定,所述跟踪规则包括dsst和meanshift两种对追踪物体
的定位,所述dsst和meanshift是定位方法的名称,并结合两者结果来确定最终追踪物体的
新位置。

104)动态贴纸步骤:在步骤103)中,对追踪物体选择性的覆盖上动态贴纸,可以借
此提高标识度,并且将贴纸的设计问题交由专业的设计师进行设计,可以紧跟当下的热点,
贴图,表情包等进行自由的选择,大大增加可玩性。

105)保存处理结果步骤:在步骤104)后,对处理后的视频或停止拍摄的视?#21040;?#34892;
存储。

在步骤103)中,所述dsst定位包括位置评估、尺度评估和模?#36879;?#26032;。所述dsst定位
中图像定义为patch,上一帧的图片信息中位置为Pt-1,尺度为St-1,位置模型为
和尺度模型为得到的追踪物质新位置为Pt和尺度为St,
更新位置模型为和尺度模型为迭代?#38382;?#20026;t。所述位置评
估,首先参照追踪物体在前一帧的位置,在当前帧中按照前一帧目标尺度2倍大小提取一个
样本Ztrans,再利用Ztrans和根据如下公式(1)得到ytrans,ytrans为公式求得的
相应位置,最后由max(ytrans)即最大的相应位置,得到目标新的位置Pt;


其中F-1指离散傅里叶反变换,B指的是当前帧的模型特征,Al指的是滤波操作后的
模型的某一维的特征,Zl指的是图片patch的模型的某一维的特征,λ是为了防止分母为0,
是一个很小的值,可忽略不计。

所述尺度评估,首先以追踪物体当前新位置为中?#27169;?#25552;取33种不同尺度的样本
Zscale,再利用Zscale和根据如上公式(1)把相应的?#38382;?#20195;入得出yscale,yscale
为相应的尺度,由max(yscale)即最大的追踪物体的尺度,由?#35828;?#21040;追踪物体准确的尺度St。
所述模?#36879;?#26032;包括更新位置模型和更新尺度模型和提取样本
ftrans和fscale。

所述另一种跟踪规则处理为meanshift定位采用循环重复迭代,来获取追踪物体
更新后的位置和更新后的尺度。所述meanshift定位方式中追踪物体初始模型初始位置
y0,以及尺寸S0,更新后的位置为yt,更新后的尺度为ht,迭代?#38382;?#20026;t,这里的t不?#38050;?#25968;,而
是迭代?#38382;?#34920;?#38236;趖次迭代计算。所述迭代?#38382;?#30340;范围为达到如下条件(||yt-yt-1||2<ε并
且|ht-ht-1|<ξ)或者t>maxIter就终止,其中ε和ξ为事先定义的极小值,maxIter定义为15。

所述追踪物体模型用描述具体位置和尺度的值,具体位置为y,尺度的
值为h,用以下公式(2)来具体获得


其中Ch指的是归一化方程,K指的是核函数采用Epannechnikov核函数,a,b指的是
初始框的宽高,b(xi)指的是像素值在直方图中的位置,u指的是直方图bin数量的index,其
中直方图bin为计算颜色直方图将颜色空间划分为若干小的颜色区间,index是素组里的第
几项,?#28909;鏸ndex为0表示数组的第一项;δ指的是Kronecker delta函数即克罗内克函数,
y1,y2,xi1,xi2分别指迭代目标的位置和目标初始的位置。以上数据指代说明包括对
meanshift定位方式涉及到的所有公式。所述Ch归一化方程如下公式(3)


所述更新后的位置为yt,要先采用如下公式(4)获取权重wi,再由公式(5)进?#26800;?#20195;
得到追踪物体更新后的位置,



其中和分别指权x和y方向上的权重值,为对应u的追踪物体初始模型,
指的是物体位置,和表示的两个分量;y1指的是物体新的另一个位置,和
表示y1的两个分量,h0为h的实例化的尺度的值。

所述更新后的尺度为ht通过公式(6)来获取,


其中G为权重值的总和,h0、h1为尺度ht的两个实例化表示,g(x)=-k′(x)is the
derivative of k(x),也就是g(x)=-k′(x)是k(x)的导数,所述k(x)是isotropic kernel
一种核函数。

根据两种追踪处理规则,进行比较后获取最佳的一个结果,本方法追踪效果较业
界水平有明显提升,对比效果如图2所示,对比方法在VOT(一个专门用来检测追踪效果的数
据库)上的检测结果,以追踪结果和给定标准值直接的中心距离作为参考标准,和现下其他
的追踪方法进行的对比结果。横轴表示的检测结果和标准结果之间的距离,纵轴表示精度,
0.8即表示有80%的追踪结果正确。如图3所示,对比方法在VOT(一个专门用来检测追踪效
果的数据库)上的检测结果,?#36816;?#27861;追踪结果和标准结果的追踪框的重复?#39318;?#20026;参考标准,
与当下其他算法的对比结果图。横轴表示检测结果和标准结果之间检测框的覆盖?#21097;?#32437;轴
表示精度。从两张图可以看出,采用本方法后,无论从精度还是覆盖率上看,都有明显的优
势。在手机端运行速度流畅,超过real-time为即时的标准(每秒处理25帧)处理效果。在进
行追踪过程中,附着各种动态贴纸的特效,视觉效果更?#26377;掠保?#26631;识作用更加显著,可玩性
大大增加,推广性也极大的有了保证。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人
?#20445;?#22312;不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润?#25105;?#24212;视为
本发明保护范围内。

关于本文
本文标题:追踪并覆盖动态贴纸的图像处理方法.pdf
链接地址:http://www.pqiex.tw/p-6079669.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 红马计划网址 赛车pk10专家预测 广西快乐十分开将结果 极速六合计划软件免费版 现在美甲开店赚钱吗 手机棋牌 北京pk拾开奖 龙王捕鱼2单机下载 pk10冠军百期错一计划软件 fc越野机车秘籍