平码五不中公式规律
  • / 17
  • 下载费用:30 金币  

车辆周围监视装置.pdf

关 键 ?#21097;?/dt>
车辆 周围 监视 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201380009353.1

申请日:

2013.01.10

公开号:

CN104160434A

公开日:

2014.11.19

当前法律状态:

终止

有效性:

无权

法?#19978;?#24773;: 专利权的视为放弃IPC(主分类):G08G 1/16放弃生效日:20161214|||实质审查的生效IPC(主分类):G08G 1/16申请日:20130110|||公开
IPC分类号: G08G1/16; G06T1/00; G06T7/60; H04N7/18 主分类号: G08G1/16
申请人: 本田技研工业株式会社
发明人: 长冈伸治; 相村诚
地址: 日本东京都
优?#28909;ǎ?/td> 2012.03.12 JP 2012-053960
专利代理机构: ?#26412;?#21326;夏正合知识产权代理事务所(普通合伙) 11017 代理人: 韩登营;栗涛
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201380009353.1

授权公告号:

||||||

法律状态公告日:

2016.12.14|||2014.12.17|||2014.11.19

法律状态类?#20572;?/td>

专利权的视为放弃|||实质审查的生效|||公开

摘要

本发明提供一种能够精确辨别2个并排行走?#26800;?#27493;行者(PCX)与亮灯(灯70a、70b)?#26800;?#36710;辆(Car)的车辆周围监视装置(10)。标准图像生成部(102)既生成以具有至少2个头部候补(70a、70b)的步行者候补(PCY)?#26800;?#19968;个头部候补(70a)的周围图像为内容的标准图像(Mcr),且生成将标准图像(Mcr)左右翻转的翻转图像(Mci)。对象物判定部(103)将另一个头部候补(70b)的周围图像作为比较图像(Mcc),依照比较图像(Mcc)分别与标准图像(Mcr)以及翻转图像(Mci)的一致程度,对头部候补(70a、70b)是步行者(PCX)群体还是车辆(Car)进?#20449;?#23450;。

权利要求书

权利要求书
1.  一种车辆周围监视装置(10),其利用由安装在车辆(12)上的红外线照相机(16)所获取到的图像对周围的步行者(Pa、Pb)进行监视,其特征在于,
具有头部候?#22266;?#21462;部(101)、标准图像生成部(102)、对象物判定部(103),其中,
上述头部候?#22266;?#21462;部(101)由上述图像中提取出存在于大?#28388;?#24179;?#36739;?#30340;至少2个头部候补((50a、50b)或(70a、70b));
上述标准图像生成部(102)生成以包含被提取出的至少2个上述头部候补((50a、50b)或(70a、70b))?#26800;?#19968;个头部候补(50a或70a)在内的周围图像为内容的标准图像(Mpr或Mcr);
上述对象物判定部(103)以包含另一个头部候补(50b或70b)在内的周围图像作为比较图像(Mpc或Mcc),依据上述比较图像(Mpc或Mcc)与上述标准图像(Mpr或Mcr)之间的对称性,对至少2个的上述头部候补((50a、50b)或(70a、70b))是步行者(Pa、Pb)群体还是车辆(Car)进?#20449;?#23450;。

2.  根据权利要求1所述的车辆周围监视装置(10),其特征在于,
上述标准图像生成部(102)以只由上述一个头部候补(50a或70a)构成的图像代替包含上述一个头部候补(50a或70a)在内的周围图像来生成上述标准图像(Mpr或Mcr);
以只由上述另一个头部候补(50b或70b)构成的图像代替上述包含另一个头部候补(50b或70b)在内的周围图像来生成上述比较图像(Mpc或Mcc),依据上述只由另一个头部候补(50b或70b)构成的图像与上述只由一个头部候补(50a或70a)构成的图像之间的对称性,上述对象物判定部(103)对至少2个的上述头部候补((50a、50b)或(70a、70b))是步行者(Pa、Pb)群体还是车辆(Car)进?#20449;?#23450;。

3.  根据权利要求1或权利要求2所述的车辆周围监视装置(10), 其特征在于,
上述标准图像生成部(102),生成以包含被提取出的至少2个上述头部候补((50a、50b)或(70a、70b))?#26800;?#19968;个头部候补(50a或70a)在内的周围图像为内容的标准图像(Mpr或Mcr),且生成将上述标准图像(Mpr或Mcr)进行左右反转的翻转图像(Mpi或Mci);
以包含另一个头部候补(50b或70b)在内的周围图像作为比较图像(Mpc或Mcc),依据上述比较图像(Mpc或Mcc)分别与上述标准图像(Mpr或Mcr)以及上述翻转图像(Mpi或Mci)的一致程度,上述对象物判定部(103)对至少2个的上述头部候补((50a、50b)或(70a、70b))是步行者(Pa、Pb)群体还是车辆(Car)进?#20449;?#23450;。

4.  根据权利要求1或权利要求3所述的车辆周围监视装置(10),其特征在于,
上述标准图像生成部(102)以包含上述头部候补((50a、50b)或(70a、70b))以及上述头部候补((50a、50b)或(70a、70b))以外的特征部分在内的周围图像作为上述标准图像(Mpr或Mcr)。

5.  根据权利要求4所述的车辆周围监视装置(10),其特征在于,
上述其他特征部分为,相对于上述头部候补((50a、50b)或(70a、70b))向上述头部候补((50a、50b)或(70a、70b))的左方或右方偏移的大致垂直?#36739;?#30340;边缘(58或62)部分。

6.  根据权利要求1~5中?#25105;?#19968;项所述的车辆周围监视装置(10),其特征在于,
上述对象物判定部(103)对至少2个的上述头部候补((50a、50b)或(70a、70b))是上述步行者(Pa、Pb)群体还是安装在上述车辆(Car)上的左?#19994;?#28783;(70a、70b)进?#20449;?#23450;。

说明书

说明书车辆周围监视装置
技术领域
本发明涉及一种利用由车辆所搭载的红外线照相机获取到的图像对车辆周围进行监视的车辆周围监视装置,尤其涉及一种?#35270;?#20110;在夜间或暗处等行驶时使用的车辆周围监视装置。 
背景技术
在现有技术中,为公众所公知的是日本发明专利公开公报特开2003-284057A号(以下称其为JP2003-284057A)所示车辆周围监视装置,该车辆周围监视装置由红外线照相机所捕捉到的自车辆周围的图像(灰度图像以及2值化图像)来检测出有可能与自车辆相撞的步行者等对象物,并将检测出的对象物提供给自车辆的驾驶员。 
在JP2003-284057A所涉及的车辆周围监视装置中,既检测出上述对象物,即,在由左?#39029;?#23545;的红外线照相机(立体照相机)拍摄到的自车辆周围的图像?#26800;?#39640;温部分,且由左右图像中对象物的视差来计算出自车辆与该对象物之间的距离,由该对象物的移动?#36739;?#20197;及该对象物的位置来检测出可能对自车辆的行驶产生影响(可能相撞)的步行者等对象物并且发出警报(JP2003-284057A?#26800;腫0014]、[0018])。 
但是,使用左?#39029;?#23545;的红外线照相机的车辆周围监视装置价格高昂,其现状是仅被一部分高级车所采用。 
为?#31169;档?#25104;本,在日本发明专利特许JP4521642B号(以下称其为JP4521642B)所涉及的车辆周围监视装置中,利用车辆所搭载的单个红外线照相机,以规定的时间间隔对车辆周围的对象物至少进行两次(2帧)拍摄。对象物与搭载车辆周围监视装置的车辆的相?#36816;?#24230;越高,与前一次所拍摄到的图像的大小(尺寸)相比较,这一次所拍摄的图像中对象物的图像的大小(尺寸)的变化越大。而且,存在 于车辆前方的对象物与车辆的相?#36816;?#24230;越高,该对象物到达车辆的时间越短。如此,即便是单个的红外线照相机,也能够由规定时间间隔的同一对象物的图像的大小的变化率推测出其到达车辆的到达时间,即TTC(time to contact or time to collision,相撞富余时间),从而对车辆周围进行监视(JP4521642B的[0019]、[0020])。 
在JP4521642B所涉及的技术中,在对不同时间点所拍摄到的同一对象物是人还是车辆进?#20449;?#23450;时,预先分别以与对象物相对应的局部区域来对对象物进行分割,此种情况下为,以分别与人以及车辆相对应的局部区域来对上述对象物进行分割,在将不同时间所拍摄到的涉及同一对象物的图像设为同样大小的图像的基础之上,在上述局部区域的相关程度大于阈值时,判定其为上述人或上述车辆。 
搭载了上述JP2003-284057A以及JP4521642B的现有技术所涉及的车辆周围监视装置的车辆,在夜间行驶时,能够以影像来显示被作为驾驶员用眼睛不容易看到的监视对象而由红外线照相机所检测出的前方的步行者。 
夜间等时候对人(步行者)进?#20449;?#23450;时,人的头部因暴露在外面所以表面温度高、并?#39029;?#22278;形,故能容易地在由红外线照相机所获取到的图像?#20449;?#23450;出上述头部形状。 
另一方面,由搭载着构成车辆周围监视装置的红外线照相机的车辆,在夜间从其他车辆前方对该其他车辆(对面车)进?#20449;?#25668;时,容?#36164;?#21035;出车宽?#36739;?#20004;端的前大灯,此外,在夜间由其他车辆后方外对其他车辆(前行车)进?#20449;?#25668;时,容?#36164;?#21035;出车宽?#36739;?#20004;端的尾灯。 
但是,存在的课题是:在步行者并排行走的情况下,在由红外线照相机所获取到的图像中,辨别并排行走的步行者的头部群体和其他车辆的前大灯(左?#39029;?#23545;的前大灯)或尾灯(左?#39029;?#23545;的尾灯)是困难的。 
发明内容
鉴于上述情况,本发明的目的在于,提供一种能够精确辨别至少 2个并排行走的步行者与亮灯的车辆的车辆周围监视装置。 
本发明所涉及的车辆周围监视装置,利用由搭载于车辆上的红外线照相机获取到的图像对周围的步行者进行监视,其特征在于,具有头部候?#22266;?#21462;部、标准图像生成部、对象物判定部。上述头部候?#22266;?#21462;部由上述图像中提取出存在于大?#28388;?#24179;?#36739;?#30340;至少2个头部候补;上述标准图像生成部以包含被提取出的至少2个上述头部候补?#26800;?#19968;个头部候补在内的周围图像作为标准图像;上述对象物判定部以包含另一个头部候补在内的周围图像作为比较图像,依据上述比较图像与上述标准图像之间的对称性,对至少2个的上述头部候补是步行者群体还是车辆进?#20449;?#23450;。 
采用本发明,依据作为比较图像的包含另一个头部候补在内的周围图像与作为标准图像的包含一个头部候补在内的周围图像之间的对称性,能够精确辨别步行者群体与车辆,如对称性高则为步行者,如对称性低则为车辆。 
其理由在于,步行者的头部大体上?#39318;?#21491;对称的圆形,包含实际的头部在内的周围图像的组(上述标准图像以及上述比较图像)?#26800;?#21508;个图像的对称性高;于此相对应,具有容易被红外线照相机误认作步行者头部的灯的车辆的上述灯多呈非左右对称形状,并且,在包含实际的灯在内的周围图像的组(上述标准图像以及上述比较图像)中,考虑到其为车辆,由于挡泥板和车体柱等与灯相邻的部位材料的存在,所以很多时候被捕捉为非对称图像。 
此外,?#37096;?#20197;通过以下方式对至少2个的上述头部候补是步行者群体还是车辆进?#20449;?#23450;:上述标准图像生成部以只由上述一个头部候?#26500;?#25104;的图像代替包含上述一个头部候补在内的周围图像来生成上述标准图像,上述对象物判定部以只由上述另一个头部候?#26500;?#25104;的图像代替包含上述另一个头部候补在内的周围图像来生成上述比较图像,上述对象物判定部依据上述只由另一个头部候?#26500;?#25104;的图像与上述只由一个头部候?#26500;?#25104;的图像之间的对称性,对至少2个的上述头部候补是步行者群体还是车辆进?#20449;?#23450;。 
在此,只由实际上为头部的头部候?#26500;?#25104;的图像,其意思为,头部自身的图像或头部的外接四角形图像(由「1」值构成的区域的头部以外的部分为「0」值,所以归根到底其为只由头部构成的图像),只由实际上为灯的头部候?#26500;?#25104;的图像,其意思为,灯自身的图像或灯的外接四角形图像(由「1」值构成的区域的灯以外的部分为「0」值,所以归根到底其为只由灯构成的图像)。 
如上所述,头部?#24335;?#36817;于左右对称的圆形,灯多呈非左右对称的角形,所以在比较这样的形状组时,能够精确辨别其是步行者群体还是车辆。 
此外,?#37096;?#20197;通过以下方式对至少2个的上述头部候补是步行者群体还是车辆进?#20449;?#23450;:上述标准图像生成部生成以包含被提取出的至少2个上述头部候补?#26800;?#19968;个头部候补在内的周围图像为内容的标准图像,且生成将上述标准图像进行左右翻转的翻转图像;上述对象物判定部以包含另一个头部候补在内的周围图像作为比较图像,依据上述比较图像分别与上述标准图像以及翻转图像的一致程度,对至少2个的上述头部候补是步行者群体还是车辆进?#20449;?#23450;。 
采用本发明,依据涉及另一个头部候补的比较图像与涉及一个头部候补的标准图像以及翻转图像的一致程度,能够精确做出如下辨别:如一致程度高则为步行者群体,如一致程度低则为车辆。 
其理由在于,如上所述,步行者呈以将头部分为左右两部分的垂直线为对称轴的对称形状,而具有容易被红外线照相机误认为步行者头部的灯的车辆,多呈以将上述灯分为左右两部分的垂直线为对称轴的非对称形状。 
在此情况下,上述标准图像生成部以包含上述头部候补以及头部候补之外的其他特征部分在内的周围图像作为上述标准图像,能够进行更精确的辨别。 
在此情况下,上述其他特征部分为相对于上述头部候补向以上述头部候补左方或右方偏移的大致垂直?#36739;?#30340;边缘部分,由此能够更准确地精确辨别步行者群体和车辆。 
此外,上述对象物判定部对至少2个的上述头部候补是上述步行者群体还是安装于上述车辆的左?#19994;?#28783;进?#20449;?#23450;。 
采用本发明,能够精确地辨别至少2个并排行走的步行者和亮灯的车辆。其结果为,能够?#26723;?#23558;车辆错误地检测为步行者的频率。 
附图说明
图1是表示本发明的一个实施方式所涉及的车辆周围监视装置的模块图。 
图2是搭载有图1所示车辆周围监视装置的车辆的模式图。 
图3是说明车辆周围监视装置的图像处理单元的运行流程图。 
图4是并排行走的步行者的2值图像模式图。 
图5是车辆的2值图像模式图。 
图6是说明图3所示流程图?#26800;?#23545;象物判定处理的详细运?#26800;?#27969;程图。 
图7是说明以一个步行者为标准,计算出另一个步行者与其一致程度的图。 
图8是说明以车辆的一侧的灯为标准,计算出另一侧的灯与其一致程度的图。 
图9是搭载了变形例所涉及的车辆周边监视装置的车辆的模式图。 
具体实施方式
下面参照附图对本发明的实施方式进行说明。 
图1为表示本发明的一个实施方式所涉及的车辆周围监视装置10的结构模块图。图2为搭载有图1所示车辆周围监视装置10的车辆(也称作自车辆)12的模式图。 
在图1及图2中,车辆周围监视装置10具有以下装置:控制该车辆周围监视装置10的图像处理单元14,与该图像处理单元相连接的单个(单眼反射)红外线照相机16(拍摄装置),检测出车辆12 车速Vs的车速传感器18,检测出驾驶员对制动踏板所做操作量(刹车操作量)Br的刹车传感器20,检测出车辆12的偏航率Yr的偏航传感器22,用于发出声音警报等的扬声器24,以及图像显示装置26,该图像显示装置26包括HUD(平视显示器)26a等,其用于显示由红外线照相机所拍摄到的图像,并且让驾驶?#24065;?#35782;到有相?#37096;?#33021;的高危的步行者等对象物(移动对象物,监视对象物)。 
图像显示装置26不仅限于HUD(平视显示器)26a,?#37096;?#20197;利用车辆12所搭载的用于显?#38236;己较低车?#22270;的显示器以及设置在仪表单元内部等用于显示耗油量等的显示器(多功能信息显示器)。 
图像处理单元14由车辆12周围的红外线图像和表示车辆行驶状态的信号(在?#23435;?#36710;速Vs、刹车操作量Br以及偏航率Yr)来检测出车辆前方的步行者等监视对象物,然后在判定出与该监视对象物发生相撞的可能性很高时由扬声器24发出警报(例如?#24103;⑧帧?#22016;的声音),并且将在拍摄图像中以灰度显?#38236;?#30417;视对象物用黄色或红色等醒目颜色框圈起来作强调显示。如此,提醒驾驶员注意。 
在此,图像处理单元14具有以下几部分:将输入的模拟信号转换为数字信号的A/D转换回路等输入回路,存储数?#21482;?#22270;像信号的图像存储器(存储部14m),进行各种演算处理的CPU(中央处理器)14c,存储部14m,即,用于存储CPU14c在演算过程?#26800;?#25968;据的RAM(随机存取存储器)以及用于存储CPU14c所实施的程序、表格、地图和模板{步行者(人体)形状模板等}等的ROM(只读存储器)等,时钟(时钟部)以及定时器(计时部),用于输出扬声器24的驱动信号和图像显示装置26的显示信号等信号的输出回路。上述图像处理单元14采用将红外线照相机16、偏航传感器22、车速传感器18以及刹车传感器20的各输出信号转换为数字信号后输入CPU14c的结构。 
图像处理单元14的CPU14c读取上述数字信号并且一边参照表格、地图以及模板等一边执行程序,即,作为各种功能模块(也称功能部),向扬声器24以及图像显示装置26发送驱动信号(声音信号 或显示信号)。这些功能也能够通过?#24067;?#26469;实现。 
在此实施方式中,图像处理单元14具有头部候?#22266;?#21462;部101、标准图像生成部102、对象物判定部103、相?#37096;?#33021;性判定部106、以及提醒注意信号生成判定部108等上述功能部。在后面将分别对这些功能部进行详细叙述。 
此外,基本上,图像处理单元14将由红外线照相机16所拍摄到的图像与存放在存储部14m的人体形状、动物形状、车辆形状以及包含电线杆在内的支柱等人工构造物形状等的模式上的模板进行比较,执行识别(辨别)物体的物体识别(物体辨别)处理(物体检测处理)。 
如图2所示,红外线照相机16被设置在车辆12的前部保险杠上,其光轴与车轴平行,具有拍摄对象(物体)的温度越高其输出信号(拍摄信号)越强(辉度增加)的特性。 
另外,HUD26a被设置在车辆12的?#26263;?#39118;玻璃上,其显示画面将被显示在不妨碍驾驶员前方视野的位置。 
在此,图像处理单元14具有以下功能:每隔数十毫秒[ms]、例如每秒30帧[ms]的帧时钟间隔或者说每个周期将由红外线照相机输出的影像信号转换成数字数据存储到存储部14m,?#28304;?#20648;在存储部14m?#26800;?#36710;辆前方的图像进行各种演算处理。 
头部候?#22266;?#21462;部101由存储在存储部14m的车辆前方的上述图像中提取出步行者以及车辆(其他车辆)等监视对象物的图像部分,依据提取出的图像部分,提取出在大?#28388;?#24179;?#36739;?#30340;至少两个头部候补。 
标准图像生成部102生成以由头部候?#22266;?#21462;部101所提取出的至少2个上述头部候补?#26800;?#19968;个头部候补的周围图像为内容的标准图像,且生成将上述标准图像进行左右翻转的翻转图像。 
对象物判定部103以至少2个上述头部候补?#26800;?#21478;一个头部候补的周围图像作为比较图像,依据由一个上述头部候补所生成的上述标准图像以及上述翻转图像分别与上述比较图像的一致程度,对至少2个上述头部候补是步行者还是车辆做出判定。 
提醒注意信号生成判定部108计算出在以上述帧时钟间隔或周期 (规定时间间隔)所拍摄的图像中,同一监视对象物的图像部分的大小的变化率Rate,然后利用上述变化率Rate推测出监视对象物到达车辆12所需时间T,且计算出监视对象物的实际空间位置以及该监视对象物在实际空间?#26800;?#31227;动向量。 
根据上述变化率Rate(由图像中求得)和规定时间间隔的拍摄间隔(帧时钟间隔)dT(已知),监视对象物到达车辆12所需时间(也称相撞富余时间)TTC,换言之,车辆12与监视对象物相撞所需的时间TTC,在公知领域中能够利用以下公式求出。 
TTC=dT×Rate/(1-Rate)   (1) 
此外,利用监视对象物前一次所被拍摄到的图像?#26800;?#30417;视对象物的宽度或长度W0(分别以像素数存储)与这一次所被摄像到的图像?#26800;?#21516;一监视物体的宽度或长度W1(像素数)的比(Rate=W0/W1)可以求出变化率Rate。 
另外,通过在上述公式(1)的两边乘以车速Vs,即,?#19978;?#38754;的公式(2)可以求出到监视对象物的距离Z。此外,车速Vs准确来说为监视对象物与车辆12间的相?#36816;?#24230;。监视对象物停止时,相?#36816;?#24230;与车速Vs相?#21462;?nbsp;
Z=Rate×Vs×dT/(1-Rate)   (2) 
再者,依据所计算出的上述相撞富余时间TTC和所计算出的在以规定时间间隔所拍摄的上述图像?#26800;?#21516;一监视对象物的图像部分的位置变化量(移动向量)Δx(水平?#36739;?、Δy(垂直?#36739;?,提醒注意信号生成判定部108对监视对象物与车辆12相撞的可能性进?#20449;?#23450;。 
基本上,涉及这个实施方式的车辆周围监视装置10采取以上结构并且运行,下面参照图3的流程图对其详细运行进行说明。 
首先,在步骤S1中,图像处理单元14由车速传感器18所检测出的车速Vs等来判定车辆12的行驶状态(行驶中还是停车中),停车中(步骤S1:否)的情况下,停止处理。 
在行驶中(步骤S1:是)的情况下,在步骤2中,图像处理单元 14获取由红外线照相机16在每帧所拍摄的、车辆前方的规定图像范围内每帧的作为输出信号的红外线图像,然后将其A/D转换后的灰度图像存储到图像存储器(存储部14),且?#28304;?#20648;的灰度图像进行2值化处理。 
进行2值化处理能够检测出(提取)步行者的头部候补、包含步行者的胳膊在内的躯体候补、以及腿候补。于是,可以以连接腿候补下端的大?#28388;较?#20316;为步行者与路面的接地点。此外,可以以不同阈值来进行2值化处理,从而进行将其分类为头部候补、躯体候补等头部候以外的人体部分、以及背景(环境温度)的3值化处理。 
因人的头部表面温度高、呈圆形,故能容易地从由红外线照相机16所获取到的灰度图像的2值化图像中提取出头部候补。 
在此,作为例子,将比第1辉度阈值Th1大的高辉度区域R2(单纯的称为区域R2)作为「2」,将比第1辉度阈值Th1小?#20918;?#31532;2辉度阈值Th2(Th2<Th1)大的区域R1作为「1」进行2值化处理;进一步将比第2辉度小的区域R0作为「0」进行2值化处理,从而对灰度图像在整体上进行3值化图像的转换处理,将转换后的3值化图像分别对应上述各帧且按帧存放到存储部14m。 
图4表示存储于存储部14m的图像。这个依据2值化处理所做的3值化处理虽?#28784;?#36745;度阈值的选择方法而异,但在并排行走的步行者Pa、Pb(人体,人)的情况下,将辉度最高的头部50a、50b,即,画阴影线区域作为R2,接下来包含辉度高的胳膊在内的躯体52a、52b和腿54a、54b,即,白色区域作为R1,对应环境温度的辉度最低的背景作为区域R0。此外,由腿54a、54b的下端能检测出步行者Pa、Pb与路面56的接地点。即便是在步行者Pa、Pb的接地点组分别上下错开的情况下,也能够实施本发明。 
此外,在后面叙述的步骤S4中,在进?#20449;?#23450;(判定其是否为步行者)前,因步行者Pa、Pb、头部50a、50b、躯体52a、52b、以及腿54a、54b分别为候补者,?#39135;?#20026;步行者候补Pa、Pb、头部候补50a、50b、躯体候补52a、52b、以及腿候补54a、54b。 
接下来,在步骤S3中,因检测到的步行者候补Pa、Pb的头部候补50a、50b在路面56之上的规定高度范围内,并且头部候补50a、50b之间的距离在规定距离范围之内,故被推测为并排行走的步行者PCX候补,并分别作为行程长度数据被贴上标签进行存储(进行标签处理)。此种情况下,包含步行者候补PCX(由步行者Pa和步行者Pb组成)的外接四角形在内的有富余的大四角形图像作为处理对象图像被存储。而且,必要时,为易于图像处理,将各帧的包含步行者候补PCX的外接四角形在内的较大的四角形图像转换为同样大小。 
另一方面,如图5所示,在步骤S2的2值化处理中,在车辆Car的情况下,画阴影线的高辉度区域R2为:分别亮灯的前大灯(对面车)或尾灯(前行车)等存在于左右两端的灯70a、70b,车辆Car的前格栅(对面车)或排气管部(前行车)等的中下部72,左右轮胎74a、74b。 
其他车体部分虽因环境温度而异,但环境温度比车体部分温度低的情况下,以白色区域作为R1区域,背景为R0区域。 
实际上,在2值化处理中,在检测到水平?#36739;?#25490;?#26800;?#39640;辉度区域的灯70a、70b时,在灯70a、70b的上方,将向规定面积的水平?#36739;?#24310;伸的四角形的掩膜范围进行上下移动,能够从该掩膜内的灰度图像中检测出作为车顶(以及车顶边缘)的辉度值相同的连续部分,在灯70a、70b的侧方,能够从向垂直?#36739;?#24310;伸的四角形掩膜范围内的灰度图像中检测出作为车体柱(柱边缘)或挡泥板(板边缘)的辉度值相同的连续部分。 
由于被检测出来的灯70a、70b到路面56的距离在有可能被错误检测为上述头部50a、50b的规定高度范围内,并?#19994;?0a、70b之间的距离在规定距离范围内,因此灯70a、70b被认为是头部候补(在步骤S4中,灯70a、70b在被判定为灯70a、70b前,也称为头部候补70a、70b)、被推测为并排行走的步行者PCY,并作为行程长度数据被贴上标签进行存储(进行标签处理)。 
即,实施步骤S3的标签处理。在此种情况下,包含步行者候补 PCY的外接四角形在内的大四角形图像被作为一张图像存储为被处理图像。在这种情况下,同样,为易于图像处理,将各帧的包含步行者候补PCX的外接四角形在内的较大的四角形图像转换为同样大小。 
依照在步骤S2以及步骤S3?#26800;?#22836;部候?#22266;?#21462;部101所做的处理,具有头部候补50a、50b的并排行走的步行者候补PCX(图4)以及具有头部候补70a、70b的并排行走?#26800;?#27493;行者候补PCY(图5)被检测出来。 
接下来,在步骤S4中,对步行者候补PCX以及步行者候补PCY进行对象物判定处理,即,对步行者候补PCX以及步行者候补PCY是实际上并排行走?#26800;?#27493;行者Pa、Pb,还是具有灯70a、70b的车辆Car进?#20449;?#23450;。 
图6是表示步骤S4的对象物判定处理的详细流程图。 
首先,在步骤S4a中,由标准图像生成部102进行标准图像生成处理。 
如图7所示,在这个标准图像生成处理中,选择构成步行者候补PCX的步行者候补Pa、Pb?#26800;娜我?#19968;个,在这个实施方式中,选择左侧步行者候补Pa,即,包含左侧步行者候补Pa的头部候补50a、作为其他特征部分的躯体候补52a的垂直?#36739;?#30340;一部分边缘58在内的规定范围的周围图像,来生成(截取)标准图像(标准掩膜)Mpr,同时,生成翻转图像(翻转掩膜)Mpi,即,由头部候补50a′和边缘58′构成的、将上述标准图像Mpr左右翻转后的标准图像。此外,标准图像Mpr?#37096;?#20197;由2值化图像中生成。在该2值化图像中,将步行者候补Pa(50a、52a、54a)、Pb(50b、52b、54b)的整体作为高辉度区域「1?#22266;?#21462;出来,将背景作为「0」。 
接下来,在步骤S4b中,对象物判定部103对步行者候补PCX是并排行走?#26800;?#27493;行者群体还是车辆进行分辨{判定处理,一致程度(类似程度)算出处理}。 
在此步骤S4b中,如图7所示,以包含另一个步行者候补Pb的头部候补50b在内的周围图像为比较图像Mpc。比较图像Mpc的大 小与标准图像Mpr以及翻转图像Mpi的大小一致。 
而且,以包含另一个步行者候补Pb的头部候补50b在内?#20918;?#26631;准图像Mpr更大的区域作为搜索范围(扫描范围)60,在此搜索范围60中,例如,由左上方开始到左下方为止,对标准图像Mpr以及翻转图像Mpi一像素一像素的一边移动(边扫描)一边进行比较计算,在各个比较计算位置中,算出比较图像Mpc与标准图像Mpr的一致程度,且算出比较图像Mpc与翻转图像Mpi的一致程度。一致程度,例如,在各个扫描位置中,计算出比较图像Mpc与标准图像Mpr(灰度图像组,2值图像组,或3值图像组)相对应的像素的像素值的差的平方的总和、以及比较图像Mpc与翻转图像Mpi(灰度图像组,2值图像组,或3值图像组)相对应的像素的像素值的差的平方的总和,或者计算出上述总和的倒数。 
在图7所示步行者候补PCX的情况下,步行者候补Pa与步行者Pb的头部候补50a、50b的形状极其类似,并且步行者候补Pa、Pb具有分别以将头部候补50a、50b分为左右两部分的垂直线为对称轴左右对称的形状,因此,存在以左侧步行者候补Pa所生成的标准图像Mpr以及翻转图像Mpi与由右侧步行者候补Pb中所截取的比较图像Mpc的一致程度均极其高的位置(比较位置或扫描位置)。 
在此种情况下,在步骤S4b的判定中,因对于标准图像Mpr以及翻转图像Mpi的两个图像,在搜索范围60内都存在与其一致程度(类似程度)比阈值变高(变大)的比较位置(步骤S4b:是),故在步骤S4c中,步行者候补PCX被判定为并排行走?#26800;?#27493;行者Pa、Pb。 
另一方面,在上述步骤S4a中,几乎同时,由标准图像生成部102对实际上是车辆Car的步行者候补PCY进?#20449;?#23450;。 
如图8所示,在此标准图像生成处理中,选择构成步行者候补PCY的头部候补70a、70b?#26800;娜我?#19968;个,在这个实施方式中选择左侧的头部候补70a,即,包含左侧的头部候补70a、作为其他特征部分的车辆Car的后挡泥板(在此情况下,为左侧的后挡泥板)的垂直?#36739;?#30340;一部分边缘62在内的规定范围的周围图像,生成(截取)标准图 像(标准掩膜)Mcr,且生成翻转图像(翻转掩膜)Mci,即,由头部候补70a′和边缘62′构成的、将上述标准图像Mcr左右翻转后的标准图像。 
此外,在步行者候补PCY的情况下,由2值图像生成标准图像Mcr的情况下,如上所述,例如,在检测出头部候补70a、70b时,在该水平?#36739;?#30340;左侧或者右侧的规定范围内,将向与柱相对应的垂直?#36739;?#24310;伸的?#39135;?#30340;直线状的部分作为灰度图像提取出来生成标准图像Mcr。 
接下来,在步骤S4b中,与对步行者候补PCX所做处理同样,对象判定部103对步行者候补PCY是并排行走?#26800;?个并排的步行者还是车辆进行分辨{判定处理,一致程度(类似程度)算出处理}。 
在此步骤S4b中,如图8所示,以包含另一个头部候补70b在内的周围图像作为比较图像Mcc。比较图像Mcc的大小与上述标准图像Mcr以及翻转图像Mci的大小相同。 
而且,以包含另一个头部候补70b在内?#20918;?#26631;准图像Mcr大的区域作为搜索区域(扫描区域)66,在此搜索区域66中,例如,由左上方开始到左下方为止,对标准图像Mcr以及翻转图像Mci一像素一像素的一边移动(边扫描)一边进行比较计算,在各个比较计算位置中,算出比较图像Mcc与标准图像Mcr的一致程度,且算出比较图像Mcc与翻转图像Mci的一致程度。一致程度,如上所述,例如,在各个扫描位置中,计算出比较图像Mcc与标准图像Mcr(灰度图像组,2值图像组,或3值图像组)相对应的像素的像素值的差的平方的总和、以及比较图像Mcc与翻转图像Mci(灰度图像组,2值图像组,或3值图像组)相对应的像素的像素值的差的平方的总和,或者计算出上述总和的倒数。 
在图8所示步行者候补PCY的情况下,头部候补70a与头部候补70b的形状没有那么类似,并且,头部候补70a与边缘62在标准图像?#26800;?#20851;系在比较图像Mcc中并不成立,因此在搜索范围66中,虽然在翻转图像Mci与比较图像Mcc之间存在一致程度极其高的位置(比 较位置或扫描位置),但是在标准图像Mcr与比较图像Mcc之间,搜索范围66的无论哪个位置的一致程度都没有那么高。 
因此,在步骤S4b的判定中,因为仅仅相对于标准图像Mcr以及翻转图像Mci?#26800;?#19968;方,在搜索范围66中存在与其一致程度(类似程度)比阈值变高(变大)的位置(步骤S4b:否),所以在步骤S4c中能够正确地判定步行者候补PCY为车辆Car。 
如此,由步骤S4a~S4d构成的步骤S4的对象物判定处理结束后,图3的步骤S5中,依据步骤S4c、S4d的判定结果,被判定为车辆Car的步行者候补PCY被认为不是并排行走的步行者,被从以后的处理对象?#20449;?#38500;(步骤S5:否)。 
在步骤S6中,对于在步骤S5中被判定为步行者Pa、Pb(步骤S5:是)的步行者候补PCX,?#19978;嘧部?#33021;性判定部106对在步骤S4中所检测出的含有步行者候补者PCX的步行者Pa、Pb与车辆12(自车辆)相撞的可能性进?#20449;?#23450;。 
即,如上所述,考虑到上述公式(1)?#26800;?#38024;对步行者Pa、Pb的相撞富余时间TTC和步行者Pa、Pb的各移动向量(?#37096;?#20197;考虑距离Z),并进一步依据刹车操作量20、车速传感器18、以及偏航传感器22所分别输出的刹车操作量Br、车速Vs、偏航率Yr,判定出车辆12与步行者Pa、Pb有没有可能相撞,在判定出有可能相撞的情况下(步骤6:是),在步骤S7中,生成提醒注意信号并提醒驾驶员注意(为驾驶员提供信息)。具体来说,既在HUD26a上将灰度图像?#26800;?#27493;行者以醒目颜色框圈出以强调显示,且由扬声器24发出警报,提醒车辆12的驾驶员注意。 
在此,在HUD26a上显?#38236;?#22522;础之上,提醒注意信号生成判定部108将步行者Pa、Pb用红色或黄色等上述醒目颜色框圈出来,生成督促提醒注意的信号。 
实施方式的总结以及变形例
如上所述,上述实施方式所涉及的车辆周边监视装置10利用由 车辆12搭载的单个红外线照相机16所获取到的灰度图像对车辆12周围的步行者Pa、Pb进行监视。 
头部候?#22266;?#21462;部101从灰度图像中提取出存在于大?#28388;?#24179;?#36739;?#30340;至少2个头部候补50a、50b和2个的头部候补70a、70b。 
接下来,标准图像生成部102生成以具有至少2个头部候补50a、50b的步行者候补PCX?#26800;?#19968;个头部候补50a的周围图像为内容的标准图像Mpr,且生成将标准图像Mpr左右翻转的翻转图像Mpi。此外,标准图像生成部102生成以具有至少2个的头部候补70a、70b的步行者候补PCY?#26800;?#19968;个头部候补70a的周围图像为内容的标准图像Mcr,且生成将标准图像Mcr左右翻转的翻转图像Mci。 
而且,对象物判定部103将另一个头部候补50b的周围图像作为比较图像Mpc,依照比较图像Mpc分别与标准图像Mpr以及翻转图像Mpi的一致程度,对至少两个的头部候补50a、50b是步行者Pa、Pb还是车辆Car进?#20449;?#23450;。 
此外,对象物判定部103将另一个头部候补70b的周围图像作为比较图像Mcc,依照比较图像Mcc分别与标准图像Mcr以及翻转图像Mci的一致程度,对至少两个的头部候补70a、70b是步行者Pa、Pb还是车辆Car进?#20449;?#23450;。 
在此种情况下,依据涉及另一个头部候补50b的比较图像Mpc与涉及一个头部候补50a的标准图像Mpr以及翻转图像Mpi的一致程度,能够精确做出如下辨别:如一致程度高于阈值,则为步行者Pa、Pb,如一致程度较低,则为车辆Car。 
同样,依据涉及另一个头部候补70b的比较图像Mcc与涉及一个头部候补70a的标准图像Mcr以及翻转图像Mci的一致程度,能够精确做出如下辨别:如一致程度高于阈值,则为步行者Pa、Pb,如一致程度较低,则为车辆Car。 
因此,能够?#26723;?#23558;车辆Car错误检测为步行?#26800;?#27493;行者Pa、Pb的频率。 
此外,上述实施方式中,虽然标准图像生成部102既生成以由至 少2个的头部候补50a、50b(70a、70b)构成的头部候补PCX(PCY)?#26800;?#19968;个头部候补50a(70a)的周围图像为内容的标准图像Mpr(Mcr),也生成将标准图像Mpr(Mcr)左右翻转的翻转图像Mpi(Mci),但并不局限于此,?#37096;?#20197;像如下这样:标准图像生成部102止于生成以由至少2个的头部候补50a、50b(70a、70b)构成的头部候补PCX(PCY)?#26800;?#19968;个头部候补50a(70a)的周围图像为内容的标准图像Mpr(Mcr),对象物判定部103以包含另一个头部候补50b(70b)在内的周围图像作为比较图像Mpc(Mcc),依据上述比较图像Mpc(Mcc)与上述标准图像Mpr(Mcr)之间的对称性,对至少2个步行者候补PCX(PCY)是步行者Pa、Pb群体还是车辆Car做出判定。 
如此,即便是在不生成标准图像Mpr(Mpc)的左右翻转图像Mpi(Mci)的情况下,因为头部?#24335;?#36817;于左右对称的圆形,而灯则多?#39318;?#21491;不对称的角形形状,所以在比较这样的形状组(一个的头部候补为左右对称,另一个的头部候补为非左右对称)的情况下,也能够由只判定其对称性来辨别其是步行者Pa、Pb还是车辆Car。 
从该层面上?#29627;?#20316;为其他的变形例,标准图像生成部102不以包含上述一个头部候补50a(70a)在内的周围图像作为标准图像Mpr(Mcr),而以只由上述一个头部候补50a(70a)构成的图像来生成标准图像Mpr(Mcr),对象物判定部103不以包含上述另一个头部候补50b(70b)在内的周围图像作为比较图像Mpc(Mcc),而以只由上述另一个头部候补50b(70b)构成的图像来生成比较图像Mpc(Mcc),依据只由另一个头部候补50b(70b)构成的图像与上述只由一个头部候补50a(70a)构成的图像之间的对称性,也能够对其是步行者Pa、Pb群体还是车辆Car来做出一定的辨别。 
此外,只由头部候补50a构成的图像,例如,在图7中,其意思为,头部50a自身的图像或头部50a的外接四角形图像(由「1」值构成的区域的头部50a以外的部分为「0」值,所以归根到底其为只由头部50a构成的图像),在图8中,只由头部候补70a构成的图像 其意思为,灯70a自身的图像或灯70a的外接四角形图像(由「1」值构成的区域的灯70a以外的部分为「0」值,所以归根到底其为只由灯70a构成的图像)。 
在此种情况中,标准图像生成部102将包含头部候补50a(70a)和作为其他特征部分的边缘(轮廓)58(62)在内的上述周围图像作为标准图像Mpr(Mcr),能够更精确地辨别出步行者Pa、Pb和车辆Car。相对于头部候补50a(70a),边缘58(62)如为相对于头部候补50a(50b)向头部候补50a(50b)的左方或右方偏移的大致垂直?#36739;?#30340;边缘部分,则可以选择步行者Pa的躯体52a的竖边缘、车辆的挡泥板板边缘或车体柱边缘。 
此外,本发明并不局限于上述实施方式,能够依据本说明书所记载的内容采用各?#32440;?#26500;。 
例如,如图9所示,搭载于车辆12A的具有左?#39029;?#23545;的红外线照相机16R、16L的车辆周围监视装置。所谓立体照相机的红外线摄像机16R、16L,被设置在车辆12A的前部保险杠的以车辆12A的车宽?#36739;?#30340;?#34892;?#20026;对称点的大致对称的位置,两个红外线照相机16R、16L的光轴相互平行,并且两者被固定于距路面高度相同的位置。在具有左?#39029;?#23545;的红外线照相机16R、16L的此车辆周围监视装置中,如公知,在由左?#39029;?#23545;的红外线照相机16R、16L所获取到的车辆12A周围的图像中,既把高温部分作为对象物,且利用左右图像中同一对象物的视差、利用三角测量的原理算出到上述对象物的距离,由上述对象物的移动?#36739;?移动向量)以及上述对象物的位置来检测出可能对车辆(自车辆)12的行驶产生影响的对象物(有相?#37096;?#33021;的对象物),然后输出提醒注意信息。 

关于本文
本文标题:车辆周围监视装置.pdf
链接地址:http://www.pqiex.tw/p-6124357.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 橄榄球内衣碗 吉林时时几点开奖直播现场 内蒙古快三历史开奖 大小单双怎么看走势图 湖北快三单双技巧 时时彩升黄金全套 快3广西一定牛 特精准五分快三计划网址 湖南快乐10开奖 组选包胆中奖概率