平码五不中公式规律
  • / 28
  • 下载费用:30 金币  

用于环境简档生成的方法和装置.pdf

关 键 ?#21097;?/dt>
用于 环境 生成 方法 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201580042622.3

申请日:

2015.08.10

公开号:

CN106663197A

公开日:

2017.05.10

当前法律状态:

实审

有效性:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06K 9/00申请日:20150810|||公开
IPC分类号: G06K9/00; G06K9/62; G06T7/70(2017.01)I 主分类号: G06K9/00
申请人: 三星电子株式会社
发明人: N.布加利亚; A.塔内加; M.简恩; P.K.卡尔拉; S.库马尔
地址: 韩国京畿道
优?#28909;ǎ?/td> 2014.08.08 IN 2266/DEL/2014; 2015.06.03 KR 10-2015-0078522
专利代理机构: 北京市柳沈律师事务所 11105 代理人: 邵亚丽
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201580042622.3

授权公告号:

|||

法律状态公告日:

2017.06.06|||2017.05.10

法律状态类型:

实质审查的生效|||公开

摘要

提供了一种用于生成环境简档的方法。用于生成环境简档的方法包括?#21644;?#36807;借助至少一个记录设备捕获环境来生成环境的图像,基于图像来检测环境中对象的改变,以及基于对象的改变来生成环境简档。

权利要求书

1.一种用于生成环境简档的方法,所述方法包括:
通过借助至少一个记录设备捕获环境来生成所述环境的图像;
基于所述图像检测所述环境中对象的改变;以及
基于所述对象的改变来生成所述环境的环境简档。
2.根据权利要求1所述的方法,其中所述至少一个记录设备包括RGB相机、热相机、深度
相机和点云相机中的至少一者。
3.根据权利要求1所述的方法,还包括:
基于所述环境简档为与所述环境相关的用户生成推荐。
4.根据权利要求1的方法,其中,所述生成包括:
基于检测到所述对象的改变的时间和所述对象的改变的类型来生成所述环境简档。
5.根据权利要求1所述的方法,还包括:
利用音频传感器来分析所述环境的音频信号,其中所述检测包括基于所述音频信号检
测所述对象的改变。
6.根据权利要求1所述的方法,其中所述生成包括基于所述图像与用户之间的相关性
生成所述环境简档。
7.根据权利要求1所述的方法,其中所述对象的改变包括对于对象的添加、?#22659;?#26367;换、
修改、位置的改变中的至少一者。
8.根据权利要求1所述的方法,还包括:
基于所述对象的改变输出用于用户的推荐、通知和警告中的至少一者。
9.根据权利要求1所述的方法,其中所述检测包括测量所述对象的改变的频?#21097;?#24182;且
其中所述生成包括基于所述对象的改变的频率生成所述环境简档。
10.根据权利要求1所述的方法,还包括:
基于所述对象的改变确定用户对所述对象的使用模式,
其中所述生成包括基于所述用户的使用模式生成环境简档。
11.一种用于生成环境简档的装置,所述装置包括:
图像生成器,配置成通过捕获环境来生成所述环境的图像;
检测器,配置为基于所述图像检测所述环境中对象的改变;以及
简档生成器,配置为基于所述对象的改变生成环境简档。
12.根据权利要求11所述的装置,其中所述图像生成器包括RGB相机、热相机、深度相机
和点云相机中的至少一者。
13.根据权利要求11所述的装置,其中所述简档生成器基于所述环境简档为与所述环
境相关的用户生成推荐。
14.一种用于生成环境简档的方法,所述方法包括:
利用至少一个记录设备来捕获表示环境的参数;
基于所述参数来检测所述环境中的至少一个对象;以及
基于所述对象生成指示所述环境的特性的环境简档。
15.根据权利要求14所述的方法,
其中所述参数包括所述对象的点云数据。

说明书

用于环境简档生成的方法和装置

技术领域

与示例性实施例一致的方法和装置涉及用于基于利用诸如点云相机的记录设备
对环境的感测来生成环境简档的方法和装置。

背景技术

下面的背景论述包括可有用于理解本发明的信息。并不承认此处提供的任何信息
是现有技术或与当前请求保护的发明相关,或者具体或隐式引用的任何公开物是现有技
术。

大多数常规推荐系统?#35272;?#29992;户的数字生活来识别用户的选择并生成简档。基于这
样生成的简档,可以向用户呈现合适的推荐。描述前述原理的现有技术文档中的一些是美
国公开第20120232977号和美国公开第20120233003号。

美国公开第20120232977号描述了识别用户的金融行为及用户的收藏并?#19968;?#20110;此
辅助用户。金融行为数据可基于信用、借记和其他活期存款账户的购买/交易来确定。其还
进行实时的视频流分析以从视频中发现对象并且通过选择/推荐产品和企业来辅助用户。

美国公开第20120233003号描述了在经由移动设备进行购买以用于电子商务活动
时通过对产品/物?#26041;?#34892;实时视频分析来辅助用户。

除了基于用户的数字生活生成简档之外,还可以基于真实生活环境并且更具体地
基于在环境中感测的对象和活动来创建简档。除了生成推荐之外,这样生成的简档还可有
利地用于例如在家庭自动化系统、安保系统等中生成警告。为了生成这样的简档,可能必须
?#35272;?#21508;种电子设备,包括例如图像捕获设备、声音捕获设备等。描述基于对环境的感测生成
简档的文档中的一些为美国专利第8081158号、美国公开第20080167913号、美国公开第
20040037469号、美国公开第20030088832号和美国专利第8068879号。

美国专利第8081158号描述了利用相机来捕获图像并?#19968;?#20110;图像特性来递?#25512;?#24149;
内容。该想法主要是识别用户的年龄及性别并且相应地递?#25512;?#24149;内容(例如,广告、程序
等)。

美国公开第20080167913号描述了在计算机系统的部件的指定接近度内检测物理
对象,其中计算机系统将用于所述物理对象的接入对象识别符?#23454;?#32473;内容门户。该发明基
于对象的物理特?#28304;?#36827;递送内容(例如,广告、游戏、多媒体片段等)。对象可以为任何东西
(例如,瓶子、玻璃?#30772;貳⑹种浮?#24125;子等)并且应当在台式计算机系统的部件的指定接近度内。
该想法是识别产品(或其分类)并?#39029;?#29616;相关内容以显示在台式计算机系?#25104;稀?br />

美国公开第20040037469号描述了利用传感器设备进行对象检测并且然后基于检
测到的对象控制显示设备。该发明涉及用于对信息显示设备(例如,广告载体)的面向对象
的控制的设备。所?#33268;?#30340;对象主要是人,但是也可以为其他对象,诸如车辆。

美国公开第20030088832号描述了用于显示广告信息的系统和方法,其中系统能
够感测在显示器的直接环境中的个人的存在并获得其特性。这种想法识别用户的特性(比
如,用户的移动、性别、年龄和种族)并利用该信息以将材料呈现在显?#38236;?#20803;上。

美国专利第8068879号描述了个人通信设备上的传感器,其监测设备周围的环境。
基于对该监测的分析,将适当的视觉消息显示在设备的外显示屏上。视觉消息针对设备周
围的人,而不是针对设备的用户。

从上面的文档可以观察到,图像捕获设备和对捕获的图像的分析在该领域中起关
键作用。前述文件主要利用诸如RGB相机的图像捕获设备进行对象检测/识别,并且因此不
能够确定深度参数。然而,将会领会,包括深度参数(或者换言之,基于存在于环境中的对象
的形状)的简档的生成提供更好质量的简档。尽管在处理期间能够对抗这样的限制,但是归
因于对过度的图像处理技术的要求,其导致成本效?#23454;停?#20174;而使得简档生成系统不高效。

除了上述之外,已经发现,当处理从RGB相机获得的低分辨率图像用于简档生成
时,生成的简档的质量不令人满意。尽管能够通过利用高分辨率相机来对抗这样的限制,但
是其导致成本效?#23454;汀?br />

即便简档生成系统利用具体设计成捕获高分辨率图像的捕获设备,由于捕获设备
要求预定的照明或者充足开明的环境来检测任何对象或活体或在环境中发生的任?#25105;?#21160;,
所以与环境的照明水平相关的问题还仍然在获得期望的结果方面扮演令人扫兴的角色。

发明内容

技术问题

因此,仍然存在提供用于基于对环境中对象的感测、环境中发生的改变、环境中发
生的活动和环境中发生的交互来生成环境的简档的改进的方法和系统的需要。

问题的解决方案

示例性实施例的一个方面涉及用于通过检测在通过利用具有点云相机的记录设
备生成的图像中的对象的改变来生成对象周围的环境的简档的用于生成环境简档的方法
及其环境简档生成装置。

根据示例性实施例的一个方面,提供了一种用于生成环境简档的方法,所述方法
包括?#21644;?#36807;借助至少一个记录设备捕获环境来生成环境的图像;基于图像检测环境中对象
的改变;以及基于对象的改变来生成环境的环境简档。

至少一个记录设备可包括RGB相机、热相机、深度相机和点云相机中的一者。

所述方法可进一步包括基于环境简档为与环境相关的用户生成推荐。

生成可包括基于检测到对象的改变的时间和对象的改变的类型来生成环境简档。

所述方法可进一步包括利用音频传感器来分析环境的音频信号,其中检测包括基
于音频信号检测对象的改变。

生成可包括基于图像与用户之间的相关性生成环境简档。

对象的改变可包括对于对象的添加、?#22659;?#26367;换、修改、位置的改变中的一者。

所述方法可进一步包括基于对象的改变输出用于用户的推荐、通知和警告中的至
少一者。

检测可包括测量对象的改变的频?#21097;?#24182;且生成可包括基于对象的改变的频率生成
环境简档。

所述方法可进一步包括基于对象的改变确定用户对对象的使用模式,其中生成包
括基于用户的使用模式来生成环境简档。

根据示例性实施例的另?#29615;?#38754;,提供了一种用于生成环境简档的装置,所述装置
包括?#21644;?#20687;生成器,配置为通过捕获环境来生成环境的图像;检测器,配置为基于图像来检
测环境中对象的改变;以及简档生成器,配置为基于对象的改变来生成环境简档。

图像生成器可包括RGB相机、热相机、深度相机和点云相机中的至少一者。

简档生成器可基于环境简档为与环境相关的用户生成推荐。

简档生成器可基于检测到对象的改变的时间和对象的改变的类型来生成环境简
档。

所述装置可进一步包括配置为分析环境的音频信号的音频传感器,其中检测器基
于音频信号检测对象的改变。

简档生成器可基于图像与用户之间的相关性生成环境简档。

对象的改变可包括对于对象的添加、?#22659;?#26367;换、修改、位置的改变中的至少一者。

简档生成器可基于对象的改变输出用于用户的推荐、通知和警告中的至少一者。

简档生成器可基于对象的改变的频率生成环境简档。

简档生成器可基于用户对对象的使用模式来生成环境简档,用户对对象的使用模
式基于对象的改变来确定。

根据示例性实施例的另?#29615;?#38754;,提供了一种用于生成环境简档的方法,所述方法
包括:利用至少一个记录设备捕获表示环境的参数;基于参数检测环境中的至少一个对象;
以及基于对象来生成指示环境的特性的环境简档。

参数可包括对象的点云数据。

检测可包括:基于点云数据提取对象的3D外观;以及从对象数据库检索匹配3D外
观的对象信息。

对象可包括与环境相关的人。

生成可包括将所述参数与先前与从环境检测到的旧参数进行比较;基于比较的结
果检测环境的改变;以及基于改变分析环境的特性。

环境的特性可包括与环境相关的人的行为模式。所述方法可进一步包括基于环境
简档输出用于控制环境中存在的至少一个设备的控制信号。

附图说明

图1是示意根据示例性实施例的用于生成环境简档的方法的流程图;

图2是示意根据示例性实施例的生成环境简档的方法的流程图;

图3是根据示例性实施例的用于生成环境简档的装置的框图;

图4是根据另一示例性实施例的用于生成环境简档的装置的框图;

图5是根据再另一示例性实施例的用于生成环境简档的装置的框图;

图6示意了根据示例性实施例的包括三个对象和用于感测环境中的至少一个参数
的记录设备的环境;

图7示意了根据实施例的基于背景减除检测改变的构思;

图8是示意根据示例性实施例的用于基于环境简档提供推荐的方法的流程图;

图9是示意根据另一示例性实施例的用于基于环境简档提供推荐的方法的流程
图;

图10是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流
程图;

图11是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流
程图;

图12是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流
程图;

图13是示意根据再另一示例性实施例的用于基于环境简档提供推荐的方法的流
程图;以及

图14是示意根据示例性实施例的用于基于环境简档触发警告的方法的流程图。

具体实施方式

出于促进对示例性实施例的原理的理解的目的,现在将对附图进行参考并且将使
用特定言语来描述附图。然而,将要理解,不打算借此限制本公开的?#27573;В?#26412;领域技术人员
通常将想到在示意的系统中的这样的变更和进一步的修改以及本文示意的示例性实施例
的原理的这样的进一步应用。

本领域技术人员将理解,前面的概要描述和下面的详细描述是示例性和解释性的
实施例,而不打算对实施例进行限制。贯穿本公开,采用这样的习惯:在附图中,相同标号表
示相同部件。

贯穿本公开对“示例性实施例”、“另一示例性实施例”或类似言语的提及意思是联
系示例性实施例描述的特定特征、结构或特性包括在至少一个示例性实施例中。因此,贯穿
本说明书中出现的措辞“在示例性实施例中”、“在另一示例性实施例中”和类似言语可以但
不一定全?#21487;?#21450;相同示例性实施例。

术语“包括”、“包含”或其任何其他变体意图覆盖非排他性包含,以使得包括步骤
列表的过程或方法不仅包含这些步骤,还可包含未明确列出的或者这样的过程或方法固有
的其他步骤。类似地,如果没有更多限制,则接在“包括”之后的一个或多个设备或子系统或
元件或者结构不排除其他设备或其他子系统或其他元件或其他结构或附加设备或附加子
系统或附加元件或者附加结构的存在。

除非另有限定,否则本文使用的所有技术和科学术语具有与本发明所属技术领域
中普通技术人员通常理解相同的意义。本文提供的系统、方法和示例仅是示例性的,而不打
算进行限制。

将领会,来自点云相机的输出包括深度相关信息并且因此这样生成的简档将具有
比仅基于2D数据生成的简档更高的质量。除了上述之外,由于点云相机固有地提供深度相
关信息,因此不需要执行用于从2D数据获得深度信息所涉及的图像处理技术。因此,能够预
见处理时间大大减少,处理电路的复?#26377;越档停?#25152;有这些都可有助于?#26723;?#25104;本。

还已经观察到,如果来自点云相机的输出被用于对象识别处理,则相比于使用来
自RGB相机的输出,其会产生更好的结果。此外,已经观察到,如果来自点云相机的输出被用
于对象识别处理,则特别是在照明水平低(例如弱光条件或夜间条件)时,相比于来自RGB相
机的输出,其会产生更好的结果。

贯穿本公开,术语“对象”可涵盖包括人的活体和非活体事物。

在示例性实施例中,可从包括点云相机和RGB相机、热图像传感器和音频传感器中
的至少一者的一个或多个记录设备接收环境中的参数。例如,环境中的参数可通过使用下
列组合来获得:(a)点云相机和RGB相机,(b)点云相机和热图像传感器,(c)点云相机和音频
传感器,(d)点云相机、热图像传感器和音频传感器,(e)点云相机、RGB相机和音频传感器。
当照明水平低(例如弱光条件或夜间条件)时,与单单使用点云相机相比,使用热图像传感
器提供对这样生成的简档质量的附加增强。

下面将参考附图详细描述各种示例性实施例。

图1是示意了根据示例性实施例的用于生成环境简档的方法的流程图。在操作102
中,根据示例性实施例生成环境简档的设备接收关于环境的至少一个参数。可通过图像捕
获设备捕获参数。例如,由点云相机捕获的点云数据可为参数。参数可在连续的基础上或周
期性地捕获。一般地,参数可与环境中存在的一个或多个对象关联。对象可为环境中存在的
包括人的活体或非活体事物。

在操作104中,检查在参数中是否发生过任何改变(104)。为了检测改变,将当前接
收到的参数的值与参数的基准?#24403;?#36739;。在这样的基准值不可用的情况下,可通过将参数的
当前值与参数的过去?#24403;?#36739;来检测参数的改变。可替换地,可使用参数的其他适当值用于
比较和检测参数的改变的目的。可通过从过去的图像帧减除接收的图像帧来进行检测。

参数的改变的发生可归因于任何原因。例如,原因可包括但不限于环境中发生的
自然现象(其对对象具有影响)或活体执行的动作的结果。由活体执行的动作可涉及一个或
多个其他活体或一个或多个活体事物。

可在操作106中评估已经检测到改变的参数。然而,对于进一步的评估可不考虑某
些类型的改变。例如,?#19978;?#23450;就改变的程度来?#26723;?#26368;小阈值,并且可过滤掉低于最小阈值限
的改变。可注意到,可针对被监测的参数中的所有或一些来设置最小阈值。作为另一示例,
可在时间段的基础上过滤掉改变。具体来说,可以限定一时间段,并且可考虑仅在该时间段
期间发生的一些改变以用于进一步评估。同样,可针对被监测的参数中的所有或一些来设
置该时间段。

在操作106中,可评估已经经历改变的参数并且可在评估的基础上生成环境的简
档。可通过查阅存储推断集合的存储设备来生成环境简档,所述推断集合与已经经历改变
的参数对应。然而,不需要每个改变都具有对应的环境简档。简档可?#20174;?#22810;个参数,其中多
个参数中的每一个都以广泛状态存在。

另外,可利用自学习方法来生成环境简档。自学习方法可最初?#35272;?#21253;含在存储设
备中的数据,之后可逐渐增加或减少简档的数量。还可以修改形成环境简档的一部分的标
准。

图2是根据示例性实施例的更加详细地示意了图1的方法的流程图。

在操作102中,从点云相机接收一个或多个参数。

在操作202中,可从记录设备接收一个或多个附加参数。记录设备可包括但不限于
RGB相机、热传感器或音频传感器。

在操作204中,可检测接收到的参数的改变。可在操作106中生成针对环境的简档
时考虑参数的改变。

在操作206中,可确定改变发生的频率。

在操作208中,可在环境中在一时间?#25991;?#35266;察特定类型的改变并且可基于重复发
生的改变确定模式统计量。可存储模式统计量供进一步使用,例如用于简档生成。

在操作212中,可使用接收到的参数查询对象数据库模块。

在操作210中,识别与记录的参数或改变的参数对应的对象。一个参数可以与多个
对象关联。在这种情况下,可检测参数的改变,并且可从与改变了的参数关联的多个对象识
别或然(probable)对象。

在操作106中,评估改变了的参数并?#19968;?#20110;评估生成环境简档。

在操作214中,基于检测到的改变确定环境的主题。主题可从在存储设备中可用的
主题列表中确定。

环境简档可涉及很多应用。例如,其可用于向用户发送推荐(216),用于向用户发
送通知(218)或用于向用户发送警告(220)。

图3是根据示例性实施例的用于生成环境简档的装置的框图。

装置300可包括:接收单元302,用于从至少一个记录设备(例如点云相机)接收环
境中的至少一个参数;改变检测单元304,用于检测参数的改变;以及简档构造模块306,用
于生成环境简档。接收单元302、改变检测单元304和简档构造模块306可以以?#24067;?#25110;软件的
形式实?#21482;?#23454;现为?#24230;?#24335;部件。

图4是根据另一示例性实施例的用于生成环境简档的装置的框图。

装置400可包括接收单元302、改变检测单元304、简档构造模块306、分析模块402、
对象识别模块404、对象数据库406、推荐生成单元408、通知生成单元410和警告生成单元
412。

除了从诸如点云相机的记录设备接收一个或多个参数之外,接收单元302还可从
其他记录设备(例如,RGB相机、热传感器或音频传感器)接收一个或多个附加参数。改变检
测单元304可检测从这些其他记录设备接收的附加参数的改变。简档构造模块306可将在附
加参数中检测到的改变考虑在内以生成针对环境的简档。简档构造模块306可基于检测到
的改变确定环境的主题。主题可从在存储设备中可用的主题列表中选择。

分析模块402可确定参数改变发生的频率。分析模块402可进一步基于重复发生的
改变确定模式统计量并且将模式统计量存储在存储设备中供进一步使用,例如用于环境简
档生成。

如果没有识别出参数与对象之间的关联性,则对象识别模块404可识别与记录的
参数或改变的参数对应的或然对象。为了这样做,对象识别模块404可使用至少一个捕获的
参数来在对象数据库406中执行搜索。

推荐生成单元408可生成并提供推荐给用户。通知生成单元410可生成并提供通知
给用户。警告生成单元412可生成并提供警告给用户。

图5是根据再另一示例性实施例的用于生成环境简档的装置的框图。装置500可包
括能够被执行以使得装置500执行本公开中示例性实施例中的一个或多个的一组指令。装
置500可操作为单机设备或可例如使用网络连接到其他计算设备或外围设备。

装置500可实现为各种设备或结合到各种设备中,所述各种设备诸如个人计算机
(PC)、平板PC、机顶盒(STB)、个人数?#31181;?#29702;(PDA)、移动设备、掌上计算机、膝上计算机、台式
计算机、电视机或能够执行使得机器执行本公开中的示例性实施例的一个或多个的一组指
令(?#25215;?#30340;或其它形式的)的任何其他机器。另外,尽管在图5中示意了单个装置500,但是装
置可包括单独或共同执行一组或多组指令以根据示例性实施例执行一个或多个功能的系
统或子系统的?#25105;?#38598;合。

装置500可包括处理器502(例如中央处理单元(CPU))、图?#26410;?#29702;单元(GPU)或这两
者。处理器502可为多种系统中的部件。处理器502可为一个或多个通用处理器、数?#20013;?#21495;处
理器、专用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、其组合或用于
分析和处理数据的其他现在已知或以后开发的设备。处理器502可实现为软件程序,诸如手
动生成的(即,编程的)代码。

术语“模块”可解释为包括多个可执行模块。如本文所描述的,模块可包括能够由
处理器(诸如处理器502)执行的软件、?#24067;?#25110;其某种组合。软件模块可包括能够由处理器
502或其他处理器执行的存储在存储器(诸如存储器504或另外的存储器设备)中的指令。硬
件模块可包括能够被执行、引导或以其他方式控制以用于由处理器502执行的各种设备、部
件、电路、门、电路板等。

装置500可包括存储器504,存储器504可连接到总线508。存储器504可为主存储
器、静态存储器或动态存储器。存储器504可包括各种类型的?#36164;?#24615;和?#19988;资源?#20648;介质。
例如,存储器504可包括但不限于随机存取存储器、只读存储器、可编程只读存储器、电可编
程只读存储器、电可擦除只读存储器、闪存存储器、磁带或盘、光学介?#23454;取?#23384;储器504可包
括用于处理器502的高速缓存或随机存取存储器或者可以与处理器502分离,诸如系统存储
器。存储器504可为外部存储设备或用于存储数据的数据库。例如,存储器504可包括硬盘驱
动器、致密盘(“CD”)、数?#36136;?#39057;盘(“DVD”)、存储卡、存储棒、软盘、通用串行总线(“USB”)存
储设备或进行操作以存储数据的任何其他设备。存储器504可操作为存储能够被处理器502
执行的指令。根据示例性实施例的功能、动作或任务可由执行存储在存储器504中的指令的
经编程的处理器502来执行。所述功能、动作或任务不?#35272;?#20110;特定类型的指令集、存储介质、
处理器或处理策略,并且可由单独或组合操作的软件、?#24067;?#38598;成电路、固件、微码等来执
行。同样,处理策略包括多处理、多任务、并行处理等。

显?#38236;?#20803;510包括但不限于液晶显示器(LCD)、有机发光二极管(OLED)、平板显示
器、固态显示器、阴极射线管(CRT)、投影仪、打印机或用于输出确定的信息的其他现在已知
或以后开发的显示设备。显示器510可充当使用户看到处理器502的功能的接口,或具体地
用作与存储在存储器504中的或在驱动单元516中的软件的接口。装置500可不包括显?#38236;?br />元510。

用户输入设备512?#31245;市?#29992;户与装置500的部件中的任一个交互。用户输入设备
512可借助数字键区、键盘、诸如鼠标或控制杆的光标控制设备、触摸?#26009;?#31034;器、遥控器或进
行操作以与装置500交互的任何其他设备。

驱动单元516可包括计算机可读介质522,在计算机可读介质522中可存储一组或
多组指令524,例如软件。另外,指令524可体现所描述的示例性实施例的算法中的一个或多
个。例如,指令524在被装置500执行期间可完全地或至少部分地驻存在存储器504内或处理
器502内。存储器504和处理器502还可包括在上面论述的计算机可读介质。

示例性实施例设想到了包括指令524或响应于传播的信号接收并执行指令524的
计算机可读介?#21097;?#20197;使得连接到网络526的设备能够通过网络526传送语音、视频、音频、图
像或任何其他数据。另外,可经由通信通过总线508或通过网络526传输或接收指令524。通
信接口520可为处理器502的一部?#21482;?#32773;可为单独的部件。通信接口520可以以软件或?#24067;?br />来实现。通信接口520可以与网络526、外部介质、显示器510或计算系统500中的任何其他部
件或其组合连接。

术语“计算机可读介质”可包括单个介质或多个介?#21097;?#35832;如集中式或分布式数据库
和关联的高速缓存以及存储一组或多组指令的服务器。术语“计算机可读介质”还可包括能
够存储、编码或承载用于由处理器执行或使得计算机系?#25345;?#34892;所公开的方法或操作中的任
意一个或多个的一组指令的?#25105;?#20171;质。“计算机可读介质”可为非暂态且有形的。

计算机可读介质可包括诸如存储卡的固态存储器或容纳一个或多个?#19988;资?#24615;只
读存储器的其他封装。另外,计算机可读介质可为随机存取存储器或其他?#36164;?#24615;?#31245;?#20889;入
存储器。此外,计算机可读介质可包括磁光介质或光学介质(诸如盘或带或其他存储设备)
以捕获载波信号,诸如通过传输介质传送的信号。电子邮件的数字文件附件或其他自包含
的信息档案或档案的集合可视作为有?#26410;?#20648;介质的分布介质。因此,设想到本公开包括计
算机可读介质或分布介质和其他等价物以及数据或指令可存储在其中的接继介质中的任
一个或多个。

装置500可借助专用?#24067;?#23454;现方式(诸如专用集成电路、可编程逻辑阵列和其他硬
件设备)来实现。

示例性实施例的应用可涉及多种电子和计算机系统。一些示例性实施例可使用两
个或更多个特定的互连?#24067;?#27169;块或设备。相关的控制和数据信号可在模块之间并通过模块
传送,或作为专用集成电路的部分传送。因此,示例性实施例可涵盖软件、固件和?#24067;?#23454;现
方式。

下面将通过不同场景详细描述示例性实施例。

正在?#25214;?#22686;加地使用推荐系统来在生活中辅助用户,但是大多数推荐系统和算法
仍然?#35272;?#29992;户的数字生活来识别用户的选择并相应地生成简档。然而,更合意的是简档反
映其在其中生活的真实环境。图6示意了根据示例性实施例的包括三个对象和用于感测环
境中的至少一个参数的记录设备的环境。在示例性实施例中,点云相机可用作记录设备以
捕获用户的生活环境及真?#26723;?#29983;活事实。点云相机可结合在TV中或连接到计算设备。如在
图6中示意的,三个对象存在于用户的环境中。本领域普通技术人员将理解,环境可被修改
以包括任何其他可替换对象。其他记录设备可以与点云相机结合或连接以监测环境的参
数。这种方法具有许多优点;例如,由于捕获的场景固定,所以需要处理的数据较少。此外,
通过仅仅分析场景中的动态对象,可以进一步提高速度和准确性。借助其他传感器(诸如一
般的相机(或可替换地称为RGB相机)、热传感器(例如红外传感器)、音频传感器等)的帮助
而非只用点云相机,可以更准确和迅速地分析环境。

在示例性实施例中,可使用点云相机分析包括用户及其行为的环境。被监测并用
于生成简档的参数可包括但不限于下列各项:

1、房间中的对象:房间中对象的种类,例如,电子物品、古董物品、家具、装饰物品
等;

2、观看TV的人数:这提供可能的用户计数;

3、房间中发生的改变的频?#21097;?#25151;间中事物被添加/改变得有多频?#20445;?br />

4、房间中对象的属性,例如廉价/昂贵、现代/古董、实用/装饰、颜色丰富/晦?#26723;齲?br />

5、房间和对象的颜色;

6、在观看TV时的照明条件等。

一旦创建了简档,就可以向用户提供推荐,所述推荐不仅针对数字内容还针对真
实世界物品,诸如衣物、电子物品等。另外,可使用多个用户的简档来提供跨用户的推荐。可
在实时的基础上、在时间?#26144;?#30340;基础上或在批模式的基础上生成简档。时间?#26144;?#30340;基础可
涉及捕获参数的时间与生成简档的时间之间的时间差。在批模式中,可使用多个参数来生
成环境简档。在批模式的示例性实施例中,可仅处理在预定时间段期间捕获的参数来生成
环境简档。另外,可以对要用于生成环境简档的参数的数量施加限制。

示例性实施例假设:

(1)用户对其使用最多的对象?#34892;?#36259;,

(2)每当对象被使用时,其状态被改变。

这样,为了识别用户?#34892;?#36259;的对象,需要识别随着时间推移改变其状态的对象。参
考图6,对于固定环境可通过使用静态点云相机来容易地检测状态的改变。如在前面提及
的,诸如RGB相机、热传感器、音频传感器等的附加传感器可用于检测各种种类的改变。例
如,RGB相机和热传感器中的每一个都可提供与例如位置或物理性质(例如颜色)的改变有
关的信息。传感器可在一时间?#25991;?#36830;续地监测环境并且通过将当前的捕获的帧与先前的帧
比较来?#19994;?#25913;变的对象。这种方法为检测用户?#34892;?#36259;的对象产生更好的准确性和性能。用
户的简档可基于用户的对象使用行为和时间信息来生成。

可通过点云相机以及可选地通过一个或多个附加设备(诸如RGB相机、热传感器
等)来捕获图像并且可对它们进行处理并识别在一时间?#25991;?#22312;场景中被改变的对象。基于
时间,对环境改变模式进行记录,该环境改变模式进一步用于准备环境简档。该简档进一步
用于在数字/真实世界中预测和辅助用户。

在示例性实施例中,环境简档生成系统300可包括:

1、图像捕获模块

2、图像分析模块

3、对象识别模块

4、对象数据库模块

5、音频捕获及分析模块

6、简档生成模块

7、基于简档的推荐模块

下面是对模块的详细描述:

1、图像捕获模块:该模块负责从环境捕获图像。可通过使用点云相机来进行图像
捕获。除了点云相机之外,还可以额外地使用诸如RGB相机或热相机的其他设备。可连续地
(如同视频流)捕获环境,或者可仅当在场景帧中识别出显著改变时才捕获环境。可通过点
云相机、RGB相机和热图像传感器中的一个或多个检测该改变。可基于历史、时间和其他参
数来自动调整改变检测阈值。一旦捕获到点云图像,就可以将其他设备(RGB相机及热传感
器)的内容和相关信息一起进行存储。

2、图像分析模块:该模块负责分析捕获的信息。在示例性实施例中,捕获的信息可
包含可选地带有RGB数据和IR数据的点云信息。该模块借助不同的图像处理技术使用点云
信息并可选地使用IR数据或RGB数据来识别在图像帧中发生的改变。最基本的技术之一可
为背景减除,其中使用先前图像作为参考并且减去下一帧缓冲以识别改变的区域。该技术
可用于所有三种类型的传感器,即点云相机、RGB相机和热传感器。一旦识别出所述区域,就
可以通过其他模块进一步处理图像以用于对象检测。

3、对象识别模块:该模块可从图像分析模块得到帧信息并且识别在其中存在的对
象。对于检测人,热图像可被用作线索。如果在热图像中存在的温度不匹配人体的温度,则
可将人计数设置为零。如果某区域显示匹配人体温度的温度,则可能需要使用点云数据和
RGB数据进一步分析以?#19994;?#23384;在的人。为了检测人的存在,并不强制要求热传感器。在没有
热传感器的情况下,单单来自点云相机的数据可用于人检测。

类似地,可基于对象的3D形状来识别对象。例如,可使用点云数据来识别立方或球
形表面。一旦对象被识别为具有立方表面,则RGB数据就可以与被识别的立方表面一起用作
查询以在立方对象数据库中执行搜索。温度数据也可以与形状数据一起使用。例如,温度数
据和表面数据可融合在一起来形成唯一的设备签名。

4、对象数据库模块:该模块可包含可能存在于特定环境(例如用户的起?#37038;?中的
一般对象的信息。数据库可包括对象的2D图像和3D点云数据、温度签名中的一个或多个。稍
后可使用该信息来识别场景中可得到的对象。

5、音频捕获及分析模块:该模块可连续地监测在环境中检测到的音频信号并对它
们进行分析以识别音频信号的类型,例如噪声、音?#24103;?#35805;音等。如果其原来是音乐的话,则可
对其进行进一步分析以识别音乐的属性或流派,例如轻音?#24103;?#25671;滚、爵士、古典等。该信息可
以与其他模块组合以改进简档。在没有音频信息的情况下,该模块可?#35272;?#20110;从点云相机或
其他附加设备接收的信息。

6、简档生成模块:该模块可基于在一时间?#25991;?#22312;场景中识别的对象来生成环境简
档。可使用对象属性(例如名称、颜色、类型、地点、时间)来生成简档。例如,可通过分析在一
时间?#25991;?#29992;户衣物的图像来识别用户的衣物购买模式。可使用该模式来推荐在该特定?#36335;?br />中的衣物。

类似地,如果在场景中识别出不同种类的电子配件(诸如移动设备、膝上设备和平
板),则可以确定用户对技术十分?#34892;?#36259;,并且可以生成对相关产品的推荐。

简档可?#20174;承?#22810;其他信息,诸如睡眠模式、衣物/设备的颜色模式、光的颜色和模
式、对象摆放、在房间中的对象编排等。

7、基于简档的推荐模块:该模块可基于生成的简档为用户提供推荐。此处,当用户
的简档相似时,可使用跨用户的推荐来基于一个用户的简档向另一用户推荐新事物。例如,
如果用户的简档基于在其房间中检测到的吉他图片和吉他声音?#20174;?#20854;对吉他?#34892;?#36259;,则如
果在与用户的简档相似的其他用户的简档中检测到吉他音?#36136;录?#21017;?#19978;?#29992;户推荐该吉他
音?#36136;录?br />

由于对象是真?#26723;?不是数字对象),所以由示例性实施例提供的推荐将给用户的
数?#36136;?#30028;及真实世界添加价值。

这样,示例性实施例的一个优点是其提供了基于与真实世界相关的输入的在线/
离线推荐系统。在示例性实施例中,可以以高效方式识别用户对各种对象的密切度和与各
种对象的交互模式。可以在虚拟世界和真实世界两者中利用该信息。例如,如果基于在场景
中存在昂贵物品而确定用户的生活方式为奢侈的话,则?#19978;?#20854;推荐高级物品或数字内容。
这样,用户可得到针对虚拟世界和真实世界两者的推荐。

在示例性实施例中,环境简档聚焦于环境简档而非聚焦于个人用户,可提供多用
户推荐。例如,如果环境涉及多个用户,则环境简档可包括多个用户并?#19968;?#20110;该简档生成的
推荐可以与多个用户相关。另?#29615;?#38754;,如果环境仅涉及一个用户,则可仅向该用户生成推
荐。

当分析环境时,最重要的是监测两件事物:改变(物理移动及状态改变)的对象和
改变的时间。环境简档可基于该观察来生成。例如,假设将在晚上使用吉他并?#20197;?#20013;午使用
微波炉。在不知道是否有一个用户做出这些动作的情况下,根据示例性实施例的装置可生
成简档和在晚上使用吉他及在白天使用微波炉的推荐。另?#29615;?#38754;,如果通过利用用户标识、
面部识别或任何其他技术识别出两个动作?#21152;上?#21516;用户做出,可生成推荐以向该用户建议
在?#25105;?#26102;间使用吉他或微波炉。

从点云相机输出的数据可用于不是创建环境简档的其他目的。例如,点云相机可
用于姿态检测。同样地,热传感器可用于人存在检测以及用于环境简档生成。这样,包括该
设备的系统可配置为执行除了环境简档生成之外的功能。

由于分析真实世界对象相当具有挑战性,所以可基于点云相机数据来对对象进行
分类。特别地,当提到检测活体时,可使用低分辨率热传感器基于活体对象的温度来对活体
对象进行分类。这些技术在检测低光或黑暗环境中的移动时非常有用。同样,与使用诸如面
部/身体识别的其他图像处理技术相比,使用热相机识别人会容易得多。例如,具有低分辨
率的点云数据和低分辨率热传感器的温度数据的组合可用于识别人。

在示例性实施例中,可连续地监测对象以识别在时间域中被修改的对象。这意味
着在一时间?#25991;?#38754;临某种改变的对象是?#34892;?#36259;的对象。所述改变可为从位置改变到状态改
变?#27573;?#20013;的任何改变。例如,当用户将手持式设备从一个地方移动到另一个地方(物理改
变)时、当用户打开微波炉的门(状态改变)时或当数字照片帧改变其内容(状态改变)时可
发生这样的改变。所有这些改变可被监测并且经由连续监测来容易地检测。一旦检测到改
变,就可以从图像帧识别出发生这样的改变的区域并且可使用点云数据提取改变的3D对象
结构。

可在数据库中检查该提取的3D结构以?#19994;?#30456;应的对象的属性,诸如性质、类型、名
称和品?#39057;取?#19968;旦可得到关于改变的对象的?#38468;?#25110;知识,就可以基于随着时间推移被记录
的对象的改变确定其使用模式。对象的属性和使用模式可用于创建环境简档,环境简档可
进一步用作推荐系统的输入。

图7示意了基于背景减除检测改变的构思。

来自各种?#24067;?#20256;感器(例如RGB相机、点云相机、热相机和麦克风)的数据可用作输
入以通过将其与先前状态比较来?#19994;?#29615;境状态的改变。在检测到一些大的改变之后可触发
对象识别过程。检测可通过逐帧的比较或通过利用某种概率模型以分析对象改变行为来进
行。一旦检测到改变,则改变的对象被从帧中提取出并?#20918;?#36827;一步分析。参考图7,可以观察
到在帧1和帧2之间没有改变,但是在帧2和帧3之间存在改变。通过应用背景减除,产生了被
分析的帧3。利用?#29615;?#26512;的帧和对象数据库,可识别改变了的对象。

如在前面提及的,对象的改变可以以各种形式发生。其可为对象的物理移动或状
态改变。例如,当人穿着不同的衣物时可发生状态改变。通过利用颜色、温度和点云属性,可
容易地识别对象及其改变。

在示例性实施例中,当对象频繁地改变它们的状态时可识别用户?#34892;?#36259;的对象。
通过连续地监测用户的服装,可识别衣物的类型(一般或聚会穿着)并且?#31245;?#27979;用户什么时
候将有聚会。

基于对象的类?#22270;?#20854;改变,可针对用户生成简档。例如,简档可指示用户的禀性,
例如聚会爱好者。基于该简档可以进行从自动警告(对于可能的未来?#24405;?到产品推荐(与
用户的喜好类似的新产品)?#27573;?#20013;的许多事情。

图8是示意了根据示例性实施例的用于基于环境简档提供推荐的方法的流程图。

在操作802中,接收捕获的图像。

在操作804中,分析接收的图像。可以以如在图7中示意的方式来执行图像分析。

在操作806中,确定对象的类别。

在操作808中,一旦确定了对象的类别,就在对象数据库中针对特定对象执行搜
索。

在操作810中,识别可推荐内容。

在操作812中,将推荐提供给用户。

例如,如果检测到存在儿童或与儿童相关的对象(诸如玩具、学步?#26723;?,则可以基
于检测到的对象生成环境简档,并且然后可以基于生成的环境简档向用户提供对儿童相关
电视?#26723;?#21644;类似内容的推荐。

图9是示意了根据另一示例性实施例的用于基于环境简档提供推荐的方法的流程
图。

在操作902中,接收捕获的图像。

在操作904中,分析所述图像。可以以如在图7中示意的方式来执行图像分析。

在操作906中,可接收来自热传感器的数据。

在操作908中,利用来自热传感器的数据连同图像分析的输出检测用户的存在。

在操作910中,如果检测到用户的存在,则执行人体态识别。

在操作912中,人体态识别的结果被用于确定用户是清醒着还是在睡觉。

在操作914中,在用户睡着的情况下,可对TV进行控制,例如关闭。

如上所述,可基于生成的环境简档提供对于设备的控制信号作为推荐。可通过在
一时间?#25991;?#21033;用热传感器、点云相机和RGB相机中的一个或多个检测人的存在或不存在来
实现这种应用。更具体地,可以在一时间?#25991;?#23398;习用户的3D身体体态并且可以确定用户是
否在睡觉。

图10是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的
流程图。

在操作1002中,接收捕获的图像。

在操作1004中,分析所述图像。可以以如在图7中示意的方式来执行图像分析。

在操作1006中,基于分析的图像执行姿势识别。

在操作1008中,基于识别的姿势,通过查阅数据库来识别活动。

在操作1010中,基于识别的活动生成简档。

在操作1012中,取回适合于简档的推荐并且将其提供给用户。

基于对用户的身体体态、食物习惯和锻炼习惯的连续监测,环境简档可?#20174;?#29992;户
的卡路里/营养简档。这样,基于环境简档可给用户提供周期性的健康推荐和针对性的广
告。

图11是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的
流程图。

在操作1102中,接收捕获的图像。

在操作1104中,分析所述图像。

在操作1106中,基于分析的图像执行人识别。

在操作1108中,查询数据库并且检索与由被识别的人执行的活动有关的信息。

在操作1110中,针对所述活动对?#31169;?#34892;监测。

在操作1112中,报告由所述人执行的活动。

示例性实施例可构建专用于用户的环境简档。如果用户每天都在家,则用户很有
可能是主?#23613;?#36864;休专?#19968;?#30149;人。相应地,基于特定于所述用户构建的简档,可监测存在的小
时数、干完的工作的类型等。

图12是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的
流程图。

在操作1202中,接收捕获的图像。

在操作1204中,分析所述图像。

在操作1206中,基于分析的图像识别对象。

在操作1208中,查询数据库并且检索与相同类别的对象有关的信息。

在操作1210中,基于所述信息生成简档。

在操作1212中,?#19978;?#29992;户提供类似产品的信息。

基于检测到的对象,?#19978;?#29992;户提供关于切合于对象的产品的推荐或广告。例如,如
果微波炉放置在房间中,则?#19978;?#29992;户显示与微波炉有关的特殊餐具和其他特定器具的广
告。

图13是示意了根据再另一示例性实施例的用于基于环境简档提供推荐的方法的
流程图。

在操作1310中,接收捕获的图像。

在操作1320中,分析所述图像。

在操作1330中,基于分析的图像,以场景或主题的形式生成环境简档。

在操作1340中,查询数据库并且检索与所述场景或主题有关的信息,例如应当被
通知关于所述场景或主题的?#24405;?#30340;其他用户的联系人信息。

在操作1350中,基于检索到的信息,?#19978;?#19982;环境简档相关的人提供通知。

在操作1360中,可基于环境简档提供切合于所述场景的产品的推荐或信息。

在示例性实施例中,可基于生成的环境简档预测房间的主题并且?#19978;?#29992;户提供实
时通知。如果所述主题被识别为聚会或庆祝气氛,则?#19978;?#21015;在环境简档中的用户的同伴提
供实时通知。当用户正在进行指定任务(例如钢琴练习时)也可以发送这样的通知。

图14是示意了根据示例性实施例的用于基于环境简档触发警告的方法的流程图。

在操作1402中,接收捕获的图像。

在操作1404中,分析所述图像。

在操作1406中,基于分析的图像识别一个或多个对象。

在操作1408中,向数据库查询关于对象的信息。

在操作1410中,如果在特定环境中缺少对象,则可触发警报。

当在一时间?#25991;?#30417;测和分析点云数据之后,可在环境中检测缺少的对象并且可触
发实时警告。例如,锁柜、保险箱等可被指定为“重要对象”。在对象识别阶段之后,可将识别
出的对象与在对象数据库中列出的“重要对象”进行比较。如果重要对象中的一个或多个未
存在于房间中或已经被拆除或损坏,则?#36824;?#29366;态改变的程度,都可触发警报作为实时通知。
换言之,当对象被强?#26800;?#25110;轻柔地带出房间时,可基于生成的环境简档以警报的形式向用
户提供实时通知。

参考图8-14示意的情形不应当被解读为限制示例性实施例,并?#20918;?#20844;开还可?#30001;?br />到覆盖其他?#31245;?#35265;的情形。

就示例性实施例在上面描述了益处、其他优点和对问题的解决方案。然而,可使得
任?#25105;?#22788;、优点或解决方案发生或变得更?#29992;?#26174;的益处、优点、对问题的解决方案以及任何
(一个或多个)部件不被解读为是?#25105;?#25110;所有权利要求的关键、要求或必要的特征或部件。

尽管已经使用了特定言语来描述本公开,但是并不打算进行归因于特定言语的任
何限制。如本领域人员所明了的,可对方法进行各种工作方式的修改以便实现本文教导的
发明构思。

附图和前面的描述给出了示例性实施例。本领域技术人员将理解所描述的元件中
的一个或多个也可组合成单个功能元件。可替换地,?#25215;?#20803;件可?#29615;?#25104;多个功能元件。可以
将来自一个示例性实施例的元件添加到另一示例性实施例。例如,可以改变本文描述的过
程的?#25215;?#24182;且所述?#25215;?#19981;限于本文描述的方式。此外,任何流程图中的动作不必按照?#22659;?br />的?#25215;?#26469;实现;也未必需要执行所有动作。另外,不?#35272;?#20110;其他动作的那些动作可以与其他
动作并行执行。本公开的?#27573;?#32477;不被示例性实施例限制。?#36824;?#26377;没有在说明书中明确地给
出,诸如结构、尺寸和材料的使用上的差异的许多变化都是可能的。本公开的?#27573;?#33267;少与由
随附的权利要求给出的一样宽。

关于本文
本文标题:用于环境简档生成的方法和装置.pdf
链接地址:http://www.pqiex.tw/p-6091691.html
关于我们 - 网站声明 - 网?#38236;?#22270; - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 辽宁十一选五走势图手机版下载 良心棋牌排行 秒速飞艇历史开奖结果 时时彩有赚钱的玩法吗 河北十一选五开奖结果查 分分彩计划软件 极速11选5直播 秒速飞艇开奖走势 江西多乐彩 极速11选5开奖记录