平码五不中公式规律
  • / 29
  • 下载费用:30 金币  

白板和文档图像检测方法和系统.pdf

关 键 ?#21097;?/dt>
白板 文档 图像 检测 方法 系统
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201480081035.0

申请日:

2014.10.29

公开号:

CN106663207A

公开日:

2017.05.10

当前法律状态:

实审

?#34892;?#24615;:

审中

法?#19978;?#24773;: 实质审查的生效IPC(主分类):G06K 9/32申请日:20141029|||公开
IPC分类号: G06K9/32 主分类号: G06K9/32
申请人: 微软技术许可有限责任公司
发明人: L·袁; J·刘; J·孙; T·久保; Y·鹈饲; F·d·S·德 普纳多雷斯; S·加藤; J·藤原
地址: 美国华盛顿州
优?#28909;ǎ?/td>
专利代理机构: 上海专利商标事务所有限公司 31100 代理人: 胡利鸣
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201480081035.0

授权公告号:

|||

法律状态公告日:

2017.06.06|||2017.05.10

法律状态类型:

实质审查的生效|||公开

摘要

在一些示例中,用于确定图像中的白板的边界的技术和架构包括检测图像中的多个四边形、将图像划分成多个网格、确定每个网格的颜色、计算多个四边形的至少一部分的交集空间、确定交集空间的颜色,以及至少部分地基于每个网格的颜色和交集空间的颜色来确定图像的前景和图像的背景,其中前景在白板的边界内。可至少部分地基于在图像的前景中的相应四边?#25991;?#30340;笔划-标记的数量来对四边形进行排序。可至少部分地基于排序来确定图像中的白板的边界。

权利要求书

1.一种用于图像处理的方法,所述方法包括:
接收包括示出白板的区域的图像;
检测所述图像中的多个四边形;
将所述图像划分成多个网格;
确定每个网格的颜色;
计算所述多个四边形的至少一部分的交集空间;
确定所述交集空间的颜色;以及
至少部分地基于所述每个网格的颜色和所述交集空间的颜色来确定所述图像的前景
和所述图像的背景,其中所述前景在示出所述白板的所述区域的边界内。
2.如权利要求1所述的方法,其特征在于,其中示出所述白板的所述区域包括笔划-标
记,并且所述方法还包括:
至少部分地基于在所述图像的所述前景中的相应四边?#25991;?#30340;所述笔划-标记的数量
对所述多个四边形进行排序;以及
至少部分地基于所述排序来确定示出所述白板的所述区域的边界。
3.如权利要求1所述的方法,其特征在于,其中检测所述图像中的所述多个四边形包
括:
将所述图像划分成颜色通道,使得每个颜色通道包括所述图像的一种分量颜色;
检测每个分量彩色图像的边缘,以便生成多条直线;以及
至少部分地基于预先确定的准则,选择所述多条直线的子集以形成所述多个四边形。
4.如权利要求3所述的方法,其特征在于,其中所述预先确定的准则至少部分地基于
(i)所述直线相对于彼此的角度和(ii)所述直线在所述图像中的位置。
5.如权利要求3所述的方法,其特征在于,其中所述多条直线包括直线对,并且所述方
法还包括:
至少部分地基于每对直线对的直线彼此重叠的量,将所述直线对中的每一对分类成三
种直线对类型中的一种,并且其中所述预先确定的准则至少部分地基于所述直线对的分
类。
6.如权利要求1所述的方法,其特征在于,其中所述图像是彩色图像,并且其中检测所
述图像中的所述多个四边形包括:
将所述彩色图像转换成包括所述笔划-标记的至少一部分的灰度图像;
对所述灰度图像应用高斯差分操作以生成高斯差分图像;以及
将阈值准则和泛洪填充(Flood-fill)操作应用于所述高斯差分图像以减少所述笔
划-标记的数量。
7.如权利要求1所述的方法,其特征在于,其中所述多个四边形的所述至少一部分包括
从所述多个四边形提取出的四边形的次优子集。
8.一种系统,包括:
接收示出文档或白板的图像的输入机制;
一个或多个处理单元;以及
其上具有模块的计算机可读介?#21097;?#25152;述模块包括:
将示出所述文档或所述白板的所述图像划分成多个颜色分量的颜色划分模块;
检测示出所述文档或所述白板的所述图像中的边?#26723;?#36793;缘检测模块;
至少部分地基于所检测到的边缘来生成线段的线段生成器模块;
生成包括所述线段的子集的四边形候选的四边形生成器模块;以及
根据所述四边形候选是所述文档或所述白板的边界的可能性对所述四边形候选进行
排序的排序模块。
9.如权利要求8所述的系统,其特征在于,其中所述图像示出所述文档或所述白板中的
一个,其中所述排序模块对示出所述文档的所述图像执行第一类型的排序处理,并且对示
出所述白板的所述图像执行第二类型的排序处理,并且其中所述第一类型的排序处理不同
于所述第二类型的排序处理。
10.如权利要求9所述的系统,其特征在于,其中所述第一类型的排序处理包括:
向所述四边形候选分配相应的分数,其中个体四边形候选的分数至少部分地基于对所
述个体四边形候选至少部分地加以限定的区域的颜色对比度。
11.如权利要求9所述的系统,其特征在于,其中所述图像示出所述白板,并且其中所述
第二类型的排序处理包括:
将示出所述白板的所述图像划分成多个网格;
确定每个网格的颜色;
计算所述四边形候选的至少一部分的交集空间;
确定所述交集空间的颜色;以及
至少部分地基于所述每个网格的颜色和所述交集空间的颜色来确定示出所述白板的
所述图像的前景和示出所述白板的所述图像的背景。
12.如权利要求11所述的系统,其特征在于,所述前景在所述白板的边界内。
13.如权利要求11所述的系统,其特征在于,其中所述白板包括笔划-标记,并且其中
所述第二类型的排序处理还包括:
至少部分地基于在示出所述白板的所述图像的所述前景中的相应四边形候选内的所
述笔划-标记的数量来对所述多个四边形候选进行排序;以及
至少部分地基于所述排序来确定所述图像中的所述白板的边界。
14.如权利要求11所述的系统,其特征在于,其中
示出所述白板的所述图像包括彩色图像,
所述白板包括笔划-标记,并且
所述第二类型的排序处理还包括:
将所述彩色图像转换成包括所述笔划-标记的至少一部分的灰度图像;
对所述灰度图像应用高斯差分操作以生成高斯差分图像;以及
将阈值准则和泛洪填充(Flood-fill)操作应用于所述高斯差分图像以减少所述笔
划-标记的数量。
15.如权利要求8所述的系统,其特征在于,其中所述模块还包括:
直线滤波器模块,所述直线滤波器模块至少部分地基于(i)所述线段相对于彼此的角
度和(ii)所述线段在所述图像中的位置来减少所述线段的数量。
16.一种方法,包括:
接收包括示出白板的区域的图像;
将所述图像划分成颜色通道,使得每个颜色通道包括所述图像的一种分量颜色;
检测每个分量彩色图像的边缘,以便生成多条直线;
检测所述图像中的多个四边形,其中所述多个四边形中的每一个包括是所述多条直线
的子集的四条直线;
将所述图像划分成多个网格;
确定每个网格的颜色;
计算所述多个四边形的至少一部分的交集空间;
确定所述交集空间的颜色;以及
至少部分地基于所述每个网格的颜色和所述交集空间的颜色来确定所述图像的前景
和所述图像的背景,其中所述前景在示出所述白板的所述区域的边界内。
17.如权利要求16所述的方法,其特征在于,其中所述白板包括笔划-标记,并且其中
所述动作还包括:
至少部分地基于在所述图像的所述前景中的相应四边?#25991;?#30340;所述笔划-标记的数量
对所述多个四边形进行排序;以及
至少部分地基于所述排序来确定示出所述白板的所述区域的边界。
18.如权利要求16所述的方法,其特征在于,所述动作还包括:
将所述图像划分成颜色通道,使得每个颜色通道包括所述图像的一个分量彩色图像;
检测每个分量彩色图像的边缘,以便生成多条直线;以及
至少部分地基于预先确定的准则,选择所述多条直线的子集以形成所述多个四边形。
19.如权利要求18所述的方法,其特征在于,其中所述预先确定的准则至少部分地基于
(i)所述直线相对于彼此的角度和(ii)所述直线在所述图像中的位置。
20.如权利要求16所述的方法,其特征在于,其中所述多个四边形的所述至少一部分包
括从所述多个四边形提取出的四边形的次优子集。

说明书

白板和文档图像检测方法和系统

背景

移动计算设备(诸如智能电话和平板)正越来越多地被用来代替独立的相机,用于
捕?#25509;?#24037;作场所中的各种生产力场景(例如,包括幻?#30772;?#28436;示、?#32442;?#39118;暴会话等的会议)相
关联的白板、黑板(例如具有彩色背景的书写表面)以及文档的照片。捕获的摄影图像随后
可被用在用于生成电子文档的一个或多个生产力应用中。然而,上述摄影图像的捕捉可能
会因一些缺陷而受到损害。例如,许多照片必须以一个角度(这可能是由于用户所处的房间
的物理尺寸的限制)并且在不太理想的照明条件(例如,由于会议室中的源自入射光的眩
光)下进行?#32435;恪?#22240;此,捕获的摄影图像经常包含在外部生产力应用中使用该图像之前可能
至少部分地被矫正的不想要的视角偏移(perspective skew)以及不想要的区域(例如在白
板框架之外的?#20132;?#22312;文档页边界之外的?#38647;?#34920;面)。此外,捕获的摄影图像可包含入射光残
余的反射,从而使得这些图像在被生产力应用软件消费之前需要被“清理”。

概述

本公开描述了用于检测由例如智能?#21482;?#24179;板或任何其他合适的移动计算设备捕
获的图像的白板区域或文档区域的边界的技术和架构。具体而言,这样的边界可包括通过
四边形检测过程在图像中检测到的相对大量的四边形结构中的一个。该边界通过选择由根
据一组准则被相应地排序的一些四边形候选中的一个来确定。

四边形检测过程可涉及利用基于颜色的边缘检测的线段检测器。在将一系列线段
拟?#31995;?#26816;测到的边?#26723;?#20043;后,该过程包括移除和合并小的或不稳定的线段的直线验证功
能。减少直线的数量提高了直线检测的准确度并且可加速四边形检测过程。

两种不同的排序处理被用于确定四边形候选中的哪个四边形是图像的白板或文
档区域的边界。一种排序处理可被用于白板图像,而另一种排序处理可被用于文档图像。例
如,针对白板图像的排序处理可涉及用于帮助标识图像中的白板区域的笔划-标记
(stroke-mark)检测,同时排除可能在图像的背景中的诸如白色墙壁或白色?#38647;?#30340;模棱两
可的区域。针对文档图像的排序处理可涉及考虑图像中的直线颜色对比度的能量函数。

提供本概述以便以简化的形式介绍以下在详?#35813;?#36848;中进一?#30699;?#36848;的一些?#25293;睢?#26412;
概述并不旨在标?#31471;?#35201;求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护
主题的?#27573;А?#20363;如术语“技术”可指代上述上下文和通篇文档中所准许的(诸)系统、(诸)方
法、计算机可读指令、(诸)模块、算法、硬件逻辑(例如,现场可编程门阵列(FPGA)、专用集成
电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))和/或
(诸)其他技术。

附图简述

详?#35813;?#36848;参考附图进行阐述。在附图中,附图标记中最左边的数字标识该附图标
记首次出现的附图。在不同附图中使用同一附图标记指示相似或相同的项或特征。

图1是描绘根据各种实现的其中可实?#30452;?#25991;中所描述的技术的环境的框图。

图2是描绘根据各种实现的其中可实?#30452;?#25991;中所描述的技术的设备的框图。

图3是根据各种实现的其中可实?#30452;?#25991;中所描述的技术的移动计算设备的框图。

图4例示了根据各种实现的计算设备的屏幕显示,该计算设备包括用于捕捉图像
以供处理的用户界面。

图5是例示根据各种实现的检测包括白板图像或文档图像的图像中的四边形的过
程的流程图。

图6是例示根据各种实现的检测包括白板图像或文档图像的图像中的边?#26723;?#36807;程
的流程图。

图7是例示根据各种实现的针对包括白板图像或文档图像的图像的直线检测和验
证的过程的流程图。

图8和图9例示了根据各种实现的对共线直线合并(collinear line merging)的
建模。

图10是例示根据各种实现的共线直线合并的过程的流程图。

图11是例示根据各种实现的检测笔划-标记以及对候选四边形进行排序的过程
的流程图。

图12是例示根据各种实现的确定图像中的白板区域的边界的过程的流程图。

详?#35813;?#36848;

概览

本公开描述了用于检测由例如智能?#21482;?#24179;板或其他移动计算设备或计算设备所
捕获的图像中的白板或文档的边界的技术和架构。这样的边界可包括四边形结构,以下被
称为“四边形”。包括白板或文档的图像还可包括背景(例如,在白板/文档的区域之外的图
像区域)和前景(例如,在白板/文档的区域内的图像区域)。背景和前景可包括一些直线、形
状、标记、对比颜色部分?#21462;?#20363;如,图像的白板区域可能基本上被用干擦笔(dry eraser)或
其他毡笔(felt pen)书写工具所写的文字、图画、表格等的标记覆盖。这样的毡笔标记在下
文中被称为笔划-标记。因此,除了作为白板边界的四边形之外,这样的图像的数?#21482;?#20998;析
可检测任何数量的四边形。因此,本文中所描述的实现尤其描述了用于确定多个四边形中
的哪个表示图像的白板或文档区域的边界的技术。

在一些实现中,用于确定图像中的白板或文档区域的边界的技术可包括将图像的
文档区域或图像的白板区域划分成多个颜色分量,并且检测图像的文档区域或图像的白板
区域中的边缘。该技术还可包括至少部分地基于检测到的边缘来生成线段,以及生成包括
线段的子集的四边形候选。随后可根据四边形候选作为图像的文档区域或图像的白板区域
的边界的可能性对四边形候选进行排序。

在一些实现中,可针对包括文档区域的图像执行第一类型的排序处理,而针对包
括白板区域的图像可执行第二类型的排序处理。第一类型的排序处理不同于第二类型的排
序处理。

例如,第一类型的排序处理可涉及向四边形候选分配相应的分数,其中个体四边
形候选的分数至少部分地基于对该个体四边形候选至少部分地加以限定的区域的颜色对
比度。

在一些实现中,被用于包括白板区域的图像的第二类型的排序处理可包括将包括
白板区域的图像划分成多个网格、确定每个网格的颜色、计算四边形候选的至少一部分的
交叉空间、确定交叉空间的颜色,以及至少部分地基于每个网格的颜色和交叉空间的颜色
来确定图像的前景和图像的背景。

参考图1-12进一?#30699;?#36848;各种实现。

示例环境

图1是描绘根据各种实现的在其中涉及本文所述的图像处理的实现可以操作的环
境100的框图。在一些示例中,环境100的各种设备和/或组件包括可经由一个或多个网络
104彼此通信并与外部设备通信的分布式计算资源102。

例如,(诸)网络104可包括诸如因特网之类的公共网络、诸如机构和/或个?#22235;?#32852;
网的专用网络或者专用和公共网络的一些组合。(诸)网络104还可包括任何类型的有线和/
或无线网络,包括但不限于局域网(LAN)、广域网(WAN)、卫星网络、有线网络、Wi-Fi网络、
WiMax网络、移动通信网络(例如3G、4G等)或其任何组合。(诸)网络104可利用通信协议,包
括基于分组的和/或基于数据报的协议,诸如网际协议(IP)、传输控制协议(TCP)、用户数据
报协议(UDP)或其他类型的协议。而且,(诸)网络104还可包括促进网络通信和/或形成网络
的硬件基础的一些设备,诸如交换机、路由器、网关、接入点、防火墙、基站、中继器、主干设
备等?#21462;?br />

在一些示例中,(诸)网络104可进一步包括能够连接到无线网络(诸如无线接入点
(WAP))的设备。各示例支持通过在各种电磁?#24503;?例如,射频)上发送和接收数据的WAP的连
接,包括支持电气和电子工程师协会(IEEE)1302.11标准(例如,1,302.11g、1302n等)的WAP
和其他标准。

在各种示例中,(诸)分布式计算资源102包括计算设备,诸如设备106(1)–106(N)。
各示例支持(诸)设备106可包括在群集或其他分组的配置中操作以共享资源、平衡负载、提
升性能、提供?#25910;?#20999;换支?#21482;?#20887;余或用于其他目的的一个或多个计算设备的情况。虽然被
例示为服务器,但是(诸)设备106可包括多种多样的设备类型并?#20063;?#38480;于任何特定类型的
设备。(诸)设备106可包括(诸)专用计算设备108。

例如,(诸)设备106可包括具有可操作地连接到计算机可读介质112、(诸)I/O接口
114和(诸)网络接口116的一个或多个处理单元110的任何类型的计算设备。计算机可读介
质112可具有存储在其?#31995;?#22270;像处理框架118。例如,图像处理框架118可包括当由(诸)处理
单元110执行时从客户端服务器(诸如(诸)专用计算设备120)接收和处理图像的计算机可
读代码。。可经由(诸)网络104与(诸)设备106通信的(诸)专用计算设备120可包括具有可操
作地连接到计算机可读介质124、(诸)I/O接口126和(诸)网络接口128的一个或多个处理单
元122的任何类型的计算设备。(诸)I/O接口可包括显示设备。计算机可读介质124可具有存
储在其?#31995;?#19987;用计算设备侧图像处理框架130。例如,图像处理框架130可包括当由(诸)处
理单元122执行时执行图像处理操作的计算机可读代码。

图2描绘说明性设备200,其可表示例如图1中例示出的(诸)设备120。说明性设备
200可包括具有可操作地连接到计算机可读介质204(诸如计算机可读介质112或124)的一
个或多个处理单元202(诸如处理单元110或122)的任何类型的计算设备。该连接可经由总
线206或者经由另一可操作连接,总线206在一些实例中可包括系统总线、数据总线、地址总
线、PCI总线、?#38405;鉖CI总线(Mini-PCI bus)以及任何种类的本地、外围和/或独立总线中的
一个或多个。(诸)处理单元202可表示例如被合并在设备200中的CPU。(诸)处理单元202可
类似地被可操作地连接到计算机可读介质204。

计算机可读介质204可包括至少两种类型的计算机可读介?#21097;?#21363;计算机存储介质
和通信介质。计算机存储介质可包括以用于存储信息(以经压缩的或未经压缩的形式)的任
何方法或技术实现的?#36164;?#24615;和?#19988;资?#24615;、可移动和不可移动介?#21097;?#35832;如用来执行本文中所
描述的过程或方法的计算机(或其他电子设备)可读指令、数据结构、程序模块或其他数据。
计算机可读介质112和计算机可读介质124是计算机存储介质的示例。计算机存储介质包括
但不限于硬盘驱动器、软盘、光盘、CD-ROM、DVD、蓝光、只读存储器(ROM)、随机存取存储器
(RAM)、EPROM、EEPROM、闪存、磁卡或光卡、固态存储器设备或者适用于储存电子指令的其他
类型的介质/机器可读介质。

作为对比,通信介质可将计算机可读指令、数据结构、程序模块或其他数据具体化
为已调制数据信号(诸如载波)或其他传输机制。如本文中所定义的,计算机存储介质不包
括通信介质。

设备200可包括但不限于:台式计算机、服务器计算机、web服务器计算机、个人计
算机、智能电话、移动计算机、膝上?#22270;?#31639;机、平板计算机、可穿戴计算机、植入式计算设备、
电信设备、车载计算机、启用网络的电视、瘦客户端(thin client)、终端、个人数据助理
(PDA)、游?#20998;?#26426;、游戏设备、工作站、媒体播放器、个人视?#24503;?#20687;机(PVR)、机顶?#23567;?#30456;机、用
于包括在计算设备、电器或任何其他类型的计算设备中的集成组件(诸如一个或多个分开
的处理器设备208,诸如CPU型处理器(例如微处理器)210、GPU 212或(诸)加速器设备214)。

在一些示例中,如关于设备200所示,计算机可读介质204可储存可由(诸)处理单
元202执行的指令,(诸)处理单元202可表示被合并在设备200中的CPU。计算机可读介质204
还可储存可由外部CPU型处理器210执行、可由GPU 212执行并且/或者可由加速器214(诸如
FPGA?#22270;?#36895;器214(1)、DSP?#22270;?#36895;器214(2)或?#25105;?#20869;部或外部加速器214(N))执行的指令。

被储存在计算机可读介质204?#31995;?#21487;执行指令可包括例如操作系统216、图像处理
框架218以及可由(诸)处理单元202和/或210加载并执行的其他模块、程序或应用。例如,图
像处理框架218可包括当由(诸)处理单元202执行时执行图像处理操作的计算机可读代码。
在一些实现中,模块可包括用于将文档的图像或白板的图像划分成多个颜色分量的颜色划
分模块;用于检测文档的图像或白板的图像中的边?#26723;?#36793;缘检测模块;至少部分地基于检
测到的边缘来生成线段的线段生成器模块;用于生成包括线段的子集的四边形候选的四边
形生成器模块;以及根据四边形候选作为文档的图像或白板的图像的边界的可能性对四边
形候选进行排序的排序模块。

替代地或附加地,本文中所描述的功能可由一个或多个硬件逻辑组件(诸如加速
器214)来执行。作为示例而非限制,可被使用的硬件逻辑组件的说明性类型包括现场可编
程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程
逻辑器件(CPLD)?#21462;?#20363;如,加速器214(N)可表示混合设备,诸如包括被?#24230;?#22312;FPGA架构中的
CPU核的混合设备。

在所例示出的示例中,计算机可读介质204还包括数据存储220。在一些示例中,数
据存储220包括诸如数据库、数据仓库或其他类型的结构化或?#22681;?#26500;化数据存储之类的数
据存储。在一些示例中,数据存储220包括具有一个或多个表、索引、存储的过程等的关系型
数据库以实现数据访问。数据存储220可储存用于被储存在计算机可读介质204中和/或由
(诸)处理器202和/或210和/或加速器214执行的进程、应用、组件、和/或模块的操作的数
据。在一些示例中,数据存储220可储存文档、纸、笔记、白板或黑板等的图像。替代地,以上
所提及的数据中的一些或全部可被储存在分开的存储器222上,诸如CPU型处理器210(例
如,(诸)微处理器)上板载的存储器222(1)、GPU 212上板载的存储器222(2)、FPGA?#22270;?#36895;器
214(1)上板载的存储器222(3)、DSP?#22270;?#36895;器214(2)上板载的存储器222(4),和/或另一加
速器214(N)上板载的存储器222(M)。

设备200还可包括一个或多个输入/输出(I/O)接口224(诸如I/O接口114或126),
以允许设备200与输入/输出设备(诸如包括外围输入设备(例如,键盘、鼠标、笔、游?#25151;?#21046;
器、语音输入设备、触摸输入设备、姿势输入设备等)的用户输入设备和/或包括外围输出设
备(例如,显示器、打印机、音频扬声器、触觉输出等)的输出设备)进行通信。设备200还可包
括一个或多个网络接口226(诸如网络接口116或128)以通过网络104实现计算设备200和其
他联网设备(诸如其他设备120)之间的通信。这样的网络接口226可包括一个或多个网络接
口控制器(NIC)或其他类型的收发机设备,以通过网络发送和接收通信。

在一些实现中,设备200可包括图像捕捉设备228(诸如相机),以捕捉例如文档、白
板或黑板的图像。图像捕捉设备228可将数?#21482;?#30340;图像提供给图像处理框架218或设备200
的任何其他组件。

图3是根据各种实现的其中可实?#30452;?#25991;中所描述的技术的移动计算设备300的框
图。移动计算设备300可包括但不限于智能电话、平板个人计算机、膝上?#22270;?#31639;机等,利用它
们可实践各种实现。在图3中例示出的特定示例实现中,移动计算设备300可以是具有输入
元件和输出元件两者的手持式计算机。输入元件可包括允许用户将信息输入到移动计算设
备300中的触摸?#26009;?#31034;器302、相机304和输入?#30913;?06。移动计算设备300还可结合允许进一
步的用户输入的任选的侧面输入元件308。任选的侧面输入元件308可以是旋转开关、?#30913;ァ?br />或任何其他类型的手动输入元件。在该示例实现中,侧面输入元件308被附加到移动计算设
备300,但是可以理解,侧面输入元件308可物理地与移动计算设备300分开并能够通过无线
通信远程地将输入提供到移动计算设备300。在替代实现中,移动计算设备300可结合更多
或更少的输入元件。在又一替代实现中,移动计算设备可以是便携式电话系统,诸如具有显
示器302和输入?#30913;?06的蜂窝电话。移动计算设备300还可包括任选的键盘310。任选的键
盘310可以是物理键盘或者在触摸?#26009;?#31034;器上生成的“软”键盘。

移动计算设备300可结合能够显示图形用户界面(GUI)的输出元件,诸如显示器
302。其他输出元件包括扬声器312、麦克风314和LED 316。附加地,移动计算设备300可结合
振动模块(未示出),该振动模块使得移动计算设备300振动以将事件通知给用户。在又一个
实现中,移动计算设备300可结合耳机插孔(未示出),以用于提供另一种提供输出信号的手
段。

尽管此处结合移动计算设备300进行描述,但在替代实现中,本发明还可结合任何
数量的诸如在桌面环境中的计算机系统、膝上型或笔记本计算机系统、多处理器系统、基于
微处理器或可编程消费电子产品、网络PC、小?#22270;?#31639;机、大?#22270;?#31639;机等来被使用。各种实现
?#37096;?#22312;分布式计算环境中被实施,其中任务由在分布式计算环境中通过通信网络链接的远
程处理设备来执行;程序可位于本地和远程存储器存储设备这两者中。概言之,任何具有多
个环境传感器、多个输出元件和多个通知事件类型的计算机系统可结合此处描述的各个实
现,所述多个输出元件用于向用户提供通知。

图4例示了根据各种实现的计算设备402的屏幕显示400,其包括用于捕捉图像以
供处理的用户界面。用户界面可包括用户控件404、406和408。例如,用户控件404可被用来
选择被配置成用于标准摄影图像的图像处理模式。用户控件406可被用来选择被配置成用
于白板图像的图像处理模式。用户控件408可被用来选择被配置成用于文档图像的图像处
理模式。根据各种实现,用户控件404、406和408的选择可通过包括轻敲和滑动?#36136;?#30340;任何
数量的?#36136;?#26469;作出。如图4中所例示的,用户控件406已被选择用于白板图像处理,并且用户
(由手410表示)正准备捕捉可例如?#35805;?#35013;在具有天花板414或其他背景对象的会议室的墙
?#31995;?#30333;板412的图像。然后,用户可捕捉如在屏幕显示400中查看到的白板412和背景的图
像。

图5是例示根据各种实现的检测包括白板图像或文档图像的图像中的四边形的过
程500的流程图。处理器或计算机系统(诸如举例而言,图2中例示出的设备200)可执行过程
500。虽?#36824;?#31243;500可由多个设备或系统中的任何一种来执行,但是该过程将被描述成由处
理器执行。将参考后续附图来描述过程500的各部分的?#38468;凇?br />

在框502,处理器可接收包括文档、白板或黑板的彩色图像。例如,处理器可从存储
器、从图像捕捉设备或从包括处理器的系统外部的源接收图像。文档可包括笔记、一?#25345;健?br />杂志部分、收据?#21462;?#22312;下文中,“白板”被用来表示可在其上进行书写和标记的物理显示板或
表面,诸如粉笔板、白板、黑板或在其上有标记、笔迹、图表、(例如,被粘附到白板的)贴文等
的任何其他板或基本上平的表面。这样的标记、笔迹、图表或贴文在本文中被称为笔划-标
记。笔划-标记可包括白板?#31995;?#26631;记,诸如字母、数字、?#22336;?#32472;图、表格、图形或其任何部
分。

彩色图像可包括被认为是白板的前景,以及背景,背景可包括不在白板的边界内
的图像的所有部分,而?#36824;?#22270;像的这些部分是位于白板的前面、后面或者与白板共面。例
如,图像的背景可包括墙壁、天花板、地板、?#38647;?#25110;椅子的部分以及房间中的人(即使人们相
比于白板可能更靠近捕获图像的相机),这里仅仅列举了几个例子。

在框504,处理器执行接收到的图像的边缘检测以生成边缘图。例如,处理器可相
对于图像的最长边以某个因子按比例缩小该图像。这样的按比例缩小可提供的益处在于与
原始图像相比,过程500的一些部分可利用经按比例缩小的图像更快地进行处理。通过这样
的按比例缩小还可以减少噪声效应。经按比例缩小的图像可被划分成多个颜色通道。例如,
图像可被划分成三个颜色通道,包括红色通道、绿色通道和蓝色通道。处理器可被配置成分
开地检测每个通道中的直线。根据相应色彩将图像划分成多个通道的这样的过程可提供许
多益处。例如,相比于分开的颜色通道,由单个灰色通道执行的直线检测可能对区分图像中
的两?#21482;?#26356;多种不同色?#31034;?#26377;限制。尽管示例性实现将图像划分成红色、绿色和蓝色颜色
通道,但是将理解,图像的其他色彩划分同样可被使用。例如,在替代实现中,可使用红色、
黄色和蓝色颜色通道。

在框506,处理器可执行直线拟合和验证过程。例如,处理器可将参数直线最佳拟
?#31995;?#36793;缘图中的边?#26723;恪?#22312;一些实现中,相应的直线可被拟?#31995;接?#36793;缘链接的边?#26723;?#23545;。处
理器可确定被拟?#31995;?#36793;?#26723;?#30340;直线的拟合误差。例如,拟合误差可至少部分地基于例如从
直线?#31995;?#28857;到边?#26723;?#30340;距离来测量该直线拟?#31995;?#36793;?#26723;?#30340;程度。拟合误差可具有可由多种
方法中的任何方法测量的定量值。如果这样的拟合误差小于阈值(例如,预先确定的阈值),
则这指示边?#26723;?#31526;合经拟?#31995;?#30452;线。处理器可至少暂时地从边缘图中移除符?#31995;?#36793;?#26723;?br />(其拟合误差小于预先确定的阈值)。经拟?#31995;?#30452;线随后被添加到经拟?#31995;?#30452;线列表中。处
理器可随后使用剩余的边?#26723;?其还可包括具有比预先确定的阈值更大的拟合误差的离群
值边?#26723;?来迭代地拟合直线、检查拟合误差并且从边缘图中排除离群值。然后,处理器可
将直线分组成作为线性边?#26723;?#30340;部分的直线的子集。以这种方式,边缘图中的边?#26723;?#21487;被
参数化成一系列的线段。

在框508,处理器可迭代地移除可能?#31245;?#22768;导致的相对小的线段。该过程可改进四
边形检测的稳健性并加速检测四边形的计算。例如,在各个直线子集中,处理器可根据长度
对直线排序。处理器可在相应的各个直线子集中移除比直线的中值长度短的线段。每个子
集中剩余的线段可被用来?#19994;?#21487;能是图像的白板或文档区域的边界的四边形候选。

在框510,处理器可根据是图像中的白板或文档的边界的可能性来对候选四边形
进行排序。处理器可使用与用于对白板的候选四边形进行排序的排序技术不同的用于对文
档的候选四边形的进行排序的排序技术。以下详?#35813;?#36848;这样的排序技术。

在框512,处理器选择候选四边形中的一个作为白板或文档的边界。例如,最佳的
(例如最高排名的)候选四边形可至少部分地基于框512中执行的排序来选择。

图6是例示根据各种实现的检测包括白板或文档的图像中的边?#26723;?#36807;程600的流
程图。例如,过程600可以与过程500中的框502和504所表示的过程类似或相同。类似地,处
理器或计算机系统(诸如举例而言,图2中例示出的设备200)可执行过程600。在框602,处理
器可接收可包括例如文档或白板的彩色图像。在框604,处理器可执行用于?#20132;?#22270;像的过
程。例如,处理器可使用低通高斯滤波器(例如σ=0.67)在每个颜色通道中对图像进行平
滑。在框606,处理器可随后使用Sobel算子计算在X坐标(例如,水平)和Y坐标(例如,垂直)
?#31995;?#22270;像梯度。例如,Sobel算子或滤波器可被用来生成强调边缘和过渡的图像。Sobel算子
是用于计算图像强度函数的梯度的近似的离散差分算子。在该图像中的每个点处,Sobel算
子的结果是对应的梯度向量或该向量的范数。Sobel算子基于例如在水平和垂直方向上将
图像与小的、可分离的并且整数值型的滤波器进行卷积。

对于?#20132;?#36807;程,处理器可选择具有局部最大梯度的像素并将这些像素链接在一
起。这样的步骤类似于例如Canny检测操作。在框608,处理器可至少部分地基于?#20132;?#36807;程和
图像梯度计算来生成边缘图。边缘图可被用于针对特定颜色通道图像检测图像中的对象。

图7是例示根据各种实现的针对包括白板或文档的图像的直线检测和验证的过程
700的流程图。例如,过程700可产生可能的四边形的直线候选,随后将针对作为图像中的白
板或文档的边界的似然对其进行排序。过程700中的过程步骤中的一些可以与例如过程500
中的过程步骤类似或相同。处理器或计算机系统(诸如举例而言,例如图2中例示出的设备
200)可执行过程700。

在框702,处理器可接收彩色图像。在框704,处理器可相对于图像的最长边以某个
因子按比例缩小该图像。这样的按比例缩小可提供的益处在于与原始图像相比,过程700的
一些部分可利用经按比例缩小的图像更快地进行处理。通过这样的按比例缩小还可以减少
噪声效应。经按比例缩小的图像可被划分成三个颜色通道,例如包括红色通道、绿色通道和
蓝色通道。在每个通道的框706中,处理器可检测边缘。在框708,处理器可将直线拟?#31995;?#26816;
测到的边?#26723;?#28857;。例如,参数直线(l:ax+by+c=0)可通过以下关系拟?#31995;?#36793;缘图中的边缘
点的集合{ei},其中(ei:(xi,yi)):

argmina,b,c∑i║ax+by+c║2

处理器可将这样的参数直线最佳拟?#31995;?#36793;缘图中的边?#26723;恪?#22312;一些实现中,相应
的直线可被拟?#31995;接?#36793;缘链接的边?#26723;?#23545;。处理器可确定被拟?#31995;?#36793;?#26723;?#30340;直线的拟合误
差。如果这样的拟合误差小于阈值(例如,预先确定的阈值),则这指示边?#26723;?#31526;合经拟?#31995;?br />直线。处理器可至少暂时地从边缘图中移除符?#31995;?#36793;?#26723;?其拟合误差小于预先确定的阈
值)。经拟?#31995;?#30452;线随后被添加到经拟?#31995;?#30452;线列表中。处理器可随后使用剩余的边?#26723;?br />(其还可包括具有比预先确定的阈值更大的拟合误差的离群值边?#26723;?来迭代地拟合直线、
检查拟合误差并且从边缘图中排除离群值。然后,处理器可将直线分组成作为线性边?#26723;?br />的部分的直线的子集。以这种方式,边缘图中的边?#26723;?#21487;被参数化成一系列的线段。

在框710,处理器可执行共线合并以将来自三个颜色通道图像的检测到的线段合
并在一起。在一些实现中,这样的合并的准则至少部分地基于任何两条线段的共线性。例
如,图8例示了被标?#27573;?#31867;型(1)、类型(2)和类型(3)的三种类型的共线性。例如,类型(1)共
线性涉及不重叠的线段对。类型(2)共线性涉及部分重叠的线段对。类型(3)共线性涉及完
全重叠的线段对。

图9例示了根据各种实现的对共线直线合并的直线对建模,并且图10是例示根据
各种实现的共线直线合并的过程1000的流程图。例如,过程1000可在包括第一直线ab和第
二直线cd的直线对上进行操作。处理器或计算机系统(诸如举例而言,图2中例示出的设备
200)可执行过程1000。

图9例示了包括直线ab和直线cd的直线对。每条直线实际上被延长,使得经延长的
直线具有相同的长度。例如,直线ab被延长为直线ad’,并且具有与延长自直线cd的直线a’d
相同的长度。从这两条直线的所有端点投射正交线。例如,直线aa’从端点a投射,直线cc’从
端点c投射,直线bb’从端点b投射并且直线dd’从端点d投射。如将在以下看到的,过程1000
使用该构造来确定是否合并直线ab和cd。

在过程1000中,在框1002,处理器可计算直线ab和cd之间的角度θ(图9将直线ab和
cd描绘成平行的,但是不必如此)。在框1004,处理器可确定角度θ是否小于阈?#21040;?#24230;。如果
不是,则过程1000可行进到框1006,其中直线ab和直线cd不应当被合并在一起。另一方面,
如果角度θ小于阈?#21040;?#24230;,则过程1000可行进到框1008,其中处理器执行构造,如图9中例示
出的那样。这样的构造涉及计算从直线ab到另一直线cd的投射,反之亦然。并且,在框1010,
处理器可将直线对的共线性类型分类为类型(1)、类型(2)或类型(3)中的一种。

过程1000的剩余部分至少部分地基于直线对所在的四个条件中的一个。四个条件
被标?#27573;?#26465;件A、条件B、条件C和条件D,并且至少部分地基于直线对类型(例如,类型(1)、类
型(2)或类型(3))。条件A、条件B、条件C和条件D被定义为如下。

条件A是“类型(2)或类型(3)并且max{|ac'|,|bd'|,|a'c|,|b'd|}<阈值”。条件
(B)是“max{|ac'|,|bd'|}<∈·|ab|,max{|a'c|,|b'd|}<∈·|cd|,dmax<阈值,并且min{|
a'c|,|a'd|,|b'c|,|b'd|}<阈值”。条件(C)是“max{|ac'|,|bd'|}<∈·|ab|,max{|a'c|,|
b'd|}<∈·|cd|,dmax<阈值”。条件(D)是“dmax<阈值”。此处,当|ab|>|cd|时,dmax是max{|ac'
|,|bd'|},否则dmax=max{|a'c|,|b'd|})。字母对(例如ab、bd、ac、b’d等)指代线长。当然,
这样的条件和定义仅仅是示例,并且所要求保护的主题不限于此。

继续过程1000,在框1012,处理器确定直线对ab-cd是否处于条件A中。如果不是,
则过程1000可行进到框1014,其中直线将不被合并在一起。另一方面,如果直线对ab-cd处
于条件A中,则过程1000可行进到框1016,其中该直线对基于其类型被分类。例如,如果直线
对ab-cd是类型(1),则过程1000行进到框1018。如果直线对ab-cd处于条件B中,则处理器将
合并直线,否则处理器将不合并直线。如果直线对ab-cd是类型(2),则过程1000行进到框
1020。如果直线对ab-cd处于条件C中,则处理器将合并直线,否则处理器将不合并直线。如
果直线对ab-cd是类型(3),则过程1000行进到框1022。如果直线对ab-cd处于条件D中,则处
理器将合并直线,否则处理器将不合并直线。

返回到图7中框712处的过程700,处理器可根据检测到的线段在图像中的位置将
它们分类到四个子集中:{左侧、顶边、?#20063;?#21644;底边}。用于执行这样的分类的技术可包括计
算每条线段的斜率。如果斜率更接近水平而非垂?#20445;?#21017;线段被放置在直线的顶边或底边子
集中。为了在顶边和底边子集之间进行区分,处理器可检查线段的端点是低于还是高于图
像中心。类似地,处理器可将线段分配到直线的左侧或?#20063;?#23376;集。在这样的直线分类之后,
任何可能的四边形可由四条线段的组合来生成,其中每条线段可处于四个直线子集中的一
个中。

在框714,处理器可排除可能由于噪声导致的相对小的线段。该步骤可改进四边形
检测的稳健性并加速检测的计算。例如,在每个直线子集中,处理器可根据直线的长度对它
们进行排序。最终,处理器可移除具?#34892;?#20110;直线所处的直线子集中的中值长度的长度的线
段。

以上描述的过程可产生多个四边形候选,其中的一个是图像中白板区域或文档区
域的边界。为了确定哪个四边形候选最有可能是边界,处理器可执行排序和消除过程,其中
相对差的四边形候选从选择过程中?#28784;?#38500;。这样的排序和消除过程可以是?#35835;?#36807;程,其中
一个过程被用于初始排序和消除,并且后续过程被用于最终排序和消除过程。初始排序和
消除过程可从所有可能的四边形候选中产生是次优的四边形(例如相对差的候选)的子集。
最终排序和消除过程可从获得自初始排序和消除过程的四边形的子集中选择最佳的一个。

在第一排序和消除过程中,四边形(例如,四边形候选)可根据以下的关系进行评
分:



“Area?#31508;?#22235;边形的面积大小,“CoveredPerimeter?#31508;?#22235;边形的检测到的直线的长
度与四边形边界的长度的比?#21097;癛atio?#31508;恰癈overedPerimeter”与四边形的周长的比?#21097;?br />“CornerPenalty?#31508;?#20174;四边形的检测到的直线的端点到四边形的角的距离的和,并且
“ImageEdgePenalty?#20445;?不是图像边界边?#26723;?#30452;线的数目/4)2。α、β、γ和是?#20174;?#19981;同能量
项的折衷的用户可选参数。为了获得分数的更佳参数,处理器可在经标记的数据集上训练
线性回归而非维持原始参数(所有都被手动设为1)。例如,在特定算法中,α=1,β=4,γ=
2,在每个可能的四边形的分数被计算出后,处理器可选择具有最高分数的N(例
如,N=10)个最佳候选作为第二排序和消除过程的次优四边形的子集。

在第二排序和消除过程中,两种不同的策略被使用,一种策略针对白板的图像中
的四边形而另一种策略针对文档的图像中的四边形。就文档的图像中的四边形的排序和消
除过程而言,可根据以下关系对四边形进行评分:



等式2类似于等式1,但是具有以下不同。“ImageEdgePenalty?#20445;?(不是图像边界
边?#26723;?#30452;线的数目+1)/5)2。该关系帮助避免图像边?#26723;?#38646;质量?#22836;!?br />

“ColorContrast?#20445;濺癷∈lines x(pixContrasti)1/2,

[等式3]

其中“lines?#31508;?#32447;段的子集{图像的左侧、顶边、?#20063;唷?#24213;边},并且“pixContrast”
=min{(║Cin-Cout║2/3)1/2,1}。Cin和Cout是直线的两个边缘侧的平均颜色(mean color)。在计
算所有四边形的分数之后,处理器可选择具有最高分数的四边形作为输出。

图11是例示根据各种实现的检测笔划-标记以及对候选四边形进行排序的过程
1100的流程图。就白板的图像(和文档相比)中的四边形的排序和消除过程而言,可通过过
程1100对四边形进行排序。在框1102,处理器可通过接收诸如举例而言在过程700中框704
所描述的经按比例缩小的图像来开始过程1100。在框1104,处理器可将彩色图像转换成灰
度图像。在框1106,处理器可对灰度图像应用高斯差分(DoG)操作。此处,在特定实现中,

对于白板,

对于黑板,

其中Gσ=4是具有标准方差σ=4的高斯滤波器,并且是卷积算子。“Clamp?#31508;?#35745;算
被钳制到由第二和第三经指定的自变量所定义的?#27573;?#30340;第一经指定的自变量的?#26723;?#25805;作。
处理器可对DoGImage进行限值(threshold)以获得笔划-标记的初始掩码。为了自动估计
图像的阈值,处理器可根据DoGImage建立直方图,然后计算附近直方图组(histogram bin)
的梯度。如果梯度与直方图组的峰?#26723;?#27604;率大于常数(例如,64),则处理器可将组索引记录
为阈值,并使用组索引对DoGImage进行限值。

在框1108,处理器接收诸如举例而言来自过程700的框712的检测到的直线。在框
1110,处理器移除一些直线和孤立的点。例如,检测和生成直线的各种过程可能产生噪声,
诸如伪线或点。一些噪声由相对接近图像边?#26723;?#30456;对长的直线以及DoGImage?#31995;?#23396;立的点
和黑点产生。处理器可使用八邻域FloodFill(泛洪填充)算法来检测连通分量,并且检查各
个分量是否在一直线上或者各个分量是否为可被擦除的孤立的点(或黑点)。例如,处理器
可考虑不同的方式来擦除这样的噪声。例如,对于直线,如果线段的长度大于图像边界的最
小长度的60%或者直线位置(例如,中心、始点或终点)位于图像边界的边缘(例如,边缘可
被认为是图像边界长度的20%)之内,则覆盖直线的连通分量应从DoGImage中?#28784;?#38500;。对于
孤立的点和黑点,处理器可计算连通分量的边界框。如果分量区域大小与边界框大小的比
率大于0.8,则举例而言,处理器可认为该分量是要?#28784;?#38500;的孤立的点或黑点。

在框1112,处理器接收诸如举例而言来自过程500的框508的候选四边形。为了对
四边形进行排序,处理器可确定与作为背景的图像区域相对的作为前景的图像区域。处理
器可通过将其颜色与参考色的颜色进行比较来标识该前景,如?#28388;?#36848;。

在框1114,处理器可计算在上述第一排序处理中?#19994;?#30340;所有N个四边形候选的交
集区域。虽然交集可能并非恰好是前景,但是处理器可将其视为对前景的参考。在框1116,
处理器可将经按比例缩小的图像划分成网格。对于特定示例,网格大小可以是25×25像素。
对于每个网格,处理器可计算其平均RGB颜色和其Lab颜色信息。此外,处理器可计算交集区
域内的平均RGB颜色和中值Lab颜色。平均RGB和中值Lab可被认为是参考颜色。一方面,参考
颜色的灰度值可被用来确定板是白板还是黑板。例如,如果参考颜色的灰度值大于中间灰
色(即,128),则其是白板。否则,其为黑板。对于白板和黑板,在框1106的DoGImage的计算是
不同的。另一方面,参考颜色可被用于通过排除背景笔划-标记来生成前景笔划-标记图。
然后,处理器可计算每个网格的RGB颜色与参考RGB颜色之间以及每个网格的LAB颜色与参
考LAB颜色之间的相应距离(例如,L2范数欧几里德距离)。在框1118,处理器可根据平均颜
色来标识前景。例如,如果每个网格的颜色与参考颜色之间的Lab距离小于第一阈值(对于
特定示例,阈值=9),并且RGB距离小于第二阈值(对于特定示例,阈值=70),则响应网格可
被视作前景,否则其被视作背景。在框1120,处理器可通过将图像中的所有笔划-标记分成
随后被用来计算分数和排序的新特征的两个子集(即,前景笔划-标记和背景笔划-标记)
来生成前景笔划-标记图。

在框1122,处理器可基于多个准则对每个四边形进行评分和排序。例如,准则之一
是四边形边界之内的前景笔划的百分比(称为“Percentage(百分比)”)。另一个准则是四边
形的大小与图像大小的比率。又一个标准是检测到的直线的长度与四边形边界的边界长度
(例如,周长)的比率。该比?#39135;?#20026;“CoveredPerimeter”。处理器可仅计算具有
CoveredPerimeter>0.7的四边形的排序分数。该分数被定义为:

RankScore=Percentage-1/3×(四边形区域大小)/(图像大小)

使用Rankscore,处理器可将具有最高分数的四边形确定为图像中的白板区域的
边界。

图12是例示根据各种实现的确定图像中的白板区域的边界的过程1200的流程图。
处理器或计算机系统(诸如举例而言,图2中例示出的设备200)可执行过程1200。在框1202,
处理器可接收包括白板的图像的图像。在框1204,处理器可检测图像中的多个四边形。例
如,这样的过程可以与过程500中的框508所描述的过程类似或相同。在框1206,处理器可将
图像划分成多个网格。在框1208,该划分可确定每个网格的颜色。例如,该过程可以与过程
1100中的框1114至框1118所描述的过程类似或相同。在框1210,处理器可计算多个四边形
的至少一部分的交集空间。在框1212,处理器可确定交集空间的颜色。在框1214,处理器可
至少部分地基于每个网格的颜色和交集空间的颜色来确定图像的前景和图像的背景,其中
前景在白板的图像的边界内。

示例A,一种用于图像处理的方法,所述方法包括:接收包括示出白板的区域的图
像;检测所述图像中的多个四边形;将所述图像划分成多个网格;确定每个网格的颜色;计
算所述多个四边形的至少一部分的交集空间;确定所述交集空间的颜色;以及至少部分地
基于所述每个网格的颜色和所述交集空间的颜色来确定所述图像的前景和所述图像的背
景,其中所述前景在示出所述白板的所述区域的边界内。

示例B,如示例A所述的方法,其中示出所述白板的所述区域包括笔划-标记,并且
所述方法还包括:至少部分地基于在所述图像的所述前景中的相应四边?#25991;?#30340;所述笔划-
标记的数量对所述多个四边形进行排序;以及至少部分地基于所述排序来确定示出所述白
板的所述区域的边界。

示例C,如示例A所述的方法,其中检测所述图像中的所述多个四边形包括:将所述
图像划分成颜色通道,使得每个颜色通道包括所述图像的一种分量颜色;检测每个分量彩
色图像的边缘,以便生成多条直线;以及至少部分地基于预先确定的准则,选择所述多条直
线的子集以形成所述多个四边形。

示例D,如示例C所述的方法,其中所述预先确定的准则至少部分地基于(i)所述直
线相对于彼此的角度和(ii)所述直线在所述图像中的位置。

示例E,如示例C所述的方法,其中所述多条直线包括直线对,并且所述方法还包
括:至少部分地基于每对直线对的直线彼此重叠的量,将所述直线对中的每一对分类成三
种直线对类型中的一种,并且其中所述预先确定的准则至少部分地基于所述直线对的分
类。

示例F,如示例A至C中任一个所述的方法,其中所述图像是彩色图像,并且其中检
测所述图像中的所述多个四边形包括:将所述彩色图像转换成包括所述笔划-标记的至少
一部分的灰度图像;对所述灰度图像应用高斯差分操作以生成高斯差分图像;以及将阈值
准则和泛洪填充操作应用于所述高斯差分图像以减少所述笔划-标记的数量。

示例G,如示例A至C中任一个所述的方法,其中所述多个四边形的所述至少一部分
包括从所述多个四边形提取出的四边形的次优子集。

示例H,一种系统,包括:接收示出文档或白板的图像的输入机制;一个或多个处理
单元;以及其上具有模块的计算机可读介?#21097;?#25152;述模块包括:将示出所述文档或所述白板的
所述图像划分成多个颜色分量的颜色划分模块;检测示出所述文档或所述白板的所述图像
中的边?#26723;?#36793;缘检测模块;至少部分地基于所检测到的边缘来生成线段的线段生成器模
块;生成包括所述线段的子集的四边形候选的四边形生成器模块;以及根据所述四边形候
选是所述文档或所述白板的边界的可能性对所述四边形候选进行排序的排序模块。

示例I,如示例H所述的系统,其中所述图像示出所述文档或所述白板中的一个,其
中所述排序模块对示出所述文档的所述图像执行第一类型的排序处理,并且对示出所述白
板的所述图像执行第二类型的排序处理,并且其中所述第一类型的排序处理不同于所述第
二类型的排序处理。

示例J,如示例I所述的系统,其中所述第一类型的排序处理包括:向所述四边形候
选分配相应的分数,其中个体四边形候选的分数至少部分地基于对所述个体四边形候选至
少部分地加以限定的区域的颜色对比度。

示例K,如示例I所述的系统,其中所述图像示出所述白板,并且其中所述第二类型
的排序处理包括:将示出所述白板的所述图像划分成多个网格;确定每个网格的颜色;计算
所述四边形候选的至少一部分的交集空间;确定所述交集空间的颜色;以及至少部分地基
于所述每个网格的颜色和所述交集空间的颜色来确定示出所述白板的所述图像的前景和
示出所述白板的所述图像的背景。

示例L,如示例K所述的系统,其中所述前景在所述白板的边界内。

示例M,如示例K所述的系统,其中所述白板包括笔划-标记,并且其中所述第二类
型的排序处理还包括:至少部分地基于在示出所述白板的所述图像的所述前景中的相应四
边形候选内的所述笔划-标记的数量来对所述多个四边形候选进行排序;以及至少部分地
基于所述排序来确定所述图像中的所述白板的边界。

示例N,如示例K所述的系统,其中示出所述白板的所述图像包括彩色图像,所述白
板包括笔划-标记,并且所述第二类型的排序处理还包括:将所述彩色图像转换成包括所
述笔划-标记的至少一部分的灰度图像;对所述灰度图像应用高斯差分操作以生成高斯差
分图像;以及将阈值准则和泛洪填充操作应用于所述高斯差分图像以减少所述笔划-标记
的数量。

示例O,如示例H所述的系统,其中所述模块还包括:直线滤波器模块,所述直线滤
波器模块至少部分地基于(i)所述线段相对于彼此的角度和(ii)所述线段在所述图像中的
位置来减少所述线段的数量。

示例P,一种方法包括:接收包括示出白板的区域的图像;检测所述图像中的多个
四边形;将所述图像划分成多个网格;确定每个网格的颜色;计算所述多个四边形的至少一
部分的交集空间;确定所述交集空间的颜色;以及至少部分地基于所述每个网格的颜色和
所述交集空间的颜色来确定所述图像的前景和所述图像的背景,其中所述前景在示出所述
白板的所述区域的边界内。

示例Q,如示例P所述的方法,其中所述白板包括笔划-标记,并且其中所述动作还
包括:至少部分地基于在所述图像的所述前景中的相应四边?#25991;?#30340;所述笔划-标记的数量
对所述多个四边形进行排序;以及至少部分地基于所述排序来确定示出所述白板的所述区
域的边界。

示例R,如示例P所述的方法,所述动作还包括:将所述图像划分成颜色通道,使得
每个颜色通道包括所述图像的一个分量彩色图像;检测每个分量彩色图像的边缘,以便生
成多条直线;以及至少部分地基于预先确定的准则,选择所述多条直线的子集以形成所述
多个四边形。

示例S,如示例R所述的方法,其中所述预先确定的准则至少部分地基于(i)所述直
线相对于彼此的角度和(ii)所述直线在所述图像中的位置。

示例T,如示例P所述的方法,其中所述多个四边形的所述至少一部分包括从所述
多个四边形提取出的四边形的次优子集。

结语

尽管已经用结构特征和/或方法动作专用的语言描述了本主题,但要理解,所附权
利要求书中定义的主题不必限于所描述的具体特征或动作。相反,这些具体特征和步骤是
作为实现权利要求的示例形式来公开的。

上述所有方法和过程可以用由一个或多个通用计算机或处理器执行的软件代码
模块来具体化,并且可经由这些软件代码模块来完全自动化。代码模块可被储存在任何类
型的计算机可读介质、计算机存储介质或其他计算机存储设备中。这些方法中的某些或全
部可替代地用专用计算机硬件来具体化。

除非另外具体声明,否则在上下文中可以理解条件语言(诸如“能”、“能够”、“可
能”或“可以”)表示特定示例包括而其他示例不包括特定特征、元素和/或步骤。因此,这样
的条件语言一般并非旨在暗示某些特征、元素和/或步骤以任何方式对于一个或多个示例
是必需的,或者一个或多个示例必然包括用于在有或没有用户输入或提示的情况下决定某
些特征、元素和/或步骤是否包括在任何特定示例中或将在任何特定示例中被执行的逻辑。

除非另外具体声明,应理解联合语言(诸如短语“X、Y或Z中至少一个”)表示项、词
语等可以是X、Y或Z中的任一者、或其组合。

本文所述和/或附图中描述的流程图中任何例程描述、元素或框应当被理解成潜
在地表示包括用于实现该例程中具体逻辑功能或元素的一个或多个可执行指令的代码的
模块、片段或部分。替代实?#30452;?#21253;括在本文描述的示例的?#27573;?#20869;,其中各元素或功能可被删
除,或与所示出或?#33268;?#30340;顺序不一致地执行,包括基本上同步地执行或按相?#27492;?#24207;执行,这
取决于所涉及的功能,如本领域技术人也将理解的。

应当强调,可对上述示例作出许多变型和修改,其中的元素如同其他可接受的示
例那样应被理解。所有这样的修改和变型本文旨在被包括在本公开的?#27573;?#20869;并且由所附权
利要求书保护。

关于本文
本文标题:白板和文档图像检测方法和系统.pdf
链接地址:http://www.pqiex.tw/p-6091639.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2017-2018 zhuanlichaxun.net网?#26223;?#26435;所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 内蒙古11选5开奖结果 中金黄金股票分析 中彩网双色球 汉诺威vs斯图加特历史记录 山东群英会走势图46 宁夏十一选五开奖走势 山东体彩老11选5 棋牌10元可提现的棋牌 河南快赢481遗漏统计 炒股入门知识