平码五不中公式规律
  • / 11
  • 下载费用:30 金币  

一种基于深度神经网络的领域自适应方法.pdf

关 键 ?#21097;?/dt>
一种 基于 深度 神经网络 领域 自适应 方法
  专利查询网所有?#35797;?#22343;是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
摘要
申请专利号:

CN201611201651.2

申请日:

2016.12.23

公开号:

CN106683666A

公开日:

2017.05.17

当前法律状态:

实审

有效性:

审中

法?#19978;?#24773;: 专利申请权的转移IPC(主分类):G10L 15/02登记生效日:20170929变更事项:申请人变更前权利人:上海语知义信息技术有限公司变更后权利人:云知声(上海)智能科技有限公司变更事项:地址变更前权利人:200233 上海?#34892;?#27719;区钦州北路1198号82幢2层变更后权利人:200233 上海?#34892;?#27719;区桂箐路65号1幢702室03单元|||实质审查的生效IPC(主分类):G10L 15/02申请日:20161223|||公开
IPC分类号: G10L15/02; G10L15/06(2013.01)I; G10L15/16; G10L21/0216(2013.01)I; G10L25/30(2013.01)I; G10L25/60(2013.01)I 主分类号: G10L15/02
申请人: 上海语知义信息技术有限公司
发明人: 郭伟
地址: 200233 上海?#34892;?#27719;区钦州北路1198号82幢2层
优?#28909;ǎ?/td>
专利代理机构: 上海唯源专利代理有限公司 31229 代理人: 曾耀先
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201611201651.2

授权公告号:

||||||

法律状态公告日:

2017.10.24|||2017.06.09|||2017.05.17

法律状态类型:

专利申请权、专利权的转移|||实质审查的生效|||公开

摘要

本发明公开了一种基于深度神经网络的领域自适应方法,是基于深度神经网络模型,利用原有的网络参数(大数据训练生成,缺少领域数据),在有少量领域数据的情况下,利用领域数据训练单独的隐层,同时在输出层进行融合,最终生成领域模型;利用同时进行多项任务(Multi??Task)的思想,结合少量的有监督领域数据(如5H??10H的领域数据),同时对领域数据进行模拟,采用不同的特征,对神经网络参数进行更新,对新领域测试集合效果提升明显,又不影响旧领域性能。

权利要求书

1.一种基于深度神经网络的领域自适应方法,其特征在于,包括步骤:
对领域数据进行模拟和扩展,得到扩展后的领域数据;
提取扩展后的领域数据的领域特征;
利用深度神经网络模型的基线神经网络对所述领域数据进行切分对齐,得到每帧领域
特征对应的状态级别的标注和音素级别的标注;
利用深度神经网络模型对所述领域特征进行训练,得到领域神经网络;
利用每帧领域特征的音素级别的标注进行扩展,得到领域扩展特征;
利用深度神经网络模型对所述领域扩展特征进行训练,得到领域扩展网络;
在深度神经网络模型的输出层对所述领域神经网络、所述基线神经网络及所述领域扩
展网络利用融合网络目标函数进行融合,利用梯度下降法对所述领域神经网络进行参数更
新;融合网络目标函数为:
<mrow> <mi>O</mi> <mi>b</mi> <mi>j</mi> <mo>=</mo> <mi>&alpha;</mi> <munder> <mi>&Sigma;</mi> <mi>t</mi> </munder> <msup> <mi>p</mi> <mrow> <mi>b</mi> <mi>a</mi> <mi>s</mi> <mi>e</mi> </mrow> </msup> <mo>(</mo> <mrow> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mi>t</mi> </msub> </mrow> <mo>)</mo> <mo>+</mo> <mi>&beta;</mi> <munder> <mi>&Sigma;</mi> <mi>t</mi> </munder> <msup> <mi>p</mi> <mrow> <mi>d</mi> <mi>o</mi> <mi>m</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> </mrow> </msup> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&gamma;E</mi> <mrow> <mo>(</mo> <mrow> <mi>cos</mi> <mi>t</mi> </mrow> <mo>)</mo> </mrow> </msub> </mrow>
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>s</mi> <mi>t</mi> </msub> <mo>/</mo> <msub> <mi>x</mi> <mi>t</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>&Sigma;</mi> <msup> <mi>t</mi> <mo>&prime;</mo> </msup> </msub> <mi>exp</mi> <mrow> <mo>(</mo> <msub> <mi>y</mi> <msup> <mi>t</mi> <mo>&prime;</mo> </msup> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中,t为时序,t’为累加的时序,st为输出音素状态,xt为输入特征向量,pbase函数为基
线神经网络的目标函数P(st/xt),yt为对应的标注,pdomain函数为领域神经网络的目标函数P
(st/xt);E(cost)为代价函数,为领域扩展网络的隐层输出和领域标注之前的均方误差,α、β设
置为(0,1)之间,γ设置为(0,5)之间。
2.如权利要求1所述的一种基于深度神经网络的领域自适应方法,其特征在于,通过以
下方法对领域数据进行模拟和扩展,包括:
获取领域数据;
对获取的领域数据进行加噪和去噪,得到扩展后的领域数据。
3.如权利要求1所述的一种基于深度神经网络的领域自适应方法,其特征在于:在对获
取的领域数据进行加噪和去噪的过程中,采用添加不同的噪声进行加噪,采用不同的滤噪
方式进行去噪。
4.如权利要求1所述的一种基于深度神经网络的领域自适应方法,其特征在于:扩展后
的领域数据的领域特征包括梅尔频谱倒谱系数、线性预测系数、梅尔滤波系数或三者的任
意拼接特征。
5.如权利要求1所述的一种基于深度神经网络的领域自适应方法,其特征在于,通过以
下方法利用深度神经网络模型对所述领域特征进行训练,得到领域神经网络,包括步骤:
以每帧领域特征的特征向量作为深度神经网络模型的输入;
以每帧领域特征对应的状态级别的标注或音素级别的标注作为深度神经网络模型的
输出;
采用非线性激活函数或分段线性激活函数训练深度神经网络模型的领域隐层,得到领
域特征的领域神经网络。
6.如权利要求1所述的一种基于深度神经网络的领域自适应方法,其特征在于,通过以
下方法利用深度神经网络模型的基线神经网络对所述领域数据进行切分对齐,得到每帧领
域特征对应的状态级别的标注和音素级别的标注,包括步骤:
基于深度神经网络模型,将领域数据的每帧领域特征的特征向量作为输入,将领域数
据的每帧领域特征的状态级别的标注作为状态输出,对所述输入和所述状态输出进行切分
对齐;
基于深度神经网络模型,将领域数据的每帧领域特征的特征向量作为输入,将领域数
据的每帧领域特征的音素级别的标注作为音素输出,对输入和音素输出进行切分对齐。
7.如权利要求1所述的一种基于深度神经网络的领域自适应方法,其特征在于,通过以
下方法利用每帧领域特征的音素级别的标注进行扩展,得到领域扩展特征,包括步骤:
提取某一时刻的?#25345;?#39046;域特征的音素级别的标注;
对提取的所述领域特征的音素级别的标注的发音特点进行扩展。
8.如权利要求7所述的一种基于深度神经网络的领域自适应方法,其特征在于,所述领
域扩展特征为包含上下文相关音素、是否元音或双元音、音素平均统计时长、是否鼻音、声
门特点、唇音中的一种或多种发音特点组成的特征向量。
9.如权利要求7所述的一种基于深度神经网络的领域自适应方法,其特征在于,通过以
下方法利用深度神经网络模型对所述领域扩展特征进行训练,得到领域扩展网络,包括步
骤:
以领域扩展特征作为深度神经网络模型的输入;
以领域数据的领域特征作为领域标注,作为深度神经网络模型的输出;
采用非线性激活函数或分段线性激活函数训练深度神经网络模型的领域扩展隐层,得
到领域扩展特征的领域扩展网络。
10.如权利要求9所述的一种基于深度神经网络的领域自适应方法,其特征在于:所述
领域标注为对应所述某一时刻提取的领域数据的领域特征,取前后n维,归一化到[0,1]范
围后规整得到的领域规整特征。

说明书

一种基于深度神经网络的领域自适应方法

技术领域

本发明涉及语音识别领域,尤其涉及一种基于深度神经网络的领域自适应方法。

背景技术

在语音评测(识别)系?#25345;校?#38590;免会遇到训练数据和测试数据不匹配的情况,自适
应作为一种有效的系统补偿方法,近年来已经提出了很多方法,比如,在早期的高斯混合模
型(HMM-GMM)系?#25345;校?#37319;用MAP(Maximun A Posteriori,最大似然算法),MLLR(Maximum
Likelihood Linear Regression,最大似然线性回归算法)等方法,而深度神经网络作为一
种鉴别性模型,现有的高斯混合模型技术不能直接运用到深度神经网络中;基于神经网络
的自适应技术包括有监督和无监督训练,可以在特征端,也可以在模型端进行自适应,比
如,输入线性特征变换、基于BN(BottleNetwork,深度网络)的特征变化、利用说话人的特征
矢量(ivector,描述说话人信息的向量)信息、基于深度神经网络(neural network,简称
NN)的KL(Kullback-Leibler,正则)技术等等,目前提出的大部分方法基本都是基于单个说
话人的NN自适应技术,真正解决实际问题,还有一定的局限。

发明内容

本发明所要解决的技术问题是提供一种基于深度神经网络的领域自适应方法,用
于解决在不同领域,在数据量较少的情况下(包含不同的说话人),提高语音评测性能的问
题。

为实现上述技术效果,本发明公开了一种基于深度神经网络的领域自适应方法,
包括步骤:

对领域数据进行模拟和扩展,得到扩展后的领域数据;

提取扩展后的领域数据的领域特征;

利用深度神经网络模型的基线神经网络对所述领域数据进行切分对齐,得到每帧
领域特征对应的状态级别的标注和音素级别的标注;

利用深度神经网络模型对所述领域特征进行训练,得到领域神经网络;

利用每帧领域特征的音素级别的标注进行扩展,得到领域扩展特征;

利用深度神经网络模型对所述领域扩展特征进行训练,得到领域扩展网络;

在深度神经网络模型的输出层对所述领域神经网络、所述基线神经网络及所述领
域扩展网络利用融合网络目标函数进行融合,利用梯度下降法对所述领域神经网络进行参
数更新;融合网络目标函数为:



其中,t为时序,t’为累加的时序,st为输出音素状态,xt为输入特征向量,pbase函数
为基线神经网络的目标函数P(st/xt),yt为对应的标注,pdomain函数为领域神经网络的目标
函数P(st/xt);E(cost)为代价函数,为领域扩展网络的隐层输出和领域标注之前的均方误差,
α、β设置为(0,1)之间,γ设置为(0,5)之间。

所述基于深度神经网络的领域自适应方法进一步的改进在于,通过以下方法对领
域数据进行模拟和扩展,包括:

获取领域数据;

对获取的领域数据进行加噪和去噪,得到扩展后的领域数据。

所述基于深度神经网络的领域自适应方法进一步的改进在于,在对获取的领域数
据进行加噪和去噪的过程中,采用添加不同的噪声进行加噪,采用不同的滤噪方式进行去
噪。

所述基于深度神经网络的领域自适应方法进一步的改进在于,扩展后的领域数据
的领域特征包括梅尔频谱倒谱系数、线性预测系数、梅尔滤波系数或三者的任意拼接特征。

所述基于深度神经网络的领域自适应方法进一步的改进在于,通过以下方法利用
深度神经网络模型对所述领域特征进行训练,得到领域神经网络,包括步骤:

以每帧领域特征的特征向量作为深度神经网络模型的输入;

以每帧领域特征对应的状态级别的标注或音素级别的标注作为深度神经网络模
型的输出;

采用非线性激活函数或分段线性激活函数训练深度神经网络模型的领域隐层,得
到领域特征的领域神经网络。

所述基于深度神经网络的领域自适应方法进一步的改进在于,通过以下方法利用
深度神经网络模型的基线神经网络对所述领域数据进行切分对齐,得到每帧领域特征对应
的状态级别的标注和音素级别的标注,包括步骤:

基于深度神经网络模型,将领域数据的每帧领域特征的特征向量作为输入,将领
域数据的每帧领域特征的状态级别的标注作为状态输出,对所述输入和所述状态输出进行
切分对齐;

基于深度神经网络模型,将领域数据的每帧领域特征的特征向量作为输入,将领
域数据的每帧领域特征的音素级别的标注作为音素输出,对输入和音素输出进行切分对
齐。

所述基于深度神经网络的领域自适应方法进一步的改进在于,通过以下方法利用
每帧领域特征的音素级别的标注进行扩展,得到领域扩展特征,包括步骤:

提取某一时刻的?#25345;?#39046;域特征的音素级别的标注;

对提取的所述领域特征的音素级别的标注的发音特点进行扩展。

所述基于深度神经网络的领域自适应方法进一步的改进在于,所述领域扩展特征
为包含上下文相关音素、是否元音或双元音、音素平均统计时长、是否鼻音、声门特点、唇音
中的一种或多种发音特点组成的特征向量。

所述基于深度神经网络的领域自适应方法进一步的改进在于,通过以下方法利用
深度神经网络模型对所述领域扩展特征进行训练,得到领域扩展网络,包括步骤:

以领域扩展特征作为深度神经网络模型的输入;

以领域数据的领域特征作为领域标注,作为深度神经网络模型的输出;

采用非线性激活函数或分段线性激活函数训练深度神经网络模型的领域扩展隐
层,得到领域扩展特征的领域扩展网络。

所述基于深度神经网络的领域自适应方法进一步的改进在于,所述领域标注为对
应所述某一时刻提取的领域数据的领域特征,取前后n维,归一化到[0,1]?#27573;?#21518;规整得到
的领域规整特征。

本发明由于采用了以上技术方案,使其具有以下有益效果:

本发明基于深度神经网络模型,利用原有的网络参数(大数据训练生成,缺少领域
数据),在有少量领域数据的情况下,利用领域数据训练单独的隐层,同时在输出层进行融
合,最终生成领域模型;

利用同时进行多项任务(Multi-Task)的思想,结合少量的有监督领域数据(如5H-
10H的领域数据),同时对领域数据进行模拟,采用不同的特征,对神经网络参数进行更新,
对新领域测试集合效果提升明显,又不影响旧领域性能。

附图说明

图1为本发明一种基于深度神经网络的领域自适应方法的模块示意图。

具体实施方式

下面结合附图及具体实施方式对本发明作进一步详细的说明。

以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书
所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用,本说明书中的各项?#38468;?#20063;可以基于不同观点与应用,在没有背离
本发明的精神下进行各种修饰或改变。

本发明一种基于深度神经网络的领域自适应方法旨在提出一种基于领域数据的
自适应技术,用于解决在不同领域,在数据量较少的情况下(包含不同的说话人),提高语音
评测性能的问题。比如,在日常英语口语评测中,训练数据大部分都是人们日常正常交流用
语,若针对初、高中口语水平进行评测,就会出现训练和测试失配问题,而想获取大量的类
似考试类型的数据比较困难,同时对数据进行文本标注的成本也很高,但搜集到10个小时
(10H)的数据还是比?#20808;?#26131;的,采用本发明的基于深度神经网络的领域自适应方法可以在
仅搜集少量领域数据,如10H数据的基础上进行自适应以提高考试评测的性能。

请配合图1所示,图1为本发明基于深度神经网络的领域自适应方法的模块示意
图。本发明基于深度神经网络的领域自适应方法采用的方案是:深度神经网络利用原有的
网络参数(大数据训练生成,缺少领域数据),在有少量领域数据的情况下,利用领域数据训
练单独的隐层,同时在输出层进行融合,最终生成领域模型。具体的,本发明采用了如下方
法,包含以下步骤:

S001:对领域数据进行模拟和扩展,得到扩展后的领域数据;如将10小时的领域数
据扩展到50小时~100小时。

其主要通过以下步骤对领域数据进行模拟和扩展:

(一)获取领域数据;

(二)对获取的领域数据进行加噪和去噪,得到扩展后的领域数据。

其中,在对获取的领域数据进行加噪和去噪的过程中,采用添加不同的噪声进行
加噪,加噪后再采用不同的滤噪方式进行去噪。

加噪,就是采集到实际的噪声数据(?#31243;没?#22659;、公交车环境、办公?#19968;?#22659;等等),和
原始领域数据进行线性叠加。

去噪,就是通过自适应滤波?#20154;?#27861;对加噪的数据进行增强,滤噪方式可采用自适
应滤波、小波去噪?#21462;?#30446;前小波去噪的方法,大概可以分为三大类:第一类方法是利用小波
变换模极大值原理去噪,即根据信号和噪声在小波变换各尺度上的不同传播特性,剔除由
噪声产生的模极大?#26723;悖?#20445;留信号所对应的模极大?#26723;悖?#28982;后利用所余模极大?#26723;?#37325;构小
波系数,进而恢复信号;第二类方法是对含噪信号作小波变换之后,计算相邻尺度间小波系
数的相关性,根据相关性的大小区别小波系数的类型,从而进行取舍,然后直?#21448;?#26500;信号;
第三类是小波阈值去噪方法,该方法认为信号对应的小波系数包含有信号的重要信息,其
幅?#21040;?#22823;,但数目较少,而噪声对应的小波系数是一致分布的,个数较多,但幅值小。基于这
一思想,在众多小波系数中,把绝对?#21040;?#23567;的系数置为零,而让绝对?#21040;?#22823;的系数保留或收
缩,得到估计小波系数,然后利用估计小波系数直接进行信号重构,即可达到去噪的目的。

S002:提取扩展后的领域数据的领域特征;

例如梅尔频谱倒谱系数(mfcc)、线性预测系数(plp)、梅尔滤波系数(filterbank)
等等,也可以采用拼接特征。

梅尔频?#23454;?#35889;系数(Mel-FrequencyCepstralCoefficients,简称MFCCs)就是组成
梅尔频?#23454;?#35889;的系数。他们派生自音频片段的倒谱(cepstrum)表示(anonlinear"
spectrum-of-a-spectrum")。倒谱和梅尔频?#23454;?#35889;的区别在于,梅尔频?#23454;?#35889;的频带划分
是在梅尔刻度上等距划分的,它比用于正常的对数倒频谱中的线性间隔的频带更能近似人
类的听觉系统。这种频率弯曲可以更好的表示声音,例如音频压缩。

线性预测(linear prediction)根据随机信号过去的p个已知抽样值序列为Sn-1,
Sn-2,…Sn-p,预测现时样值Sn的估计值的方法。预测公式是一个线性方程,所以这种预测
称为线性预测。

S003:利用深度神经网络模型的基线神经网络对领域数据进行切分对齐(force
alignment),得到每帧领域特征对应的状态(state)级别的标注和音素(phone)级别的标注
(Lab),以形成深度神经网络模型的训练网络的输入和输出。

其主要通过以下方法利用深度神经网络模型的基线神经网络对领域数据进行切
分对齐,包括步骤:

基于深度神经网络模型,将领域数据的每帧领域特征的特征向量作为输入,将领
域数据的每帧领域特征的状态级别的标注作为状态输出,对所述输入和所述状态输出进行
切分对齐;

基于深度神经网络模型,将领域数据的每帧领域特征的特征向量作为输入,将领
域数据的每帧领域特征的音素级别的标注作为音素输出,对输入和音素输出进行切分对
齐。

从而基于深度神经网络模型,使得每帧领域特征的特征向量与每帧领域特征对应
的状态级别的标注和音素级别相对齐;以实现在网络训练之前,对领域数据的输入和输出
进行对齐切分。

其中,音素级别的标注就是在某一时刻,如t时刻,每个领域特征对应的音素发音;
状态级别的标注就是上下文相关的音素,通过聚类后的状态单元?#24162;?#31034;,t时刻特征对应的
状态。

S004:利用深度神经网络模型对领域特征进行训练,得到领域神经网络;

其主要为通过以下方法利用深度神经网络模型对领域特征进行训练,得到领域神
经网络,包括如下步骤:

(一)以每帧领域特征的特征向量作为深度神经网络模型的输入11(domain
input);

(二)以每帧领域特征对应的状态级别的标注或音素级别的标注作为深度神经网
络模型的输出(domain input)12;

(三)采用非线性激活函数(sigmoid)或分段线性激活函数(relu)训练深度神经网
络模型的领域隐层(Hidden layer)13,得到领域特征的领域神经网络,在图1中,领域神经
网络为位于左侧的网络,位于中间的网络为深度神经网络模型的原始的基线神经网络。

S005:利用每帧领域特征的音素(phone)级别的标注(Lab)进行扩展,得到领域扩
展特征(domain expand input vector)14;

其主要为通过以下方法利用每帧领域特征的音素级别的标注进行扩展,得到领域
扩展特征,包括如下步骤:

提取某一时刻(t时刻)的?#25345;?#39046;域特征的音素级别的标注;

对提取的该领域特征的音素级别的标注的发音特点进行扩展。

扩展得到的领域扩展特征可为包含上下文相关音素、是否元音或双元音、音素平
均统计时长、是否鼻音、声门特点、唇音中的一种或多种语言学的发音特点组成的特征向
量,不同领域会有不同的发音特征。

S006:利用深度神经网络模型对领域扩展特征14进行训练,得到领域扩展网络;

其主要为通过以下方法利用深度神经网络模型对领域扩展特征进行训练,得到领
域扩展网络,包括如下步骤:

(一)以领域扩展特征14作为深度神经网络模型的输入;

(二)以领域数据的领域特征作为领域标注(Domain Lab)15,作为深度神经网络模
型的输出;

(三)采用非线性激活函数(sigmoid)或分段线性激活函数(relu)训练深度神经网
络模型的领域扩展隐层(Domain Hidden layer)16,得到领域扩展特征的领域扩展网络,在
图1中,领域扩展网络为位于基线神经网络?#20063;?#30340;网络。

其中,领域标注为对应某一时刻,如t时刻,提取的领域数据的领域特征,取前后n
维,归一化到[0,1]后规整得到的领域规整特征。

比如:领域扩展网络的输入,是由t时刻提取的领域数据的领域特征的音素级别的
标注所扩展得到领域扩展特征;那么,领域扩展网络的输出(即领域标注)就是对应之前输
入时(t时刻)提取的输入特征,在t时刻前后取n维(n的?#27573;?#21462;5~10),归一化到[0,1],从而
规整得到的领域规整特征。举例来说,比如特征向量[0,1,2,3,4,5,6,7,8,9,10],对于6,我
们可以取前后的5维,对这11维数据,进行标准差归一化,标准差计算可以是减均值,除方差
得到。

S007:在深度神经网络模型的输出层对领域神经网络(左侧网络)、基线神经网络
(中间网络)及领域扩展网络(?#20063;?#32593;络)利用下面的融合网络目标函数进行融合,利用梯度
下降法(Back Propagation,反向误差传播)以对领域神经网络进行参数更新;

该融合网络目标函数为:



其中,t为时序,t’为累加的时序,st为输出音素状态,xt为输入特征向量;OBJ融合
网络目标函数是训练领域神经网络时的总的目标函数,pbase函数为基线神经网络的目标函
数P(st/xt)(如上公式所示),yt为对应的标注,exp为指数运算符,pdomain函数为领域神经网
络的目标函数P(st/xt)(如上公式所示),单个的pbase函数和单个的pdomain函数的目标函数的
表达式相同,仅代入的状态级别的标注和音素级别的标注(yt)不同;E(cost)为代价函数,为
领域扩展网络的隐层输出和领域标注之前的均方误差,α、β设置为(0,1)之间,γ设置为(0,
5)之间。

进一步的,

其中,t为时序,s为代表音素的状态,x代表输入的特征向量,p1domain函数为领域神
经网络的目标函数,P1(input)是领域扩展网络的输入。

进行领域相关任务测试时,只需要?#20918;?#30340;网络(领域扩展网络)的参数即可;整个
网络训练过程中,中间的网络(基线神经网络)的参数不需要更新,更新左侧的网络(领域神
经网络)即可。

本发明的基于深度神经网络的领域自适应方法,是基于深度神经网络模型,利用
原有的网络参数(大数据训练生成,缺少领域数据),在有少量领域数据的情况下,利用领域
数据训练单独的隐层,同时在输出层进行融合,最终生成领域模型;利用同时进行多项任务
(Multi-Task)的思想,结合少量的有监督领域数据(如5H-10H的领域数据),同时对领域数
据进行模拟,采用不同的特征,对神经网络参数进行更新,对新领域测试集合效果提升明
显,又不影响旧领域性能。

需要说明的是,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说
明书所揭示的内容,以供熟悉?#24605;?#26415;的人士了解与阅读,并非用以限定本发明可实施的限
定条件,故不具技术上的实?#23460;?#20041;,任何结构的修饰、比例关系的改变或大小的调整,在不
影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得
能涵盖的?#27573;?#20869;。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的
用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的?#27573;В?#20854;相对关系的改变或调
整,在无实?#26102;?#26356;技术内容下,?#24065;?#35270;为本发明可实施的范畴。

以上所述仅是本发明的较佳实施例而已,并非对本发明做任何形式上的限制,虽
然本发明已以较佳实施例揭?#24230;?#19978;,然而并非用以限定本发明,任?#38382;?#24713;本专业的技术人
员,在不脱离本发明技术方案的?#27573;?#20869;,当可利用上述揭示的技术内容作出些许更动或修
饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实
质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的?#27573;?br />内。

[email protected] 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
平码五不中公式规律 重庆幸运农场规律公式 头条里的关注能赚钱吗 英冠 有谁购买作弊器被骗了 彩票单双大小规律技巧 山西快乐10分app 后三包胆3期计划 双色球复式投注表计算 亚洲杯直播 排列五开奖号码