时间：2023-07-17 16:22:52
序论：在您撰写神经网络文本分类时，参考他人的优秀作品可以开阔视野，小编为您整理的7篇范文，希望这些建议能够激发您的创作热情，引导您走向新的创作高度。
关键词：Web文本分类；RBF网络；高斯函数；梯度下降法
中图分类号：TP18文献标识码：A文章编号：1009-3044(2011)13-3107-02
The Researching of Web Text Classification Based on RBF Neural Network
XU Chun-yu
(Information Engineering Department, Liaoning Provincial College of Communications， Shenyang 110122, China)
Abstract：Web text classification is the automatic classification for Web information and it makes the use of text classification technology. The technology makes user find resource that they want quickly. The data from the Web is divided into sample data set and test data set after feature extraction in the process of text classification. Sample data set is inputted to the RBF network and the RBF network is trained. Test data set is inputted the RBF to validate after training the network. Experimental results show that RBF network achieved better classification results.
Key words: web text classification; RBF network; gauss Function; gradient descent algorithm
近年来，web已经成为拥有数十亿个异构的、半结构化的、动态的分布式信息空间，这些web信息源中有80%以上的信息是以web文本的形式出现的，如何从这些海量的web信息资源中寻找并获取有价值的信息和知识模式，已经成为信息处理的一个关键问题，web文本分类有助于人们完成这个目标[1]。
1 web文本分类
文本分类就是先根据已有的样例文本找出能描述并区分文本类别的分类器，然后利用该分类器对新的未分类的文本进行分类。根据机器学习的观点，文本自动分类问题可以归结为一个机器学习任务：假定全体文本空间为D，预定义的文本类别集合为C{c1,c2,…,c3}。待学习分类法称为目标分类器，记作y，一般来说，y是从文本集到类别集的一个映射，即y：DC，通常情况下该映射存在，但没有解析表达式。文本分类中机器学习的目的就是找到映射y的一个近似表达式或估计：y：DC，使对于D中所有文本d有h(d)=y(d)，或使得h(d)≠y(d)的概率最小。其中h为分类器[3]。
随着web上海量文本信息的增加，文本分类技术的处理对象从普通的文档扩展到了web文本，即形成了web文本分类技术，显然，文本分类技术是web文本分类技术的基础。
2 RBF神经网络
径向基函数（Radial Basis Function，简称RBF）神经元网络是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部接受域来执行函数影射的人工神经元网络。在人的大脑皮层区域中，局部调节及交叠的感受是人脑反映的特点。RBF网络同BP网络类似，也是一种三层前馈式神经网络，输入层节点传递输入信号到隐含层，隐含层节点由像高斯函数那样的辐射状作用函数构成，而输出层节点通常是简单的线性函数。网络模型如图1所示。
从RBF的网络模型图可以看出，RBF网络由两部分组成，第一部分为非线性变换层，它的输出公式如公式(1)所示：
(1)
其中X={x1,x2,…xn}为输入向量，Ci={Ci(1),Ci(2),…Ci(N)}为第i个非线性变换单元的中心向量，Ct(q)表示第t个中心的第q个分量，σi为第i个非线性变换单元的宽度，||・||表示的是范数，通常情况下取2范数，g(・)表示的是非线性函数关系，一般取Gauss函数，Gauss函数的函数关系如公式(2)所示：
(2)
第二部分：线性合并层，它的作用是将变换层的输出线性加权合并，公式如(3)所示，其中l为隐含层神经元的个数，m为输出层神经元的个数。
(3)
RBF网络通过径向基函数能够更确切的描述人类神经元的活动特性。在中心附近的区域内网络的输出最大，网络的输出随着中心距离的增大，逐渐减小，而这个过程的快慢则是由σ参数来决定的，σ越大则函数输出曲线越平缓，对输入的变化就越不敏感，因此，可以通过调节σ来进一步模拟人类的神经元。RBF网络最常用的算法是梯度下降法，常用的训练就是选定某种性能指标，然后采用梯度下降的方法来校正网络参数，使该网络性能指标取得最优值，因此RBF网络的学习实质上就是一个最优化问题。具体的训练算法为：对于一般的RBF网络结构，取性能指标如公式(4)所示。
(4)
其中，i为网络的输出，具体关系式如下面的(5)式、(6)式和(7)式所示：
(5)
(6)
(7)
由上面的三个公式可以看出， J是关于Cj，wjt和σj的函数。网络的训练过程就是调整以上三组参数，使J趋于最小。求取J对各网络参数wts,ct(q),σt的偏导数，其中1≤t≤P（P是隐含层单元的个数），1≤s≤M（M是输出层单元的个数），1≤q≤N（N是输出层单元的个数），得到参数的校正方法。具体的校正方法为：权值wts的校正方向如公式(8)所示：
(8)
中心ct(q)的校正方向如公式(9)所示：
(9)
宽度σt的校正方向如公式(10)所示：
(10)
由此，可以得到RBF网络的梯度下降法校正公式如(11)所示：
(11)
其中，1≤t≤P，1≤s≤M，1≤q≤N，P为隐含层单元个数，N为输入层单元个数，M为输出层单元个数，λ为步长，通常λ=0.05左右。
隐含层到输出层之间的变换是线性变换，所以采用的是比较成熟的RLS算法。给定样本输入，则在当前的网络隐含层单元中心Cj及宽度σj（1≤j≤P）参数下，隐含层单元输出向量为HT=[h1,h2,…,hP]，P为隐含层单元个数。
Y=HTW (12)
其中，Y=[y1,y2,…,yM]，W=[w1,w2,…,wM]，wi=[w1i,…,wpi]，这样，根据RLS算法有权值的修正递推公式如公式(13)所示：
(13)
这样，按照上面的公式对网络参数不断地进行循环校正，最终网络性能将达到所要求的性能指标[5]。
3 实验
实验过程中，首先设计网络拓扑结构，确定RBF网络输出层神经元个数，根据类别的个数来确定输出层神经元的个数，实验数据分别属于10个类别，因此网络输出层神经元个数为10。输入层神经元的个数为文档在进行特征提取之后向量的维数，实验中，经过降维以后的每篇文档特征向量的维数为30，所以将网络的输入层神经元的个数选取为30。由于输入样本空间是确定的，可以预先给定一个隐含层节点数，只要与输入样本的实际类别数相差不是很大时，就可以使用梯度下降法来不断修正网络的中心值，使网络的特性逼近于实际系统，这种方法比较简单，也是一种比较常用的方法，因此，实验中隐含层神经元的个数取值为9。
RBF网络结构设计完成之后就可以对网络进行训练了，实验数据来自中国期刊网上下载的600篇文档，涵盖了政治、经济、教育、娱乐等10个类别，每个类别包含60篇文档，选取其中的500篇文档作为样本训练集，每个类别选择50篇，另外100篇文档作为网络的测试集。首先需要对实验数据进行文本特征提取、降维等过程。其次采用的是Matlab软件进行编程以实现网络的训练，网络训练完成以后，输入测试集中的数据，测试网络能否正确地将相关的文档区分到各个类别中。表1是RBF网络的分类结果。
4 结论
从上面的训练结果分析，RBF网络能够将大部分的文本正确地划分到所属类别，对于体育、娱乐、外语方面的文档能够取得较高的识别率，对于政治、经济、军事等方面的文档的识别率较低，主要原因是这些类别的文档中互相包含着相关的特征信息，这种类型的文档在进行文本分类的时候，需要在文本特征提取的时候进行相应的处理，以使得在输入神经网络的时候能够得到正确的分类结果。从实验结果可以看出，RBF网络完全可以应用到文本分类中来，并且能够取得较好的分类效果。
参考文献：
[1] 蒲筱哥.Web自动文本分类技术研究综述[J].情报科学,2009:233.
[2] Crimmins F, Smeaton A, Dkaki T, et al.Information discovery on the internet[J].IEEE Intell.Syst.,1999(14):55-62.
[3] 王晓庆. 基于RBF网络的文本自动分类的研究[D].南昌:江西师范大学,2003:9.
[4] Abhijit S, Rober B. 神经网络模式识别及其实现[M].徐勇,荆涛,译.北京：电子工业出版社,1999:30-32,57-114.
[5] 柯慧燕. Web文本分类研究及应用[D].武汉:武汉理工大学,2006:14-15,16-17.
[6] 飞思科技产品研发中心. 神经网络理论与MATLAB7实现[M].北京:电子工业出版社,2005:17.
P键词：深度学习；文本分类；多类型池化
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）35-0187-03
1 引言
为了进行分类，我们建立句子模型来分析和表示句子的语义内容。句子模型问题的关键在于一定程度上的自然语言理解。很多类型的任务需要采用句子模型，包括情感分析、语义检测、对话分析、机器翻译等。既然单独的句子很少或基本不被采用，所以我们必须采用特征的方式来表述一个句子，而特征依赖于单词和词组。句子模型的核心是特征方程，特征方程定义了依据单词和词组提取特征的过程。求最大值的池化操作是一种非线性的二次抽样方法，它返回集合元素中的最大值。
各种类型的模型已经被提出。基于成分构成的方法被应用于向量表示，通过统计同时单词同时出现的概率来获取更长的词组。在有些情况下，通过对词向量进行代数操作生成句子层面的向量，从而构成成分。在另外一些情况下，特征方程和特定的句法或者单词类型相关。
一种核心模型是建立在神经网络的基础上。这种模型包含了单词包或者词组包的模型、更结构化的递归神经网络、延迟的基于卷积操作的神经网络。神经网络模型有很多优点。通过训练可以获得通用的词向量来预测一段上下文中单词是否会出现。通过有监督的训练，神经网络能够根据具体的任务进行良好的调节。除了作为强大的分类器，神经网络模型还能够被用来生成句子[6]。
我们定义了一种卷积神经网络结构并将它应用到句子语义模型中。这个网络可以处理长度不同的句子。网络中的一维卷积层和多类型动态池化层是相互交错的。多类型动态池化是一种对求最大值池化操作的范化，它返回集合中元素的最大值、最小值、平均值的集合[1]。操作的范化体现在两个方面。第一，多类型池化操作对一个线性的值序列进行操作，返回序列中的多个数值而不是单个最大的数值。第二，池化参数k可以被动态的选择，通过网络的其他参数来动态调整k的值。
卷积层的一维卷积窗口对句子特征矩阵的每一行进行卷积操作。相同的n-gram的卷积窗口在句子的每个位置进行卷积操作，这样可以根据位置独立地提取特征。一个卷积层后面是一个多类型动态池化层和一个非线性的特征映射表。和卷积神经网络在图像识别中的使用一样，为丰富第一层的表述，通过不同的卷积窗口应用到句子上计算出多重特征映射表。后续的层也通过下一层的卷积窗口的卷积操作计算出多重特征映射表。最终的结构我们叫它多类型池化的卷积神经网络。
在输入句子上的多层的卷积和动态池化操作产生一张结构化的特征图。高层的卷积窗口可以获取非连续的相距较远的词组的句法和语义关系。特征图会引导出一种层级结构，某种程度上类似于句法解析树。这种结构不仅仅是和句法相关，它是神经网络内部所有的。
我们将此网络在四种场景下进行了尝试。前两组实验是电影评论的情感预测[2]，此网络在二分和多种类别的分类实验中的表现都优于其他方法。第三组实验在TREC数据集（Li and Roth， 2002）上的6类问题的分类问题。此网络的正确率和目前最好的方法的正确率持平。第四组实验是推特的情感预测，此网络将160万条微博根据表情符号自动打标来进行训练。在手工打标的测试数据集上，此网络将预测错误率降低了25%。
本文的概要如下。第二段主要阐述MCNN的背景知识，包括核心概念和相关的神将网络句子模型。第三章定义了相关的操作符和网络的层。第四章阐述生成的特征图的处理和网络的其他特点。第五章讨论实验和回顾特征学习探测器。
2 背景
MCNN的每一层的卷积操作之后都伴随一个池化操作。我们先回顾一下相关的神经网络句子模型。然后我们来阐述一维的卷积操作和经典的延迟的神经网络（TDNN）[3]。在加了一个最大池化层到网络后，TDNN也是一种句子模型[5]。
2.1 相关的神经网络句子模型
已经有很多的神经网络句子模型被描述过了。 一种比较通用基本的模型是神经网络词包模型（NBoW）。其中包含了一个映射层将单词、词组等映射到更高的维度；然后会有一个比如求和之类的操作。结果向量通过一个或多个全连接层来进行分类。
有以外部的解析树为基础的递归神经网络，还有在此基础上更进一步的RNN网络。
最后一种是以卷积操作和TDNN结构为基础的神经网络句子模型。相关的概念是动态卷积神经网络的基础，我们接下来介绍的就是它。
2.2 卷积
一维卷积操作便是将权重向量[m∈Rm]和输入向量[s∈Rs]进行操作。向量m是卷积操作的过滤器。具体来说，我们将s作为输入句子，[si∈R]是与句子中第i个单词相关联的单独的特征值。一维卷积操作背后的思想是通过向量m和句子中的每个m-gram的点积来获得另一个序列c：
[ci=mTsi-m+1：i （1）]
根据下标i的范围的不同，等式1产生两种不同类型的卷积。窄类型的卷积中s >= m并且会生成序列[c∈Rs-m+1]，下标i的范围从m到s。宽类型的卷积对m和s的大小没有限制，生成的序列[c∈Rs+m-1]，下标i的范围从1到s+m-1。超出下标范围的si窄（i < 1或者i > s）置为0。窄类型的卷积结果是宽类型的卷积结果的子序列。
宽类型的卷积相比于窄类型的卷积有一些优点。宽类型的卷积可以确保所有的权重应用到整个句子，包括句子收尾的单词。当m被设为一个相对较大的值时，如8或者10，这一点尤其重要。另外，宽类型的卷积可以确保过滤器m应用于输入句子s始终会生成一个有效的非空结果集c，与m的宽度和s句子的长度无关。接下来我们来阐述TDNN的卷积层。
4 验与结果分析
我们对此网络进行了4组不同的实验。
4.1 电影评论的情感预测
前两组实验是关于电影评论的情感预测的，数据集是Stanford Sentiment Treebank.实验输出的结果在一个实验中是分为2类，在另一种试验中分为5类：消极、略微消极、中性、略微积极、积极。而实验总的词汇量为15448。
表示的是电影评论数据集情感预测准确率。NB和BINB分别表示一元和二元朴素贝叶斯分类器。SVM是一元和二元特征的支撑向量机。在三种神经网络模型里――Max-TDNN、NBoW和DCNN――模型中的词向量是随机初始化的；它们的维度d被设为48。Max-TDNN在第一层中滤波窗口的大小为6。卷积层后面紧跟一个非线性化层、最大池化层和softmax分类层。NBoW会将词向量相加，并对词向量进行非线性化操作，最后用softmax进行分类。2类分类的MCNN的参数如下，卷积层之后折叠层、动态多类型池化层、非线性化层。滤波窗口的大小分别7和5。最顶层动态多类型池化层的k的值为4。网络的最顶层是softmax层。5类分类的MCNN有相同的结构，但是滤波窗口的大小分别为10和7，k的值为5。
我们可以看到MCNN的分类效果远超其他算法。NBoW的分类效果和非神经网络算法差不多。而Max-TDNN的效果要比NBoW的差，可能是因为过度池化的原因，丢弃了句子太多重要的特征。除了RecNN需要依赖外部的解析树来生成结构化特征，其他模型都不需要依赖外部资源。
4.2 问题分类
问题分类在问答系统中应用非常广泛，一个问题可能属于一个或者多个问题类别。所用的数据集是TREC数据集，TREC数据集包含6种不同类别的问题，比如一个问题是否关于地点、人或者数字信息。训练集包含5452个打标的问题和500个测试集。
4.3 Twitter情感预测
在我们最后的实验里，我们用tweets的大数据集进行训练，我们根据tweet中出现的表情符号自动地给文本进行打标签，积极的或是消极的。整个数据集包含160万条根据表情符号打标的tweet以及400条手工标注的测试集。整个数据集包含76643个单词。MCNN的结构和4.1节中结构相同。随机初始化词向量且维度d设为60。
我们发现MCNN的分类效果和其他非神经网络的算法相比有极大的提高。MCNN和NBoW在分类效果上的差别显示了MCNN有极强的特征提取能力。
5 结语
在本文中我们阐述了一种动态的卷积神经网络，它使用动态的多类型池化操作作为非线性化取样函数。此网络在问题分类和情感预测方面取得了很好的效果，并且不依赖于外部特征如解析树或其他外部资源。
参考文献
[1]. Yann LeCun， Le ?on Bottou， Yoshua Bengio， and Patrick Haffner. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE， 86（11）：2278-2324， November.
[2]. Richard Socher， Alex Perelygin， Jean Wu， Jason Chuang， Christopher D. Manning， Andrew Y. Ng， and Christopher Potts. 2013b. Recursive deep mod- els for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Process- ing， pages 1631C1642， Stroudsburg， PA， October. Association for Computational Linguistics.
[3]. Geoffrey E. Hinton. 1989. Connectionist learning procedures. Artif. Intell.， 40（1-3）：185C234.
[4]. Alexander Waibel， Toshiyuki Hanazawa， Geofrey Hinton， Kiyohiro Shikano， and Kevin J. Lang. 1990. Readings in speech recognition. chapter Phoneme Recognition Using Time-delay Neural Networks， pages 393C404. Morgan Kaufmann Publishers Inc.， San Francisco， CA， USA.
关键词：个性化；信息检索；文本分类
中图分类号：TP311文献标识码：A 文章编号：1009-3044(2008)29-0265-02
Method of Text Categorization in Personalized Retrieval
PENG Ye-ping, XIAO Da-guang
(Information science and Engineering college,Central South University,Changsha 416000,China)
Abstract: Personalized retrieval is becoming a hot topic for research， this paper mainly discusses about the text categorization algorithm， its principles and scope of application.
Key words: personalized; retrieval; text categorization
1 引言
搜索引擎在信息检索中起了重要作用，但是由于引擎的通用性，使其不能满足不同目的，背景，时期的用户查询需求，因此需要针对拥护特征向用户提供个性化服务。文本分类方法通过构造某种分类模型，并以此判断样本所属的类别。文本分类对合理组织，存储文本信息，提高信息检索速度，提高个性化信息检索效率的基础。
2 分类方法
2.1 朴素贝叶斯方法
朴素贝叶斯方法是一种在已知先验概率与条件的情况下的模式识别方法，假设词条之间是相互独立的。设d为一任意文本，它属于文档类C{c1，c2，…，ck}中的一类Cj，引用词条和分类的联合概率来计算给定文档的分类概率的公式如下：
计算所有文本类在给定d情况下的概率，概率值最大的那个类就是文本d所属的类，既：
2.2 贝叶斯网络分类法
贝叶斯网络分类法考虑了特征之间的依赖关系，该方法更能真实反映文本的情况，但是计算复杂度比朴素贝叶斯高的多。
2.3 决策树方法
决策树极强的学习反义表达能力使得其适合于文本分类，它是通过一组无序，无规则的实例推理出树型的分类规则，采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较并根据不同的属性值进行判断从该结点向下的分支，在决策树的叶结点得到结论，决策树的建立算法有很多，文献[5]其中包括基于信息增益的启发式计算ID3；基于信息增益率的解决联系属性的算法C4.5；基于Gini系数的算法CART和可并行性算法SPRINT算法。决策树方法特点是使用者只要将训练样例能够使用属性-结合式的方法表达出来，就能够用该方法来学习，但是这种算法生成的仍是多叉树。
2.4 K-邻近方法
K-邻近方法，根据测试文本在训练文本中与之最相近的K篇文本的类别来判定它的类别，其中，K是一个重要的参数，文献[4]K值过大，则与待分类文本实际上并不相似的一些文本也被包含，造成噪音增加;K值太小，则不能充分体现待分类文本的特点.一般对K会选定一个初值，相似值的判定可取欧拉距离或余旋相似度等，若分类系统中相似值的计算采用余旋相似度，则公式如下:
Sim(x，di)为相似度公式，X为新文本的向量，y(di，cj)为类别属性函数，若d∈cj，则y(di，cj)=1;否则y(di，cj)=0;将新文本分到权重最大的类别中去。
2.5 支持向量机
Vapnik提出在结构风险最小化准则理论上的支持向量机方法，能有效解决小样本集的机器学习问题，向量机主要是针对两类分类问题，在高维空间寻找一个满足分类要求的最优超平作为两类的分割，既保证分类精确度，又要使超平面两侧的空白区域最大化，以保证最小的分类错误率，文献[1]对于大于两类的多类文本分类，就对每个类构造一个超平面，将这一类与其余的类分开，有多个类就构造多个超平面，测试时就看哪个超平面最适合测试样本。支持向量机方法避免了局部性问题，样本中的支持向量数，能够有效地用于解决高纬问题。
2.6 神经网络方法
神经网络是模仿人脑神经网络的基本组织特性构成的新型信息处理系统，其性质取决于网络拓扑结构，网络的权值和工作规则.通常由等于样本特征数的输入层，输出层，等于样本类数的神经元组成。其中，每一个连接都有一定的权值，通过训练类来训练的过程就是调整这些权值的过程，从而使神经网络与可以正确地预测类别。
3 几种方法的比较
3.1 朴素贝叶斯与网络贝叶斯
朴素贝叶斯方法使用概率去表示所有形式的不确定性，学习或其他形式的推理都用概率规则来实现，但是大部分情况是文本特征之间的依赖关系是相互存在的，所以特征独立性会影响朴素贝叶斯分类的结果；网络贝叶斯能够考虑特征之间的依赖关系，但是计算复杂度比朴素贝叶斯高得多；
3.2 支持向量机方法
支持向量机方法的优点：首先，该方法是针对有限样本情况的分类方法，其算法最终将转化为一个二次型寻优万恶提，理论上得到的将是全局最优点，避免了局部极值问题；其次，该方法计算的复杂度不再取决于空间维度，而是取决于样本数，这可能有效地用于解决高维度问题；再次，该方法对稀疏数据不敏感，能更好地捕捉数据的内在特征。缺点是：该方法参数的调整比较困难，分类比较费时。
3.3 神经网络方法
神经网络方法的优点：首先，具有自适应功能，它能根据所提供的数据，通过学习找出输出结果之间的内在联系，从而球的问题的解答；其次，神经网络善于联想、概括、类比和推广，任何局部的操作都不会影响整体效果；再次，具有高速寻找优化解的能力。缺点：该方法根据输入输出的关系训练网络，缺少解释能力，受训练样本影响大，训练过程较慢，不适应大量数据的学习。
3.4 决策树方法
决策树方法的优点是它在学习过程中不需要使用者了解很多背景知识，只要训练样例能够使用属性-结论式的方法表示出来，就能使用该方法。缺点是测试属性的选择对该方法影响较大。
3.5 K-邻近方法
K-邻近方法的优点是该方法训练过程较快，且可随时添加或更新训练文本来调整；缺点是因为需要很大的空间来保存文本，所以它分类的开销很大，K值确定较慢，分类效果较差.
4 文本分类方法效果评价
1） 精确度（查全率）：是指通过分类系统正确分类的文本数与实际分类的文本数的比值，其公式如下：
精确度：=
2） 召回率(查全率)：是指通过分类系统正确分类的文本数与人工分类中应有的文本数的比值，公式如下：
召回率：=
3） F1测试值：对查权率和查准绿的综合测试
F1测试值：=
参考文献：
[1] 史忠植.知识发现[M].北京:清华大学出版,2002.
[2] 朱明.数据挖掘[M].合肥:中国科技大学出版社,2002.
[3] 王继成,潘金贵,张福炎.web文本挖掘技术研究[J].计算机研究与发展,2000,37(5):513-520.
关键词：竞争型神经网络；分类；训练误差；特征向量
文本分类数是据挖掘的一个重要研究领域，国内外的众多学者已经进行了比较深入的研究，取得了不少研究成果。常见的文本分类技术有最小距离方法、朴素贝叶斯方法、KNN方法、支持向量机方法（SVM）、模糊c均值（FCM）算法和等，现在有很多学者把神经网络的方法应用到分类算法中，在这些分类算法中，神经网络的文本分类更具有优越的性能。袁飞云利用SOINN自动产生聚类数目和保留数据拓扑结构的两项能力，寻找更有效的单词和设计更有效的编码方式，提出了基于自组织增量神经网络（SOINN）的码书产生方法；申明金利用自组织特征映射神经网络（SOM）以无监督方式进行网络训练，具有自组织功能的特点，利用自组织特征映射神经网络对不同产地金银花进行分类；彭俊等将不同空气质量等级下的各空气指标作为原型模式，通过输入样本模式，利用竞争网络的竞争特点得到胜者，以此得出空气质量等级；郝晓丽等通过筛选基于轮廓系数的优秀样木群，来寻找最佳初始聚类中心，并将该改进算法用于构造径向基函数神经网络分类器和快速有效地确定隐含层节点径向基函数中心及函数的宽度，从而提高了分类精度；孙进进利用神经网络技术中的自组织映射SOM）网络对我国主要机场进行聚类分析评价，得出我国主要机场分为8层的主要结论；刘艳杰在非监督的自组织映射神经网络的基础上进行了一定的改进，构建了有监督的神经网络分类模型；李杨将神经网络与群体智能算法、云计算相结合的方法，实现对不同规模农业数据集的分类，提出基于神经网络分类器的设计与优化方法。而竞争型神经网络的自组织、自适应学习能力，进一步拓宽了神经网络在模式分类和识别方面的应用。竞争型神经网络依靠神经元之间的兴奋、协调、抑制或竞争的作用来进行信息处理，可在训练中无监督自组织学习，通过学习提取数据中的重要特征或内在规律，进而实现分类分析的功能。
1竞争型神经网络的描述
1.1竞争型网络的结构
竞争学习网络的结构如图1所示，该网络具有R维输入和s个输出，由前馈层和竞争层组成。图中的llndlstll模块表示对输入矢量P和神经元权值矢量w之间的距离取负。该网络的输出层是竞争层，图中的模块c表示竞争传递函数，其输出矢量由竞争层各神经元的输出组成，这些输出指明了原型模式与输入向量的相互关系。竞争过后只有一个神经元有非零输出，获胜的神经元指明输入属于哪类（每个原型向量代表一个类）。
1.2竞争型神经网络的原理
竞争型神经网络在结构上，既不同于阶层型的各层神经元间非单向连接，也不同于全连接型。它有层次界限，一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向全连接，没有隐含层，有时竞争层各神经元之间还存在横向连接。在学习方法上，不是以网络的误差或能量函数的单调递减作为算法准则。而是依靠神经元之间的兴奋、协调、抑制、竞争的作用来进行信息处理，指导网络的学习与工作。
网络在刚开始建立的时候，输入层和输出层之间的连接权值已经开始了，如果与竞争层某一神经元对应的矢量子类别属于线性层某个神经元所对应的目标类别，则这两个神经元的连接权值为1，否则二者的连接权值为0，这样的权值矩阵就实现了子类别到目标类别的合并。在建立竞争型网络时，每类数据占数据总数的百分比是已知的，这也是竞争层神经元归并到线性层的各个输出时所依据的比例。
1.3存在的问题
竞争型神经网络按Kohonen学习规则对获胜神经元的权值进行调整，通过输入向量进行神经元权值的调整，因此在模式识别的应用中是很有用的。通过学习，那些最靠近输入向量的神经元权值向量得到修正，使之更靠近输入向量，其结果是获胜的神经元在下一次相似的输入向量出现时，获胜的可能性更大；而对于那些与输入向量相差很远的神经元权值向量，获胜的可能性将变得很小。这样，当经过越来越多的训练样本学习后，每一个网络层中的神经元权值向量很快被调整为最接近某一类输入向量的值。最终的结果是，如果神经元的数量足够多，则具有相似输入向量的各类模式作为输入向量时，其对应的神经元输出为1；而对于其他模式的输入向量，其对应的神经元输出为0。所以，竞争型神经网络具有对输入向量进行学习分类的能力。
例子：以竞争型神经网络为工具，对下面的数据进行分类：
运用Matlab编程实现，发现网络的训练误差能达到要求，最后也能实现很好的分类效果。运行结果如图2所示。
有运行结果可以看到，训练误差达到要求，分类结果也很合理。
但是在实际应用过程中，我们发现，当对于训练数据的数据特征十分明显的时候，本文设计的网络模型可以对训练的数据进行合理有效的分类，但是，当训练数据的特征不太明显区分的时候，本文设计的训练模型的分类效果就不是太有优势，所得到的分类结果就不能达到我们预期的效果。
我们利用竞争型神经网络对数据样本进行分类，其中参数设置为学习效率0.1，网络竞争层有4个神经元，运用Matlab编程实现，发现结果如下：
例子：我们利用本文设计的网络分类模型进行对数据分类处理：进行分类处理数据的样本数据如下所示：
通过运行学习发现训练误差较大，分类结果也达不到要求。
2改进的方法
2.1问题分析
通过比较分析我们发现，上面的数据样本没有明显的分类特征，所以，以竞争型神经网络进行分类，其输入向量仅仅依靠数据本身的固有的特征时不够的，但我们可以把数据样本看作是二维数据，假设同符号的特征值为1，不同符号的特征值为2，于是一个新的训练样本就确定了，即成为三维数据模型。
2.2改进的算法
第一步：给定数据集X=[X1，X2……，Xi），对网络进行初始化，随机给定网络竞争层与输入层间的初始权向量wj（=wj[w1j w2j…wnj]；j=1，2，…，m xp；wijE（0，1））；给定输出层与竞争层间的连接权值wjo=1/m，o=1，2，…P （P表示第二隐层和输出层的连接权矢量）。
第二步：创建竞争型神经网络，首先根据给定的问题确定训练样本的输入向量，当学习模式样本本身杂乱无章，没有明显的分类特征，网络对输入模式的响应呈现震荡的现象，不足以区分各类模式时，在创建网络之前，提取训练样本的特征值，设置输入样本的特征向量，然后再创建网络模型，并根据模式分类数确定神经元的数目，最后任取一输入模式Ak。
第三步：计算竞争层各神经元的输入值si：
第四步：对本文建立的网络进行训练学习，网络训练最大次数的初始值设置为230，当训练误差大于预期的设定值的时候，可以尝试增加训练的最大次数，按“胜者为王”（Winner Takes All）原则，将训练网络中获得最接近预期值的神经元作为胜者，输出状态设置为1，没有获胜的神经元的输出状态设置为0。如果有两个以上神经元的sj相同，取左边的为获胜单元。
第五步：获胜神经元连接权修正如下：
第六步：另选一学习模式，返回步骤3，直至所有学习模式提供一遍。
第七步：如果不满足要求，则返回到最初的训练状态，反复训练直至训练网络中神经元获得最接近预期值，最终的训练结束。
第八步：根据测试样本利用Matlab编写程序进行仿真实验。
通过实例训练，我们发现本算法和改进前的算法相比，改进后的算法训练误差却大大降低，已经达到了训练的精度要求，同时也很好地实现了分类要求。
法，并介绍了在TMS320C540
>> 一种新的基于改进的ADALINE神经网络的DTHF解码器方案 AVS解码器流水线控制机制的一种改进设计 一种SoC架构的AVS硬件解码器设计方案 一种基于BP神经网络整定的PID控制器的算法改进 一种基于改进的BP神经网络的入侵检测方法 基于一种改进BP神经网络算法的教学质量评价研究 一种基于ART2神经网络的算法改进 一种基于改进BP神经网络预测T/R组件温度的方法 一种基于改进神经网络的高效模糊聚类算法 一种基于模糊神经网络的印刷品字符识别器 一种基于遗传神经网络文本分类器的研究 一种新的基于灰色关联分析的BP神经网络剪枝算法 一种新的基于神经网络的IRT项目参数估计模型 一种基于短语统计机器翻译的高效柱搜索解码器 一种基于SOM神经网络的污水处理工艺方案比选方法 一种基于BP神经网络的数控机床伺服系统控制器 一种改进的BP神经网络算法在入侵检测中的应用 一种改进的BP神经网络车牌识别算法的研究 一种改进的BP神经网络算法分析 一种ART2神经网络的改进算法 常见问题解答 当前所在位置：中国 > 科技 > 一种新的基于改进的ADALINE神经网络的DTHF解码器方案 一种新的基于改进的ADALINE神经网络的DTHF解码器方案 杂志之家、写作服务和杂志订阅支持对公帐户付款！安全又可靠！ document.write("作者：未知 如您是作者，请告知我们")
申明:本网站内容仅用于学术交流，如有侵犯您的权益，请及时告知我们，本站将立即删除有关内容。 摘 要：本文提出了一种新的基于改进的AD址INE神经网络DTMF信号检测算
法，并介绍了在TMS320C5402和TLV320AICl0上采用此算法的DTMF
关键词：极限学习机；稀疏自动编码器；集成学习；文本分类
1 概述
随着现代社会的发展，互联网成为了人们获取文本信息的重要手段。然而网上的信息杂乱无章，使得人们很难快速而准确的获得所需要的文本信息。因此如何有效的对文本进行分类，帮助用户找到所需的信息成为当代信息技术领域的一个重要课题[1]。
本文提出利用深度学习中的稀疏自动编码器自动选取文本的特征，然后利用极限学习机作为基分类器进行文本的分类，最后结合Adaboost集成学习方法将极限学习机作为基分类器组合成一个效果更好的分类器。实验结果表明，该算法在文本分类方面，可以有效地提高文本分类的准确性。
2 相关理论基础
2.1 稀疏自动编码器
稀疏自动编码器（sparse auto encoder，SAE）是利用人工神经网络的特点构造而成的网络。稀疏自动编码器的训练过程分为两个步：第一步是预训练，即先利用无监督的方法将SAE的输入层和隐含层全部初始化，然后再利用逐层贪心训练算法确定网络的参数。第二步是微调，其思想是整个网络视为一个整体，用有监督学习的方法优化整个网络的参数，由于SAE训练过程的复杂性，具体过程可参考文献[2]。
2.2 极限学习机
针对传统神经网络训练过程时间漫长，优化困难等缺点，新加坡南洋理工大学的黄广斌教授提出了一种全新的单隐层前馈神经网络-极限学习机（Extreme Learning Machine，ELM）[3]，该网络能够以极快的学习速度达到较好的泛化性能，从而解决了传统神经网络学习速度缓慢的限制。该网络主要由输入层，隐藏层和输出层组成，其中隐藏层的神经元通过激活函数把输入的数据进行变换，然后把变换后的数据输出到输出层，在网络中输入层和隐藏层的权值是随机设置的，只有隐藏层到输出层的权值需要求解，因此加快了网络的学习速度。
2.3 Adaboost分类器
由于单个分类器通常无法满足分类任务的要求，因此需要通过集成学习来构建并结合多个分类器来完成分类任务，这其中最著名的是在1995年由Freund等提出的Adaboost[4]算法。该算法的核心思想是先从初始训练集训练出一个基学习器，再根据基学习器的变现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续收到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直到基学习器数目达到指定的值，最终将这几个基学习器进行加权结合。Adaboost是一种迭代算法，具体训练过程可参考南京大学周志华教授编写的机器学习课本中关于Adaboost算法的章节。
3 SEA文本分类算法
在本文中，结合稀疏编码器，极限学习机与Adaboost这三种机器学习方法提出SEA文本分类算法，该算法的工作流程如图1所示。
该分类算法的第一步为输入，输入的是经过了向量化表示的文本，但没有经过任何的手工特征提取。第二步是利用SAE算法对数据的重建能力自动选择文本的特征，用SAE算法选择的文本特征可以有效地复原原始文本信息。第三步是利用ELM分类器作为该算法的基分类器，ELM作为第四步中的基分类器参与训练，最后一步是输出该文本属于哪一类。
4 实验结果与分析
4.1 实验数据集与评价指标
本文选用的分类文本数据来源于新闻数据集[5]，该数据集复旦大学计算机信息与技术系李荣陆提供，数据集标注比较规范，规模适中，适合于进行文本分类的仿真实验。
在文本分类中常用的评价指标有准确率P（Precision）和召回率R（Recall），公式如下：
P=M/（M+N），R=M/（M+T）
其中，M为正确分类到该类的文本数，N为错分到该类中的文本数，T为属于该类确误分为别类的文本数。
4.2 实验结果
为验证本文提出的SEA文本分类模型，需要将文本数据集进行预处理，对于SEA模型来说，就是进行文本分词。本实验文本分词采用的是NLPIR汉语分词系统，其主要功能包括中文分词，词性标注，命名实体识别，用户字典功能等，是国内比较成熟，用户较多的中文文本分词系统。经过文本预处理后，按照本文提出的SEA文本分模型进行实验，并和几种经典的分类算法做对比。在本实验中Adaboost集成学习算法中基分类器的个数设置为10个，基分类器ELM中隐藏层的个数设置为输入层的0.75倍，稀疏自动编码器中隐藏层数设置为4，实验结果如表1和表2所示。
从表1和表2可以看出随着文本数量的增加，SEA模型的分类准确率和召回率逐渐提高，这是由于在训练数据集较小时，稀疏编码器对自动提取的文本特征变现地不是很理想，容易造成SEA分类模型产生过拟合现象，从而影响分类准确率和召回率。SVM算法在训练数据集比较小时，变现良好，这是由于在训练数据较少时，可以较容易地找到分类超平面，在数据量变大时，由于计算量的增大，使得计算量变大，导致计算得到的超平面效果不好，使得分类准确率和召回率不断下降。BP和ELM算法都随着训练数据的增大，其分类准确率和召回率在不断变大，这是由于随着训练数据的增大，BP和ELM可以更有效的提取输入数据的特征，但ELM算法相比BP算法变现得更好，这是由于BP算法可能无法收敛到最优值，导致分类算法的准确率下降。
综上所述，本文提出的SEA文本分类模型可以有效的提高文本分类的准确率和召回率，尤其是随着训练数据集的不断增大。
5 结束语
文本分类在文本处理中占据着重要的地位，其分类的好坏直接影响着后续的文本处理，如何有效地对文本分类是一个重要的研究课题。本文结合稀疏自动编码器，极限学习机与Adaboost集成学习方法提出SEA文本分类方法，实验结果表明该分类方法可以有效将文本分类过程中的特征提取和分类器结合在一起，从而提高了分类结果的准确性。
参考文献
[1]秦胜君，卢志平.稀疏自动编码器在文本分类中的应用研究[J].科学技术与工程，2013，13（31）：9422-9426.
[2]Baldi P， Guyon G， Dror V， et al. Autoencoders， Unsupervised Learning， and Deep Architectures Editor： I[J].Journal of Machine Learning Research，2012.
[3]Huang G B， Zhu Q Y， Siew C K. Extreme learning machine： Theory and applications[J]. Neurocomputing， 2006，70（1-3）：489-501.
[4]Freund， Yoav， Schapire， Robert E. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J]. Journal of Computer & System Sciences， 1999，55（1）：119-139.
关键词：卷积神经网络；语言模型；分析
1 卷积神经网络语言模型
CNN语言模型基本结构包括输入层、卷积层、池化层及后续的分类层。输入层是表示语言的矩阵，该矩阵可以是通过Google word2vec或GloVe预训练得到的词嵌入表示，也可以是从原始数据重新训练的语言的向量表示。输入层之后是通过线性滤波器对输入矩阵进行卷积操作的卷积层。在NLP问题中，输入矩阵总是带有固定顺序的结构，因为矩阵的每一行都表示离散的符号，例如单词或者词组等。因此，使用等宽的滤波器是非常合理的设置。在这种设置下，仅需要考虑滤波器的高度既可以实现不同尺寸的滤波器做卷积操作。由此可知，在处理NLP问题时，卷积神经网络的滤波器尺寸一般都是指滤波器的高度。
然后，将卷积层输出的特征映射输入池化层，通过池化函数为特征映射进行降维并且减少了待估计参数规模。一般的，CNN池化操作采用1-max池化函数。该函数能够将输入的特征映射统一生成维度相同的新映射。通过池化操作，可以将卷积层生成的特征连接成更抽象的高级特征，所得到的高级特征尺寸与输入的句子不再存在直接关系。
最后，将得到的高级特征输入softmax分类层进行分类操作。在softmax层，可以选择应用dropout策略作为正则化手段，该方法是随机地将向量中的一些值设置为0。另外还可以选择增加l2范数约束，l2范数约束是指当它超过该值时，将向量的l2范数缩放到指定阈值。在训练期间，要最小化的目标是分类的交叉熵损失，要估计的参数包括滤波器的权重向量，激活函数中的偏置项以及softmax函数的权重向量。
2 卷积神经网络语言模型应用分析
CNN语言模型已经广泛应用于诸如文本分类，关系挖掘以及个性化推荐等NLP任务，下面将对这些应用进行具体的介绍与分析。
2.1 CNN在文本分类中的应用分析
kim提出了利用CNN进行句子分类的方法。该方法涉及了较小规模的参数，并采用静态通道的CNN实现了效果很优异的句子分类方法。通过对输入向量的调整，进一步提高了性能实现了包括情感极性分析以及话题分类的任务。在其基础上为输入的词嵌入设计了两种通道，一种是静态通道，另一种是动态通道。在卷积层每一个滤波器都通过静态与动态两种通道进行计算，然后将计算结果进行拼接。在池化层采用dropout正则化策略，并对权值向量进行l2约束。最后将该算法应用于MR、SST-1与SST-2、Subj、TREC、CR以及MPQA等数据集。MR数据集为电影评论数据集，内容为一句话的电影评论，其分类包括积极情感极性与消极情感极性两类。SST-1与SST-2数据集为斯坦福情感树库是MR数据集的扩展，但该数据集已经划分好了训练集、验证集及测试集并给出了细粒度的标记，标记包括非常积极、积极、中性、消极、非常消极等情感极性。Subj数据集为主观性数据集，其分类任务是将句子分为主观句与客观句两类。TREC数据集为问题数据集，其分类任务是将所有问题分为六类，例如关于数字、人物或位置等信息的问题。CR数据集为评论数据集，包括客户对MP3、照相机等数码产品的评论，其分类任务是将其分为积极评价与消极评价两类。MPQA数据集是意见极性检测任务数据集。通过实验证明，该方法在这几个典型数据集上都能取得非常优异的效果。
2.2 CNN在关系挖掘中的应用分析
Shen等人提出了一种新的潜在语义模型，以词序列作为输入，利用卷积-池化结构为搜索查询和Web文档学习低维语义向量表示。为了在网络查询或网络文本中捕捉上下文结构，通过输入单词序列上下文时间窗口中的每个单词来获取词汇级的n-gram语法特征，将这些特征聚合成句子级特征向量。最后，应用非线性变换来提取高级语义信息以生成用于全文字符串的连续向量表示。该模型的不同之处在于，输入层与卷积层之间加入了word-n-gram层与letter-trigram层，它们能够将输入的词序列转变为letter-trigram表示向量。在卷积层通过上下文特征窗口发现相邻单词的位置特征，并变现为n-gram形式。然后通过max池化将word-n-gram特征合并为句子级的高级特征。在池化层之后增加了语义层来提取更高级的语义表示向量。
2.3 CNN在个性化推荐中的应用分析
Weston等人提出了一种能够利用标签（hashtag）有监督的学习网络帖子短文本特征表示的卷e嵌入模型（Convolutional Embedding Model）。该方法利用提出的CNN模型在55亿词的大数据文本上通过预标注的100，000标签进行训练。该方法除了标签预测任务本身能取得好的效果外，学习到的特征对于其它的文本表示任务也能起到非常有效的作用。该模型与其它的词嵌入模型类似，输入层为表示文本的矩阵，但是，在用查找表表示输入文本的同时将标签也使用查找表来表示。对于给定的文档利用10万条最频繁出现的标签通过评分函数对任何给定的主题标签进行排序。
其中，econv（w）表示CNN的输入文档，elt（t）是候选标签t的词嵌入表示。因此，通过对分数f（w，t）进行排序可以获取所有候选主题标签中排序第一的话题进行推荐。实验数据集采用了两个大规模语料集，均来自流行的社交网络文本并带有标签。第一个数据集称作people数据集，包括搜集自社交网络的2亿1000万条文本，共含有55亿单词。第二个数据集被称作pages，包括3530万条社交网络文本，共含有16亿单词，内容包括企业、名人、品牌或产品。
3 结束语
卷积神经网络应用于语言模型已经取得了非常大的发展，对于自然语言处理中的各项任务均取得了优异的结果。本文通过对几项典型工作的分析，探讨了不同卷积神经网络模型结构在不同任务中的表现。通过综合分析可以得出以下结论。首先，CNN的输入采用原始数据训练的向量表示一般效果会优于预训练的词嵌入表示；其次，在卷积层滤波器的尺寸一般采用宽度与输入矩阵宽度相等的设置；最后，为了优化结果可以采用dropout正则化处理。
