基于混合梯度下降算法的支持向量机参数优化Parameter Optimization of SVM Based on HGD
莫赞,刘希良,谢海涛
摘要(Abstract)：
在解决有限样本、非线性和高维度问题中,建立在统计学习理论和结构风险最小化原则上的支持向量机表现出良好的性能和独特的优势。然而,支持向量机参数对模型的识别精度和泛化能力有很大影响,基于这样的事实,运用混合梯度下降算法对支持向量机的参数进行优化选择,结合量子遗传算法出色的全局优化能力和梯度下降法局部寻优能力,较好地解决了传统的支持向量机中参数优化的难题。最后,用实例验证了该算法的有效性。
关键词(KeyWords)： 支持向量机(SVM);混合梯度下降;梯度下降法;量子遗传算法;参数优化
基金项目(Foundation): 国家自然科学基金项目(71171062);; “十二五”国家科技支撑计划课题(2011BAD13B11);; 广东省自然科学博士启动项目(S2011040004285);; 广东工业大学教学质量工程项目(402102283)
作者(Author): 莫赞,刘希良,谢海涛
参考文献(References)：
- [1]VAPNIK V.The nature of statistical learning theory[M].New York:wiley,1998.
- [2]Smola A J,Scholkopf B.A tutorial on support vector regression,NC-TR-98-030[R],UK:Royal Holloway Collage University of London,1998.
- [3]Burges C J C.A tutorial on support vector machines for pattern recognition[J].Knowledge Discovery and Date Mining,1998,2(2):121-167
- [4]CHAPELLE O,VAPNIK V,MUKHERJEE S.Choosing multiple parameters for support vector machines[J]
- [5]AYAT N E,CHERET M,SUEN C Y.Automatic model selection for the optimization of SVM kernels[J].Pattern Recongnition,2005,38(5):1733-1745
- [6]KEERTHI S S.Efficient tuning of SVM hyerparameters using radius/margin bound and iterative algorithms[J].IEEE Trans Neural Networks,2002,13(5):1225-1229
- [7]IMBAULT F,LEBART K.A stochastic optimization approach for parameters tuning of support vector machines[C]/Proceeding of the 17th International Conference on Pattern Recognition.Cambridge,United Kingdom:[s.n.],2004:981-984
- [8]陈果.基于遗传算法的支持向量机分类器模型参数优化,机械科学与技术第3期第26卷,2007.3.
- [9]Hey T.Quantum computing:An introduction[J].Computing&Control Engineering Journal,1996,10(3):105-112
- [10]Narayanan A.An introductory tutorial to quantum computing.Proc of IEE Colloquium on Quantum Computing:Theory,Applications and Implications[C].London:IEE Press,1997.
- [11]Baum E B,Lang K L.Cinstructing hidden units using examples and queries[A].In:Advances in Neural Information Processing System 3[C],San Maeto.CA:Morgan Kaufmann,1991:904-910
- [12]Chen Q C.Cenerating-shrinking algorithm for learning arbitary classfication[J].Neural Networks,1994,7(6):1477-1489