高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

v-软间隔罗杰斯特回归分类机

黄成泉 王士同 蒋亦樟 董爱美

黄成泉, 王士同, 蒋亦樟, 董爱美. v-软间隔罗杰斯特回归分类机[J]. 电子与信息学报, 2016, 38(4): 985-992. doi: 10.11999/JEIT150769
引用本文: 黄成泉, 王士同, 蒋亦樟, 董爱美. v-软间隔罗杰斯特回归分类机[J]. 电子与信息学报, 2016, 38(4): 985-992. doi: 10.11999/JEIT150769
HUANG Chengquan, WANG Shitong, JIANG Yizhang, DONG Aimei. v-Soft Margin Logistic Regression Classifier[J]. Journal of Electronics and Information Technology, 2016, 38(4): 985-992. doi: 10.11999/JEIT150769
Citation: HUANG Chengquan, WANG Shitong, JIANG Yizhang, DONG Aimei. v-Soft Margin Logistic Regression Classifier[J]. Journal of Electronics and Information Technology, 2016, 38(4): 985-992. doi: 10.11999/JEIT150769

v-软间隔罗杰斯特回归分类机

doi: 10.11999/JEIT150769
基金项目: 

国家自然科学基金(61272210, 61202311),江苏省自然科学基金(BK2012552),贵州省科学技术基金(黔科合J字[2013]2136号)

v-Soft Margin Logistic Regression Classifier

Funds: 

The National Natural Science Foundation of China (61272210, 61202311), The Natural Science Foundation of Jiangsu Province (BK2012552), The Science and Technology Foundation of Guizhou Province ([2013]2136)

  • 摘要: 坐标下降(Coordinate Descent, CD)方法是求解大规模数据分类问题的有效方法,具有简单操作流程和快速收敛速率。为了提高罗杰斯特回归分类器(Logistic Regression Classifier, LRC)的泛化性能,受v-软间隔支持向量机的启发,该文提出一种v-软间隔罗杰斯特回归分类机(v-Soft Margin Logistic Regression Classifier, v-SMLRC),证明了v-SMLRC对偶为一等式约束对偶坐标下降CDdual并由此提出了适合于大规模数据的v-SMLRC-CDdual。所提出的v-SMLRC-CDdual既能最大化类间间隔,又能有效提高LRC的泛化性能。大规模文本数据集实验表明,v-SMLRC-CDdual分类性能优于或等同于相关方法。
  • [1] BOTTOU L and BOUSQUET O. The tradeoffs of large scale learning[C]. Proceedings of Advances in Neural Information Processing Systems, Cambridge, 2008: 151-154.
    [2] LIN C Y, TSAI C H, LEE C P, et al. Large-scale logistic regression and linear support vector machines using Spark[C]. Proceedings of 2014 IEEE International Conference on Big Data, Washington DC, 2014: 519-528. doi: 10.1109/BigData. 2014.7004269.
    [3] AGERRI R, ARTOLA X, BELOKI Z, et al. Big data for natural language processing: A streaming approach[J]. Knowledge-Based Systems, 2015, 79: 36-42. doi: 10.1016/ j.knosys.2014.11.007.
    [4] DARROCH J N and RATCLIFF D. Generalized iterative scaling for log-linear models[J]. The Annals of Mathematical Statistics, 1972, 43(5): 1470-1480. doi: 10.1214/aoms/ 1177692379.
    [5] DELLA P S, DELLA P V, and LAFFERTY J. Inducing features of random fields[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, 19(4): 380-393. doi:  10.1109/34.588021.
    [6] GOODMAN J. Sequential conditional generalized iterative scaling[C]. Proceedings of the 40th annual meeting of the association of computational linguistics, Philadelphia, 2002: 9-16. doi:  10.3115/1073083.1073086.
    [7] JIN R, YAN R, ZHANG J, et al. A faster iterative scaling algorithm for conditional exponential model[C]. Proceedings of the 20th International Conference on Machine Learning, New York, 2003: 282-289.
    [8] HUANG F L, HSIEN C J, CHANG K W, et al. Iterative scaling and coordinate descent methods for maximum entropy[J]. Journal of Machine Learning Research, 2010, 11(2): 815-848.
    [9] KOMAREK P and MOORE A W. Making logistic regression a core data mining tool: a practical investigation of accuracy, speed, and simplicity[R]. Technical report TR-05-27, Robotics Institute of Carnegie Mellon University, Pittsburgh, 2005.
    [10] LIN C J, WENG R C, and KEERTHI S S. Trust region Newton method for large-scale logistic regression[J]. Journal of Machine Learning Research, 2008, 9(4): 627-650.
    [11] KEERTHI S S, DUAN K B, SHEVADE S K, et al. A fast dual algorithm for kernel logistic regression[J]. Machine Learning, 2005, 61(1-3): 151-165. doi: 10.1007/s10994- 005-0768-5.
    [12] PLATT J C. Fast training of support vector machines using sequential minimal optimization[C]. Proceedings of Advances in Kernel Methods: Support Vector Learning, Cambridge, 1999: 185-208.
    [13] YU H F, HUANG F L, and LIN C J. Dual coordinate descent methods for logistic regression and maximum entropy models[J]. Machine Learning, 2011, 85(1/2): 41-75. doi:  10.1007/s10994-010-5221-8.
    [14] 顾鑫, 王士同, 许敏. 基于多源的跨领域数据分类快速新算法[J]. 自动化学报, 2014, 40(3): 531-547. doi: 10.3724/SP.J. 1004.2014.00531.
    [15] GU X, WANG S T, and XU M. A new cross-multidomain classification algorithm and its fast version for large datasets[J]. Acta Automatica Sinica, 2014, 40(3): 531-547. doi:  10.3724/SP.J.1004.2014.00531.
    [16] 顾鑫, 王士同. 大样本多源域与小目标域的跨领域快速分类学习[J]. 计算机研究与发展, 2014, 51(3): 519-535. doi:  10.7544/issn1000-1239.2014.20120652.
    [17] GU X and WANG S T. Fast cross-domain classification method for large multisources/small target domains[J]. Journal of Computer Research and Development, 2014, 51(3): 519-535. doi:  10.7544/issn1000-1239.2014.20120652.
    [18] 张学峰, 陈渤, 王鹏辉, 等. 一种基于Dirichelt过程隐变量支撑向量机模型的目标识别方法[J]. 电子与信息学报, 2015, 37(1): 29-36. doi:  10.11999/JEIT140129.
    [19] ZHANG X F, CHEN B, WANG P H, et al. A target recognition method based on dirichlet process latent variable support vector machine model[J]. Journal of Electronics Information Technology, 2015, 37(1): 29-36. doi: 10.11999/ JEIT140129.
    [20] 及歆荣, 侯翠琴, 侯义斌. 无线传感器网络下线性支持向量机分布式协同训练方法研究[J]. 电子与信息学报, 2015, 37(3): 708-714. doi:  10.11999/JEIT140408.
    [21] JI X R, HOU C Q, and HOU Y B. Research on the distributed training method for linear SVM in WSN[J]. Journal of Electronics Information Technology, 2015, 37(3): 708-714. doi:  10.11999/JEIT140408.
    [22] 高发荣, 王佳佳, 席旭刚, 等. 基于粒子群优化-支持向量机方法的下肢肌电信号步态识别[J]. 电子与信息学报, 2015, 37(5): 1154-1159. doi:  10.11999/JEIT141083.
    [23] GAO F R, WANG J J, XI X G, et al. Gait recognition for lower extremity electromyographic signals based on PSO- SVM method[J]. Journal of Electronics Information Technology, 2015, 37(5): 1154-1159. doi: 10.11999/ JEIT141083.
    [24] HSIEH C J, CHANG K W, LIN C J, et al. A dual coordinate descent method for large-scale linear SVM[C]. Proceedings of the 25th International Conference on Machine Learning, New York, 2008: 408-415. doi:  10.1145/1390156.1390208.
    [25] CHEN P H, LIN C J, and SCHLKOPF B. A tutorial on v-support vector machines[J]. Applied Stochastic Models in Business and Industry, 2005, 21(2): 111-136. doi: 10.1002/ asmb.537.
    [26] PENG X J, CHEN D J, and KONG L Y. A clipping dual coordinate descent algorithm for solving support vector machines[J]. Knowledge-Based Systems, 2014, 71: 266-278. doi:  10.1016/j.knosys.2014.08.005.
    [27] TSAI C H, LIN C Y, and LIN C J. Incremental and decremental training for linear classification[C]. Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, New York, 2014: 343-352. doi:  10.1145/2623330.2623661.
  • [1] 周辉林, 欧阳韬, 刘健.  基于随机平均梯度下降和对比源反演的非线性逆散射算法研究, 电子与信息学报. doi: 10.11999/JEIT190566
    [2] 别博文, 孙路, 邢孟道, 梁毅, 孙光才.  基于局部直角坐标和子区域处理的弹载SAR频域成像算法, 电子与信息学报. doi: 10.11999/JEIT171107
    [3] 曹霖, 陈后金, 李居朋, 程琳.  基于生理特征的乳腺X线图像多视图分析坐标系, 电子与信息学报. doi: 10.11999/JEIT160193
    [4] 冉聃, 邓欢, 李亚超, 全英汇, 邢孟道.  基于欧拉四面体的下降轨雷达图像定位方法, 电子与信息学报. doi: 10.11999/JEIT160512
    [5] 董祺, 孙光才, 杨泽民, 左绍山, 邢孟道.  直角坐标多级后投影聚束SAR成像算法, 电子与信息学报. doi: 10.11999/JEIT150990
    [6] 杨泽民, 孙光才, 吴玉峰, 邢孟道.  一种新的基于极坐标格式的快速后向投影算法, 电子与信息学报. doi: 10.3724/SP.J.1146.2013.00613
    [7] 李超, 刘畅, 高鑫.  基于距离向Scaling原理的聚束SAR极坐标格式成像算法, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.01068
    [8] 田心记, 袁超伟, 王秋才, 赵伟.  基于相位旋转的坐标交织分布式空时码, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.01194
    [9] 周松, 包敏, 周鹏, 邢孟道, 保铮.  基于方位非线性变标的弹载SAR下降段成像算法, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.01124
    [10] 张宇, 徐伟强, 陈积明, 孙优贤.  基于最速下降法的车载网络功率控制研究, 电子与信息学报. doi: 10.3724/SP.J.1146.2009.01441
    [11] 周鹏, 周松, 熊涛, 李亚超, 邢孟道.  基于级数反演的弹载SAR下降段CZT成像算法, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.00452
    [12] 林赟, 谭维贤, 洪文, 王彦平, 吴一戎.  圆迹SAR极坐标格式算法研究, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.00003
    [13] 龚政委, 张太镒, 卢照敢, 汪烈军.  时选衰落信道中的坐标交织空时分组码, 电子与信息学报. doi: 10.3724/SP.J.1146.2007.00740
    [14] 曲长文, 黄勇, 苏峰, 何友.  基于坐标变换与随机Hough变换的抛物线运动目标检测算法, 电子与信息学报.
    [15] 李春光, 廖晓峰, 虞厥邦.  在CDMA系统中实现多用户检测的障碍函数下降方向法, 电子与信息学报.
    [16] 刘琪, 孙仲康.  双基地两坐标雷达对三维目标的最优化定位算法, 电子与信息学报.
    [17] 刘贺平, 张兰玲, 孙一康.  用连续回归神经网络求解泛函极值问题, 电子与信息学报.
    [18] 周学松, 林康运, 黎志坚.  常用矢量波函数的坐标变换关系, 电子与信息学报.
    [19] 林昭(火回), 许惠英.  大电流时晶体管电流增益下降的物理原因, 电子与信息学报.
    [20] 王俊毅.  电子迴旋中心坐标系中的平衡分布函数, 电子与信息学报.
  • 加载中
  • 计量
    • 文章访问数:  1089
    • HTML全文浏览量:  45
    • PDF下载量:  431
    • 被引次数: 0
    出版历程
    • 收稿日期:  2015-06-29
    • 修回日期:  2015-12-08
    • 刊出日期:  2016-04-19

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注