高级搜索

候选标记信息感知的偏标记学习算法

陈鸿昶 谢天 高超 李邵梅 黄瑞阳

引用本文: 陈鸿昶, 谢天, 高超, 李邵梅, 黄瑞阳. 候选标记信息感知的偏标记学习算法[J]. 电子与信息学报, doi: 10.11999/JEIT181059 shu
Citation:  Hongchang CHEN, Tian XIE, Chao GAO, Shaomei LI, Ruiyang HUANG. Candidate Label-Aware Partial Label Learning Algorithm[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT181059 shu

候选标记信息感知的偏标记学习算法

    作者简介: 陈鸿昶: 男,1964年生,教授,博士生导师,研究方向为通信与信息系统,大数据处理分析;
    谢天: 男,1994年生,硕士生,研究方向为机器学习;
    高超: 男,1982年生,博士,研究方向为计算机视觉,机器学习;
    李邵梅: 女,1982年生,博士,研究方向为计算机视觉,机器学习;
    黄瑞阳: 男,1986年生,博士,研究方向为网络大数据分析
    通讯作者: 谢天,xietianxt@foxmail.com
  • 基金项目: 国家自然科学基金(61601513)

摘要: 在偏标记学习中,示例的真实标记隐藏在由一组候选标记组成的标记集中。现有的偏标记学习算法在衡量示例之间的相似度时,只基于示例的特征进行计算,缺乏对候选标记集信息的利用。该文提出一种候选标记感知的偏标记学习算法(CLAPLL),在构建图的阶段有效地结合候选标记集信息来衡量示例之间的相似度。首先,基于杰卡德距离和线性重构,计算出各个示例的标记集之间的相似度,然后结合示例相似度和标记集的相似度构建相似度图,并通过现有的基于图的偏标记学习算法进行学习和预测。3个合成数据集和6个真实数据集上实验结果表明,该文方法相比于基线算法消歧准确率提升了0.3%~16.5%,分类准确率提升了0.2%~2.8%。

English

    1. [1]

      HÜLLERMEIER E and BERINGER J. Learning from ambiguously labeled examples[J]. Intelligent Data Analysis, 2006, 10(5): 419–439. doi: 10.3233/IDA-2006-10503

    2. [2]

      SONG Jingqi, LIU Hui, GENG Fenghuan, et al. Weakly-supervised classification of pulmonary nodules based on shape characters[C]. The 14th International Conference on Dependable, Autonomic and Secure Computing, The 14th International Conference on Pervasive Intelligence and Computing, The 2nd International Conference on Big Data Intelligence and Computing and Cyber Science and Technology Congress, Auckland, New Zealand, 2016: 228–232.

    3. [3]

      TANG Caizhi and ZHANG Minling. Confidence-rated discriminative partial label learning[C]. The 31st AAAI Conference on Artificial Intelligence, San Francisco, USA, 2017: 2611–2617.

    4. [4]

      TODA T, INOUE S, and UEDA N. Mobile activity recognition through training labels with inaccurate activity segments[C]. The 13th International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services, Hiroshima, Japan, 2016: 57–64.

    5. [5]

      YU Fei and ZHANG Minling. Maximum margin partial label learning[J]. Machine Learning, 2017, 106(4): 573–593. doi: 10.1007/s10994-016-5606-4

    6. [6]

      LUO Jie and ORABONA F. Learning from candidate labeling sets[C]. The 23rd International Conference on Neural Information Processing Systems, Vancouver, Canada, 2010: 1504–1512.

    7. [7]

      ZHANG Minling and YU Fei. Solving the partial label learning problem: An instance-based approach[C]. The 24th International Conference on Artificial Intelligence, Buenos Aires, Argentina, 2015: 4048–4054.

    8. [8]

      FENG Lei and AN Bo. Leveraging latent label distributions for partial label learning[C]. The Twenty-Seventh International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 2018: 2107–2113.

    9. [9]

      COUR T, SAPP B, and TASKAR B. Learning from partial labels[J]. Journal of Machine Learning Research, 2011, 12: 1501–1536.

    10. [10]

      ZHOU Zhihua. A brief introduction to weakly supervised learning[J]. National Science Review, 2018, 5(1): 44–53. doi: 10.1093/nsr/nwx106

    11. [11]

      TOLDO R and FUSIELLO A. Robust multiple structures estimation with J-linkage[C]. The 10th European Conference on Computer Vision, Marseille, France, 2008: 537–547.

    12. [12]

      DUA D and TANISKIDOU E K. UCI machine learning repository[EB/OL]. http://archive.ics.uci.edu/ml, 2017.

    13. [13]

      ZENG Zinan, XIAO Shijie, JIA Kui, et al. Learning by associating ambiguously labeled images[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 708–715.

    14. [14]

      GUILLAUMIN M, VERBEEK J, and SCHMID C. Multiple instance metric learning from automatically labeled bags of faces[C]. The 11th European Conference on Computer Vision, Heraklion, Greece, 2010: 634–647.

    15. [15]

      ZHANG Minling, ZHOU Binbin, and LIU Xuying. Partial label learning via feature-aware disambiguation[C]. The 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, USA, 2016: 1335–1344.

    16. [16]

      BRIGGS F, FERN X Z, and RAICH R. Rank-loss support instance machines for MIML instance annotation[C]. The 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Beijing, China, 2012: 534–542.

    17. [17]

      LIU Liping and DIETTERICH T G. A conditional multinomial mixture model for superset label learning[C]. The 25th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2012: 548–556.

    18. [18]

      ZHANG Minling, YU Fei, and TANG Caizhi. Disambiguation-free partial label learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(10): 2155–2167. doi: 10.1109/TKDE.2017.2721942

    19. [19]

      ZHANG Minling and YU Fei. Solving the partial label learning problem: An instance-based approach[C]. The 24th International Conference on Artificial Intelligence, Buenos Aires, Argentina, 2015: 4048–4054.

    1. [1]

      张骥先, 谢宁, 张学杰, 李伟东. 基于监督学习的可信云计算资源拍卖机制研究. 电子与信息学报,

    2. [2]

      李世宝, 王升志, 刘建航, 黄庭培, 张鑫. 基于接收信号强度非齐性分布特征的半监督学习室内定位指纹库构建. 电子与信息学报,

    3. [3]

      朱子尧, 韩树平, 郭正东, 刘建波. 乘性噪声背景下基于非线性渐消滤波的单信标测距定位算法. 电子与信息学报,

    4. [4]

      陈鸿昶, 明拓思宇, 刘树新, 高超. 基于整数线性规划重构抽象语义图结构的语义摘要算法. 电子与信息学报,

    5. [5]

      冯浩, 黄坤, 李晶, 高榕, 刘东华, 宋成芳. 基于深度学习的混合兴趣点推荐算法. 电子与信息学报,

    6. [6]

      汪荣贵, 韩梦雅, 杨娟, 薛丽霞, 胡敏. 多级注意力特征网络的小样本学习. 电子与信息学报,

    7. [7]

      胡长雨, 汪玲, 朱栋强. 结合字典学习技术的ISAR稀疏成像方法. 电子与信息学报,

    8. [8]

      杜永兆, 范宇凌, 柳培忠, 唐加能, 骆炎民. 多种群协方差学习差分进化算法. 电子与信息学报,

    9. [9]

      李瑞, 张群, 苏令华, 梁佳, 罗迎. 基于稀疏贝叶斯学习的双基雷达关联成像. 电子与信息学报,

    10. [10]

      赵建, 高海英, 胡斌. 基于容错学习的属性基加密方案的具体安全性分析. 电子与信息学报,

    11. [11]

      陈曦, 张坤. 一种基于树增强朴素贝叶斯的分类器学习方法. 电子与信息学报,

    12. [12]

      兰巨龙, 于倡和, 胡宇翔, 李子勇. 基于深度增强学习的软件定义网络路由优化机制. 电子与信息学报,

    13. [13]

      周凌云, 丁立新, 马懋德, 唐菀. 一种正交反向学习萤火虫算法. 电子与信息学报,

    14. [14]

      周智恒, 刘楷怡, 黄俊楚, 陈增群. 一种基于等距度量学习策略的行人重识别改进算法. 电子与信息学报,

    15. [15]

      陈前斌, 杨友超, 周钰, 赵国繁, 唐伦. 基于随机学习的接入网服务功能链部署算法. 电子与信息学报,

    16. [16]

      郭英, 东润泽, 张坤峰, 眭萍, 杨银松. 基于稀疏贝叶斯学习的多跳频信号DOA估计方法. 电子与信息学报,

    17. [17]

      王鑫, 李可, 宁晨, 黄凤辰. 基于深度卷积神经网络和多核学习的遥感图像分类方法. 电子与信息学报,

    18. [18]

      刘政怡, 徐天泽. 基于优化的极限学习机和深度层次的RGB-D显著检测. 电子与信息学报,

    19. [19]

      王斐, 吴仕超, 刘少林, 张亚徽, 魏颖. 基于脑电信号深度迁移学习的驾驶疲劳检测. 电子与信息学报,

    20. [20]

      吴超, 李雅倩, 张亚茹, 刘彬. 用于表示级特征融合与分类的相关熵融合极限学习机. 电子与信息学报,

  • 图 1  采用候选标记集信息的消歧效果

    图 2  消歧准确率随参数$p$的变化

    图 3  分类准确率随参数$p$的变化

    图 4  消歧准确率随参数$r$的变化

    图 9  分类准确率随参数$k$的变化

    图 6  消歧准确率随参数$\alpha $的变化

    图 7  分类准确率随参数$\alpha $的变化

    图 8  消歧准确率随参数$k$的变化

    图 5  分类准确率随参数$r$的变化

    表 1  候选标记信息感知的偏标记学习算法伪代码

     输入:偏标记数据集$D = \left\{ {({X_i},{S_i})|1 \le i \le m} \right\}$,最近邻样本数    $k$,标记相似度权重$\alpha $
     训练阶段:
     1 对特征矩阵${\text{X}} \in {{\text{R}}^{m \times d}}$进行Z-score归一化;
     2 根据式(1)求${{\text{w}}_j}$;
     3 根据${{\text{w}} _j}$构建相似度图${G_i}(V,E)$;
     4 switch v
       case Jaccard:根据式(3)计算${{\text{u}}_j}$,并构建候选标记集相似度    图${G_{\rm{c}}}(i,j)$, (CAP-J算法);
       case linear:根据式(4)计算${{\text{u}}_j}$,并构建候选标记集相似度     图${G_{\rm{c}}}(i,j)$, (CAP-L算法);
       end switch
     5 根据式(7)计算最终相似度图$G(i,j)$;
     6 结合现有图模型偏标记学习算法进行消歧,得到消歧结果    $\mathop D\limits^ \wedge = \left\{ {({X_i},{{\widehat y}_i})|1 \le i \le m} \right\}$;
     测试阶段:
     7 对于未见示例${x^*}$,根据式(8)计算得分类结果;
     输出:消歧结果$\mathop D\limits^ \wedge = \left\{ {({X_i},{{\widehat y}_i})|1 \le i \le m} \right\}$和分类结果${y^*}$。
    下载: 导出CSV

    表 2  基线算法和本文算法复杂度比较

    算法复杂度实际复杂度
    基线算法$o({d^{\,\; 2}}{n^3}\lg (n))$$o({d^{\,\; 2}}{n^3}\lg (n))$
    本文算法(CAP-J)$o({d^{\,\; 2}}{n^3}\lg (n) + (s + 1){k^2})$$o({d^{\,\; 2}}{n^3}\lg (n))$
    本文算法(CAP-L)$o({d^{\,\; 2}}{n^3}\lg (n) + (sk + 1){k^2})$$o({d^{\,\; 2}}{n^3}\lg (n))$
    下载: 导出CSV

    表 3  真实偏标记数据集的特征

    数据集样本数特征数类别标记数候选标记数
    平均最小最大
    Lost1122108162.2313
    Birdsong499838132.1814
    MSRSCv2175848233.1617
    FG-NET1002262787.48211
    Yahoo! News229911632191.9115
    Soccer Player174722791712.09111
    下载: 导出CSV

    表 4  合成偏标记数据集的特征

    数据集样本数特征数类别标记数参数设置
    Ecoli33678p={0.1, 0.2, 0.3, 0.4,0.5, 0.6, 0.7, 0.8} r={1, 2, 3, 4, 5}
    Movement3609015
    CTG21262110
    下载: 导出CSV

    表 5  不同算法在真实偏标记数据集上的消歧准确率(%)

    数据集消歧准确率(mean±std.)
    LostMSRCv2BirdSongFG-NETSoccer PlayerYahoo! News
    PLKNN67.54±0.0951.00±0.0968.69±0.0411.06±0.1352.60±0.0266.06±0.02
    CAP-JKNN73.60±0.1062.19±0.0877.14±0.0414.71±0.1569.55±0.0180.00±0.02
    CAP-LKNN73.38±0.1361.88±0.0976.67±0.0414.81±0.1769.22±0.0279.78±0.05
    PLKNN(监督)84.93±0.0473.07±0.0284.29±0.1414.94±0.0590.65±0.0391.21±0.03
    IPAL84.01±0.1570.58±0.1583.61±0.0415.28±0.1967.65±0.0384.99±0.05
    CAP-JIPAL85.58±0.1771.25±0.2084.22±0.0415.40±0.1967.94±0.0285.33±0.04
    CAP-LIPAL85.39±0.2470.92±0.1284.40±0.0514.86±0.1767.89±0.0785.21±0.03
    IPAL(监督)85.43±0.3276.43±0.2285.92±0.1015.53±0.1871.43±0.0586.43±0.06
    LALO75.05±1.2459.42±0.8978.14±0.7515.92±0.69
    CAP-JLALO76.80±1.1159.48±1.0978.02±0.8115.69±0.75
    CAP-LLALO80.22±1.0859.72±0.8278.24±0.6415.76±0.94
    LALO(监督)84.53±1.5360.04±1.1479.25±0.8816.13±0.62
    下载: 导出CSV

    表 6  不同算法在真实偏标记数据集上的分类准确率(%)

    数据集消歧准确率(mean±std.)
    LostMSRCv2BirdSongFG-NETSoccer PlayerYahoo! News
    PLKNN61.48±0.7844.12±0.3664.66±0.235.58±0.4249.55±0.0458.30±0.06
    CAP-JKNN64.01±0.6546.35±0.3866.01±0.266.24±0.3850.77±0.0961.18±0.05
    CAP-LKNN63.58±0.7246.14±0.4865.88±0.215.74±0.5650.43±0.0960.50±0.12
    PLKNN(监督)69.26±0.4851.33±0.3068.49±0.136.98±0.2154.26±0.0561.53±0.08
    IPAL73.18±0.7953.08±0.3371.09±0.335.28±0.5554.84±0.1065.88±0.14
    CAP-JIPAL73.95±0.6853.35±0.5071.34±0.305.45±0.6055.00±0.1066.02±0.16
    CAP-LIPAL73.44±0.6852.61±0.7171.60±0.265.89±0.5754.46±0.1866.02±0.18
    IPAL (监督)75.04±0.8255.71±0.4672.05±0.275.95±0.6255.38±0.1366.83±0.15
    LALO72.15±3.0450.13±2.0372.99±1.546.11±1.61
    CAP-JLALO73.02±2.8849.23±2.1073.00±1.625.96±1.19
    CAP-LLALO74.84±2.2050.27±3.1973.37±1.506.76±1.64
    LALO(监督)76.68±2.1952.31±2.4974.87±1.267.03±1.29
    下载: 导出CSV
  • 加载中
图(9)表(6)
计量
  • PDF下载量:  16
  • 文章访问数:  361
  • HTML全文浏览量:  260
文章相关
  • 通讯作者:  谢天, xietianxt@foxmail.com
  • 收稿日期:  2018-11-20
  • 录用日期:  2019-04-21
  • 网络出版日期:  2019-05-16
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章