高级搜索

候选标记信息感知的偏标记学习算法

陈鸿昶 谢天 高超 李邵梅 黄瑞阳

引用本文: 陈鸿昶, 谢天, 高超, 李邵梅, 黄瑞阳. 候选标记信息感知的偏标记学习算法[J]. 电子与信息学报, doi: 10.11999/JEIT181059 shu
Citation:  Hongchang CHEN, Tian XIE, Chao GAO, Shaomei LI, Ruiyang HUANG. Candidate Label-aware Partial Label Learning Algorithm[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT181059 shu

候选标记信息感知的偏标记学习算法

    作者简介: 陈鸿昶: 男,1964年生,教授,博士生导师,研究方向为通信与信息系统,大数据处理分析;
    谢天: 男,1994年生,硕士生,研究方向为机器学习;
    高超: 男,1982年生,博士,研究方向为计算机视觉,机器学习;
    李邵梅: 女,1982年生,博士,研究方向为计算机视觉,机器学习;
    黄瑞阳: 男,1986年生,博士,研究方向为网络大数据分析;
    通讯作者: 谢天, xietianxt@foxmail.com
  • 基金项目: 国家自然科学基金(61601513)

摘要: 在偏标记学习中,示例的真实标记隐藏在一组候选标记组成的标记集中。现有的偏标记学习算法在衡量示例之间的相似度时,只基于示例的特征进行计算,缺乏对候选标记集信息的利用。该文提出一种候选标记感知的偏标记学习算法(CLAPLL),在构建图的阶段有效地结合候选标记集信息来衡量示例之间的相似度。首先,基于杰卡德距离和线性重构,计算出各个示例的标记集之间的相似度,然后结合示例相似度和标记集的相似度构建相似度图,并通过现有的基于图的偏标记学习算法进行学习和预测。3个合成数据集和6个真实数据集上实验结果表明,该文方法相比于基线算法消歧准确率提升了0.3~16.5%,分类准确率提升了0.2~2.8%。

English

    1. [1]

      HÜLLERMEIER E and BERINGER J. Learning from ambiguously labeled examples[J]. Intelligent Data Analysis, 2006, 10(5): 419–439. doi: 10.3233/IDA-2006-10503

    2. [2]

      SONG Jingqi, LIU Hui, GENG Fenghuan, et al. Weakly-supervised classification of pulmonary nodules based on shape characters[C]. Proceedings of the 14th International Conference on Dependable, Autonomic and Secure Computing, Proceedings of the 14th International Conference on Pervasive Intelligence and Computing, Proceedings of the 2nd International Conference on Big Data Intelligence and Computing and Cyber Science and Technology Congress, Auckland, New Zealand, 2016: 228–232.

    3. [3]

      TANG Caizhi and ZHANG Minling. Confidence-rated discriminative partial label learning[C]. Proceedings of the 31st AAAI Conference on Artificial Intelligence, San Francisco, USA, 2017: 2611–2617.

    4. [4]

      TODA T, INOUE S, and UEDA N. Mobile activity recognition through training labels with inaccurate activity segments[C]. Proceedings of the 13th International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services, Hiroshima, Japan, 2016: 57–64.

    5. [5]

      YU Fei and ZHANG Minling. Maximum margin partial label learning[J]. Machine Learning, 2017, 106(4): 573–593. doi: 10.1007/s10994-016-5606-4

    6. [6]

      LUO Jie and ORABONA F. Learning from candidate labeling sets[C]. Proceedings of the 23rd International Conference on Neural Information Processing Systems, Vancouver, Canada, 2010: 1504–1512.

    7. [7]

      ZHANG Minling and YU Fei. Solving the partial label learning problem: An instance-based approach[C]. Proceedings of the 24th International Conference on Artificial Intelligence, Buenos Aires, Argentina, 2015: 4048–4054.

    8. [8]

      FENG Lei and AN Bo. Leveraging latent label distributions for partial label learning[C]. Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 2018: 2107–2113.

    9. [9]

      COUR T, SAPP B, and TASKAR B. Learning from partial labels[J]. Journal of Machine Learning Research, 2011, 12: 1501–1536.

    10. [10]

      ZHOU Zhihua. A brief introduction to weakly supervised learning[J]. National Science Review, 2018, 5(1): 44–53. doi: 10.1093/nsr/nwx106

    11. [11]

      TOLDO R and FUSIELLO A. Robust multiple structures estimation with J-linkage[C]. Proceedings of the 10th European Conference on Computer Vision, Marseille, France, 2008: 537–547.

    12. [12]

      DUA D and TANISKIDOU E K. UCI machine learning repository[EB/OL]. http://archive.ics.uci.edu/ml, 2017.

    13. [13]

      ZENG Zinan, XIAO Shijie, JIA Kui, et al. Learning by associating ambiguously labeled images[C]. Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 708–715.

    14. [14]

      GUILLAUMIN M, VERBEEK J, and SCHMID C. Multiple instance metric learning from automatically labeled bags of faces[C]. Proceedings of the 11th European Conference on Computer Vision, Heraklion, Greece, 2010: 634–647.

    15. [15]

      ZHANG Minling, ZHOU Binbin, and LIU Xuying. Partial label learning via feature-aware disambiguation[C]. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, USA, 2016: 1335–1344.

    16. [16]

      BRIGGS F, FERN X Z, and RAICH R. Rank-loss support instance machines for MIML instance annotation[C]. Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Beijing, China, 2012: 534–542.

    17. [17]

      LIU Liping and DIETTERICH T G. A conditional multinomial mixture model for superset label learning[C]. Proceedings of the 25th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2012: 548–556.

    18. [18]

      ZHANG Minling, YU Fei, and TANG Caizhi. Disambiguation-free partial label learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(10): 2155–2167. doi: 10.1109/TKDE.2017.2721942

    19. [19]

      ZHANG Minling and YU Fei. Solving the partial label learning problem: An instance-based approach[C]. Proceedings of the 24th International Conference on Artificial Intelligence, Buenos Aires, Argentina, 2015: 4048–4054.

    1. [1]

      李世宝王升志刘建航黄庭培张鑫. 基于接收信号强度非齐性分布特征的半监督学习室内定位指纹库构建. 电子与信息学报, doi: 10.11999/JEIT180599

    2. [2]

      陈鸿昶明拓思宇刘树新高超. 基于整数线性规划重构抽象语义图结构的语义摘要算法. 电子与信息学报, doi: 10.11999/JEIT180720

    3. [3]

      胡长雨汪玲朱栋强. 结合字典学习技术的ISAR稀疏成像方法. 电子与信息学报, doi: 10.11999/JEIT180747

    4. [4]

      陈莹许潇月. 基于双向参考集矩阵度量学习的行人再识别. 电子与信息学报, doi: 10.11999/JEIT190159

    5. [5]

      张小恒李勇明王品曾孝平颜芳张艳玲承欧梅. 基于语音卷积稀疏迁移学习和并行优选的帕金森病分类算法研究. 电子与信息学报, doi: 10.11999/JEIT180792

    6. [6]

      王斐吴仕超刘少林张亚徽魏颖. 基于脑电信号深度迁移学习的驾驶疲劳检测. 电子与信息学报, doi: 10.11999/JEIT180900

    7. [7]

      李瑞张群苏令华梁佳罗迎. 基于稀疏贝叶斯学习的双基雷达关联成像. 电子与信息学报, doi: 10.11999/JEIT180933

    8. [8]

      兰巨龙于倡和胡宇翔李子勇. 基于深度增强学习的软件定义网络路由优化机制. 电子与信息学报, doi: 10.11999/JEIT180870

    9. [9]

      赵建高海英胡斌. 基于容错学习的属性基加密方案的具体安全性分析. 电子与信息学报, doi: 10.11999/JEIT180824

    10. [10]

      陈曦张坤. 一种基于树增强朴素贝叶斯的分类器学习方法. 电子与信息学报, doi: 10.11999/JEIT180886

    11. [11]

      于洪涛丁悦航刘树新黄瑞阳谷允捷. 一种基于超节点理论的本体关系消冗算法. 电子与信息学报, doi: 10.11999/JEIT180793

    12. [12]

      唐伦魏延南马润琳贺小雨陈前斌. 虚拟化云无线接入网络下基于在线学习的网络切片虚拟资源分配算法. 电子与信息学报, doi: 10.11999/JEIT180771

    13. [13]

      徐丹符吉祥孙光才邢孟道苏涛保铮. 空间目标的短时三维几何重构方法. 电子与信息学报, doi: 10.11999/JEIT180936

    14. [14]

      孙兵阮怀林吴晨曦钟华. 基于Toeplitz协方差矩阵重构的互质阵列DOA估计方法. 电子与信息学报, doi: 10.11999/JEIT181041

    15. [15]

      赵辉张静张乐刘莹莉张天骐. 基于非局部低秩和加权全变分的图像压缩感知重构算法. 电子与信息学报, doi: 10.11999/JEIT180828

    16. [16]

      眭萍郭英李红光王宇宙. 基于混沌吸引子重构和Low-rank聚类的跳频信号电台分选. 电子与信息学报, doi: 10.11999/JEIT180947

    17. [17]

      陈少真张怡帆任炯炯. 具有最小异或数的最大距离可分矩阵的构造. 电子与信息学报, doi: 10.11999/JEIT181113

    18. [18]

      李炜李全龙刘政怡. 基于加权的K近邻线性混合显著性目标检测. 电子与信息学报, doi: 10.11999/JEIT190093

    19. [19]

      杜小妮吕红霞王蓉. 一类四重和六重线性码的构造. 电子与信息学报, doi: 10.11999/JEIT180939

    20. [20]

      王晶樊宇赵鼎杨晨王刚罗积润. 考虑回旋共振增强效应的平面单栅注波互作用线性分析. 电子与信息学报, doi: 10.11999/JEIT181145

  • 图 1  采用候选标记集信息的消歧效果

    图 2  消歧准确率随参数$p$的变化

    图 3  分类准确率随参数$p$的变化

    图 4  消歧准确率随参数$r$的变化

    图 9  分类准确率随参数$k$的变化

    图 6  消歧准确率随参数$\alpha $的变化

    图 7  分类准确率随参数$\alpha $的变化

    图 8  消歧准确率随参数$k$的变化

    图 5  分类准确率随参数$r$的变化

    表 1  候选标记信息感知的偏标记学习算法伪代码

     输入:偏标记数据集$D = \left\{ {({X_i},{S_i})|1 \le i \le m} \right\}$,最近邻样本数    $k$,标记相似度权重$\alpha $
     训练阶段:
     1 对特征矩阵${{X}} \in {{{R}}^{m \times d}}$进行Z-score归一化;
     2 根据式(1)求${{{w}}_j}$
     3 根据${{{w}} _j}$构建相似度图${G_i}(V,E)$
     4 switch v
       case Jaccard:根据式(3)计算${{{u}}_j}$,并构建候选标记集相似度    图${G_{\rm{c}}}(i,j)$, (CAP-J算法);
       case linear:根据式(4)计算${{{u}}_j}$,并构建候选标记集相似度     图${G_{\rm{c}}}(i,j)$, (CAP-L算法);
       end switch
     5 根据式(7)计算最终相似度图$G(i,j)$
     6 结合现有图模型偏标记学习算法进行消歧,得到消歧结果    $\mathop D\limits^ \wedge = \left\{ {({X_i},{{\widehat y}_i})|1 \le i \le m} \right\}$
     测试阶段:
     7 对于未见示例${x^*}$,根据式(8)计算得分类结果;
     输出:消歧结果$\mathop D\limits^ \wedge = \left\{ {({X_i},{{\widehat y}_i})|1 \le i \le m} \right\}$和分类结果${y^*}$
    下载: 导出CSV

    表 2  基线算法和本文算法复杂度比较

    算法复杂度实际复杂度
    基线算法$o({d^{\,\; 2}}{n^3}\lg (n))$$o({d^{\,\; 2}}{n^3}\lg (n))$
    本文算法(CAP-J)$o({d^{\,\; 2}}{n^3}\lg (n) + (s + 1){k^2})$$o({d^{\,\; 2}}{n^3}\lg (n))$
    本文算法(CAP-L)$o({d^{\,\; 2}}{n^3}\lg (n) + (sk + 1){k^2})$$o({d^{\,\; 2}}{n^3}\lg (n))$
    下载: 导出CSV

    表 4  真实偏标记数据集的特征

    数据集样本数特征数类别标记数候选标记数
    平均最小最大
    Lost1122108162.2313
    Birdsong499838132.1814
    MSRSCv2175848233.1617
    FG-NET1002262787.48211
    Yahoo! News229911632191.9115
    Soccer Player174722791712.09111
    下载: 导出CSV

    表 3  合成偏标记数据集的特征

    数据集样本数特征数类别标记数参数设置
    Ecoli33678p={0.1, 0.2, 0.3, 0.4,0.5, 0.6, 0.7, 0.8} r={1, 2, 3, 4, 5}
    Movement3609015
    CTG21262110
    下载: 导出CSV

    表 5  不同算法在真实偏标记数据集上的消歧准确率(%)

    数据集消歧准确率(mean±std.)
    LostMSRCv2BirdSongFG-NETSoccer PlayerYahoo! News
    PLKNN67.54±0.0951.00±0.0968.69±0.0411.06±0.1352.60±0.0266.06±0.02
    CAP-JKNN73.60±0.1062.19±0.0877.14±0.0414.71±0.1569.55±0.0180.00±0.02
    CAP-LKNN73.38±0.1361.88±0.0976.67±0.0414.81±0.1769.22±0.0279.78±0.05
    PLKNN(监督)84.93±0.0473.07±0.0284.29±0.1414.94±0.0590.65±0.0391.21±0.03
    IPAL84.01±0.1570.58±0.1583.61±0.0415.28±0.1967.65±0.0384.99±0.05
    CAP-JIPAL85.58±0.1771.25±0.2084.22±0.0415.40±0.1967.94±0.0285.33±0.04
    CAP-LIPAL85.39±0.2470.92±0.1284.40±0.0514.86±0.1767.89±0.0785.21±0.03
    IPAL(监督)85.43±0.3276.43±0.2285.92±0.1015.53±0.1871.43±0.0586.43±0.06
    LALO75.05±1.2459.42±0.8978.14±0.7515.92±0.69
    CAP-JLALO76.80±1.1159.48±1.0978.02±0.8115.69±0.75
    CAP-LLALO80.22±1.0859.72±0.8278.24±0.6415.76±0.94
    LALO(监督)84.53±1.5360.04±1.1479.25±0.8816.13±0.62
    下载: 导出CSV

    表 6  不同算法在真实偏标记数据集上的分类准确率(%)

    数据集消歧准确率(mean±std.)
    LostMSRCv2BirdSongFG-NETSoccer PlayerYahoo! News
    PLKNN61.48±0.7844.12±0.3664.66±0.235.58±0.4249.55±0.0458.30±0.06
    CAP-JKNN64.01±0.6546.35±0.3866.01±0.266.24±0.3850.77±0.0961.18±0.05
    CAP-LKNN63.58±0.7246.14±0.4865.88±0.215.74±0.5650.43±0.0960.50±0.12
    PLKNN(监督)69.26±0.4851.33±0.3068.49±0.136.98±0.2154.26±0.0561.53±0.08
    IPAL73.18±0.7953.08±0.3371.09±0.335.28±0.5554.84±0.1065.88±0.14
    CAP-JIPAL73.95±0.6853.35±0.5071.34±0.305.45±0.6055.00±0.1066.02±0.16
    CAP-LIPAL73.44±0.6852.61±0.7171.60±0.265.89±0.5754.46±0.1866.02±0.18
    IPAL (监督)75.04±0.8255.71±0.4672.05±0.275.95±0.6255.38±0.1366.83±0.15
    LALO72.15±3.0450.13±2.0372.99±1.546.11±1.61
    CAP-JLALO73.02±2.8849.23±2.1073.00±1.625.96±1.19
    CAP-LLALO74.84±2.2050.27±3.1973.37±1.506.76±1.64
    LALO(监督)76.68±2.1952.31±2.4974.87±1.267.03±1.29
    下载: 导出CSV
  • 加载中
图(9)表(6)
计量
  • PDF下载量:  11
  • 文章访问数:  205
  • HTML全文浏览量:  145
  • 引证文献数: 0
文章相关
  • 通讯作者:  谢天, xietianxt@foxmail.com
  • 收稿日期:  2018-11-20
  • 录用日期:  2019-04-21
  • 网络出版日期:  2019-05-16
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章