高级搜索

候选标记信息感知的偏标记学习算法

陈鸿昶 谢天 高超 李邵梅 黄瑞阳

引用本文: 陈鸿昶, 谢天, 高超, 李邵梅, 黄瑞阳. 候选标记信息感知的偏标记学习算法[J]. 电子与信息学报, 2019, 41(10): 2516-2524. doi: 10.11999/JEIT181059 shu
Citation:  Hongchang CHEN, Tian XIE, Chao GAO, Shaomei LI, Ruiyang HUANG. Candidate Label-Aware Partial Label Learning Algorithm[J]. Journal of Electronics and Information Technology, 2019, 41(10): 2516-2524. doi: 10.11999/JEIT181059 shu

候选标记信息感知的偏标记学习算法

    作者简介: 陈鸿昶: 男,1964年生,教授,博士生导师,研究方向为通信与信息系统,大数据处理分析;
    谢天: 男,1994年生,硕士生,研究方向为机器学习;
    高超: 男,1982年生,博士,研究方向为计算机视觉,机器学习;
    李邵梅: 女,1982年生,博士,研究方向为计算机视觉,机器学习;
    黄瑞阳: 男,1986年生,博士,研究方向为网络大数据分析
    通讯作者: 谢天,xietianxt@foxmail.com
  • 基金项目: 国家自然科学基金(61601513)

摘要: 在偏标记学习中,示例的真实标记隐藏在由一组候选标记组成的标记集中。现有的偏标记学习算法在衡量示例之间的相似度时,只基于示例的特征进行计算,缺乏对候选标记集信息的利用。该文提出一种候选标记感知的偏标记学习算法(CLAPLL),在构建图的阶段有效地结合候选标记集信息来衡量示例之间的相似度。首先,基于杰卡德距离和线性重构,计算出各个示例的标记集之间的相似度,然后结合示例相似度和标记集的相似度构建相似度图,并通过现有的基于图的偏标记学习算法进行学习和预测。3个合成数据集和6个真实数据集上实验结果表明,该文方法相比于基线算法消歧准确率提升了0.3%~16.5%,分类准确率提升了0.2%~2.8%。

English

    1. [1]

      HÜLLERMEIER E and BERINGER J. Learning from ambiguously labeled examples[J]. Intelligent Data Analysis, 2006, 10(5): 419–439. doi: 10.3233/IDA-2006-10503

    2. [2]

      SONG Jingqi, LIU Hui, GENG Fenghuan, et al. Weakly-supervised classification of pulmonary nodules based on shape characters[C]. The 14th International Conference on Dependable, Autonomic and Secure Computing, The 14th International Conference on Pervasive Intelligence and Computing, The 2nd International Conference on Big Data Intelligence and Computing and Cyber Science and Technology Congress, Auckland, New Zealand, 2016: 228–232.

    3. [3]

      TANG Caizhi and ZHANG Minling. Confidence-rated discriminative partial label learning[C]. The 31st AAAI Conference on Artificial Intelligence, San Francisco, USA, 2017: 2611–2617.

    4. [4]

      TODA T, INOUE S, and UEDA N. Mobile activity recognition through training labels with inaccurate activity segments[C]. The 13th International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services, Hiroshima, Japan, 2016: 57–64.

    5. [5]

      YU Fei and ZHANG Minling. Maximum margin partial label learning[J]. Machine Learning, 2017, 106(4): 573–593. doi: 10.1007/s10994-016-5606-4

    6. [6]

      LUO Jie and ORABONA F. Learning from candidate labeling sets[C]. The 23rd International Conference on Neural Information Processing Systems, Vancouver, Canada, 2010: 1504–1512.

    7. [7]

      ZHANG Minling and YU Fei. Solving the partial label learning problem: An instance-based approach[C]. The 24th International Conference on Artificial Intelligence, Buenos Aires, Argentina, 2015: 4048–4054.

    8. [8]

      FENG Lei and AN Bo. Leveraging latent label distributions for partial label learning[C]. The Twenty-Seventh International Joint Conference on Artificial Intelligence, Stockholm, Sweden, 2018: 2107–2113.

    9. [9]

      COUR T, SAPP B, and TASKAR B. Learning from partial labels[J]. Journal of Machine Learning Research, 2011, 12: 1501–1536.

    10. [10]

      ZHOU Zhihua. A brief introduction to weakly supervised learning[J]. National Science Review, 2018, 5(1): 44–53. doi: 10.1093/nsr/nwx106

    11. [11]

      TOLDO R and FUSIELLO A. Robust multiple structures estimation with J-linkage[C]. The 10th European Conference on Computer Vision, Marseille, France, 2008: 537–547.

    12. [12]

      DUA D and TANISKIDOU E K. UCI machine learning repository[EB/OL]. http://archive.ics.uci.edu/ml, 2017.

    13. [13]

      ZENG Zinan, XIAO Shijie, JIA Kui, et al. Learning by associating ambiguously labeled images[C]. 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 708–715.

    14. [14]

      GUILLAUMIN M, VERBEEK J, and SCHMID C. Multiple instance metric learning from automatically labeled bags of faces[C]. The 11th European Conference on Computer Vision, Heraklion, Greece, 2010: 634–647.

    15. [15]

      ZHANG Minling, ZHOU Binbin, and LIU Xuying. Partial label learning via feature-aware disambiguation[C]. The 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, USA, 2016: 1335–1344.

    16. [16]

      BRIGGS F, FERN X Z, and RAICH R. Rank-loss support instance machines for MIML instance annotation[C]. The 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Beijing, China, 2012: 534–542.

    17. [17]

      LIU Liping and DIETTERICH T G. A conditional multinomial mixture model for superset label learning[C]. The 25th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2012: 548–556.

    18. [18]

      ZHANG Minling, YU Fei, and TANG Caizhi. Disambiguation-free partial label learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(10): 2155–2167. doi: 10.1109/TKDE.2017.2721942

    19. [19]

      ZHANG Minling and YU Fei. Solving the partial label learning problem: An instance-based approach[C]. The 24th International Conference on Artificial Intelligence, Buenos Aires, Argentina, 2015: 4048–4054.

    1. [1]

      韩铮, 肖志涛. 基于纹元森林和显著性先验的弱监督图像语义分割方法. 电子与信息学报, 2018, 40(3): 610-617.

    2. [2]

      杜兰, 魏迪, 李璐, 郭昱辰. 基于半监督学习的SAR目标检测网络. 电子与信息学报, 2020, 42(1): 154-163.

    3. [3]

      张骥先, 谢宁, 张学杰, 李伟东. 基于监督学习的可信云计算资源拍卖机制研究. 电子与信息学报, 2019, 41(5): 1243-1250.

    4. [4]

      李奕, 吴小俊. 基于监督学习的Takagi Sugeno Kang模糊系统图像融合方法研究. 电子与信息学报, 2014, 36(5): 1126-1132.

    5. [5]

      曹志义, 牛少彰, 张继威. 基于半监督学习生成对抗网络的人脸还原算法研究. 电子与信息学报, 2018, 40(2): 323-330.

    6. [6]

      姚萌, 贾克斌, 萧允治. 基于单目视频和无监督学习的轻轨定位方法. 电子与信息学报, 2018, 40(9): 2127-2134.

    7. [7]

      张涛, 唐振民. 一种基于非负低秩稀疏图的半监督学习改进算法. 电子与信息学报, 2017, 39(4): 915-921.

    8. [8]

      李世宝, 王升志, 刘建航, 黄庭培, 张鑫. 基于接收信号强度非齐性分布特征的半监督学习室内定位指纹库构建. 电子与信息学报, 2019, 41(10): 2302-2309.

    9. [9]

      刘鹏远, 赵铁军, 杨沐昀, 李壮. 基于等价伪译词模型的无指导译文消歧研究. 电子与信息学报, 2008, 30(7): 1690-1694.

    10. [10]

      范冬梅, 卢志茂, 张汝波, 潘树燊. 基于信息增益改进贝叶斯模型的汉语词义消歧. 电子与信息学报, 2008, 30(12): 2926-2929.

    11. [11]

      宋相法, 焦李成. 基于稀疏编码和集成学习的多示例多标记图像分类方法. 电子与信息学报, 2013, 35(3): 622-626.

    12. [12]

      王一宾, 裴根生, 程玉胜. 基于标记密度分类间隔面的组类属属性学习. 电子与信息学报, 2020, 42(0): 1-9.

    13. [13]

      刘鹏远, 赵铁军. 基于Web的无指导译文消歧词模型与N-gram模型及对比研究. 电子与信息学报, 2009, 31(12): 2969-2974.

    14. [14]

      朱路, 宋超, 刘媛媛, 黄志群, 王杨. 基于混合稀疏基字典学习的微波辐射图像重构方法. 电子与信息学报, 2016, 38(11): 2724-2730.

    15. [15]

      张石清, 李乐民, 赵知劲. 基于一种改进的监督流形学习算法的语音情感识别. 电子与信息学报, 2010, 32(11): 2724-2729.

    16. [16]

      李祖贺, 樊养余, 王凤琴. YUV空间中基于稀疏自动编码器的无监督特征学习. 电子与信息学报, 2016, 38(1): 29-37.

    17. [17]

      郭静, 曹亚男, 周川, 张鹏, 郭莉. 基于线性阈值模型的影响力传播权重学习. 电子与信息学报, 2014, 36(8): 1804-1809.

    18. [18]

      王晓侃, 毛峡, IshizukaMitsuru. 基于非线性流形学习的人脸面部运动估计. 电子与信息学报, 2011, 33(10): 2531-2535.

    19. [19]

      罗志增, 沈寒霄. 基于Hermite插值的小波模极大值重构滤波的肌电信号消噪方法. 电子与信息学报, 2009, 31(4): 857-860.

    20. [20]

      朱子尧, 韩树平, 郭正东, 刘建波. 乘性噪声背景下基于非线性渐消滤波的单信标测距定位算法. 电子与信息学报, 2019, 41(1): 165-171.

  • 图 1  采用候选标记集信息的消歧效果

    图 2  消歧准确率随参数$p$的变化

    图 3  分类准确率随参数$p$的变化

    图 4  消歧准确率随参数$r$的变化

    图 9  分类准确率随参数$k$的变化

    图 6  消歧准确率随参数$\alpha $的变化

    图 7  分类准确率随参数$\alpha $的变化

    图 8  消歧准确率随参数$k$的变化

    图 5  分类准确率随参数$r$的变化

    表 1  候选标记信息感知的偏标记学习算法伪代码

     输入:偏标记数据集$D = \left\{ {({X_i},{S_i})|1 \le i \le m} \right\}$,最近邻样本数    $k$,标记相似度权重$\alpha $
     训练阶段:
     1 对特征矩阵${\text{X}} \in {{\text{R}}^{m \times d}}$进行Z-score归一化;
     2 根据式(1)求${{\text{w}}_j}$;
     3 根据${{\text{w}} _j}$构建相似度图${G_i}(V,E)$;
     4 switch v
       case Jaccard:根据式(3)计算${{\text{u}}_j}$,并构建候选标记集相似度    图${G_{\rm{c}}}(i,j)$, (CAP-J算法);
       case linear:根据式(4)计算${{\text{u}}_j}$,并构建候选标记集相似度     图${G_{\rm{c}}}(i,j)$, (CAP-L算法);
       end switch
     5 根据式(7)计算最终相似度图$G(i,j)$;
     6 结合现有图模型偏标记学习算法进行消歧,得到消歧结果    $\mathop D\limits^ \wedge = \left\{ {({X_i},{{\widehat y}_i})|1 \le i \le m} \right\}$;
     测试阶段:
     7 对于未见示例${x^*}$,根据式(8)计算得分类结果;
     输出:消歧结果$\mathop D\limits^ \wedge = \left\{ {({X_i},{{\widehat y}_i})|1 \le i \le m} \right\}$和分类结果${y^*}$。
    下载: 导出CSV

    表 2  基线算法和本文算法复杂度比较

    算法复杂度实际复杂度
    基线算法$O({d^{\,\; 2} }{n^3}\lg (n))$$O({d^{\,\; 2} }{n^3}\lg (n))$
    本文算法(CAP-J)$O({d^{\,\; 2} }{n^3}\lg (n) + (s + 1){k^2})$$O({d^{\,\; 2} }{n^3}\lg (n))$
    本文算法(CAP-L)$O({d^{\,\; 2} }{n^3}\lg (n) + (sk + 1){k^2})$$O({d^{\,\; 2} }{n^3}\lg (n))$
    下载: 导出CSV

    表 3  真实偏标记数据集的特征

    数据集样本数特征数类别标记数候选标记数
    平均最小最大
    Lost1122108162.2313
    Birdsong499838132.1814
    MSRSCv2175848233.1617
    FG-NET1002262787.48211
    Yahoo! News229911632191.9115
    Soccer Player174722791712.09111
    下载: 导出CSV

    表 4  合成偏标记数据集的特征

    数据集样本数特征数类别标记数参数设置
    Ecoli33678p={0.1, 0.2, 0.3, 0.4,0.5, 0.6, 0.7, 0.8} r={1, 2, 3, 4, 5}
    Movement3609015
    CTG21262110
    下载: 导出CSV

    表 5  不同算法在真实偏标记数据集上的消歧准确率(%)

    数据集消歧准确率(mean±std.)
    LostMSRCv2BirdSongFG-NETSoccer PlayerYahoo! News
    PLKNN67.54±0.0951.00±0.0968.69±0.0411.06±0.1352.60±0.0266.06±0.02
    CAP-JKNN73.60±0.1062.19±0.0877.14±0.0414.71±0.1569.55±0.0180.00±0.02
    CAP-LKNN73.38±0.1361.88±0.0976.67±0.0414.81±0.1769.22±0.0279.78±0.05
    PLKNN(监督)84.93±0.0473.07±0.0284.29±0.1414.94±0.0590.65±0.0391.21±0.03
    IPAL84.01±0.1570.58±0.1583.61±0.0415.28±0.1967.65±0.0384.99±0.05
    CAP-JIPAL85.58±0.1771.25±0.2084.22±0.0415.40±0.1967.94±0.0285.33±0.04
    CAP-LIPAL85.39±0.2470.92±0.1284.40±0.0514.86±0.1767.89±0.0785.21±0.03
    IPAL(监督)85.43±0.3276.43±0.2285.92±0.1015.53±0.1871.43±0.0586.43±0.06
    LALO75.05±1.2459.42±0.8978.14±0.7515.92±0.69
    CAP-JLALO76.80±1.1159.48±1.0978.02±0.8115.69±0.75
    CAP-LLALO80.22±1.0859.72±0.8278.24±0.6415.76±0.94
    LALO(监督)84.53±1.5360.04±1.1479.25±0.8816.13±0.62
    下载: 导出CSV

    表 6  不同算法在真实偏标记数据集上的分类准确率(%)

    数据集消歧准确率(mean±std.)
    LostMSRCv2BirdSongFG-NETSoccer PlayerYahoo! News
    PLKNN61.48±0.7844.12±0.3664.66±0.235.58±0.4249.55±0.0458.30±0.06
    CAP-JKNN64.01±0.6546.35±0.3866.01±0.266.24±0.3850.77±0.0961.18±0.05
    CAP-LKNN63.58±0.7246.14±0.4865.88±0.215.74±0.5650.43±0.0960.50±0.12
    PLKNN(监督)69.26±0.4851.33±0.3068.49±0.136.98±0.2154.26±0.0561.53±0.08
    IPAL73.18±0.7953.08±0.3371.09±0.335.28±0.5554.84±0.1065.88±0.14
    CAP-JIPAL73.95±0.6853.35±0.5071.34±0.305.45±0.6055.00±0.1066.02±0.16
    CAP-LIPAL73.44±0.6852.61±0.7171.60±0.265.89±0.5754.46±0.1866.02±0.18
    IPAL (监督)75.04±0.8255.71±0.4672.05±0.275.95±0.6255.38±0.1366.83±0.15
    LALO72.15±3.0450.13±2.0372.99±1.546.11±1.61
    CAP-JLALO73.02±2.8849.23±2.1073.00±1.625.96±1.19
    CAP-LLALO74.84±2.2050.27±3.1973.37±1.506.76±1.64
    LALO(监督)76.68±2.1952.31±2.4974.87±1.267.03±1.29
    下载: 导出CSV
  • 加载中
图(9)表(6)
计量
  • PDF下载量:  32
  • 文章访问数:  956
  • HTML全文浏览量:  646
文章相关
  • 通讯作者:  谢天, xietianxt@foxmail.com
  • 收稿日期:  2018-11-20
  • 录用日期:  2019-04-21
  • 网络出版日期:  2019-05-16
  • 刊出日期:  2019-10-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章