高级搜索

基于随机森林的流处理检查点性能预测

褚征 于炯

引用本文: 褚征, 于炯. 基于随机森林的流处理检查点性能预测[J]. 电子与信息学报, 2020, 42(6): 1452-1459. doi: 10.11999/JEIT190552 shu
Citation:  Zheng CHU, Jiong YU. Performance Prediction Based on Random Forest for the Stream Processing Checkpoint[J]. Journal of Electronics and Information Technology, 2020, 42(6): 1452-1459. doi: 10.11999/JEIT190552 shu

基于随机森林的流处理检查点性能预测

    作者简介: 褚征: 男,1991年生,博士生,研究方向为分布式计算、内存计算和机器学习;
    于炯: 男,1966年生,教授,研究方向为分布式计算、内存计算和绿色计算
    通讯作者: 于炯,375257209@qq.com
  • 基金项目: 国家自然科学基金(61862060, 61462079, 61562086, 61562078),新疆大学博士生科技创新项目(XJUBSCX-201901)

摘要: 物联网(IoT)的发展引起流数据在数据量和数据类型两方面不断增长。由于实时处理场景的不断增加和基于经验知识的配置策略存在缺陷,流处理检查点配置策略面临着巨大的挑战,如费事费力,易导致系统异常等。为解决这些挑战,该文提出基于回归算法的检查点性能预测方法。该方法首先分析了影响检查点性能的6种特征,然后将训练集的特征向量输入到随机森林回归算法中进行训练,最后,使用训练好的算法对测试数据集进行预测。实验结果表明,与其它机器学习算法相比,随机森林回归算法在CPU密集型基准测试,内存密集型基准测试和网络密集型基准测试上针对检查点性能的预测具有误差低,准确率高和运行高效的优点。

English

图(5)表(3)
计量
  • PDF下载量:  27
  • 文章访问数:  1327
  • HTML全文浏览量:  534
文章相关
  • 通讯作者:  于炯, 375257209@qq.com
  • 收稿日期:  2019-07-23
  • 录用日期:  2020-02-17
  • 网络出版日期:  2020-03-10
  • 刊出日期:  2020-06-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章