高级搜索

基于深度增强学习的软件定义网络路由优化机制

兰巨龙 于倡和 胡宇翔 李子勇

引用本文: 兰巨龙, 于倡和, 胡宇翔, 李子勇. 基于深度增强学习的软件定义网络路由优化机制[J]. 电子与信息学报, doi: 10.11999/JEIT180870 shu
Citation:  Julong LAN, Changhe YU, Yuxiang HU, Ziyong LI. A SDN Routing Optimization Mechanism Based on Deep Reinforcement Learning[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT180870 shu

基于深度增强学习的软件定义网络路由优化机制

    作者简介: 兰巨龙: 男,1962年生,教授,博士生导师,主要研究方向为新型网络体系结构与网络安全;
    于倡和: 男,1993年生,硕士,研究方向为新型网络体系结构与网络安全;
    通讯作者: 于倡和, yu_changhe@hotmail.com
  • 基金项目: 国家自然科学基金群体创新项目(61521003),国家自然科学基金(61502530)

摘要: 为优化软件定义网络(SDN)的路由选路,该文将深度增强学习原理引入到软件定义网络的选路过程,提出一种基于深度增强学习的路由优化选路机制,用以削减网络运行时延、提高吞吐量等网络性能,实现连续时间上的黑盒优化,减少网络运维成本。此外,该文通过实验对所提出的路由优化机制进行评估,实验结果表明,路由优化机制具有良好的收敛性与有效性,较传统路由协议可提供更优的路由方案与实现更稳定的性能。

English

    1. [1]

      BOUTABA R, SALAHUDDIN M A, LIMAM N, et al. A comprehensive survey on machine learning for networking: Evolution, applications and research opportunities[J]. Journal of Internet Services and Applications, 2018, 9(1): 16. doi: 10.1186/s13174-018-0087-2

    2. [2]

      FADLULLAH Z M, TANG Fengxiao, MAO Bomin, et al. State-of-the-art deep learning: Evolving machine intelligence toward tomorrow’s intelligent network traffic control systems[J]. IEEE Communications Surveys & Tutorials, 2017, 19(4): 2432–2455. doi: 10.1109/COMST.2017.2707140

    3. [3]

      LI Wei, LI Guojun, and YU Xiufen. A fast traffic classification method based on SDN network[C]. Proceedings of the 4th International Conference on Electronics, Communications and Networks, Beijing, China, 2015: 223-229.

    4. [4]

      WANG Fu, LIU Bo, ZHANG Lijia, et al. Dynamic routing and spectrum assignment based on multilayer virtual topology and ant colony optimization in elastic software-defined optical networks[J]. Optical Engineering, 2017, 56(7): 076111. doi: 10.1117/1.OE.56.7.076111

    5. [5]

      PARSAEI M R, MOHAMMADI R, and JAVIDAN R. A new adaptive traffic engineering method for telesurgery using ACO algorithm over Software Defined Networks[J]. European Research in Telemedicine, 2017, 6(3/4): 173–180. doi: 10.1016/j.eurtel.2017.10.003

    6. [6]

      WANG Junchao, DE LAAT C, and ZHAO Zhiming. QoS-aware virtual SDN network planning[C]. Proceedings of 2017 IFIP/IEEE Symposium on Integrated Network and Service Management, Lisbon, Portugal, 2017: 644-647. doi: 10.23919/INM.2017.7987350.

    7. [7]

      LIN S C, AKYILDIZ I F, WANG Pu, et al. QoS-aware adaptive routing in multi-layer hierarchical software defined networks: a reinforcement learning approach[C]. Proceedings of 2016 IEEE International Conference on Services Computing, San Francisco, USA, 2016: 25-33. doi: 10.1109/SCC.2016.12.

    8. [8]

      JIANG Jingyan, HU Liang, HAO Pingting, et al. Q-FDBA: Improving QoE fairness for video streaming[J]. Multimedia Tools and Applications, 2018, 77(9): 10787–10806. doi: 10.1007/s11042-017-4917-1

    9. [9]

      SUTTON R S and BARTO A G. Reinforcement Learning: An Introduction[M]. Cambridge, MA: The MIT Press, 1988. (请补充页码信息)

    10. [10]

      SENDRA S, REGO A, LLORET J, et al. Including artificial intelligence in a routing protocol using Software Defined Networks[C]. Proceedings of 2017 IEEE International Conference on Communications Workshops, Paris, France, 2017: 670-674. doi: 10.1109/ICCW.2017.7962735.

    11. [11]

      MNIH V, KAVUKCUOGLU K, SILVER D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529–533. doi: 10.1038/nature14236

    12. [12]

      LILLICRAP T P, HUNT J J, PRITZEL A, et al. Continuous control with deep reinforcement learning[P]. USA, WO2017019555, 2017.

    13. [13]

      MESTRES A, RODRIGUEZ-NATAL A, CARNER J, et al. Knowledge-defined networking[J]. ACM SIGCOMM Computer Communication Review, 2017, 47(3): 2–10. doi: 10.1145/3138808.3138810

    14. [14]

      SILVER D, LEVER G, HEESS N, et al. Deterministic policy gradient algorithms[C]. Proceedings of International Conference on Machine Learning, Beijing, China, 2014: I-387-I-395.

    15. [15]

      VARGA A and HORNIG R. An overview of the OMNeT++ simulation environment[C]. Proceedings of the 1st International Conference on Simulation Tools and Techniques for Communications, Networks and Systems & Workshops, Marseille, France, 2008: 60.

    16. [16]

      ROUGHAN M. Simplifying the synthesis of internet traffic matrices[J]. ACM SIGCOMM Computer Communication Review, 2005, 35(5): 93–96. doi: 10.1145/1096536.1096551

    17. [17]

      PAN S J and YANG Qiang. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345–1359. doi: 10.1109/TKDE.2009.191

    1. [1]

      胡宇翔李子勇胡宗魁胡涛. 基于流量工程的软件定义网络控制资源优化机制. 电子与信息学报, doi: 10.11999/JEIT190276

    2. [2]

      史久根谢熠君孙立郭胜刘雅丽. 软件定义网络中面向时延和负载的多控制器放置策略. 电子与信息学报, doi: 10.11999/JEIT181053

    3. [3]

      熊余杨娅娅张振振蒋婧. 软件定义时分波分复用无源光网络中基于带宽预测的资源分配策略. 电子与信息学报, doi: 10.11999/JEIT180837

    4. [4]

      胡宇翔范宏伟兰巨龙段通. 一种支持硬件加速的虚拟网络功能部署模型. 电子与信息学报, doi: 10.11999/JEIT180861

    5. [5]

      陈曦张坤. 一种基于树增强朴素贝叶斯的分类器学习方法. 电子与信息学报, doi: 10.11999/JEIT180886

    6. [6]

      王斐吴仕超刘少林张亚徽魏颖. 基于脑电信号深度迁移学习的驾驶疲劳检测. 电子与信息学报, doi: 10.11999/JEIT180900

    7. [7]

      陈光武程鉴皓杨菊花刘昊张琳婧. 基于改进神经网络增强自适应UKF的组合导航系统. 电子与信息学报, doi: 10.11999/JEIT181171

    8. [8]

      谷允捷胡宇翔谢记超. 基于重叠网络结构的服务功能链时空优化编排策略. 电子与信息学报, doi: 10.11999/JEIT190145

    9. [9]

      吕增威魏振春韩江洪孙仁浩夏成凯. 基于多目标优化的无线传感器网络移动充电及数据收集算法. 电子与信息学报, doi: 10.11999/JEIT180897

    10. [10]

      唐伦杨恒马润琳陈前斌. 基于5G接入网络的多优先级虚拟网络功能迁移开销与网络能耗联合优化算法. 电子与信息学报, doi: 10.11999/JEIT180906

    11. [11]

      杨宏宇王峰岩. 基于深度卷积神经网络的气象雷达噪声图像语义分割方法. 电子与信息学报, doi: 10.11999/JEIT190098

    12. [12]

      赵小强宋昭漾. 多级跳线连接的深度残差网络超分辨率重建. 电子与信息学报, doi: 10.11999/JEIT190036

    13. [13]

      盖杉鲍中运. 基于改进深度卷积神经网络的纸币识别研究. 电子与信息学报, doi: 10.11999/JEIT181097

    14. [14]

      周武杰潘婷顾鹏笠翟治年. 基于金字塔池化网络的道路场景深度估计方法. 电子与信息学报, doi: 10.11999/JEIT180957

    15. [15]

      唐伦魏延南马润琳贺小雨陈前斌. 虚拟化云无线接入网络下基于在线学习的网络切片虚拟资源分配算法. 电子与信息学报, doi: 10.11999/JEIT180771

    16. [16]

      杨善超田康生刘仁争郑玉军. 基于价值优化的相控阵雷达任务调度算法. 电子与信息学报, doi: 10.11999/JEIT190147

    17. [17]

      王晶樊宇赵鼎杨晨王刚罗积润. 考虑回旋共振增强效应的平面单栅注波互作用线性分析. 电子与信息学报, doi: 10.11999/JEIT181145

    18. [18]

      谭小慧李昭伟樊亚春. 基于多尺度细节增强的面部表情识别方法. 电子与信息学报, doi: 10.11999/JEIT181088

    19. [19]

      钱亚冠卢红波纪守领周武杰吴淑慧云本胜陶祥兴雷景生. 基于粒子群优化的对抗样本生成算法. 电子与信息学报, doi: 10.11999/JEIT180777

    20. [20]

      刘小龙. 改进多元宇宙算法求解大规模实值优化问题. 电子与信息学报, doi: 10.11999/JEIT180751

  • 图 1  加装机器学习机制的SDN网络架构

    图 2  DDPG的训练运行框架

    图 3  DDPG优化SDN路由选路的框架设计

    图 4  不同流量强度下网络的时延随训练步数的变化

    图 5  DDPG智能体与随机路由对比

    图 6  DDPG与OSPF的网络运行时延对比

  • 加载中
图(6)
计量
  • PDF下载量:  24
  • 文章访问数:  303
  • HTML全文浏览量:  201
  • 引证文献数: 0
文章相关
  • 通讯作者:  于倡和, yu_changhe@hotmail.com
  • 收稿日期:  2018-09-06
  • 录用日期:  2019-05-12
  • 网络出版日期:  2019-05-27
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章