高级搜索

基于深度强化学习的服务功能链可靠部署算法

唐伦 曹睿 廖皓 王兆堃

引用本文: 唐伦, 曹睿, 廖皓, 王兆堃. 基于深度强化学习的服务功能链可靠部署算法[J]. 电子与信息学报, doi: 10.11999/JEIT190969 shu
Citation:  Lun TANG, Rui CAO, Hao LIAO, Zhaokun WANG. Reliable Deployment Algorithm of Service Function Chain Based on Deep Reinforcement Learning[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT190969 shu

基于深度强化学习的服务功能链可靠部署算法

    作者简介: 唐伦: 男,1973年生,教授,博士生导师,研究方向为新一代无线通信网络、异构蜂窝网络、软件定义无线网络等;
    曹睿: 男,1994年生,硕士生,研究方向为5G网络切片中的资源分配、可靠性;
    廖皓: 男,1993年生,硕士生,研究方向为5G网络故障检测、自愈合、机器学习;
    王兆堃: 男,1995年生,硕士生,研究方向为5G网络故障检测、自愈合、机器学习
    通讯作者: 曹睿,1280139234@qq.com
  • 基金项目: 国家自然科学基金(6157073),重庆市教委科学技术研究项目(KJZD-M201800601)

摘要: 针对当前关于服务功能链(SFC)的部署问题都未考虑到虚拟网络功能(VNF)的失效重要度,该文提出了基于深度强化学习的SFC可靠部署算法。首先建立VNF和虚拟链路可靠映射模型,为重要的VNF设置高可靠性需求,并通过链路部署长度限制尽可能保证虚拟链路可靠性需求。其次,以负载均衡为资源协调原则,与VNF可靠性联合优化,最终使用深度强化学习得到服务功能链部署策略。另外,提出了基于重要度的节点备份和链路备份策略,用于应对部署过程中VNF/链路可靠性难以满足的情况。仿真结果表明,本文的可靠部署算法在保证可靠性需求的基础上能够有效减少SFC失效损失,同时使虚拟网络更加稳定可靠。

English

    1. [1]

      AYOUBI S, ZHANG Yanhong, and ASSI C. A reliable embedding framework for elastic virtualized services in the cloud[J]. IEEE Transactions on Network and Service Management, 2016, 13(3): 489–503. doi: 10.1109/TNSM.2016.2581484

    2. [2]

      汤红波, 邱航, 游伟, 等. 基于联合备份的服务功能链可靠性保障的部署方法[J]. 电子与信息学报, 2019, 41(12): 3006–3013. doi: 10.11999/JEIT190013
      TANG Hongbo, QIU Hang, YOU Wei, et al. A reliability-guarantee method for service function chain deployment based on joint backup[J]. Journal of Electronics &Information Technology, 2019, 41(12): 3006–3013. doi: 10.11999/JEIT190013

    3. [3]

      季新生, 赵硕, 艾健健, 等. 异构备份式的虚拟网映射方法研究[J]. 电子与信息学报, 2018, 40(5): 1087–1093. doi: 10.11999/JEIT170730
      JI Xinsheng, ZHAO Shuo, AI Jianjian, et al. Research on heterogeneous-backup virtual network embedding[J]. Journal of Electronics &Information Technology, 2018, 40(5): 1087–1093. doi: 10.11999/JEIT170730

    4. [4]

      POURVALI M, BAI Hao, CRICHIGNO J, et al. Multicast virtual network services embedding for improved disaster recovery support[J]. IEEE Communications Letters, 2018, 22(7): 1362–1365. doi: 10.1109/LCOMM.2018.2822739

    5. [5]

      SUN Jian, ZHU Guangyang, SUN Gang, et al. A reliability-aware approach for resource efficient virtual network function deployment[J]. IEEE Access, 2018, 6: 18238–18250. doi: 10.1109/ACCESS.2018.2815614

    6. [6]

      DINH N T and KIM Y. An efficient reliability guaranteed deployment scheme for service function chains[J]. IEEE Access, 2019, 7: 46491–46505. doi: 10.1109/ACCESS.2019.2908185

    7. [7]

      刘光远, 安秀芳, 苏森. 基于节点可靠性感知和共享路径保护的虚拟网映射算法研究[J]. 通信学报, 2016, 37(8): 51–57. doi: 10.11959/j.issn.1000-436x.2016155
      LIU Guangyuan, AN Xiufang, and SU Sen. Virtual network mapping algorithm with node reliability awareness and shared-path protection[J]. Journal on Communications, 2016, 37(8): 51–57. doi: 10.11959/j.issn.1000-436x.2016155

    8. [8]

      European Telecommunications Standards Institute. Network Functions Virtualisation (NFV); Reliability; Report on models and features for end-to-end reliability[R]. ETSI GS NFV-REL 003 V1.1.1, 2016.

    9. [9]

      TANG Xiaoyong, LI Kenli, QIU Meikang, et al. A hierarchical reliability-driven scheduling algorithm in grid systems[J]. Journal of Parallel and Distributed Computing, 2012, 72(4): 525–535. doi: 10.1016/j.jpdc.2011.12.004

    10. [10]

      BIJWE S, MACHIDA F, ISHIDA S, et al. End-to-End reliability assurance of service chain embedding for network function virtualization[C]. 2017 IEEE Conference on Network Function Virtualization and Software Defined Networks (NFV-SDN), Berlin, Germany, 2017: 1–4. doi: 10.1109/NFV-SDN.2017.8169853.

    11. [11]

      KUO Tungwei, LIOU B Hheng, LIN K C J, et al. Deploying Chains of virtual network functions: On the relation between link and server usage[J]. IEEE/ACM Transactions on Networking, 2018, 26(4): 1562–1576. doi: 10.1109/TNET.2018.2842798

    12. [12]

      魏亮, 黄韬, 张娇, 等. 基于强化学习的服务链映射算法[J]. 通信学报, 2018, 39(1): 90–100. doi: 10.11959/j.issn.1000-436x.2018002
      WEI Liang, HUANG Tao, ZHANG Jiao, et al. Service Chain mapping algorithm based on reinforcement learning[J]. Journal on Communications, 2018, 39(1): 90–100. doi: 10.11959/j.issn.1000-436x.2018002

    13. [13]

      CAO Haotong, ZHU Yongxu, ZHENG Gan, et al. A novel optimal mapping algorithm with less computational complexity for virtual network embedding[J]. IEEE Transactions on Network and Service Management, 2018, 15(1): 356–371. doi: 10.1109/TNSM.2017.2778106

    14. [14]

      ZHANG Xin, QIAN Zhuzhong, ZHANG Sheng, et al. Pattern-aware reliable virtual network function chain deployment[C]. 2017 IEEE International Symposium on Parallel and Distributed Processing with Applications and 2017 IEEE International Conference on Ubiquitous Computing and Communications (ISPA/IUCC), Guangzhou, China, 2017: 335–342. doi: 10.1109/ISPA/IUCC.2017.00055.

    15. [15]

      SHAHRIAR N, AHMED R, CHOWDHURY S R, et al. Generalized recovery from node failure in virtual network embedding[J]. IEEE Transactions on Network and Service Management, 2017, 14(2): 261–274. doi: 10.1109/TNSM.2017.2693404

    1. [1]

      陈卓, 冯钢, 何颖, 周杨. 运营商网络中基于深度强化学习的服务功能链迁移机制. 电子与信息学报,

    2. [2]

      陈前斌, 管令进, 李子煜, 王兆堃, 杨恒, 唐伦. 基于深度强化学习的异构云无线接入网自适应无线资源分配算法. 电子与信息学报,

    3. [3]

      张琳, 陈炳均, 吴志强. 基于矩阵低秩估计的可靠多载波差分混沌键控接收机. 电子与信息学报,

    4. [4]

      陈前斌, 谭颀, 魏延南, 贺兰钦, 唐伦. 异构云无线接入网架构下面向混合能源供应的动态资源分配及能源管理算法. 电子与信息学报,

    5. [5]

      赵国繁, 唐伦, 胡彦娟, 赵培培, 陈前斌. 面向可靠性的5G网络切片重构及映射算法. 电子与信息学报,

    6. [6]

      刘焕淋, 杜理想, 陈勇, 王展鹏. 基于灾难预测多区域故障的虚拟光网络生存性映射. 电子与信息学报,

    7. [7]

      刘焕淋, 胡会霞, 陈勇, 温濛, 王展鹏. 节点中介性和频谱离散度感知虚拟光网络生存性协同映射. 电子与信息学报,

    8. [8]

      张文明, 姚振飞, 高雅昆, 李海滨. 一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型. 电子与信息学报,

    9. [9]

      张晓寒, 张源, 池信坚, 杨珉. 基于指令虚拟化的安卓本地代码加固方法. 电子与信息学报,

    10. [10]

      刘文斌, 吴倩, 杜玉改, 方刚, 石晓龙, 许鹏. 基于个性化网络标志物的药物推荐方法研究. 电子与信息学报,

    11. [11]

      王威丽, 陈前斌, 唐伦. 虚拟网络切片中的在线异常检测算法研究. 电子与信息学报,

    12. [12]

      曾菊玲, 张春雷, 蒋砺思, 夏凌. 基于信道定价的无线虚拟网络资源分配策略:匹配/Stackelberg分层博弈. 电子与信息学报,

    13. [13]

      夏平凡, 倪志伟, 朱旭辉, 倪丽萍. 基于双错测度的极限学习机选择性集成方法. 电子与信息学报,

    14. [14]

      达新宇, 张宏伟, 胡航, 潘钰, 井锦玲. 认知无人机网络中次级链路吞吐量优化研究. 电子与信息学报,

    15. [15]

      李劲松, 彭建华, 刘树新, 季新生. 一种基于线性规划的有向网络链路预测方法. 电子与信息学报,

    16. [16]

      付晓薇, 杨雪飞, 陈芳, 李曦. 一种基于深度学习的自适应医学超声图像去斑方法. 电子与信息学报,

    17. [17]

      陈怡, 唐迪, 邹维. 基于深度学习的Android恶意软件检测:成果与挑战. 电子与信息学报,

    18. [18]

      曾帅, 钱志华, 赵天烽, 任彦, 王育杰. 生存性条件约束下的软件定义光网络控制器部署算法. 电子与信息学报,

    19. [19]

      游凌, 李伟浩, 张文林, 王科人. 基于深度神经网络的Morse码自动译码算法. 电子与信息学报,

    20. [20]

      申铉京, 沈哲, 黄永平, 王玉. 基于非局部操作的深度卷积神经网络车位占用检测算法. 电子与信息学报,

  • 图 1  系统场景图

    图 2  深度强化算法示意图

    图 3  SFC请求接受率对比

    图 4  SFC备份消耗对比

    图 5  SFC失效损失对比

    图 6  学习率对收敛效果的影响

    表 1  基于深度强化学习的服务功能链可靠部署算法

     算法1 基于深度强化学习的服务功能链可靠部署算法
     经验回放池初始化为空,随机初始化主网络的参数,并复制给目标网络,探寻环境信息基于式(6)~式(9)得到${w_I}$,${u'_k}$
     for episode=1, 2, ···, E do
     初始化状态为${{{s}}_1} = \{ {{{B}}_{{\rm{left}}}}{{,}}{{{C}}_{{\rm{left}}}}{{,}}{{{b}}_{{\rm{map}}}}{{,}}{{{c}}_{{\rm{map}}}}\} $, ${{{b}}_{{\rm{map}}}}{{,}}{{{c}}_{{\rm{map}}}}$为空
     for t=1,2…D do
     确定可选动作集${N'_{k{n_i}}}$,${N''_{k{n_i}}}$随机产生0到1的数$\tau $
     if $\tau < \varepsilon $:先从${ {{N'} }_{k{n_i} } }$中选择动作${a_t}$,若为空则根据算法2在${ {{N''} }_{k{n_i} } }$中选择${a_t}$,都无动作选择则${a_t}$为空
     else:依据主神经网络估值${\pi ^*}(s) = {{\arg }}\max\limits_{a'} Q({{{s}}_t},{{{a'}}_t})$选取动作。end if
     执行动作${{{a}}_t}$,获得奖励${r_t}$、下一状态${{{s}}_{t + 1}}$,将向量$[{{{s}}_t},{{{a}}_t},{r_t},{{{s}}_{t + 1}}]$放入经验回放池。
     随机取出小批量样本向量$[{{{s}}_t},{{{a}}_t},{r_t},{{{s}}_{t + 1}}]$组成样本向量集${\upsilon _t}$
     for $[{{{s}}_t},{{{a}}_t},{r_t},{{{s}}_{t + 1}}]$ in ${\upsilon _t}$ do
     $L{{(}}\theta {{)}} = {(\tilde Q({{{s}}_t},{{{a}}_t}|{\theta ^ - }) - Q({{{s}}_t},{{{a}}_t}|\theta ))^2}$,$\theta \leftarrow \theta - {\lambda _{{\rm{SGD}}}}\nabla L(\theta )$ end for
     在θ更新T次后将主网络参数复制给目标网络。end for end for
     通过主网络得到每个VNF的策略${\pi ^*}(s)$
     if累计奖励$Q({s_t},{a_t}) < - 100$:拒绝该请求
     else if 部署结果不满足链路可靠性需求:执行算法3 end if
    下载: 导出CSV

    表 2  基于虚拟网络功能重要度节点备份算法

     算法2:基于虚拟网络功能重要度的节点备份算法
     初始化节点部署方案$g'(v_I^k)$为空
     repeat:
     if ${\omega _I} < 1/D$:搜寻${N''_{k{n_i}}}$已作为备份节点的节点集$V_{I'}^k$
     if $V_{I'}^k$非空:$g'(v_I^k)$←从$V_{I'}^k$中寻找备份节点,从${{{N''}}_{k{n_i}}}/V_{I'}^k$中寻
     找部署节点
     else:$g'(v_I^k)$←从${N''_{k{n_i}}}$中选出2个节点。可靠性最高的为部署节
     点,另一备份。endif
     else:$g'(v_I^k)$←从${N''_{k{n_i}}}$中选出2个节点。可靠性最高的为部署节
     点,另一备份。endif
     until $RN(g'(v_I^k)) > {(R_k^{{\rm{req}}})^{{w_I}}}$or 已遍历所有组合
     return 节点部署方案$g'(v_I^k)$
    下载: 导出CSV

    表 3  基于链路备份重要度的链路备份算法

     算法3:基于链路备份重要度的链路备份算法
     基于$\gamma _{I,J}^k$对虚拟链路链路$l_{I,J}^k \in L_v^k$排序
     for 排过序的链路链路$l_{I,J}^k \in L_v^k$
     if 链路可靠性不满足:
     确定$l_{I,J}^k$映射的段物理起始节点${n_i}$和终止节点${n_j}$:${p_{I,J}}$
     $p{{ = \{ }}{\ell _{i,j}}|{L'_{k{l_{i,j}}}}/{p_{I,J}}\} $,部署方案增加链路P
     else: break
     end for
     return 部署方案
    下载: 导出CSV
  • 加载中
图(6)表(3)
计量
  • PDF下载量:  8
  • 文章访问数:  127
  • HTML全文浏览量:  79
文章相关
  • 通讯作者:  曹睿, 1280139234@qq.com
  • 收稿日期:  2019-12-03
  • 录用日期:  2020-06-08
  • 网络出版日期:  2020-07-11
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章