高级搜索

异构云无线接入网架构下面向混合能源供应的动态资源分配及能源管理算法

陈前斌 谭颀 魏延南 贺兰钦 唐伦

引用本文: 陈前斌, 谭颀, 魏延南, 贺兰钦, 唐伦. 异构云无线接入网架构下面向混合能源供应的动态资源分配及能源管理算法[J]. 电子与信息学报, doi: 10.11999/JEIT190499 shu
Citation:  Qianbin CHEN, Qi TAN, Yannan WEI, Lanqin HE, Lun TANG. Dynamic Resource Allocation and Energy Management Algorithm for Hybrid Energy Supply in Heterogeneous Cloud Radio Access Networks[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT190499 shu

异构云无线接入网架构下面向混合能源供应的动态资源分配及能源管理算法

    作者简介: 陈前斌: 男,1967年生,教授,博士生导师,研究方向为个人通信、多媒体信息处理与传输、异构蜂窝网络等;
    谭颀: 女,1995年生,硕士生,研究方向为5G网络切片、资源分配、随机优化理论;
    魏延南: 男,1995年生,硕士生,研究方向为5G网络切片、虚拟资源分配、随机优化理论;
    贺兰钦: 男,1995年生,硕士生,研究方向为5G网络切片,机器学习算法;
    唐伦: 男,1973年生,教授,博士,研究方向为下一代无线通信网络、异构蜂窝网络、软件定义无线网络等
    通讯作者: 陈前斌,cqb@cqupt.edu.cn
  • 基金项目: 国家自然科学基金(6157073),重庆市教委科学技术研究项目(KJZD-M201800601)

摘要: 针对面向混合能源供应的 5G 异构云无线接入网(H-CRANs)网络架构下的动态资源分配和能源管理问题,该文提出一种基于深度强化学习的动态网络资源分配及能源管理算法。首先,由于可再生能源到达的波动性及用户数据业务到达的随机性,同时考虑到系统的稳定性、能源的可持续性以及用户的服务质量(QoS)需求,将H-CRANs网络下的资源分配以及能源管理问题建立为一个以最大化服务提供商平均净收益为目标的受限无穷时间马尔科夫决策过程(CMDP)。然后,使用拉格朗日乘子法将所提CMDP问题转换为一个非受限的马尔科夫决策过程(MDP)问题。最后,因为行为空间与状态空间都是连续值集合,因此该文利用深度强化学习解决上述MDP问题。仿真结果表明,该文所提算法可有效保证用户QoS及能量可持续性的同时,提升了服务提供商的平均净收益,降低了能耗。

English

    1. [1]

      彭木根, 艾元. 异构云无线接入网络: 原理、架构、技术和挑战[J]. 电信科学, 2015, 31(5): 41–45.
      PENG Mugen and AI Yuan. Heterogeneous cloud radio access networks: Principle, architecture, techniques and challenges[J]. Telecommunications Science, 2015, 31(5): 41–45.

    2. [2]

      ALNOMAN A, CARVALHO G H S, ANPALAGAN A, et al. Energy efficiency on fully cloudified mobile networks: Survey, challenges, and open issues[J]. IEEE Communications Surveys & Tutorials, 2018, 20(2): 1271–1291. doi: 10.1109/COMST.2017.2780238

    3. [3]

      AKTAR M R, JAHID A, AL-HASAN M, et al. User association for efficient utilization of green energy in cloud radio access network[C]. 2019 International Conference on Electrical, Computer and Communication Engineering, Cox’sBazar, Bangladesh, 2019: 1–5. doi: 10.1109/ECACE.2019.8679128.

    4. [4]

      ALQERM I and SHIHADA B. Sophisticated online learning scheme for green resource allocation in 5G heterogeneous cloud radio access networks[J]. IEEE Transactions on Mobile Computing, 2018, 17(10): 2423–2437. doi: 10.1109/TMC.2018.2797166

    5. [5]

      LIU Qiang, HAN Tao, ANSARI N, et al. On designing energy-efficient heterogeneous cloud radio access networks[J]. IEEE Transactions on Green Communications and Networking, 2018, 2(3): 721–734. doi: 10.1109/TGCN.2018.2835451

    6. [6]

      吴晓民. 能量捕获驱动的异构网络资源调度与优化研究[D]. [博士论文], 中国科学技术大学, 2016.
      WU Xiaomin. Resources optimization and control in the energy harvesting heterogeneous network[D]. [Ph.D. dissertation], University of Science and Technology of China, 2016.

    7. [7]

      ZHANG Deyu, CHEN Zhigang, CAI L X, et al. Resource allocation for green cloud radio access networks with hybrid energy supplies[J]. IEEE Transactions on Vehicular Technology, 2018, 67(2): 1684–1697. doi: 10.1109/TVT.2017.2754273

    8. [8]

      孔巧. 混合能源供能的异构蜂窝网络中能源成本最小化问题的研究[D]. [硕士论文], 华中科技大学, 2016.
      KONG Qiao. Research on energy cost minimization problem in heterogeneous cellular networks with hybrid energy supplies[D]. [Master dissertation], Huazhong University of Science and Technology, 2016.

    9. [9]

      YANG Jian, YANG Qinghai, SHEN Zhong, et al. Suboptimal online resource allocation in hybrid energy supplied OFDMA cellular networks[J]. IEEE Communications Letters, 2016, 20(8): 1639–1642. doi: 10.1109/LCOMM.2016.2575834

    10. [10]

      WEI Yifei, YU F R, SONG Mei, et al. User scheduling and resource allocation in HetNets with hybrid energy supply: An actor-critic reinforcement learning approach[J]. IEEE Transactions on Wireless Communications, 2018, 17(1): 680–692. doi: 10.1109/TWC.2017.2769644

    11. [11]

      PENG Mugen, ZHANG Kecheng, JIANG Jiamo, et al. Energy-efficient resource assignment and power allocation in heterogeneous cloud radio access networks[J]. IEEE Transactions on Vehicular Technology, 2015, 64(11): 5275–5287. doi: 10.1109/TVT.2014.2379922

    12. [12]

      陈前斌, 杨友超, 周钰, 等. 基于随机学习的接入网服务功能链部署算法[J]. 电子与信息学报, 2019, 41(2): 417–423. doi: 10.11999/JEIT180310
      CHEN Qianbin, YANG Youchao, ZHOU Yu, et al. Deployment algorithm of service function chain of access network based on stochastic learning[J]. Journal of Electronics &Information Technology, 2019, 41(2): 417–423. doi: 10.11999/JEIT180310

    13. [13]

      深度强化学习-DDPG算法原理和实现[EB/OL]. https://www.jianshu.com/p/6fe18d0d8822, 2018.

    14. [14]

      齐岳, 黄硕华. 基于深度强化学习DDPG算法的投资组合管理[J]. 计算机与现代化, 2018(5): 93–99. doi: 10.3969/j.issn.1006-2475.2018.05.019
      QI Yue and HUANG Shuohua. Portfolio management based on DDPG algorithm of deep reinforcement learning[J]. Computer and Modernization, 2018(5): 93–99. doi: 10.3969/j.issn.1006-2475.2018.05.019

    15. [15]

      California ISO[EB/OL]. http://www.caiso.com, 2019.

    16. [16]

      WANG Xin, ZHANG Yu, CHEN Tianyi, et al. Dynamic energy management for smart-grid-powered coordinated multipoint systems[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(5): 1348–1359. doi: 10.1109/JSAC.2016.2520220

    17. [17]

      LI Jian, PENG Mugen, YU Yuling, et al. Energy-efficient joint congestion control and resource optimization in heterogeneous cloud radio access networks[J]. IEEE Transactions on Vehicular Technology, 2016, 65(12): 9873–9887. doi: 10.1109/TVT.2016.2531184

    1. [1]

      李晨溪, 曹雷, 陈希亮, 张永亮, 徐志雄, 彭辉, 段理文. 基于云推理模型的深度强化学习探索策略研究. 电子与信息学报,

    2. [2]

      唐伦, 魏延南, 马润琳, 贺小雨, 陈前斌. 虚拟化云无线接入网络下基于在线学习的网络切片虚拟资源分配算法. 电子与信息学报,

    3. [3]

      张宝, 邱玲. OFDMA Femtocell网络中混合接入方式下的资源分配策略. 电子与信息学报,

    4. [4]

      张骥先, 谢宁, 张学杰, 李伟东. 基于监督学习的可信云计算资源拍卖机制研究. 电子与信息学报,

    5. [5]

      王汝言, 徐宁宁, 吴大鹏. 能耗和时延感知的虚拟化云无线接入网络资源分配机制. 电子与信息学报,

    6. [6]

      贾亦真, 陶晓明, 陆建华. 基站协作OFDMA系统中面向混合业务的资源分配. 电子与信息学报,

    7. [7]

      张达敏, 张绘娟, 闫威, 陈忠云, 辛梓芸. 异构网络中基于能效优化的D2D资源分配机制. 电子与信息学报,

    8. [8]

      孟洛明, 孙康, 韦磊, 郭少勇, 徐思雅. 一种面向电力无线专网的虚拟资源优化分配机制. 电子与信息学报,

    9. [9]

      王斌, 付茂豹, 王文鼐. 基于实时业务挤占的OFDMA系统的无线资源分配方案. 电子与信息学报,

    10. [10]

      曹龙, 赵杭生, 鲍丽娜, 张建照. 分层认知无线电网络中基于稳定匹配的资源分配算法. 电子与信息学报,

    11. [11]

      王汝言, 李宏娟, 吴大鹏. 基于Stackelberg博弈的虚拟化无线传感网络资源分配策略. 电子与信息学报,

    12. [12]

      唐伦, 杨希希, 施颖洁, 陈前斌. 无线虚拟网络中基于自回归滑动平均预测的在线自适应虚拟资源分配算法. 电子与信息学报,

    13. [13]

      崔苗, 喻鑫, 李学易, 张广驰, 刘怡俊. 多用户多载波无线携能通信系统的上下行联合资源分配. 电子与信息学报,

    14. [14]

      唐伦, 施颖洁, 杨希希, 陈前斌. 非正交多址接入系统中基于受限马尔科夫决策过程的网络切片虚拟资源分配算法. 电子与信息学报,

    15. [15]

      李国权, 徐勇军, 陈前斌. 基于干扰效率多蜂窝异构无线网络最优基站选择及功率分配算法. 电子与信息学报,

    16. [16]

      唐伦, 马润琳, 杨恒, 陈前斌. 基于非正交多址接入的网络切片联合用户关联和功率分配算法. 电子与信息学报,

    17. [17]

      唐伦, 周钰, 谭颀, 魏延南, 陈前斌. 基于强化学习的5G网络切片虚拟网络功能迁移算法. 电子与信息学报,

    18. [18]

      黄博, 方旭明, 陈煜. OFDMA中继网络变时域节能资源分配策略. 电子与信息学报,

    19. [19]

      左勇, 刘学勇, 刘海洋, 陈杰. 基于对偶分解的OFDMA系统资源分配算法. 电子与信息学报,

    20. [20]

      王汝言, 梁颖杰, 崔亚平. 车辆网络多平台卸载智能资源分配算法. 电子与信息学报,

  • 图 1  混合能源供能的RRHs和电能供能的MBS下行传输场景

    图 2  不同评判家学习速率下的平均净收益

    图 3  每30 min更新1次价格得到的系统净收益

    图 4  不同量化级数下的平均网络净收益对比

    图 5  不同算法下的平均净收益对比

    图 6  不同用户数下的系统和速率

    图 7  不同用户数下系统购买的电能

    图 8  一天内的平均能效与可再生能源到达

    表 1  算法流程表

     算法1:基于DDPG算法的资源分配与能源管理算法
     (1)初始化
       随机初始化参数${\theta ^Q}$和${\theta ^\mu }$;初始化目标网络参数:${\theta ^{Q'}} \leftarrow {\theta ^Q}$,${\theta ^{\mu '}} \leftarrow {\theta ^\mu }$;初始化拉格朗日乘子${\xi _u} \ge 0,\forall u \in { {{U} }_{\rm{RRH} } },{\upsilon _u} \ge 0,$
       $\forall u \in { {{U} }_{\rm{MBS} } } $;初始化经验回放池D
     (2)学习阶段
     For episode=1 to M do
       初始化一个随机过程作为行为噪声${{N}}$,并观察初始状态${x_0}$
       For t=1 to T do
         根据${a_t} = \mu ({x_t}|\theta _t^\mu ) + {{N}}$选择一个行为
         if 约束C3-C13满足:
           执行行动${a_t}$,并得到回报值${r_{{t}}}$与下一状态${x_{t + 1}}$
           将状态转换组$ < {x_t},{a_t},{r_t},{x_{t + 1}} > $存入经验回放池D
           从经验回放池D中随机采样${N_{\rm{D}}}$个样本,每个样本用i表示
         (a) 更新评判家网络
         从行动者目标网络得到$\mu '({x_{i + 1}}|{\theta ^{\mu '}})$
         从评判家目标网络中得到$Q({s_{i + 1}},\mu '({x_{i + 1}}|{\theta ^{\mu '}})|{\theta ^{Q'}})$
         根据式(20)得到${y_i}$,从评判家网络得到$Q({x_i},{a_i}|{\theta ^Q})$
         根据式(21)计算损失函数,并根据式(19)更新评判家网络参数${\theta ^Q}$
         (b) 更新行动者网络
         从评判家网络得到$Q({x_i},{a_i}|{\theta ^Q})$,并根据式(23)计算策略梯度
         根据策略梯度更新行动者网络参数${\theta ^\mu }$
         (c) 更新行动者目标网络和评判家目标网络
         根据式(24)更新行动者目标网络和评判家网络参数
         (d)基于标准次梯度法[15]更新拉格朗日乘子
                 ${\xi _{u,t + 1} } \leftarrow {\left[ { {\xi _{u,t} } - {\alpha _\xi }({Q_{ {\max} } } - { {\bar Q}_u})} \right]^ + },\forall u \in { {{U} }_{ {\rm{RRH} } } }\;\;\;\;\;\;\;\;\;\;(24)$
                 ${\nu _{u,t + 1} } \leftarrow {\left[ { {\nu _{u,t} } - {\alpha _\nu }({Q_{ {\max} } } - { {\bar Q}_u})} \right]^ + },\forall u \in { {{U} }_{ {\rm{MBS} } } }\;\;\;\;\;\;\;\;\;\;(25)$
       End for
     End for
    下载: 导出CSV

    表 2  仿真参数

    仿真参数仿真参数
    RRH最大发射功率3 W数据包大小$L$4 kbits/packet
    MBS最大发射功率10 WMUEs路径损耗模型31.5+35log10(d) (d[km])
    热噪声功率谱密度–102 dBm/HzRUEs路径损耗模型31.5+40log10(d) (d[km])
    子载波个数$N$12折扣因子$\gamma $0.99
    单个资源块带宽180 kHz${r_{{{{\varGamma}} _1}}}$4 Mbps
    软更新因子$\varsigma $0.01${r_{{{{\varGamma}} _2}}}$4.5 Mbps
    时隙长度$\tau $10 ms${r_{{\rm{MBS}}}}$512 kbps
    下载: 导出CSV
  • 加载中
图(8)表(2)
计量
  • PDF下载量:  13
  • 文章访问数:  125
  • HTML全文浏览量:  75
文章相关
  • 通讯作者:  陈前斌, cqb@cqupt.edu.cn
  • 收稿日期:  2019-07-04
  • 录用日期:  2020-01-29
  • 网络出版日期:  2020-02-20
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章