高级搜索

基于半马尔科夫决策过程的虚拟传感网络资源分配策略

王汝言 李宏娟 吴大鹏 李红霞

引用本文: 王汝言, 李宏娟, 吴大鹏, 李红霞. 基于半马尔科夫决策过程的虚拟传感网络资源分配策略[J]. 电子与信息学报, doi: 10.11999/JEIT190016 shu
Citation:  Ruyan WANG, Hongjuan LI, Dapeng WU, Hongxia LI. Semi-Markov Decision Process-based Resource Allocation Strategy for Virtual Sensor Network[J]. Journal of Electronics and Information Technology, doi: 10.11999/JEIT190016 shu

基于半马尔科夫决策过程的虚拟传感网络资源分配策略

    作者简介: 王汝言: 男,1969年生,教授,博士,研究方向为泛在网络、多媒体信息处理等;
    李宏娟: 女,1993年生,硕士生,研究方向为虚拟化、无线传感网络;
    吴大鹏: 男,1979年生,教授,博士,研究方向为泛在无线网络、无线网络服务质量控制等;
    李红霞: 女,1969年生,高级工程师,研究方向为光无线融合网络、无线传感网络;
    通讯作者: 李宏娟, ilihj@foxmail.com
  • 基金项目: 国家自然科学基金(61871062,61771082),重庆市高校创新团队建设计划资助项目(CXTDX201601020)

摘要: 针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切,造成较低的资源利用率,进而给资源提供者带来较低的收益问题,根据虚拟传感网络请求(VSNR)的动态变化情况,该文提出虚拟传感网络(VSN)中基于半马尔科夫决策过程(SMDP)的资源分配策略。定义VSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成VSNR的时间,给出奖赏函数的表达式,并使用免模型强化学习算法求解特定状态下的行为,从而最大化网络资源提供者的长期收益。数值结果表明,该文的资源分配策略能有效提高传感网资源提供者的收益。

English

    1. [1]

      YETGIN H, CHEUNG K T K, El-HAJJAR M, et al. A survey of network lifetime maximization techniques in wireless sensor networks[J]. IEEE Communications Surveys & Tutorials, 2017, 19(2): 828–854. doi: 10.1109/COMST.2017.2650979

    2. [2]

      WU Dapeng, ZHANG Feng, WANG Honggang, et al. Security-oriented opportunistic data forwarding in mobile social networks[J]. Future Generation Computer Systems, 2018, 87: 803–815. doi: 10.1016/j.future.2017.07.028

    3. [3]

      DELGADO C, CANALES M, ORTÍN J, et al. Joint application admission control and network slicing in virtual sensor networks[J]. IEEE Internet of Things Journal, 2018, 5(1): 28–43. doi: 10.1109/JIOT.2017.2769446

    4. [4]

      WU Dapeng, ZHANG Zhihao, WU Shaoen, et al. Biologically inspired resource allocation for network slices in 5G-enabled internet of things[J]. IEEE Internet of Things Journal, 2018. doi: 10.1109/JIOT.2018.2888543

    5. [5]

      GUO Lei, NING Zhaolong, SONG Qingyang, et al. A QoS-oriented high-efficiency resource allocation scheme in wireless multimedia sensor networks[J]. IEEE Sensors Journal, 2017, 17(5): 1538–1548. doi: 10.1109/JSEN.2016.2645709

    6. [6]

      ZHANG Yueyue, ZHU Yaping, YAN Feng, et al. Energy-efficient radio resource allocation in software-defined wireless sensor networks[J]. IET Communications, 2018, 12(3): 349–358. doi: 10.1049/iet-com.2017.0937

    7. [7]

      HASSAN M M and ALSANAD A. Resource provisioning for cloud-assisted software defined wireless sensor network[J]. IEEE Sensors Journal, 2016, 16(20): 7401–7408. doi: 10.1109/JSEN.2016.2582339

    8. [8]

      DELGADO C, GÁLLEGO J R, CANALES M, et al. On optimal resource allocation in virtual sensor networks[J]. Ad Hoc Networks, 2016, 50: 23–40. doi: 10.1016/j.adhoc.2016.04.004

    9. [9]

      WU Dapeng, LIU Qianru, WANG Honggang, et al. Cache less for more: exploiting cooperative video caching and delivery in D2D communications[J]. IEEE Transactions on Multimedia, 2018. doi: 10.1109/TMM.2018.2885931

    10. [10]

      ZHENG Kan, MENG Hanlin, CHATZIMISIOS P, et al. An SMDP-based resource allocation in vehicular cloud computing systems[J]. IEEE Transactions on Industrial Electronics, 2015, 62(12): 7920–7928. doi: 10.1109/TIE.2015.2482119

    11. [11]

      SCHOLLIG A, CAINES P E, EGERSTEDT M, et al. A hybrid Bellman equation for systems with regional dynamics[C]. Proceedings of the 200746th IEEE Conference on Decision and Control, New Orleans, USA, 2007: 3393–3398. doi: 10.1109/CDC.2007.4434952.

    12. [12]

      GOSAVI A. Relative value iteration for average reward semi-Markov control via simulation[C]. Proceedings of 2013 Winter Simulations Conference, Washington, USA, 2013: 623–630. doi: 10.1109/WSC.2013.6721456.

    13. [13]

      WU Dapeng, SHI Hang, WANG Honggang, et al. A feature-based learning system for internet of things applications[J]. IEEE Internet of Things Journal, 2019, 6(2): 1928–1937. doi: 10.1109/JIOT.2018.2884485

    14. [14]

      CHEN Yueyun and JIA Cuixia. An improved call admission control scheme based on reinforcement learning for multimedia wireless networks[C]. Proceedings of 2009 International Conference on Wireless Networks and Information Systems, Shanghai, China, 2009: 322–325. doi: 10.1109/WNIS.2009.91.

    15. [15]

      ABUNDO M, DI VALERIO V, CARDELLINI V, et al. QoS-aware bidding strategies for VM spot instances: A reinforcement learning approach applied to periodic long running jobs[C]. Proceedings of 2015 IFIP/IEEE International Symposium on Integrated Network Management, Ottawa, Canada, 2015: 53–61. doi: 10.1109/INM.2015.7140276.

    16. [16]

      DARKEN C, CHANG J, and MOODY J. Learning rate schedules for faster stochastic gradient search[C]. Proceedings of 1992 IEEE Workshop on Neural Networks for Signal Processing II, Helsingoer, Denmark, 1992: 3–12. doi: 10.1109/NNSP.1992.253713.

    1. [1]

      唐伦魏延南马润琳贺小雨陈前斌. 虚拟化云无线接入网络下基于在线学习的网络切片虚拟资源分配算法. 电子与信息学报, doi: 10.11999/JEIT180771

    2. [2]

      唐伦马润琳杨恒陈前斌. 基于非正交多址接入的网络切片联合用户关联和功率分配算法. 电子与信息学报, doi: 10.11999/JEIT180770

    3. [3]

      徐公国单甘霖段修生乔成林王浩天. 基于马尔科夫决策过程的多传感器协同检测与跟踪调度方法. 电子与信息学报, doi: 10.11999/JEIT181129

    4. [4]

      谢显中黎佳黄倩陈杰. 机器类通信中基于NOMA短编码块传输的高可靠低迟延无线资源分配优化方案. 电子与信息学报, doi: 10.11999/JEIT190128

    5. [5]

      苏玉泽孟相如康巧燕韩晓阳. 核心链路感知的可生存虚拟网络链路保护方法. 电子与信息学报, doi: 10.11999/JEIT180737

    6. [6]

      秦宁宁金磊许健徐帆杨乐. 邻近信息约束下的随机异构无线传感器网络节点调度算法. 电子与信息学报, doi: 10.11999/JEIT190094

    7. [7]

      杨善超田康生吴长飞. 基于服务质量的相控阵雷达网目标分配方法. 电子与信息学报, doi: 10.11999/JEIT181133

    8. [8]

      张艳陈建华唐猛. 多层中继网络上的分布式LT码. 电子与信息学报, doi: 10.11999/JEIT180804

    9. [9]

      谷允捷胡宇翔谢记超. 基于重叠网络结构的服务功能链时空优化编排策略. 电子与信息学报, doi: 10.11999/JEIT190145

    10. [10]

      王巍周凯利王伊昌王广袁军. 基于快速滤波算法的卷积神经网络加速器设计. 电子与信息学报, doi: 10.11999/JEIT190037

    11. [11]

      陈光武程鉴皓杨菊花刘昊张琳婧. 基于改进神经网络增强自适应UKF的组合导航系统. 电子与信息学报, doi: 10.11999/JEIT181171

    12. [12]

      孙远李春国黄永明杨绿溪. 基于带缓存的云接入网络最优能效设计. 电子与信息学报, doi: 10.11999/JEIT180722

    13. [13]

      田春生钱志鸿王鑫王雪. D2D网络中信道选择与功率控制策略研究. 电子与信息学报, doi: 10.11999/JEIT190149

    14. [14]

      杨宏宇王峰岩. 基于深度卷积神经网络的气象雷达噪声图像语义分割方法. 电子与信息学报, doi: 10.11999/JEIT190098

    15. [15]

      贺丰收何友刘准钆徐从安. 卷积神经网络在雷达自动目标识别中的研究进展. 电子与信息学报, doi: 10.11999/JEIT180899

    16. [16]

      赵小强宋昭漾. 多级跳线连接的深度残差网络超分辨率重建. 电子与信息学报, doi: 10.11999/JEIT190036

    17. [17]

      李世宝王升志刘建航黄庭培张鑫. 基于接收信号强度非齐性分布特征的半监督学习室内定位指纹库构建. 电子与信息学报, doi: 10.11999/JEIT180599

    18. [18]

      雒江涛何宸王俊霞. 命名数据网络中可追溯且轻量级的细粒度访问控制机制. 电子与信息学报, doi: 10.11999/JEIT181160

    19. [19]

      马彬李尚儒谢显中. 异构无线网络中基于模糊逻辑的分级垂直切换算法. 电子与信息学报, doi: 10.11999/JEIT190190

    20. [20]

      张杰鑫庞建民张铮邰铭刘浩. 基于非相似余度架构的网络空间安全系统异构性量化方法. 电子与信息学报, doi: 10.11999/JEIT180764

  • 图 1  不同${\lambda _{\rm{p}}}$的收益对比

    图 2  不同资源总量的收益对比图

    图 3  不同${\lambda _{\rm{p}}}$的收益对比图

    图 4  不同${\mu _{\rm{p}}}$的收益对比图

    图 5  不同${\lambda _{\rm{p}}}$的拒绝率

    表 1  仿真参数设置表

    参数数值参数数值
    $K$20~30${\lambda _{\rm{p}}}$1~18
    ${\omega _{\rm{e}}}$0.5${\omega _{\rm{d}}}$0.5
    ${\beta _{\rm{e}}}$2${\beta _{\rm{d}}}$2
    ${E_{\rm{l}}}$20${P_{\rm{l}}}$5
    ${D_{\rm{l}}}$20$\delta $2
    $\gamma $2$\alpha $0.1
    下载: 导出CSV
  • 加载中
图(5)表(1)
计量
  • PDF下载量:  17
  • 文章访问数:  140
  • HTML全文浏览量:  96
  • 引证文献数: 0
文章相关
  • 通讯作者:  李宏娟, ilihj@foxmail.com
  • 收稿日期:  2019-01-07
  • 录用日期:  2019-04-16
  • 网络出版日期:  2019-05-22
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章