高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

面向物联网隐私数据分析的分布式弹性网络回归学习算法

方维维 刘梦然 王云鹏 李阳阳 安竹林

方维维, 刘梦然, 王云鹏, 李阳阳, 安竹林. 面向物联网隐私数据分析的分布式弹性网络回归学习算法[J]. 电子与信息学报, 2020, 42(10): 2403-2411. doi: 10.11999/JEIT190739
引用本文: 方维维, 刘梦然, 王云鹏, 李阳阳, 安竹林. 面向物联网隐私数据分析的分布式弹性网络回归学习算法[J]. 电子与信息学报, 2020, 42(10): 2403-2411. doi: 10.11999/JEIT190739
Weiwei FANG, Mengran LIU, Yunpeng WANG, Yangyang LI, Zhulin AN. A Distributed Elastic Net Regression Algorithm for Private Data Analytics in Internet of Things[J]. Journal of Electronics and Information Technology, 2020, 42(10): 2403-2411. doi: 10.11999/JEIT190739
Citation: Weiwei FANG, Mengran LIU, Yunpeng WANG, Yangyang LI, Zhulin AN. A Distributed Elastic Net Regression Algorithm for Private Data Analytics in Internet of Things[J]. Journal of Electronics and Information Technology, 2020, 42(10): 2403-2411. doi: 10.11999/JEIT190739

面向物联网隐私数据分析的分布式弹性网络回归学习算法

doi: 10.11999/JEIT190739
基金项目: 北京市自然科学基金(L191019),赛尔网络下一代互联网创新项目(NGII20190308)
详细信息
    作者简介:

    方维维:男,1981年生,博士,副教授,研究方向为物联网、边缘计算、分布式机器学习

    刘梦然:女,1994年生,硕士生,研究方向为物联网、边缘计算、ADMM

    王云鹏:男,1996年生,硕士生,研究方向为物联网、边缘计算、ADMM

    李阳阳:男,1987年生,博士,高级工程师,研究方向为移动网络、边缘计算、系统安全

    安竹林:男,1980年生,博士,高级工程师,研究方向为物联网、边缘计算、分布式系统

    通讯作者:

    方维维 wwfang@bjtu.edu.cn

  • 中图分类号: TP391.4

A Distributed Elastic Net Regression Algorithm for Private Data Analytics in Internet of Things

Funds: Beijing Municipal Natural Science Foundation (L191019), The CERNET Innovation Project (NGII20190308)
  • 摘要: 为了解决基于集中式算法的传统物联网数据分析处理方式易引发网络带宽压力过大、延迟过高以及数据隐私安全等问题,该文针对弹性网络回归这一典型的线性回归模型,提出一种面向物联网(IoT)的分布式学习算法。该算法基于交替方向乘子法(ADMM),将弹性网络回归目标优化问题分解为多个能够由物联网节点利用本地数据进行独立求解的子问题。不同于传统的集中式算法,该算法并不要求物联网节点将隐私数据上传至服务器进行训练,而仅仅传递本地训练的中间参数,再由服务器进行简单整合,以这样的协作方式经过多轮迭代获得最终结果。基于两个典型数据集的实验结果表明:该算法能够在几十轮迭代内快速收敛到最优解。相比于由单个节点独立训练模型的本地化算法,该算法提高了模型结果的有效性和准确性;相比于集中式算法,该算法在确保计算准确性和可扩展性的同时,可有效地保护个体隐私数据的安全性。
  • 图  1  分布式弹性网络回归学习算法计算流程

    图  2  目标函数值随迭代次数变化

    图  3  原始残差和对偶残差随迭代次数变化

    图  4  RMSE值随迭代次数变化

    图  5  调整复相关系数${R^2_a}$值随迭代次数变化

    图  6  参数N对算法性能的影响

    图  7  参数$\rho $对算法性能的影响

    图  8  参数${u_1}$对算法性能的影响

    图  9  参数${u_2}$对算法性能的影响

    图  10  分布式算法与本地化算法之间的性能比较

    图  11  目标函数值随迭代次数变化

    图  12  RMSE随迭代次数变化

    图  13  分布式算法与本地化算法之间的性能比较

    表  1  PRP共轭梯度算法流程

     输入:特征向量${{{x}}_{ij}}$;相应变量${y_{ij}}$;服务器提供的参数$\alpha = \left\{ {({{{w}}^{k + 1}},{b^{k + 1}})} \right\}$;对偶变量${\gamma ^k} = \{ ({\gamma _{i,w}}^k,{\gamma _{i,b}}^k)\} $; $b_i^*$;
     输出:物联网节点i的局部最优解${{{w}}_i}^*$;
     (1) 初始迭代次数$t = 0$,初始向量${{{w}}_i}^0 = 0$,收敛精度$\varepsilon = 1e - 5$,初始搜索方向${{{p}}^0} = - g({{{w}}_i}^0)$;
     (2) repeat /*算法进行迭代*/
     (3)    for j = –1:2:1
     (4)      if $F({w_i}^t + {\lambda ^t}{{{p}}^t}) > F({{{w}}_i}^t + j * {{{p}}^t})$ then
     (5)        ${\lambda ^t} \leftarrow j$;
     (6)      end if
     (7)    end for
     (8)    ${{{w}}_i}^{t + 1} \leftarrow {{{w}}_i}^t + {\lambda ^t}{{{p}}^t}$;
     (9)    ${\beta ^t} \leftarrow \dfrac{ {g{ {({ {{w} }_i}^{t + 1})}^{\rm{T} } }(g({ {{w} }_i}^{t + 1}) - g({ {{w} }_i}^t))} }{ {g{ {({ {{w} }_i}^t)}^{\rm{T} } }g({ {{w} }_i}^t)} }$;
     (10)   ${{{p}}^{t + 1}} = - g({{{w}}_i}^{t + 1}) + {\beta ^t}{{{p}}^t}$;
     (11) $t \leftarrow t + 1$;
     (12) until $\left\| {g({ {{w} }_i}^t)} \right\| \le \varepsilon$; /*算法达到收敛准则,停止迭代*/
     (13) ${{{w}}_i}^* \leftarrow {{{w}}_i}^t$;
    下载: 导出CSV

    表  2  分布式弹性网络回归学习算法流程

     输入:物联网节点的样本数据,包括特征向量${{{x}}_{ij}}$;相应因变量${y_{ij}}$;
     输出:最终结果$\alpha = \left\{ {({{{w}}^*},{b^*})} \right\}$;
     (1) 服务器初始参数设置:$k = 0,\;\;\overline w = 0,\;\;{\overline b ^0} = 0,\;\;{\varepsilon ^{{\rm{rel}}}} = 1e - 2,\;\;{\varepsilon ^{{\rm{abs}}}} = 1e - 4$;
     (2) 物联网节点i参数设置: $k = 0,\gamma _{i,w}^0 = 0,\gamma _{i,b}^0 = 0$;
     (3)Repeat /*算法进行迭代*/
     (4)   服务器整合物联网节点上传的中间参数$\left( {{{w}}_i^k,b_i^k} \right)$及$\left( {\gamma _{i,w}^k,\gamma _{i,b}^k} \right)$,求得各变量均值${\overline {{w}} ^k},{\overline b ^k},{\overline {{\gamma _w}} ^k},{\overline {{\gamma _b}} ^k}$,根据式(12)和式(13)更新参数
         $\left( {{{{w}}^{k + 1}},{b^{k + 1}}} \right)$,并将结果广播给物联网节点;
     (5)   物联网节点i根据服务器提供的参数$\left( {{{{w}}^{k + 1}},{b^{k + 1}}} \right)$对问题式(14)进行求解得到参数$\left( {{{w}}_i^{k + 1},b_i^{k + 1}} \right)$;
     (6)   物联网节点i根据式(17)和式(18)更新对偶变量$\left( {\gamma _{i,w}^{k + 1},\gamma _{i,b}^{k + 1}} \right)$;
     (7)   物联网节点i向服务器发送新的中间参数$\left( {{{w}}_i^{k + 1},b_i^{k + 1}} \right)$及$\left( {\gamma _{i,w}^{k + 1},\gamma _{i,b}^{k + 1}} \right)$;
     (8) $ k \leftarrow k + 1$;
     (9) until ${\left\| { {r^k} } \right\|_2} \le {\varepsilon ^{ {\rm{rel} } } }{\rm{,} }{\left\| { {s^k} } \right\|_2} \le {\varepsilon ^{ {\rm{abs} } } }$; /*算法达到收敛准则,停止迭代*/
    下载: 导出CSV
  • [1] BOYD S, PARIKH N, CHU E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends® in Machine Learning, 2011, 3(1): 1–122. doi:  10.1561/2200000016
    [2] 邵振峰, 蔡家骏, 王中元, 等. 面向智能监控摄像头的监控视频大数据分析处理[J]. 电子与信息学报, 2017, 39(5): 1116–1122. doi:  10.11999/JEIT160712

    SHAO Zhenfeng, CAI Jiajun, WANG Zhongyuan, et al. Analytical processing method of big surveillance video data based on smart monitoring cameras[J]. Journal of Electronics &Information Technology, 2017, 39(5): 1116–1122. doi:  10.11999/JEIT160712
    [3] DHAR S, YI C R, RAMAKRISHNAN N, et al. ADMM based scalable machine learning on spark[C]. 2015 IEEE International Conference on Big Data (Big Data), Santa Clara, USA, 2015: 1174–1182. doi: 10.1109/BigData.2015.7363871.
    [4] 赵海涛, 朱银阳, 丁仪, 等. 车联网中基于移动边缘计算的内容感知分类卸载算法研究[J]. 电子与信息学报, 2020, 42(1): 20–27. doi:  10.11999/JEIT190594

    ZHAO Haitao, ZHU Yinyang, DING Yi, et al. Research on content-aware classification offloading algorithm based on mobile edge calculation in the internet of vehicles[J]. Journal of Electronics &Information Technology, 2020, 42(1): 20–27. doi:  10.11999/JEIT190594
    [5] SHI Weisong, ZHANG Xingzhou, WANG Yifan, et al. Edge computing: State-of-the-art and future directions[J]. Journal of Computer Research and Development, 2019, 56(1): 69–89. doi:  10.7544/issn1000-1239.2019.20180760
    [6] CHOUDHURY T, GUPTA A, PRADHAN S, et al. Privacy and security of cloud-based Internet of Things (IoT)[C]. The 3rd International Conference on Computational Intelligence and Networks (CINE), Odisha, India, 2017: 40–45. doi: 10.1109/CINE.2017.28.
    [7] ZOU Hui and HASTIE T. Regularization and variable selection via the elastic net[J]. Journal of the Royal Statistical Society: Series B (Statistical Methodology) , 2005, 67(2): 301–320. doi:  10.1111/j.1467-9868.2005.00503.x
    [8] SHEN Yi, HAN Bing, and BRAVERMAN E. Stability of the elastic net estimator[J]. Journal of Complexity, 2016, 32(1): 20–39. doi:  10.1016/j.jco.2015.07.002
    [9] LUO Hezhi, SUN Xiaoling, and LI Duan. On the convergence of augmented lagrangian methods for constrained global optimization[J]. SIAM Journal on Optimization, 2007, 18(4): 1209–1230. doi:  10.1137/060667086
    [10] BERTSEKAS D P and TSITSIKLIS J N. Parallel and Distributed Computation: Numerical Methods[M]. London: Prentice Hall, 1989.
    [11] ZHANG Yueqin, ZHENG Hao, and ZHANG Chuanlin. Global convergence of a modified PRP conjugate gradient method[J]. Procedia Engineering, 2012, 31: 986–995. doi:  10.1016/j.proeng.2012.01.1131
    [12] HE Bingsheng and YUAN Xiaoming. On the O(1/n) convergence rate of the Douglas-Rachford alternating direction method[J]. SIAM Journal on Numerical Analysis, 2012, 50(2): 700–709. doi:  10.1137/110836936
    [13] NISHIHARA R, LESSARD L, RECHT B, et al. A general analysis of the convergence of ADMM[C]. The 32nd International Conference on International Conference on Machine Learning, Lille, France, 2015: 343–352.
    [14] EFRON B, HASTIE T, JOHNSTONE I, et al. Least angle regression[J]. Annals of Statistics, 2004, 32(2): 407–451. doi:  10.1214/009053604000000067
    [15] SPENCER B, ALFANDI O, and AL-OBEIDAT F. A refinement of lasso regression applied to temperature forecasting[J]. Procedia Computer Science, 2018, 130: 728–735. doi:  10.1016/j.procs.2018.04.127
  • [1] 程一凡, 曲至诚, 张更新.  低轨卫星星座物联网业务量建模, 电子与信息学报. doi: 10.11999/JEIT200091
    [2] 张普宁, 亢旭源, 刘宇哲, 李学芳, 吴大鹏, 王汝言.  相似度自适应估计的物联网实体高效搜索方法, 电子与信息学报. doi: 10.11999/JEIT190541
    [3] 赵星, 彭建华, 游伟, 陈璐.  基于k-匿名的隐私保护计算卸载方法, 电子与信息学报. doi: 10.11999/JEIT191046
    [4] 夏士超, 姚枝秀, 鲜永菊, 李云.  移动边缘计算中分布式异构任务卸载算法, 电子与信息学报. doi: 10.11999/JEIT190728
    [5] 蒋俊正, 李杨剑, 赵海兵, 欧阳缮.  一种大规模传感器网络节点分布式定位算法, 电子与信息学报. doi: 10.11999/JEIT181101
    [6] 肖帅芳, 郭云飞, 白慧卿, 金梁, 黄开枝.  面向物联网准静态信道的中继协作密钥生成方法, 电子与信息学报. doi: 10.11999/JEIT170384
    [7] 贺文武, 夏巧桥, 邹炼.  基于变量节点更新的交替方向乘子法 LDPC惩罚译码算法, 电子与信息学报. doi: 10.11999/JEIT170358
    [8] 陈爱国, 王士同.  具有隐私保护功能的知识迁移聚类算法, 电子与信息学报. doi: 10.11999/JEIT150645
    [9] 罗恩韬, 王国军.  移动社交网络中一种朋友发现的隐私安全保护策略, 电子与信息学报. doi: 10.11999/JEIT151479
    [10] 张普宁, 刘元安, 吴帆, 唐碧华, 吴超.  物联网中适用于内容搜索的实体状态匹配预测方法, 电子与信息学报. doi: 10.11999/JEIT150191
    [11] 杨立君, 丁超, 吴蒙.  一种同时保障隐私性与完整性的无线传感器网络可恢复数据聚合方案, 电子与信息学报. doi: 10.11999/JEIT150208
    [12] 葛国栋, 郭云飞, 刘彩霞, 兰巨龙.  内容中心网络中面向隐私保护的协作缓存策略, 电子与信息学报. doi: 10.11999/JEIT140874
    [13] 冯维, 冯穗力, 丁跃华, 黄鑫.  无线多跳网络下基于过时信道状态信息的跨层资源分配, 电子与信息学报. doi: 10.3724/SP.J.1146.2013.00546
    [14] 戴华, 秦小麟, 刘亮, 季一木, 付雄, 孙研.  基于Z-O编码的两层WSNs隐私保护最值查询处理协议, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.00940
    [15] 杨龙, 阔永红, 陈健, 丁彦君.  认知中继网络的多中继选择方法, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.01337
    [16] 黄辰, 张伟, 李可维, 黄本雄, 戴彬.  基于层次化网络编码的无线物联网协作切换机制, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.00468
    [17] 钱志鸿, 王义君.  面向物联网的无线传感器网络综述, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.00876
    [18] 王向阳, 张源.  一种改进的分布式最大权独立集算法, 电子与信息学报. doi: 10.3724/SP.J.1146.2011.00732
    [19] 王义君, 钱志鸿, 王雪, 孙大洋.  基于6LoWPAN的物联网寻址策略研究, 电子与信息学报. doi: 10.3724/SP.J.1146.2011.01368
    [20] 彭志宇, 李善平.  移动环境下LBS位置隐私保护, 电子与信息学报. doi: 10.3724/SP.J.1146.2010.01050
  • 加载中
  • 图(13) / 表ll (2)
    计量
    • 文章访问数:  681
    • HTML全文浏览量:  616
    • PDF下载量:  40
    • 被引次数: 0
    出版历程
    • 收稿日期:  2019-09-25
    • 修回日期:  2020-05-12
    • 网络出版日期:  2020-05-17
    • 刊出日期:  2020-10-13

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注