高级搜索

基于多通道调频连续波毫米波雷达的微动手势识别

夏朝阳 周成龙 介钧誉 周涛 汪相锋 徐丰

引用本文: 夏朝阳, 周成龙, 介钧誉, 周涛, 汪相锋, 徐丰. 基于多通道调频连续波毫米波雷达的微动手势识别[J]. 电子与信息学报, 2020, 42(1): 164-172. doi: 10.11999/JEIT190797 shu
Citation:  Zhaoyang XIA, Chenglong ZHOU, Junyu JIE, Tao ZHOU, Xiangfeng WANG, Feng XU. Micro-motion Gesture Recognition Based on Multi-channel Frequency Modulated Continuous Wave Millimeter Wave Radar[J]. Journal of Electronics and Information Technology, 2020, 42(1): 164-172. doi: 10.11999/JEIT190797 shu

基于多通道调频连续波毫米波雷达的微动手势识别

    作者简介: 夏朝阳: 男,1993年生,博士生,研究方向为雷达信号处理、目标识别和深度学习;
    周成龙: 男,1995年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    介钧誉: 男,1993年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    周涛: 男,1996年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    汪相锋: 男,1995年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    徐丰: 男,1982年生,教授,博士生导师,研究方向为SAR图像解译、电磁散射建模和类脑人工智能
    通讯作者: 徐丰,fengxu@fudan.edu.cn
  • 基金项目: 国家自然科学基金(61822107)

摘要: 该文提出一种基于多通道调频连续波(FMCW)毫米波雷达的微动手势识别方法,并给出一种微动手势特征提取的最优雷达参数设计准则。通过对手部反射的雷达回波进行时频分析处理,估计目标的距离多普勒谱、距离谱、多普勒谱和水平方向角度谱。设计固定帧时间长度拼接的距离-多普勒-时间图特征,与距离-时间特征、多普勒-时间特征、水平方向角度-时间图特征和三者联合特征等,分别对7类微动手势进行表征。根据手势运动过程振幅和速度差异,进行手势特征捕获和对齐。利用仅有5层的轻量化卷积神经网络对微动手势特征进行分类。实验结果表明,相较其他特征,设计的距离-多普勒-时间图特征能够更为准确地表征微动手势,且对未经训练的测试对象具有更好的泛化能力。

English

    1. [1]

      WAN Qian, LI Yiran, LI Changzhi, et al. Gesture recognition for smart home applications using portable radar sensors[C]. The 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Chicago, USA, 2014: 6414–6417.

    2. [2]

      KHAN F, LEEM S K, and CHO S H. Hand-based gesture recognition for vehicular applications using IR-UWB radar[J]. Sensors, 2017, 17(4): 833. doi: 10.3390/s17040833

    3. [3]

      XIA Zia, SANG Xinzhu, CHEN Duo, et al. An interactive VR system based on full-body tracking and gesture recognition[C]. The SPIE 10021, Optical Design and Testing VⅡ, Beijing, China 2016: 1002129.

    4. [4]

      LEE B G and LEE S M. Smart wearable hand device for sign language interpretation system with sensors fusion[J]. IEEE Sensors Journal, 2018, 18(3): 1224–1232. doi: 10.1109/JSEN.2017.2779466

    5. [5]

      TARANTA Ⅱ E M, SIMONS T K, SUKTHANKAR R, et al. Exploring the benefits of context in 3D gesture recognition for game-based virtual environments[J]. ACM Transactions on Interactive Intelligent Systems, 2015, 5(1): Article No.1.

    6. [6]

      BONATO V, FERNANDES M M, and MARQUES E. A smart camera with gesture recognition and SLAM capabilities for mobile robots[J]. International Journal of Electronics, 2006, 93(6): 385–401. doi: 10.1080/00207210600565465

    7. [7]

      孟春宁, 吕建平, 陈萱华. 基于普通红外摄像机的手势识别[J]. 计算机工程与应用, 2015, 51(16): 17–22. doi: 10.3778/j.issn.1002-8331.1504-0303
      MENG Chunning, LÜ Jianping, and CHEN Xuanhua. Gesture recognition based on universal infrared camera[J]. Computer Engineering and Applications, 2015, 51(16): 17–22. doi: 10.3778/j.issn.1002-8331.1504-0303

    8. [8]

      PLOUFFE G and CRETU A M. Static and dynamic hand gesture recognition in depth data using dynamic time warping[J]. IEEE Transactions on Instrumentation and Measurement, 2016, 65(2): 305–316. doi: 10.1109/TIM.2015.2498560

    9. [9]

      YANG Qifan, TANG Hao, ZHAO Xuebing, et al. Dolphin: Ultrasonic-based gesture recognition on smartphone platform[C]. The 2014 IEEE 17th International Conference on Computational Science and Engineering, Chengdu, China, 2014: 1461–1468.

    10. [10]

      KELLOGG B, TALLA V, and GOLLAKOTA S. Bringing gesture recognition to all devices[C]. The 11th Usenix Conference on Networked Systems Design and Implementation, Seattle, USA, 2014: 303–316.

    11. [11]

      ZOU Yongpan, XIAO Jiang, HAN Jinsong, et al. GRfid: A device-free RFID-based gesture recognition system[J]. IEEE Transactions on Mobile Computing, 2017, 16(2): 381–393. doi: 10.1109/TMC.2016.2549518

    12. [12]

      ABDELNASSER H, YOUSSEF M, and HARRAS K A. WiGest: A ubiquitous WiFi-based gesture recognition system[C]. Proceedings of IEEE Conference on Computer Communications, Hongkong, China, 2015: 1472–1480.

    13. [13]

      ZHANG Jiajun, TAO Jinkun, and SHI Zhiguo. Doppler-radar based hand gesture recognition system using convolutional neural networks[C]. The 2017 International Conference on Communications, Signal Processing, and Systems, Singapore, 2019: 1096–1113.

    14. [14]

      LIEN J, GILLIAN N, KARAGOZLER M, et al. Soli: Ubiquitous gesture sensing with millimeter wave radar[J]. ACM Transactions on Graphics, 2016, 35(4): Article No.142.

    15. [15]

      WANG Saiwen, SONG Jie, LIEN J, et al. Interacting with Soli: Exploring fine-grained dynamic gesture recognition in the radio-frequency spectrum[C]. The 29th Annual Symposium on User Interface Software and Technology, Tokyo, Japan, 2016: 851–860.

    16. [16]

      HAZRA S and SANTRA A. Robust gesture recognition using Millimetric-wave radar system[J]. IEEE Sensors Letters, 2018, 2(4): 7001804.

    17. [17]

      MALYSA G, WANG Dan, NETSCH L, et al. Hidden Markov model-based gesture recognition with FMCW radar[C]. 2016 IEEE Global Conference on Signal and Information Processing, Washington, USA, 2016: 1017–1021.

    18. [18]

      王勇, 吴金君, 田增山, 等. 基于FMCW雷达的多维参数手势识别算法[J]. 电子与信息学报, 2019, 41(4): 822–829. doi: 10.11999/JEIT180485
      WANG YONG, WU Jinjun, TIAN Zengshan, et al. Gesture recognition with multi-dimensional parameter using FMCW radar[J]. Journal of Electronics &Information Technology, 2019, 41(4): 822–829. doi: 10.11999/JEIT180485

    19. [19]

      刘熠辰, 徐丰. 基于雷达技术的手势识别[J]. 中国电子科学研究院学报, 2016, 11(6): 609–613. doi: 10.3969/j.issn.1673-5692.2016.06.009
      LIU Yichen and XU Feng. Gesture recognition based on radar technology[J]. Journal of CAEIT, 2016, 11(6): 609–613. doi: 10.3969/j.issn.1673-5692.2016.06.009

    1. [1]

      罗磊, 李跃华. 基于非相关判别邻域保持投影的毫米波雷达目标识别. 电子与信息学报, 2010, 32(11): 2751-2754.

    2. [2]

      郭晨, 简涛, 徐从安, 何友, 孙顺. 基于深度多尺度一维卷积神经网络的雷达舰船目标识别. 电子与信息学报, 2019, 41(6): 1302-1309.

    3. [3]

      贺丰收, 何友, 刘准钆, 徐从安. 卷积神经网络在雷达自动目标识别中的研究进展. 电子与信息学报, 2020, 42(1): 119-131.

    4. [4]

      王宝帅, 兰竹, 李正杰, 王小斌, 胡洪涛. 毫米波雷达机场跑道异物分层检测算法. 电子与信息学报, 2018, 40(11): 2676-2683.

    5. [5]

      贾高伟, 常文革. 调频连续波SAR实时成像算法研究. 电子与信息学报, 2013, 35(10): 2453-2459.

    6. [6]

      李烈辰, 李道京, 张清娟. 基于压缩感知的三孔径毫米波合成孔径雷达侧视三维成像. 电子与信息学报, 2013, 35(3): 552-558.

    7. [7]

      贾海昆, 池保勇. 硅基毫米波雷达芯片研究现状与发展. 电子与信息学报, 2020, 42(1): 173-190.

    8. [8]

      李东, 廖桂生, 王威, 徐青, 党博. 直升机载调频连续波旋转式SAR信号分析与成像算法研究. 电子与信息学报, 2013, 35(10): 2460-2466.

    9. [9]

      罗运华, 宋红军, 王宇, 郑世超. 基于精确二维频谱的调频连续波SAR动目标特性分析. 电子与信息学报, 2013, 35(8): 1834-1840.

    10. [10]

      潘舟浩, 刘波, 李道京, 乔明. 毫米波三基线InSAR系统误差校正和信号分析. 电子与信息学报, 2011, 33(10): 2464-2470.

    11. [11]

      杨晓琳, 谭维贤, 林赟, 王彦平, 洪文. 基于单特显点调频连续波阵列SAR系统幅相误差校正方法研究. 电子与信息学报, 2014, 36(11): 2672-2677.

    12. [12]

      杨宏宇, 王峰岩. 基于深度卷积神经网络的气象雷达噪声图像语义分割方法. 电子与信息学报, 2019, 41(10): 2373-2381.

    13. [13]

      王勇, 吴金君, 田增山, 周牧, 王沙沙. 基于FMCW雷达的多维参数手势识别算法. 电子与信息学报, 2019, 41(4): 822-829.

    14. [14]

      刘天亮, 谯庆伟, 万俊伟, 戴修斌, 罗杰波. 融合空间-时间双网络流和视觉注意的人体行为识别. 电子与信息学报, 2018, 40(10): 2395-2401.

    15. [15]

      秦华标, 曹钦平. 基于FPGA的卷积神经网络硬件加速器设计. 电子与信息学报, 2019, 41(11): 2599-2605.

    16. [16]

      杜兰, 刘彬, 王燕, 刘宏伟, 代慧. 基于卷积神经网络的SAR图像目标检测算法. 电子与信息学报, 2016, 38(12): 3018-3025.

    17. [17]

      王鑫, 李可, 宁晨, 黄凤辰. 基于深度卷积神经网络和多核学习的遥感图像分类方法. 电子与信息学报, 2019, 41(5): 1098-1105.

    18. [18]

      吕晓琪, 吴凉, 谷宇, 张明, 李菁. 基于深度卷积神经网络的低剂量CT肺部去噪. 电子与信息学报, 2018, 40(6): 1353-1359.

    19. [19]

      李寰宇, 毕笃彦, 查宇飞, 杨源. 一种易于初始化的类卷积神经网络视觉跟踪算法. 电子与信息学报, 2016, 38(1): 1-7.

    20. [20]

      吴泽民, 王军, 胡磊, 田畅, 曾明勇, 杜麟. 基于卷积神经网络与全局优化的协同显著性检测. 电子与信息学报, 2018, 40(12): 2896-2904.

  • 图 1  实验流程图

    图 2  7类微动手势的动作示意图与5种特征图

    图 3  单通道与8通道平均的手势帧RD图信噪比对比

    表 1  不同时间长度特征的分类准确率对比(%)

    数据集长度 6帧 8帧 10帧 15帧
    平均分类准确率 76.86 91.86 99.14 99.29
    下载: 导出CSV

    表 2  多种手势表征方法的对比

    特征类型 分类方法 5名训练对象平均
    分类准确率(%)
    SC-RDTM 单通道CNN 98.28
    CA-RDTM 单通道CNN 99.14
    CA-DTM 单通道CNN 97.14
    CA-RTM 单通道CNN 88.00
    HATM 单通道CNN 71.71
    CA-RTM, CA-DTM
    与HATM联合
    3通道CNN 93.57
    下载: 导出CSV

    表 3  多种手势表征方法的对比

    特征类型 分类方法 测试对象A平均分类准确率(%) 测试对象B平均分类准确率(%)
    SC-RDTM 单通道CNN 86.00 84.29
    CA-RDTM 单通道CNN 87.71 85.43
    CA-DTM 单通道CNN 84.57 83.43
    CA-RTM 单通道CNN 27.14 25.42
    HATM 单通道CNN 34.28 30.57
    CA-RTM, CA-DTM与HATM联合 3通道CNN 65.14 55.71
    下载: 导出CSV

    表 4  7种微动手势分类的混淆矩阵

    预测类别
    食指双击 食指顺时
    针绕圈
    食指逆时
    针绕圈
    食指拇
    指分开
    食指拇
    指并拢
    拇指在食指
    上前搓动
    拇指在食指
    上后搓动
    准确度(%)
    真实类别 食指双击 100 0 0 0 0 0 0 100
    食指顺时针绕圈 0 100 0 0 0 0 0 100
    食指逆时针绕圈 0 0 100 0 0 0 0 100
    食指拇指分开 0 0 0 100 0 0 0 100
    食指拇指并拢 0 0 0 0 98 0 2 98
    拇指在食指上前搓动 0 0 0 0 0 100 0 100
    拇指在食指上后搓动 0 0 0 0 4 0 96 96
    准确度(%) 100 100 100 100 96.08 100 97.96 99.14
    下载: 导出CSV

    表 5  测试对象A 7类微动手势分类的混淆矩阵

    预测类别
    食指双击 食指顺时
    针绕圈
    食指逆时
    针绕圈
    食指拇
    指分开
    食指拇
    指并拢
    拇指在食指
    上前搓动
    拇指在食指
    上后搓动
    准确度(%)
    真实类别 食指双击 46 3 1 0 0 0 0 92
    食指顺时针绕圈 0 35 15 0 0 0 0 70
    食指逆时针绕圈 3 13 34 0 0 0 0 68
    食指拇指分开 0 0 0 49 0 1 0 98
    食指拇指并拢 0 0 0 0 46 0 4 92
    拇指在食指上前搓动 0 0 0 1 0 49 0 98
    拇指在食指上后搓动 0 0 0 0 2 0 48 96
    准确度(%) 93.88 68.63 68 98 95.83 98 92.31 87.71
    下载: 导出CSV

    表 6  测试对象B 7类微动手势分类的混淆矩阵

    预测类别
    食指双击 食指顺
    时针绕圈
    食指逆时
    针绕圈
    食指拇
    指分开
    食指拇
    指并拢
    拇指在食指
    上前搓动
    拇指在食指
    上后搓动
    准确度(%)
    真实类别 食指双击 45 2 3 0 0 0 0 90
    食指顺时针绕圈 0 32 18 0 0 0 0 64
    食指逆时针绕圈 1 16 33 0 0 0 0 66
    食指拇指分开 0 0 0 46 0 4 0 92
    食指拇指并拢 0 0 0 0 48 0 2 96
    拇指在食指上前搓动 0 0 0 2 0 48 0 96
    拇指在食指上后搓动 0 0 0 0 3 0 47 94
    准确度(%) 97.83 64 61.11 95.83 94.12 92.31 95.92 85.43
    下载: 导出CSV
  • 加载中
图(3)表(6)
计量
  • PDF下载量:  17
  • 文章访问数:  414
  • HTML全文浏览量:  164
文章相关
  • 通讯作者:  徐丰, fengxu@fudan.edu.cn
  • 收稿日期:  2019-10-16
  • 录用日期:  2019-11-27
  • 网络出版日期:  2019-12-09
  • 刊出日期:  2020-01-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章