高级搜索

基于多通道调频连续波毫米波雷达的微动手势识别

夏朝阳 周成龙 介钧誉 周涛 汪相锋 徐丰

引用本文: 夏朝阳, 周成龙, 介钧誉, 周涛, 汪相锋, 徐丰. 基于多通道调频连续波毫米波雷达的微动手势识别[J]. 电子与信息学报, 2020, 42(1): 164-172. doi: 10.11999/JEIT190797 shu
Citation:  Zhaoyang XIA, Chenglong ZHOU, Junyu JIE, Tao ZHOU, Xiangfeng WANG, Feng XU. Micro-motion Gesture Recognition Based on Multi-channel Frequency Modulated Continuous Wave Millimeter Wave Radar[J]. Journal of Electronics and Information Technology, 2020, 42(1): 164-172. doi: 10.11999/JEIT190797 shu

基于多通道调频连续波毫米波雷达的微动手势识别

    作者简介: 夏朝阳: 男,1993年生,博士生,研究方向为雷达信号处理、目标识别和深度学习;
    周成龙: 男,1995年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    介钧誉: 男,1993年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    周涛: 男,1996年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    汪相锋: 男,1995年生,硕士生,研究方向为雷达目标识别和深度学习应用;
    徐丰: 男,1982年生,教授,博士生导师,研究方向为SAR图像解译、电磁散射建模和类脑人工智能
    通讯作者: 徐丰,fengxu@fudan.edu.cn
  • 基金项目: 国家自然科学基金(61822107)

摘要: 该文提出一种基于多通道调频连续波(FMCW)毫米波雷达的微动手势识别方法,并给出一种微动手势特征提取的最优雷达参数设计准则。通过对手部反射的雷达回波进行时频分析处理,估计目标的距离多普勒谱、距离谱、多普勒谱和水平方向角度谱。设计固定帧时间长度拼接的距离-多普勒-时间图特征,与距离-时间特征、多普勒-时间特征、水平方向角度-时间图特征和三者联合特征等,分别对7类微动手势进行表征。根据手势运动过程振幅和速度差异,进行手势特征捕获和对齐。利用仅有5层的轻量化卷积神经网络对微动手势特征进行分类。实验结果表明,相较其他特征,设计的距离-多普勒-时间图特征能够更为准确地表征微动手势,且对未经训练的测试对象具有更好的泛化能力。

English

    1. [1]

      WAN Qian, LI Yiran, LI Changzhi, et al. Gesture recognition for smart home applications using portable radar sensors[C]. The 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Chicago, USA, 2014: 6414–6417.

    2. [2]

      KHAN F, LEEM S K, and CHO S H. Hand-based gesture recognition for vehicular applications using IR-UWB radar[J]. Sensors, 2017, 17(4): 833. doi: 10.3390/s17040833

    3. [3]

      XIA Zia, SANG Xinzhu, CHEN Duo, et al. An interactive VR system based on full-body tracking and gesture recognition[C]. The SPIE 10021, Optical Design and Testing VⅡ, Beijing, China 2016: 1002129.

    4. [4]

      LEE B G and LEE S M. Smart wearable hand device for sign language interpretation system with sensors fusion[J]. IEEE Sensors Journal, 2018, 18(3): 1224–1232. doi: 10.1109/JSEN.2017.2779466

    5. [5]

      TARANTA Ⅱ E M, SIMONS T K, SUKTHANKAR R, et al. Exploring the benefits of context in 3D gesture recognition for game-based virtual environments[J]. ACM Transactions on Interactive Intelligent Systems, 2015, 5(1): Article No.1.

    6. [6]

      BONATO V, FERNANDES M M, and MARQUES E. A smart camera with gesture recognition and SLAM capabilities for mobile robots[J]. International Journal of Electronics, 2006, 93(6): 385–401. doi: 10.1080/00207210600565465

    7. [7]

      孟春宁, 吕建平, 陈萱华. 基于普通红外摄像机的手势识别[J]. 计算机工程与应用, 2015, 51(16): 17–22. doi: 10.3778/j.issn.1002-8331.1504-0303
      MENG Chunning, LÜ Jianping, and CHEN Xuanhua. Gesture recognition based on universal infrared camera[J]. Computer Engineering and Applications, 2015, 51(16): 17–22. doi: 10.3778/j.issn.1002-8331.1504-0303

    8. [8]

      PLOUFFE G and CRETU A M. Static and dynamic hand gesture recognition in depth data using dynamic time warping[J]. IEEE Transactions on Instrumentation and Measurement, 2016, 65(2): 305–316. doi: 10.1109/TIM.2015.2498560

    9. [9]

      YANG Qifan, TANG Hao, ZHAO Xuebing, et al. Dolphin: Ultrasonic-based gesture recognition on smartphone platform[C]. The 2014 IEEE 17th International Conference on Computational Science and Engineering, Chengdu, China, 2014: 1461–1468.

    10. [10]

      KELLOGG B, TALLA V, and GOLLAKOTA S. Bringing gesture recognition to all devices[C]. The 11th Usenix Conference on Networked Systems Design and Implementation, Seattle, USA, 2014: 303–316.

    11. [11]

      ZOU Yongpan, XIAO Jiang, HAN Jinsong, et al. GRfid: A device-free RFID-based gesture recognition system[J]. IEEE Transactions on Mobile Computing, 2017, 16(2): 381–393. doi: 10.1109/TMC.2016.2549518

    12. [12]

      ABDELNASSER H, YOUSSEF M, and HARRAS K A. WiGest: A ubiquitous WiFi-based gesture recognition system[C]. Proceedings of IEEE Conference on Computer Communications, Hongkong, China, 2015: 1472–1480.

    13. [13]

      ZHANG Jiajun, TAO Jinkun, and SHI Zhiguo. Doppler-radar based hand gesture recognition system using convolutional neural networks[C]. The 2017 International Conference on Communications, Signal Processing, and Systems, Singapore, 2019: 1096–1113.

    14. [14]

      LIEN J, GILLIAN N, KARAGOZLER M, et al. Soli: Ubiquitous gesture sensing with millimeter wave radar[J]. ACM Transactions on Graphics, 2016, 35(4): Article No.142.

    15. [15]

      WANG Saiwen, SONG Jie, LIEN J, et al. Interacting with Soli: Exploring fine-grained dynamic gesture recognition in the radio-frequency spectrum[C]. The 29th Annual Symposium on User Interface Software and Technology, Tokyo, Japan, 2016: 851–860.

    16. [16]

      HAZRA S and SANTRA A. Robust gesture recognition using Millimetric-wave radar system[J]. IEEE Sensors Letters, 2018, 2(4): 7001804.

    17. [17]

      MALYSA G, WANG Dan, NETSCH L, et al. Hidden Markov model-based gesture recognition with FMCW radar[C]. 2016 IEEE Global Conference on Signal and Information Processing, Washington, USA, 2016: 1017–1021.

    18. [18]

      王勇, 吴金君, 田增山, 等. 基于FMCW雷达的多维参数手势识别算法[J]. 电子与信息学报, 2019, 41(4): 822–829. doi: 10.11999/JEIT180485
      WANG YONG, WU Jinjun, TIAN Zengshan, et al. Gesture recognition with multi-dimensional parameter using FMCW radar[J]. Journal of Electronics &Information Technology, 2019, 41(4): 822–829. doi: 10.11999/JEIT180485

    19. [19]

      刘熠辰, 徐丰. 基于雷达技术的手势识别[J]. 中国电子科学研究院学报, 2016, 11(6): 609–613. doi: 10.3969/j.issn.1673-5692.2016.06.009
      LIU Yichen and XU Feng. Gesture recognition based on radar technology[J]. Journal of CAEIT, 2016, 11(6): 609–613. doi: 10.3969/j.issn.1673-5692.2016.06.009

    1. [1]

      缪祥华, 单小撤. 基于密集连接卷积神经网络的入侵检测技术研究. 电子与信息学报, 2020, 41(0): 1-7.

    2. [2]

      申铉京, 沈哲, 黄永平, 王玉. 基于非局部操作的深度卷积神经网络车位占用检测算法. 电子与信息学报, 2020, 41(0): 1-8.

    3. [3]

      刘小燕, 李照明, 段嘉旭, 项天远. 基于卷积神经网络的印刷电路板板色环电阻检测与定位方法. 电子与信息学报, 2020, 41(0): 1-10.

    4. [4]

      赵斌, 王春平, 付强. 显著性背景感知的多尺度红外行人检测方法. 电子与信息学报, 2020, 42(0): 1-9.

    5. [5]

      陈根华, 陈伯孝. 复杂多径信号下基于空域变换的米波雷达稳健测高算法. 电子与信息学报, 2020, 42(5): 1297-1302.

    6. [6]

      项厚宏, 陈伯孝, 杨婷, 杨明磊. 基于多帧相位增强的米波雷达低仰角目标DOA估计方法. 电子与信息学报, 2020, 42(7): 1581-1589.

    7. [7]

      徐少平, 林珍玉, 崔燕, 刘蕊蕊, 杨晓辉. 采用双通道卷积神经网络构建的随机脉冲噪声深度降噪模型. 电子与信息学报, 2020, 41(0): 1-8.

    8. [8]

      柳长源, 王琪, 毕晓君. 基于多通道多尺度卷积神经网络的单幅图像去雨方法. 电子与信息学报, 2020, 42(0): 1-8.

    9. [9]

      游凌, 李伟浩, 张文林, 王科人. 基于深度神经网络的Morse码自动译码算法. 电子与信息学报, 2020, 41(0): 1-6.

    10. [10]

      归伟夏, 陆倩, 苏美力. 关于系统级故障诊断的烟花-反向传播神经网络算法. 电子与信息学报, 2020, 42(5): 1102-1109.

    11. [11]

      邵凯, 李述栋, 王光宇, 付天飞. 基于迟滞噪声混沌神经网络的导频分配. 电子与信息学报, 2020, 41(0): 1-8.

    12. [12]

      胡召鹏, 李实锋, 向渝. 一种新型调频广播授时信号体制研究. 电子与信息学报, 2020, 42(7): 1661-1665.

    13. [13]

      孙闽红, 丁辰伟, 张树奇, 鲁加战, 邵鹏飞. 基于统计相关差异的多基地雷达拖引欺骗干扰识别. 电子与信息学报, 2020, 42(0): 1-7.

    14. [14]

      张文明, 姚振飞, 高雅昆, 李海滨. 一种平衡准确性以及高效性的显著性目标检测深度卷积网络模型. 电子与信息学报, 2020, 42(5): 1201-1208.

    15. [15]

      宋晨, 周良将, 吴一戎, 丁赤飚. 基于时频集中度指标的多旋翼无人机微动特征参数估计方法. 电子与信息学报, 2020, 42(0): 1-8.

    16. [16]

      兰红, 方治屿. 零样本图像识别. 电子与信息学报, 2020, 42(5): 1188-1200.

    17. [17]

      刘新, 阎焜, 杨光耀, 叶盛波, 张群英, 方广有. UWB-MIMO穿墙雷达三维成像与运动补偿算法研究. 电子与信息学报, 2020, 41(0): 1-8.

    18. [18]

      闵林, 王宁, 毋琳, 李宁, 赵建辉. 基于多源雷达遥感技术的黄河径流反演研究. 电子与信息学报, 2020, 42(7): 1590-1598.

    19. [19]

      周宝亮. 分布式相参雷达LFM宽带去斜参数估计方法. 电子与信息学报, 2020, 42(7): 1566-1572.

    20. [20]

      刘汝卿, 蒋衍, 姜成昊, 李锋, 朱精果. 应用于激光雷达信号处理系统的放大电路接口设计. 电子与信息学报, 2020, 42(7): 1636-1642.

  • 图 1  实验流程图

    图 2  7类微动手势的动作示意图与5种特征图

    图 3  单通道与8通道平均的手势帧RD图信噪比对比

    表 1  不同时间长度特征的分类准确率对比(%)

    数据集长度 6帧 8帧 10帧 15帧
    平均分类准确率 76.86 91.86 99.14 99.29
    下载: 导出CSV

    表 2  多种手势表征方法的对比

    特征类型 分类方法 5名训练对象平均
    分类准确率(%)
    SC-RDTM 单通道CNN 98.28
    CA-RDTM 单通道CNN 99.14
    CA-DTM 单通道CNN 97.14
    CA-RTM 单通道CNN 88.00
    HATM 单通道CNN 71.71
    CA-RTM, CA-DTM
    与HATM联合
    3通道CNN 93.57
    下载: 导出CSV

    表 3  多种手势表征方法的对比

    特征类型 分类方法 测试对象A平均分类准确率(%) 测试对象B平均分类准确率(%)
    SC-RDTM 单通道CNN 86.00 84.29
    CA-RDTM 单通道CNN 87.71 85.43
    CA-DTM 单通道CNN 84.57 83.43
    CA-RTM 单通道CNN 27.14 25.42
    HATM 单通道CNN 34.28 30.57
    CA-RTM, CA-DTM与HATM联合 3通道CNN 65.14 55.71
    下载: 导出CSV

    表 4  7种微动手势分类的混淆矩阵

    预测类别
    食指双击 食指顺时
    针绕圈
    食指逆时
    针绕圈
    食指拇
    指分开
    食指拇
    指并拢
    拇指在食指
    上前搓动
    拇指在食指
    上后搓动
    准确度(%)
    真实类别 食指双击 100 0 0 0 0 0 0 100
    食指顺时针绕圈 0 100 0 0 0 0 0 100
    食指逆时针绕圈 0 0 100 0 0 0 0 100
    食指拇指分开 0 0 0 100 0 0 0 100
    食指拇指并拢 0 0 0 0 98 0 2 98
    拇指在食指上前搓动 0 0 0 0 0 100 0 100
    拇指在食指上后搓动 0 0 0 0 4 0 96 96
    准确度(%) 100 100 100 100 96.08 100 97.96 99.14
    下载: 导出CSV

    表 5  测试对象A 7类微动手势分类的混淆矩阵

    预测类别
    食指双击 食指顺时
    针绕圈
    食指逆时
    针绕圈
    食指拇
    指分开
    食指拇
    指并拢
    拇指在食指
    上前搓动
    拇指在食指
    上后搓动
    准确度(%)
    真实类别 食指双击 46 3 1 0 0 0 0 92
    食指顺时针绕圈 0 35 15 0 0 0 0 70
    食指逆时针绕圈 3 13 34 0 0 0 0 68
    食指拇指分开 0 0 0 49 0 1 0 98
    食指拇指并拢 0 0 0 0 46 0 4 92
    拇指在食指上前搓动 0 0 0 1 0 49 0 98
    拇指在食指上后搓动 0 0 0 0 2 0 48 96
    准确度(%) 93.88 68.63 68 98 95.83 98 92.31 87.71
    下载: 导出CSV

    表 6  测试对象B 7类微动手势分类的混淆矩阵

    预测类别
    食指双击 食指顺
    时针绕圈
    食指逆时
    针绕圈
    食指拇
    指分开
    食指拇
    指并拢
    拇指在食指
    上前搓动
    拇指在食指
    上后搓动
    准确度(%)
    真实类别 食指双击 45 2 3 0 0 0 0 90
    食指顺时针绕圈 0 32 18 0 0 0 0 64
    食指逆时针绕圈 1 16 33 0 0 0 0 66
    食指拇指分开 0 0 0 46 0 4 0 92
    食指拇指并拢 0 0 0 0 48 0 2 96
    拇指在食指上前搓动 0 0 0 2 0 48 0 96
    拇指在食指上后搓动 0 0 0 0 3 0 47 94
    准确度(%) 97.83 64 61.11 95.83 94.12 92.31 95.92 85.43
    下载: 导出CSV
  • 加载中
图(3)表(6)
计量
  • PDF下载量:  79
  • 文章访问数:  1282
  • HTML全文浏览量:  612
文章相关
  • 通讯作者:  徐丰, fengxu@fudan.edu.cn
  • 收稿日期:  2019-10-16
  • 录用日期:  2019-11-27
  • 网络出版日期:  2019-12-09
  • 刊出日期:  2020-01-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章