高级搜索

基于脑电信号深度迁移学习的驾驶疲劳检测

王斐 吴仕超 刘少林 张亚徽 魏颖

引用本文: 王斐, 吴仕超, 刘少林, 张亚徽, 魏颖. 基于脑电信号深度迁移学习的驾驶疲劳检测[J]. 电子与信息学报, 2019, 41(9): 2264-2272. doi: 10.11999/JEIT180900 shu
Citation:  Fei WANG, Shichao WU, Shaolin LIU, Yahui ZHANG, Ying WEI. Driver Fatigue Detection Through Deep Transfer Learning in an Electroencephalogram-based System[J]. Journal of Electronics and Information Technology, 2019, 41(9): 2264-2272. doi: 10.11999/JEIT180900 shu

基于脑电信号深度迁移学习的驾驶疲劳检测

    作者简介: 王斐: 男,1974年生,博士,副教授,研究方向为人机交互感知与协作理论与技术、仿人机器人理论与技术;
    吴仕超: 男,1996年生,硕士生,研究方向为机器学习、脑电认知;
    刘少林: 男,1993年生,硕士生,研究方向为模式识别、深度学习;
    张亚徽: 女,1995年生,硕士生,研究方向为机器学习、脑机接口;
    魏颖: 女,1968年生,博士,教授,主要研究方向为图像处理与模式识别、医学影像计算与分析
    通讯作者: 王斐,wangfei@mail.neu.edu.cn
  • 基金项目: 辽宁省科学事业公益研究基金(20170021), 中央高校基本科研业务费专项基金(N172608005)

摘要: 脑电信号一直被誉为疲劳检测的“金标准”,驾驶者的精神状态可通过对脑电信号的分析得到。但由于脑电信号具有非线性、非平稳性和空间分辨率低等特点,传统的机器学习方法在运用脑电信号进行疲劳检测时还存在识别率低,特征提取操作繁琐等不足。为此,该文基于脑电信号的电极-频率分布图,提出运用深度迁移学习实现的驾驶疲劳检测方法,即搭建深度卷积神经网络,并利用SEED脑电情绪数据集对其进行预训练,然后通过迁移学习方法将其用于驾驶疲劳检测。实验结果表明,卷积神经网络模型能够很好地从电极-频率分布图中获得与疲劳状态相关的特征信息,达到较好的识别效果。此外,基于迁移学习策略可以将训练好的深度网络模型迁移到其他识别任务上,有助于推动脑电信号在驾驶疲劳检测系统中的应用。

English

    1. [1]

      李刚. 基于脑功能网络的脑力疲劳检测技术及其形成机理研究[D]. [博士论文], 山东大学, 2017.
      LI Gang. Study on the mental fatigue detecting technology and its formation mechanism based on brain functional network[D]. [Ph. D. dissertation], Shandong University, 2017.

    2. [2]

      BALANDONG R P, AHMAD R F, SAAD M N M, et al. A review on EEG-based automatic sleepiness detection systems for driver[J]. IEEE Access, 2018, 6: 22908–22919. doi: 10.1109/ACCESS.2018.2811723

    3. [3]

      HU Jianfeng. Comparison of different features and classifiers for driver fatigue detection based on a single EEG channel[J]. Computational and Mathematical Methods in Medicine, 2017: 5109530. doi: 10.1155/2017/5109530

    4. [4]

      XIONG Yijun, GAO Junfeng, YANG Yong, et al. Classifying driving fatigue based on combined entropy measure using EEG signals[J]. International Journal of Control and Automation, 2016, 9(3): 329–338. doi: 10.14257/ijca

    5. [5]

      FU Rongrong, WANG Hong, and ZHAO Wenbo. Dynamic driver fatigue detection using hidden Markov model in real driving condition[J]. Expert Systems with Applications, 2016, 63: 397–411. doi: 10.1016/j.eswa.2016.06.042

    6. [6]

      LI Zuojin, LI S M, LI Renjie, et al. Online detection of driver fatigue using steering wheel angles for real driving conditions[J]. Sensors, 2017, 17(3): 495–508. doi: 10.3390/s17030495

    7. [7]

      王斐, 王少楠, 王惜慧, 等. 基于脑电图识别结合操纵特征的驾驶疲劳检测[J]. 仪器仪表学报, 2014, 35(2): 398–404.
      WANG Fei, WANG Shaonan, WANG Xihui, et al. Driving fatigue detection based on EEG recognition and vehicle handling characteristics[J]. Chinese Journal of Scientific Instrument, 2014, 35(2): 398–404.

    8. [8]

      LI Zuojin, CHEN Liukui, PENG Jun, et al. Automatic detection of driver fatigue using driving operation information for transportation safety[J]. Sensors, 2017, 17(6): 1212–1222. doi: 10.3390/s17061212

    9. [9]

      ZHANG Qingchen, YANG L T, CHEN Zhikui, et al. A survey on deep learning for big data[J]. Information Fusion, 2018, 42: 146–157. doi: 10.1016/j.inffus.2017.10.006

    10. [10]

      HATCHER W G and YU Wei. A survey of deep learning: Platforms, applications and emerging research trends[J]. IEEE Access, 2018, 6: 24411–24432. doi: 10.1109/ACCESS.2018.2830661

    11. [11]

      DU Lihuan, LIU Wei, ZHENG Weilong, et al. Detecting driving fatigue with multimodal deep learning[C]. The 8th International IEEE/EMBS Conference on Neural Engineering (NER), Shanghai, China, 2017: 74–77. doi: 10.1109/NER.2017.8008295.

    12. [12]

      MAO Zijing, YAO Wanxiang, and HUANG Yufei. EEG-based biometric identification with deep learning[C]. The 8th International IEEE/EMBS Conference on Neural Engineering (NER), Shanghai, China, 2017: 609–612. doi: 10.1109/NER.2017.8008425.

    13. [13]

      WANG Haixian. Optimizing spatial filters for single-trial EEG classification via a discriminant extension to CSP: The Fisher criterion[J]. Medical & Biological Engineering & Computing, 2011, 49(9): 997–1001. doi: 10.1007/s11517-1-0766-7

    14. [14]

      CHUANG C H, KO L W, LIN Yuanpin, et al. Independent component ensemble of EEG for brain-computer interface[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2014, 22(2): 230–238. doi: 10.1109/TNSRE.2013.2293139

    15. [15]

      LI Mingyang, CHEN Wanzhong, and ZHANG Tao. Classification of epilepsy EEG signals using DWT-based envelope analysis and neural network ensemble[J]. Biomedical Signal Processing and Control, 2017, 31: 357–365. doi: 10.1016/j.bspc.2016.09.008

    16. [16]

      ZHENG Weilong and LU Baoliang. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162–175. doi: 10.1109/TAMD.2015.2431497

    17. [17]

      ZHANG Benyu, JIANG Huiping, and DONG Linshan. Classification of EEG signal by WT-CNN model in emotion recognition system[C]. The 2017 IEEE 16th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC), Oxford, UK, 2017: 109–114. doi: 10.1109/ICCI-CC.2017.8109738.

    18. [18]

      LEE H K and CHOI Y S. A convolution neural networks scheme for classification of motor imagery EEG based on wavelet time-frequecy image[C]. 2018 International Conference on Information Networking (ICOIN), Chiang Mai, Thailand, 2018: 906–909. doi: 10.1109/ICOIN.2018.8343254.

    19. [19]

      PAN S J and YANG Qiang. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345–1359. doi: 10.1109/TKDE.2009.191

    20. [20]

      YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[C]. The 27th International Conference on Neural Information Processing Systems, Cambridge, USA, 2014: 3320–3328.

    21. [21]

      ZHENG Weilong, ZHU Jiayi, and LU Baoliang. Identifying stable patterns over time for emotion recognition from EEG[J]. IEEE Transactions on Affective Computing, 2017. doi: 10.1109/TAFFC.2017.2712143

    22. [22]

      THEJASWINI S, RAVI KUMAR K M, RUPALI S, et al. EEG Based Emotion Recognition Using Wavelets and Neural Networks Classifier[M]. GURUMOORTHY S, RAO B N K, GAO Xiaozhi. Cognitive Science and Artificial Intelligence: Advances and Applications. Singapore: Springer, 2018: 101–112.

    23. [23]

      TANG Hao, LIU Wei, ZHENG Weilong, et al.. Multimodal emotion recognition using deep neural networks[C]. The 24th International Conference on International Conference on International Conference on Neural Information Processing, Guangzhou, China, 2017: 811–819. doi: 10.1007/978-3-319-70093-9_86.

    1. [1]

      唐贤伦, 李伟, 马伟昌, 孔德松, 马艺玮. 基于条件经验模式分解和串并行CNN的脑电信号识别. 电子与信息学报, 2019, 41(0): 1-8.

    2. [2]

      张小恒, 李勇明, 王品, 曾孝平, 颜芳, 张艳玲, 承欧梅. 基于语音卷积稀疏迁移学习和并行优选的帕金森病分类算法研究. 电子与信息学报, 2019, 41(7): 1641-1649.

    3. [3]

      周牧, 李垚鲆, 谢良波, 蒲巧林, 田增山. 基于多核最大均值差异迁移学习的WLAN室内入侵检测方法. 电子与信息学报, 2019, 41(0): 1-9.

    4. [4]

      杜兰, 魏迪, 李璐, 郭昱辰. 基于半监督学习的SAR目标检测网络. 电子与信息学报, 2020, 42(1): 154-163.

    5. [5]

      王鑫, 李可, 宁晨, 黄凤辰. 基于深度卷积神经网络和多核学习的遥感图像分类方法. 电子与信息学报, 2019, 41(5): 1098-1105.

    6. [6]

      杜兰, 刘彬, 王燕, 刘宏伟, 代慧. 基于卷积神经网络的SAR图像目标检测算法. 电子与信息学报, 2016, 38(12): 3018-3025.

    7. [7]

      吴泽民, 王军, 胡磊, 田畅, 曾明勇, 杜麟. 基于卷积神经网络与全局优化的协同显著性检测. 电子与信息学报, 2018, 40(12): 2896-2904.

    8. [8]

      袁野, 贾克斌, 刘鹏宇. 基于深度卷积神经网络的多元医学信号多级上下文自编码器. 电子与信息学报, 2020, 42(2): 371-378.

    9. [9]

      刘宏哲, 杨少鹏, 袁家政, 王雪峤, 薛建明. 基于单一神经网络的多尺度人脸检测. 电子与信息学报, 2018, 40(11): 2598-2605.

    10. [10]

      赵海涛, 程慧玲, 丁仪, 张晖, 朱洪波. 基于深度学习的车联边缘网络交通事故风险预测算法研究. 电子与信息学报, 2020, 42(1): 50-57.

    11. [11]

      葛芸, 马琳, 江顺亮, 叶发茂. 基于高层特征图组合及池化的高分辨率遥感图像检索. 电子与信息学报, 2019, 41(10): 2487-2494.

    12. [12]

      许敏, 王士同, 史荧中. 一种新的面向迁移学习的L2核分类器. 电子与信息学报, 2013, 35(9): 2059-2065.

    13. [13]

      邓赵红, 陈俊勇, 刘解放, 王士同. 面向癫痫脑电图信号识别的径向基最小最大概率分类树. 电子与信息学报, 2016, 38(11): 2848-2855.

    14. [14]

      王进, 王科, 闵子剑, 孙开伟, 邓欣. 基于迁移权重的条件对抗领域适应. 电子与信息学报, 2019, 41(11): 2729-2735.

    15. [15]

      毕安琪, 王士同. 基于Kullback-Leiber距离的迁移仿射聚类算法. 电子与信息学报, 2016, 38(8): 2076-2084.

    16. [16]

      杨兴明, 吴克伟, 孙永宣, 谢昭. 可迁移测度准则下的协变量偏移修正多源集成方法. 电子与信息学报, 2015, 37(12): 2913-2920.

    17. [17]

      梁爽, 杭文龙, 冯伟, 刘学军. 基于分类误差一致性准则的自适应知识迁移. 电子与信息学报, 2019, 41(11): 2736-2743.

    18. [18]

      杨宏宇, 王峰岩. 基于深度卷积神经网络的气象雷达噪声图像语义分割方法. 电子与信息学报, 2019, 41(10): 2373-2381.

    19. [19]

      秦华标, 曹钦平. 基于FPGA的卷积神经网络硬件加速器设计. 电子与信息学报, 2019, 41(11): 2599-2605.

    20. [20]

      吕晓琪, 吴凉, 谷宇, 张明, 李菁. 基于深度卷积神经网络的低剂量CT肺部去噪. 电子与信息学报, 2018, 40(6): 1353-1359.

  • 图 1  基于2层残差块的深度卷积神经网络模型

    图 2  基于卷积神经网络的迁移学习策略

    图 3  32通道脑电电极分布图

    图 4  基于同步采集的眼电(HEOG水平眼电,VEOG垂直眼电)和面部图像进行主观划分得到的2种不同数据片段

    图 5  3种情绪下的电极-频率分布图

    图 6  深度情绪识别网络的训练过程

    图 7  微调网络和随机初始化网络的训练过程

    表 1  基于2层残差块的卷积神经网络模型的详细结构参数

    网络层类型 特征层数 特征层尺寸
    输入层 100×30
    残差块1 卷积层Conv1_1(3×3)、批归一化(32) 32 100×30
    卷积层Conv1_2(3×3)、批归一化(32) 32 100×30
    卷积层Conv2(1×1)、批归一化(32) 32 100×30
    池化层1 最大池化(2, 2) 32 50×15
    残差块2 卷积层Conv1_1(3×3)、批归一化(64) 64 50×15
    卷积层Conv1_2(3×3)、批归一化(64) 64 50×15
    卷积层Conv2(1×1)、批归一化(64) 64 50×15
    池化层2 最大池化(2, 2) 64 25×7
    全连接层1 全连接 1024
    全连接层2 全连接 3
    输出层 Softmax 3
    下载: 导出CSV

    表 2  疲劳驾驶实验时间安排表

    时间 事件
    11:30~12:10 搭建实验平台,向被试说明实验要求和实验过程中的注意事项等;
    12:10~12:20 被试者针对模拟驾驶环境进行适应性练习;
    12:20~15:10 开始测试,被试者进行持续驾驶,实验组织人员记录实验相关数据;
    15:10~ 整理实验设备,实验完成。
    下载: 导出CSV

    表 3  不同方法在SEED数据集上的识别结果

    方法 特征 分类器 信号 平均准确率(%)
    Zheng方法[16] DE DBN EEG(1s) 86.08
    Thejaswini方法[22] Statistical features, Hjorth parameters, DE, DASM, RASM ANN NA 91.20
    Tang方法[23] PSD, DE, Mean, SD Bimodal-LSTM EEG(4s)+Eye movement 93.97
    本文方法 EFDMs CNN EEG(1s) 90.59
    下载: 导出CSV

    表 4  不同的模式识别方法对疲劳状态的识别结果

    方法 平均准确率(%)
    EFDMs+随机初始化训练 82.60
    EFDMs+微调全连接层 77.15
    EFDMs+微调全部网络 83.90
    PSD+SVM 75.53
    SampEn+SVM 63.69
    EEG+DBN 79.01
    EFDMs+AlexNet 83.59
    EFDMs+VGGNet 82.67
    下载: 导出CSV
  • 加载中
图(7)表(4)
计量
  • PDF下载量:  77
  • 文章访问数:  926
  • HTML全文浏览量:  648
文章相关
  • 通讯作者:  王斐, wangfei@mail.neu.edu.cn
  • 收稿日期:  2018-09-20
  • 录用日期:  2019-02-17
  • 网络出版日期:  2019-03-21
  • 刊出日期:  2019-09-01
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

/

返回文章