高级搜索

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于脑电信号深度迁移学习的驾驶疲劳检测

王斐 吴仕超 刘少林 张亚徽 魏颖

王斐, 吴仕超, 刘少林, 张亚徽, 魏颖. 基于脑电信号深度迁移学习的驾驶疲劳检测[J]. 电子与信息学报, 2019, 41(9): 2264-2272. doi: 10.11999/JEIT180900
引用本文: 王斐, 吴仕超, 刘少林, 张亚徽, 魏颖. 基于脑电信号深度迁移学习的驾驶疲劳检测[J]. 电子与信息学报, 2019, 41(9): 2264-2272. doi: 10.11999/JEIT180900
Fei WANG, Shichao WU, Shaolin LIU, Yahui ZHANG, Ying WEI. Driver Fatigue Detection Through Deep Transfer Learning in an Electroencephalogram-based System[J]. Journal of Electronics and Information Technology, 2019, 41(9): 2264-2272. doi: 10.11999/JEIT180900
Citation: Fei WANG, Shichao WU, Shaolin LIU, Yahui ZHANG, Ying WEI. Driver Fatigue Detection Through Deep Transfer Learning in an Electroencephalogram-based System[J]. Journal of Electronics and Information Technology, 2019, 41(9): 2264-2272. doi: 10.11999/JEIT180900

基于脑电信号深度迁移学习的驾驶疲劳检测

doi: 10.11999/JEIT180900
基金项目: 中央高校基本科研业务费专项基金(N172608005),辽宁省科学事业公益研究基金(20170021)
详细信息
    作者简介:

    王斐:男,1974年生,博士,副教授,研究方向为人机交互感知与协作理论与技术、仿人机器人理论与技术

    吴仕超:男,1996年生,硕士生,研究方向为机器学习、脑电认知

    刘少林:男,1993年生,硕士生,研究方向为模式识别、深度学习

    张亚徽:女,1995年生,硕士生,研究方向为机器学习、脑机接口

    魏颖:女,1968年生,博士,教授,主要研究方向为图像处理与模式识别、医学影像计算与分析

    通讯作者:

    王斐 wangfei@mail.neu.edu.cn

  • 中图分类号: TP391

Driver Fatigue Detection Through Deep Transfer Learning in an Electroencephalogram-based System

Funds: The Fundamental Research Funds for the Central Universities (N172608005), The Scientific Research Foundation for Public Welfare of Liaoning Province (20170021)
  • 摘要: 脑电信号一直被誉为疲劳检测的“金标准”,驾驶者的精神状态可通过对脑电信号的分析得到。但由于脑电信号具有非线性、非平稳性和空间分辨率低等特点,传统的机器学习方法在运用脑电信号进行疲劳检测时还存在识别率低,特征提取操作繁琐等不足。为此,该文基于脑电信号的电极-频率分布图,提出运用深度迁移学习实现的驾驶疲劳检测方法,即搭建深度卷积神经网络,并利用SEED脑电情绪数据集对其进行预训练,然后通过迁移学习方法将其用于驾驶疲劳检测。实验结果表明,卷积神经网络模型能够很好地从电极-频率分布图中获得与疲劳状态相关的特征信息,达到较好的识别效果。此外,基于迁移学习策略可以将训练好的深度网络模型迁移到其他识别任务上,有助于推动脑电信号在驾驶疲劳检测系统中的应用。
  • 图  1  基于2层残差块的深度卷积神经网络模型

    图  2  基于卷积神经网络的迁移学习策略

    图  3  32通道脑电电极分布图

    图  4  基于同步采集的眼电(HEOG水平眼电,VEOG垂直眼电)和面部图像进行主观划分得到的2种不同数据片段

    图  5  3种情绪下的电极-频率分布图

    图  6  深度情绪识别网络的训练过程

    图  7  微调网络和随机初始化网络的训练过程

    表  1  基于2层残差块的卷积神经网络模型的详细结构参数

    网络层类型 特征层数 特征层尺寸
    输入层 100×30
    残差块1 卷积层Conv1_1(3×3)、批归一化(32) 32 100×30
    卷积层Conv1_2(3×3)、批归一化(32) 32 100×30
    卷积层Conv2(1×1)、批归一化(32) 32 100×30
    池化层1 最大池化(2, 2) 32 50×15
    残差块2 卷积层Conv1_1(3×3)、批归一化(64) 64 50×15
    卷积层Conv1_2(3×3)、批归一化(64) 64 50×15
    卷积层Conv2(1×1)、批归一化(64) 64 50×15
    池化层2 最大池化(2, 2) 64 25×7
    全连接层1 全连接 1024
    全连接层2 全连接 3
    输出层 Softmax 3
    下载: 导出CSV

    表  2  疲劳驾驶实验时间安排表

    时间 事件
    11:30~12:10 搭建实验平台,向被试说明实验要求和实验过程中的注意事项等;
    12:10~12:20 被试者针对模拟驾驶环境进行适应性练习;
    12:20~15:10 开始测试,被试者进行持续驾驶,实验组织人员记录实验相关数据;
    15:10~ 整理实验设备,实验完成。
    下载: 导出CSV

    表  3  不同方法在SEED数据集上的识别结果

    方法 特征 分类器 信号 平均准确率(%)
    Zheng方法[16] DE DBN EEG(1s) 86.08
    Thejaswini方法[22] Statistical features, Hjorth parameters, DE, DASM, RASM ANN NA 91.20
    Tang方法[23] PSD, DE, Mean, SD Bimodal-LSTM EEG(4s)+Eye movement 93.97
    本文方法 EFDMs CNN EEG(1s) 90.59
    下载: 导出CSV

    表  4  不同的模式识别方法对疲劳状态的识别结果

    方法 平均准确率(%)
    EFDMs+随机初始化训练 82.60
    EFDMs+微调全连接层 77.15
    EFDMs+微调全部网络 83.90
    PSD+SVM 75.53
    SampEn+SVM 63.69
    EEG+DBN 79.01
    EFDMs+AlexNet 83.59
    EFDMs+VGGNet 82.67
    下载: 导出CSV
  • [1] 李刚. 基于脑功能网络的脑力疲劳检测技术及其形成机理研究[D]. [博士论文], 山东大学, 2017.

    LI Gang. Study on the mental fatigue detecting technology and its formation mechanism based on brain functional network[D]. [Ph. D. dissertation], Shandong University, 2017.
    [2] BALANDONG R P, AHMAD R F, SAAD M N M, et al. A review on EEG-based automatic sleepiness detection systems for driver[J]. IEEE Access, 2018, 6: 22908–22919. doi:  10.1109/ACCESS.2018.2811723
    [3] HU Jianfeng. Comparison of different features and classifiers for driver fatigue detection based on a single EEG channel[J]. Computational and Mathematical Methods in Medicine, 2017: 5109530. doi:  10.1155/2017/5109530
    [4] XIONG Yijun, GAO Junfeng, YANG Yong, et al. Classifying driving fatigue based on combined entropy measure using EEG signals[J]. International Journal of Control and Automation, 2016, 9(3): 329–338. doi:  10.14257/ijca
    [5] FU Rongrong, WANG Hong, and ZHAO Wenbo. Dynamic driver fatigue detection using hidden Markov model in real driving condition[J]. Expert Systems with Applications, 2016, 63: 397–411. doi:  10.1016/j.eswa.2016.06.042
    [6] LI Zuojin, LI S M, LI Renjie, et al. Online detection of driver fatigue using steering wheel angles for real driving conditions[J]. Sensors, 2017, 17(3): 495–508. doi:  10.3390/s17030495
    [7] 王斐, 王少楠, 王惜慧, 等. 基于脑电图识别结合操纵特征的驾驶疲劳检测[J]. 仪器仪表学报, 2014, 35(2): 398–404.

    WANG Fei, WANG Shaonan, WANG Xihui, et al. Driving fatigue detection based on EEG recognition and vehicle handling characteristics[J]. Chinese Journal of Scientific Instrument, 2014, 35(2): 398–404.
    [8] LI Zuojin, CHEN Liukui, PENG Jun, et al. Automatic detection of driver fatigue using driving operation information for transportation safety[J]. Sensors, 2017, 17(6): 1212–1222. doi:  10.3390/s17061212
    [9] ZHANG Qingchen, YANG L T, CHEN Zhikui, et al. A survey on deep learning for big data[J]. Information Fusion, 2018, 42: 146–157. doi:  10.1016/j.inffus.2017.10.006
    [10] HATCHER W G and YU Wei. A survey of deep learning: Platforms, applications and emerging research trends[J]. IEEE Access, 2018, 6: 24411–24432. doi:  10.1109/ACCESS.2018.2830661
    [11] DU Lihuan, LIU Wei, ZHENG Weilong, et al. Detecting driving fatigue with multimodal deep learning[C]. The 8th International IEEE/EMBS Conference on Neural Engineering (NER), Shanghai, China, 2017: 74–77. doi:  10.1109/NER.2017.8008295.
    [12] MAO Zijing, YAO Wanxiang, and HUANG Yufei. EEG-based biometric identification with deep learning[C]. The 8th International IEEE/EMBS Conference on Neural Engineering (NER), Shanghai, China, 2017: 609–612. doi:  10.1109/NER.2017.8008425.
    [13] WANG Haixian. Optimizing spatial filters for single-trial EEG classification via a discriminant extension to CSP: The Fisher criterion[J]. Medical & Biological Engineering & Computing, 2011, 49(9): 997–1001. doi:  10.1007/s11517-1-0766-7
    [14] CHUANG C H, KO L W, LIN Yuanpin, et al. Independent component ensemble of EEG for brain-computer interface[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2014, 22(2): 230–238. doi:  10.1109/TNSRE.2013.2293139
    [15] LI Mingyang, CHEN Wanzhong, and ZHANG Tao. Classification of epilepsy EEG signals using DWT-based envelope analysis and neural network ensemble[J]. Biomedical Signal Processing and Control, 2017, 31: 357–365. doi:  10.1016/j.bspc.2016.09.008
    [16] ZHENG Weilong and LU Baoliang. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162–175. doi:  10.1109/TAMD.2015.2431497
    [17] ZHANG Benyu, JIANG Huiping, and DONG Linshan. Classification of EEG signal by WT-CNN model in emotion recognition system[C]. The 2017 IEEE 16th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC), Oxford, UK, 2017: 109–114. doi:  10.1109/ICCI-CC.2017.8109738.
    [18] LEE H K and CHOI Y S. A convolution neural networks scheme for classification of motor imagery EEG based on wavelet time-frequecy image[C]. 2018 International Conference on Information Networking (ICOIN), Chiang Mai, Thailand, 2018: 906–909. doi:  10.1109/ICOIN.2018.8343254.
    [19] PAN S J and YANG Qiang. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345–1359. doi:  10.1109/TKDE.2009.191
    [20] YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[C]. The 27th International Conference on Neural Information Processing Systems, Cambridge, USA, 2014: 3320–3328.
    [21] ZHENG Weilong, ZHU Jiayi, and LU Baoliang. Identifying stable patterns over time for emotion recognition from EEG[J]. IEEE Transactions on Affective Computing, 2017. doi:  10.1109/TAFFC.2017.2712143
    [22] THEJASWINI S, RAVI KUMAR K M, RUPALI S, et al. EEG Based Emotion Recognition Using Wavelets and Neural Networks Classifier[M]. GURUMOORTHY S, RAO B N K, GAO Xiaozhi. Cognitive Science and Artificial Intelligence: Advances and Applications. Singapore: Springer, 2018: 101–112.
    [23] TANG Hao, LIU Wei, ZHENG Weilong, et al.. Multimodal emotion recognition using deep neural networks[C]. The 24th International Conference on International Conference on International Conference on Neural Information Processing, Guangzhou, China, 2017: 811–819. doi:  10.1007/978-3-319-70093-9_86.
  • [1] 贺丰收, 何友, 刘准钆, 徐从安.  卷积神经网络在雷达自动目标识别中的研究进展, 电子与信息学报. doi: 10.11999/JEIT180899
    [2] 唐伦, 贺小雨, 王晓, 陈前斌.  基于迁移演员-评论家学习的服务功能链部署算法, 电子与信息学报. doi: 10.11999/JEIT190542
    [3] 牛伟纳, 蒋天宇, 张小松, 谢娇, 张俊哲, 赵振扉.  基于流量时空特征的fast-flux僵尸网络检测方法, 电子与信息学报. doi: 10.11999/JEIT190724
    [4] 申滨, 王欣, 陈思吉, 崔太平.  基于机器学习主用户发射模式分类的蜂窝认知无线电网络频谱感知, 电子与信息学报. doi: 10.11999/JEIT191012
    [5] 赵海涛, 程慧玲, 丁仪, 张晖, 朱洪波.  基于深度学习的车联边缘网络交通事故风险预测算法研究, 电子与信息学报. doi: 10.11999/JEIT190595
    [6] 唐贤伦, 李伟, 马伟昌, 孔德松, 马艺玮.  基于条件经验模式分解和串并行CNN的脑电信号识别, 电子与信息学报. doi: 10.11999/JEIT190124
    [7] 袁野, 贾克斌, 刘鹏宇.  基于深度卷积神经网络的多元医学信号多级上下文自编码器, 电子与信息学报. doi: 10.11999/JEIT190135
    [8] 刘小燕, 李照明, 段嘉旭, 项天远.  基于卷积神经网络的印刷电路板色环电阻检测与定位方法, 电子与信息学报. doi: 10.11999/JEIT190608
    [9] 申铉京, 沈哲, 黄永平, 王玉.  基于非局部操作的深度卷积神经网络车位占用检测算法, 电子与信息学报. doi: 10.11999/JEIT190349
    [10] 缪祥华, 单小撤.  基于密集连接卷积神经网络的入侵检测技术研究, 电子与信息学报. doi: 10.11999/JEIT190655
    [11] 杜兰, 魏迪, 李璐, 郭昱辰.  基于半监督学习的SAR目标检测网络, 电子与信息学报. doi: 10.11999/JEIT190783
    [12] 周牧, 李垚鲆, 谢良波, 蒲巧林, 田增山.  基于多核最大均值差异迁移学习的WLAN室内入侵检测方法, 电子与信息学报. doi: 10.11999/JEIT190358
    [13] 吕晓琪, 吴凉, 谷宇, 张明, 李菁.  基于深度卷积神经网络的低剂量CT肺部去噪, 电子与信息学报. doi: 10.11999/JEIT170769
    [14] 伍家松, 达臻, 魏黎明, SENHADJILotfi, 舒华忠.  基于分裂基-2/(2a)FFT算法的卷积神经网络加速性能的研究, 电子与信息学报. doi: 10.11999/JEIT160357
    [15] 毕安琪, 王士同.  基于Kullback-Leiber距离的迁移仿射聚类算法, 电子与信息学报. doi: 10.11999/JEIT151132
    [16] 李寰宇, 毕笃彦, 查宇飞, 杨源.  一种易于初始化的类卷积神经网络视觉跟踪算法, 电子与信息学报. doi: 10.11999/JEIT150600
    [17] 邓赵红, 陈俊勇, 刘解放, 王士同.  面向癫痫脑电图信号识别的径向基最小最大概率分类树, 电子与信息学报. doi: 10.11999/JEIT160082
    [18] 杜兰, 刘彬, 王燕, 刘宏伟, 代慧.  基于卷积神经网络的SAR图像目标检测算法, 电子与信息学报. doi: 10.11999/JEIT161032
    [19] 杨兴明, 吴克伟, 孙永宣, 谢昭.  可迁移测度准则下的协变量偏移修正多源集成方法, 电子与信息学报. doi: 10.11999/JEIT150323
    [20] 许敏, 王士同, 史荧中.  一种新的面向迁移学习的L2核分类器, 电子与信息学报. doi: 10.3724/SP.J.1146.2012.01647
  • 加载中
  • 图(7) / 表ll (4)
    计量
    • 文章访问数:  1426
    • HTML全文浏览量:  1079
    • PDF下载量:  106
    • 被引次数: 0
    出版历程
    • 收稿日期:  2018-09-20
    • 修回日期:  2019-02-17
    • 网络出版日期:  2019-03-21
    • 刊出日期:  2019-09-01

    目录

      /

      返回文章
      返回

      官方微信,欢迎关注