必看！最新驾驶行为分析多模态生理数据集分享

必看！最新驾驶行为分析多模态生理数据集分享

驾驶行为分析是交通安全和智能驾驶领域的重要研究方向。本文介绍了一个最新的多模态生理数据集（MPDB），该数据集通过采集脑电图（EEG）、心电图（ECG）、肌电图（EMG）、皮肤电反应（GSR）和眼动数据等多模态生理信号，结合驾驶行为数据，为研究驾驶行为决策过程提供了丰富的数据资源。

众多研究表明，驾驶员认知是驾驶行为的重要组成部分，因此必须从认知和决策的角度研究驾驶行为，运用心理学、生理学、工程学、行为科学等相关领域的知识和理论。例如，皮质β功率变化可以反映基于脑电图的决策动态， β功率作为证据积累的指标主要用于研究决策。

心理生理学研究为了观察人的行为，可以通过人体不同部位的生理信号分析驾驶员的驾驶状态或驾驶意图。（低功耗、高精度可穿戴设备技术的发展推动了认知研究，导致越来越多的研究调查驾驶过程中人类驾驶行为的认知决策过程。）

为了研究人类在驾驶任务中的反应和决策过程，研究人员需要丰富且可重复的数据集。表 1总结了目前所知的调查论文中有关驾驶员信息的数据集。

表1:用于驾驶人类行为研究的公开数据集摘要

驾驶行为领域常见的数据集主要分为四类：

1）基于车辆传感器的驾驶行为研究，研究加速、减速、转弯等驾驶行为方面。

缺点和困境：从车辆传感器收集的数据可能受到不准确性和噪声的影响。传感器读数可能受到传感器校准误差、环境条件和磨损等因素的影响，导致驾驶行为分析可能不准确。

2）基于安装在车辆上的摄像头研究驾驶员行为。

缺点和困境：驾驶行为分析可能受到光照和天气条件的影响。恶劣天气、弱光或其他视觉障碍会影响图像质量，潜在地影响驾驶行为分析的准确性；

3）驾驶行为由智能手机传感器的数据确定。

缺点和困境：智能手机通常放在固定位置，例如口袋或支架，这可能并不适用于准确捕捉某些驾驶行为。固定位置可能会影响检测细微动作的能力，例如方向盘转动或踏板使用。

4）基于生理信号的驾驶状态研究主要研究驾驶员的疲劳和分心状态，但没有将生理信号直接映射到驾驶员行为的相关数据集。

缺点和困境：个体对疲劳和分心的生理反应可能有很大差异。对一个驾驶员来说可靠的指标可能对另一个驾驶员来说并不适用。这种多变性使检测疲劳或分心的通用模型的开发变得复杂。

但是，单纯依靠车辆行为数据不足以克服这些挑战。在实际驾驶过程中，驾驶员在某一时刻的内部状态往往是多种驾驶情绪的组合，而非单一的情绪。例如，当驾驶员在使用手机时感到困倦时，就会同时存在分心状态，而这些状态可能会因为另一名驾驶员的超车情况而迅速转变为愤怒的内部状态。

研究是无法清楚地标记驾驶状态，因为它们是短暂的、不可测量的。

因此，建立驾驶中的多模态生理信号人体行为数据集对于研究影响驾驶行为决策的驾驶员认知特征至关重要。

该研究利用从35名参与者收集的多模态生理数据分析驾驶行为，数据包括59通道脑电图、心电图、肌电图、GSR和眼动数据。研究将驾驶行为分为平稳驾驶、加速、减速、变道和转弯。实验确认生理数据和车辆数据均符合要求，并开发了线性判别分析（LDA）、MMPNet和EEGNet分类模型，展示生理数据与驾驶行为的相关性。

研究团队提出了用于分析驾驶行为的多模态生理数据集 (MPDB)，其规模、准确性和多模态性为自动驾驶及其他领域的研究提供了新的机会，并为交通心理学和行为研究做出贡献。

图1:多模态人体驱动因素数据采集实验装置

（a）整体模拟场景简要概述。（b）六自由度模拟器结构图。（c）整体环境。所有被试在同一环境中完成实验。（d）数据采集。需要采集的多模态生理数据如图 1所示，相关肖像的使用已获得被试的授权。

实验所用场景模拟北京实际路况，投影到圆形幕布上。为了更好地还原实际驾驶环境，还截取约11 km的实际路段作为模拟场景，实验路线如图1b所示 。道路场景较为丰富，包括多条直角弯道、四车道直城市道路、两车道直城市道路等，场景帧刷新率约为60 fps，模拟图像如图1c所示 。

图2:实验整体设计框架

（a）触发事件。（b）信号输入。（c）模型选择。（d）行为输出。整体思路是通过特定事件诱发人类驾驶员不同的驾驶行为，并同步采集多模态生理信号，然后利用LDA、EEGNet等模型对多种驾驶行为进行分类。

实验采用事件相关行为反应范式，通过事件相关的多模态生理信号对各种驾驶行为进行建模（图2）。实验涵盖平稳驾驶、加速、减速、变道和转弯五类基本驾驶行为，受试者同步采集多模态生理数据（图4）。实验诱发不同驾驶行为并记录相应生理数据，具体行为包括：平稳驾驶（对照组）、加速、减速、变道和转弯。行为触发事件包括超车、前车急刹、行人过马路等，保证样本数量均衡（表2）。

表2:驾驶行为与触发事件的对应关系

触发事件发生时标记ERP，方便数据分析和研究（图3）。将不同的驾驶行为分为4种不同的案例，每位受试者完成8组实验，每组时间间隔为5-15秒，总时长约90分钟，期间安排休息以避免疲劳。被试的所有操作流程及操作过程中的生理数据均被同步记录。

图3:用于标记事件发生点的标记

参考事件相关电位（ERP）范式，截取事件前500 ms和事件后1500 ms，分析生理信号与驾驶行为的关系。为减少事件之间的相互干扰，两个事件之间有一个时间间隔。

图4:所有传感器的位置

EEG 帽、EMG 电极、GSR 电极、ECG 电极和眼动仪放置在如图所示的位置。

图5:用于诱导人类驾驶行为的事件设置，包括加速、减速、变道和转弯

( a ) 前方紧急制动。( b ) 侧前方切入。( c ) 行人过街。( d ) 超车。( e ) 缓解交通拥堵。( f ) 左侧静态障碍物。( g ) 右侧静态障碍物。( h ) 左转标志。( i ) 右转标志。

不同触发事件的设置条件和时标位置概括如下：

平稳驾驶：在空旷直路上无事件发生时，车辆正常行驶作为对照组，时间标记在正常直线行驶区域内。

加速：

• 超车场景：主车遇到前方慢速车（5m/s），完成超车动作，时间标记在慢速车开始行驶时（图5d）。
• 缓解拥堵场景：主车遇到堵车，前车慢速行驶50m后加速，驾驶员需加速保持不低于60km/h，时间标记在前车加速时（图5e）。

减速：

• 前车紧急刹车：前车行驶50m后突然刹车，主车需减速避免追尾，时间标记在前车减速至0时（图5a）。
• 前侧车急剧变道：前侧车以0.7倍速度行驶50m后变道至主车车道，驾驶员需减速，时间标记在变道处（图5b）。
• 行人过马路：前方行人以5m/s速度过马路，驾驶员需减速，时间标记在行人开始过马路时（图5c）。

换道：

• 静态障碍物：前方有静态障碍物，驾驶员需换道，时间标记在主车进入换道区域时，距离障碍物约100m（图5f, g）。

转弯：

• 道路转弯标志：左转或右转标志引导驾驶员转弯，时间标记在主车进入转弯区域时，距离指示路标约100m（图5h, i）。

图6:三种典型的伪影

（a）眨眼；（b）眼球运动；（c）异常电极伪影。

图7:三次制动事件的功率谱密度

图8:不同事件的EEG功率谱箱线图

图9:8通道、5个事件、20位采样对象每个时期的脑电信号

每行代表一个事件，每列代表一个通道。每个样本的波形比较稳定，同一事件的大部分信号趋势一致，无明显异常波动。

图10:所有受试者各个时期的心电图信号

心电图波形呈现规律的周期性峰值，表明驾驶状态正常。

图11:所有受试者每个时期的GSR信号

GSR 信号表示受试者皮肤表面电导率的变化。

图12:所有受试者每个时期的肌电信号，4个通道

通道1、2-右小腿，通道3-4-手臂。通道1的信号响应最明显，反映了受试者踩踏踏板时的动作。

图13:生理信号平均值与五种驾驶行为的关联热图

图14:生理信号与五种驾驶行为变化之关联热图

图15:受试者1眼动追踪

散点集中在事件中心，表明驾驶状态正常，没有分心。

图16:车辆参数

( a )速度(m/s)：平均速度约为60km  /h，满足有中心线的城市道路限速标准。( b )油门踏板：对于每个驾驶员来说，在行驶开始时，加速信号很强，随后逐渐减小，直至车速接近限速。( c ) x位置：不同主体在驾驶时，车辆位置随时间的变化几乎相同，从而保证了路线上预先设计的事件被依次触发。

图17:MMPNet 模型在多模态数据和 EEG 数据之间的性能比较

与单模态数据相比，多模态数据的分类准确率有显著提高（p  = 1.2956 × 10 −9）。（a）多模态数据。（b）仅限 EEG。

图18:精度随噪声功率变化的折线图

表3:数据采集设备的主要参数

表4:EEG 功率谱密度的统计特性

表5:几种验证模型的驾驶行为分类准确率

说明

多模态生理信号原始数据和预处理数据均可从 Figshare 下载，对数据集感兴趣的用户可以在网站上注册并将数据集下载到本地。原始数据集和预处理数据集分别命名为“驾驶行为多模态人为因素原始数据集”和“驾驶行为多模态人为因素预处理数据集”。

数据集下载完成后，用户可以通过 MATLAB 的 EEGLAB 插件处理 EEG。建议研究人员在 Windows 10 或 Linux 上使用 EEGLAB 2021 版和 MATLAB R2021b。EEGLAB 可以帮助完成滤波、分割和 ICA 等 EEG 预处理步骤。EEG 信号批量预处理的代码也将在“代码可用性”中提供。EMG、GSR 和 ECG 信号的文件格式与 EEG 信号的文件格式一致，也可以通过 MATLAB 导入和处理。EMG、GSR 和 ECG 信号的批量预处理代码也将在“代码可用性”中提供。