恒挚分享 | 基于EEG的驾驶员对自动驾驶信任度评估

自动驾驶汽车（AV）具有减少道路交通事故、提高交通效率和降低油耗的潜力。此外，它们有望为那些因年龄或残疾而无法驾驶的人提供更高的流动性。然而，面临一个关键的问题是建立和校准驾驶员对这项技术的信任，因为信任在确定驾驶员是否或如何使AV方面起着重要作用。

据报道，低信任度是阻止驾驶员接受AV的一个重要因素。研究发现，不信任是导致AV使用意愿底下的主要因素。此外，过度信任可能导致对技术的误用和滥用，也可能会损害驾驶员重新获得手动控制的准备情况，导致反应时间延长、事故风险增加。为确保AV安全引入道路交通，开发能够实时动态适应驾驶员任务度的AV至关重要，这需要使用可靠的人类信任评估模型。本研究旨在通过使用机器学习算法开发基于EEG的信任评估模型，利用驾驶员在与可能出现故障的模拟自动驾驶系统交互时采集EEG信号。

相关工作

初步工作已经揭示了人类对自动化信任的各种神经相关性。相较于不信任情况，信任情况下，Alpha和Beta波的功率更强，而Gamma波的功率更弱；额叶区域的Theta波（6-10Hz）的功率随着信任水平的降低而降低；Delta和Gamma波的功率与信任水平有显著的相关性，额叶和枕叶是对信任变化的两个主要大脑区域。此外，最近的证据表明，不同大脑区域和事件相关电位（ERP）之间的连接模式对信任变化也很敏感。上述研究揭示了行为和生理特征与信任水平之间存在显著相关性，为信任评估模型的开发提供了理论基础。

下图概述了拟议的研究框架。具体来说，我们进行了一项模拟驾驶任务，期间引入不同类型的AV故障来设置驾驶员的信任水平。主观信任评级和客观EEG信号均被记录下来。对原始EEG信号进行预处理，然后分别对额叶、颞叶、枕叶和顶叶四个区域提取时域和频域脑电特征。

驾驶实验

共有71名大学生（男性36人）参加了驾驶实验，平均年龄为22.6岁（SD=1.6）.所有被试都有有效的驾驶证，视力正常或矫正至正常。被试随机分配到三种实验条件之一：正常、错失、误报，每种条件24名（男女各12名）。

下图概述了实验中使用的驾驶模拟器和脑电记录设备。驾驶模拟器由三个27英寸LED显示平、一台高性能计算机等组成。速度、加速度和车道位置等驾驶数据以60Hz的频率记录。该模拟器可以在手动或自动模式下运行。脑电由32通道组成，并以500Hz的频率记录信号，电极与被试之间的接触阻抗保持在20千欧以下。

实验采用2（性别）×3（实验条件）的被试间设计。三个实验条件分别是：正常、错失、误报。

驾驶场景是一条双向95公里长的道路，每个方向有三条车道，模拟城市驾驶。被试需在中间车道行驶，除非处理TOR（接管请求）。自动驾驶系统无法处理危险时，就会触发TOR，需要将被试控制车辆。开发8种TOR情景（4种危险×2个道路曲率水平）。4种危险分别为：破车、工作区、人行横道、山体滑坡；2个道路曲率为直线路面和半径200m的急转弯。

被试最初以自动驾驶模式驾驶，系统保持80公里/小时的恒定速度。被试可以按照自己的节奏进行NDRT（非驾驶相关任务）。当被试的车辆距离危险（约278m）约10秒时，触发TOR。TOR是由一个75dB的正弦声音（2010Hz，持续0.47秒）和一个显示在挡风玻璃下部区域的红色文本提示语组成。在TOR开始时，被试需要按下方向盘的X按钮切换到手动驾驶并处理危险。通过危险后继续行驶1公里后，提醒被试切回自动驾驶，然后，在行驶1公里后，口头提供任务评级（0到100的量表）。

NDRT：本文中使用的NDRT是一项打字任务，要求被试准确输入平板电脑上显示的汉字。平板电脑位于方向盘的右侧，模拟中央控制面板在实际车辆中的位置。因此，被试在进行NDRT时需要将他们的视觉注意完全从道路上转移开。

被试到达实验室后，了解该实验的目的和程序。然后，签署知情同意书。接下来，进行NDRT练习，并熟悉驾驶模拟器的操作。最后，给被试佩戴脑电设备，开始正式驾驶阶段。整个实验过程中，要求被试遵守道路交通法规和职责规范。实验的整个持续事件约为60分钟。

数据处理

1、使用FIR带通滤波（1-30Hz）去除噪声；

2、将信号进行重参考为平均参考；

3、利用FASTER工具箱识别和标记坏导，然后使用球面插值去除；

4、进行独立主成分分析（ICA）对EEG信号进行分解，应用ADJUST工具箱进行识别和去除伪迹。

信任评级前1Km的距离内记录的EEG信号，对应的持续时间约为45s，用于特征提取、模型开发。每个场景提取约5个周期。

口头评分在[0,60]范围内，则标记为“低信任度”，[60,80]标记为“中等信任”，[80,100]则标记为“高信任”。

EEG信号计算了6个时域特征，包括平均值、最大值、最小值、标准差、偏度和峰度。为了计算频域特征，EEG信号划分为delta（1-4Hz）、theta（4-8Hz）、alpha（8-13Hz）和beta（13-30hz）四个波段。然后分别使用FFT和Welch算法计算各波段的振幅和功率谱密度（PSD）。

将样本以70-30的比率分配为训练集和测试集。为了构建信任评估模型，采用了9种分类器：DT、KNN、SVM、RF、adaptive boosting（AdaBoost）、gradient boosting decision tree（GBDT）、XGBoost、LightGBM、multilayer perceptron（MLP）。

为了全面评估模型在不平衡多分类问题下的性能，计算了从混淆矩阵种得出的四个指标，即准确率、精确度、召回率和F1分数。四个指标表达式如下：

实验结果

基于全脑的信任评估模型

采用FEF方法，从全脑区域特征集种共选择300个特征，建立信任评估模型。

基于单个大脑区域的信任评估模型

将32个电极划分为4个脑区，如下图4所示。REF方法分别从额叶、颞叶、枕叶和顶叶区域选择了74、72、40和86个特征。

将这些特征用于开发9个分类器的信任模型。

比较信任模型中的大脑区域绩效

下图显示了整个大脑区域的9个分类器的平均绩效指标。与单个大脑区域相比，整个大脑总体上的表现出更好的性能。在所有4个绩效指标中，额叶和顶叶区域的表现明显优于枕叶区域。额叶区域在准确性上优于颞叶区域（p = 0.044）。

混淆矩阵与特征重要性分析

根据上述的结果，使用全脑特征的LightGBM模型。首先，推到了该模型的混淆矩阵。结果表明，该模型有效地学习了低信任度和中信任度之间地分类边界，以及地信任度和高信认度之间地分类边界。

使用SHAP方法计算特征重要值。下图分别给出了对模型贡献最大的前10个特征。其中8个PSD特征中5个是来自beta波，这表明beta波的PSD在信任评估中具有关键作用。从脑区角度来看，10个大部分属于顶叶。