恒挚分享 | 基于ECG时频谱和fNIRS前额叶皮层网络的核电站操作员热应激绩效评估神经工效学模型：CNN-GAT融合模型

工业5.0是以一种新的工程方法为中心，优先考虑人类需求的解决方案，强调人类在系统中的关键作用。在这种情况下，人类控制论系统需要对人类状态进行直接和可靠的理解，包括身体和心理方面。这对于操作员在强热应力、高脑力负荷、重度疲劳等情况下评估表现尤为重要。

目前，神经生理学监测已经取得了长足的发展，如脑电（EEG）、功能性近红外光谱（fNIRS）、心电图（ECG）、皮肤电（EDA）。这些生物信号反映了人类状态的基本方面，包括大脑活动、能量代谢、唤醒水平、肌肉疲劳等。新兴且有效的技术，可用于实时评估人类在操作环境中的状态。

随着机器学习的突飞猛进以及计算机内存和处理速度的进步，建立在人工神经网络（ANN）基础上的大参数深度学习网络，在特征学习和分类任务中表现出更高的性能。本文建立了基于多生理学数据的性能评估模型（ECG-fNIRS），并探索了深度学习架构来提取有效的判别特征。通过处理ECG和fNIRS信号分别获取时频谱和前额叶皮层（PFC）网络，以获得更好的评估结果。

图1显示了绩效评估模型，该模型由5个部分组成：数据采集和处理、ECG手动特征提取以获得ECG向量、fNIRS手动特征提取以获得PFC脑网络、深度判别特征提取以及模型融合和分类。最后，应用各种方法对结果可视化和绩效评估。对于ECG数据，滤波后进行时域和频域分析，提取ECG手动特征向量，包括典型波的振幅和宽度以及特定频带的功率谱密度（PSD）。此外，心电信号进行短时傅里叶变换（STFT）来获得时频谱。最后，通过4-层CNN（卷积神经网络）从每个时频谱中提取频谱学习向量。对于fNIRS数据，滤波后进行一般线性模型（GLM）和功能连接（FC）分析，来获得beta值（脑区激活）和FC强度（通道间的同步性）。fNIRS PFC脑网络分别由beta值和FC强度作为节点特征和边特征组成。PFC脑网络学习向量是从每个fNIRS PFC脑网络通过2-层GAT（图注意力网络）提取的。最后，通过一个基于ECG手动特征向量、频谱学习向量和PFC脑网络学习向量连接的3分类密集层来预测绩效类别。

该章节主要总结和综述了脑电图在评估室内光环境的作用，其强调了脑电图在评估室内光环境条件方面的有效性，特别是关于光谱、照度、色温和照明模式如何影响大脑活动。

在4种湿热暴露环境下对核电站（NPP）操作员（训练有素的志愿者）进行了实验（25℃60%相对湿度、30℃70%相对湿度、35℃80%相对湿度、40℃90%相对湿度），来研究他们的表现和典型认知、执行功能的影响。为了评估操作员在热应激下的总体表现，本实验中选择的绩效指标包括主要NPP任务表现和基本认知功能：

主要任务表现：根据NPP操作员认知模型，检测和注意、理解和感知、决策、行动以及团队合作是操作员需要的五种基本认知和执行功能。开展了故障检测任务和反应堆堆芯停机运行任务，以涵盖这些基本功能。

态势感知（SA）：SA反映了操作员对关键系统的当前状态和未来预测的感知、理解和预测，主要通过态势感知全球评估技术（SAGAT）进行评估。

负荷（WL）：WL包括脑力负荷和体力负荷，通常与绩效呈U型相关，主要通过NASA任务负荷指数量表（NASA-TLX）进行评估。

工作记忆（WM）：操作员必须处理巨大的信息流，并在压力情况下保存重要信息，这是一种重要的认知功能，称为工作记忆。其主要通过N-back任务来评估。

每个场景如下图2所示，记录实验中持续时间、准确性、反应时间和错误计数。根据被试在不同场景下的表现，将其表现分为三类：

类别1：在合适的工作场所（25℃60%相对湿度和30℃70%相对湿度）下具有良好的绩效

类别2：在较高温度和湿度环境（35℃80%相对湿度）下处于困倦状态绩效下降。

类别3：在最高的温度和湿度下（40℃90%相对湿度），简单的反应任务会有暂时的轻微改善，但高级认知功能会迅速受损。

30名被试（16名女性和14名男性），年龄在20-39岁之间参加了实验。其中4名被试数据因记录不完整排除在外。最终共获得515个ECG数据和fNIRS数据。