010-53352947

虚拟现实环境中的注意状态识别

来自波兰的研究人员在 Sensors 杂志上发表文章,探讨了虚拟现实(VR)和近红外技术的实际结合问题。他们设计了一套综合实验平台,其中包含 CW-fNIRS 和头戴式显示(HMD)技术,并使用变体后的经典 n-back 任务(2-back 版本)在虚拟现实中进行实验。结果证实了结合 fNIRS 和 HMD 技术,实验者可以有效地将实验性认知过程转移到可控的 VR 环境中。
研究背景
功能性近红外光谱(fNIRS)是最新和最快的功能神经成像技术之一,使用波长为650-950nm的近红外光来测量皮质脑区的血流动力学反应。近红外系统通常使用激光或LED发射连续波(CW)近红外光。
VR技术已被用于注意力技能的研究和训练,已有许多结合VR和近红外技术的案例和论文。
结合VR和FNIRS技术,通过训练程序调节注意力状态的可行性已经得到证明。识别注意状态可以用于监测受试者在任务中的参与度。用户与系统的交互体验可以通过视觉量表和问卷来测量其满意度。
本研究假设:
DLFPC 和 MFG 区的血流动力学活动 (HbO/HbR 浓度变化 ) 在增强注意力投入 (n-back 任务 ) 和放松状态之间的差异将显著高于研究组的机会阈值水平。
用户与系统的交互体验(fNIRS+HMD) 将高于满意度评估量表的平均值。
被试
12 名受试者 (10 名女性 ),年龄 21-34 岁 (M = 24.82;SD = 4.38) 参与实验。实验中所有参与者均为右利手,裸眼视力和校正后视力正常。
设备
近红外信号被记录在一个双波长 (760 和 850 nm) fnirs系统中 ((Cortivision sp. z o.o., Lublin, Poland)。其中共有16 个LED光源和10探测器。
在线阶段的数据处理在OpenViBE 3.1.0 (Inria Hybrid Team, Rennes, France)上使用自定义Python 脚本进行。
使用 Unity3D 引擎开发 VR 场景,并在Oculus Quest(Facebook Technologies, Menlo Park, CA, USA)上显示。
使 用 JASP软件对结果进行统计分析。
实验装置包括无线一体化 VR 护目镜 和可穿戴 fNIRS设备。在数据记录过程中,参与者是坐着的,设备是无线连接的。
主观满意度评估
使用视觉模拟量表 (Visual Analogue Scale, VAS) 来评估两组实验结束后的总体主观满意度。评估采用 11 分制”。
使用改良版的魁北克辅助技术用户评价 (eQUEST 2.0) 来测量参与者对使用系统满意度。
实验流程
该研究包括三个部分。
第一阶段(教程):需要判断当前水果在两个水果之前是否看到过。当法师扔出能量球时代表放松。
第二阶段:离线阶段的任务和教程相同。
第三阶段:要求被试只在脑内做同样的任务。物体的运动方向直接由分类输出信号控制。
实验中,任务和休息依次交替。在每个“2-back”任务块中,水果列表随机分为3个目标、7个非目标。
数据收集
近红外数据由Cortivision PHOTON CAP系统收集。使用了10个通道。此外,在F3和F4位置放置了两个短距离通道(见图3)。对于所有数据通道,光源与探测器之间的距离保持在30毫米左右。短通道的距离则固定为10毫米。光源和探测器的放置位置是基于软件中的预定义位置进行选择的。三个感兴趣区域(MFG、L-DLPFC、R-DLPFC)被自动从脑区解剖翻译为10-5国际系统位置。
信号处理
将原始光强度转换为光密度。处理记录的前5秒期间记录基线。然后将光密度转换为氧脱氧血红蛋白(HbO/HbR)浓度。然后,基于VR应用程序流标记进行基于刺激的分段。。进行低通滤波。采用广义线性模型 (GLM) 进行特征提取,并进行进一步分析。
将获得的包含提取特征的数据集分为五部分进行五次交叉验证。每次重复交叉验证都包括以下步骤:
  1. Z-score标准化:训练集和测试集的z-score标准化。
  1. SVM分类器被用来区分两个类:“放松”和“2-back任务”。
结果
分类准确性
单样本非参数Wilcoxon符号等级检验的结果表明,校准阶段的分类精度为M=88.58,SD=8.49,显著高于Müller-Putz等人为两类BCI计算的95%的概率上限(T=78,p<0.01,rrb=1)。然而,我们在在线条件下没有观察到显著差异(M=61,SD=14.89,T=6,P=0.107)。同时,这两种情况都显著高于50%的机会水平(校准:t=78,p<0.001,rrb=1;在线:t=31,p<0.001,rrb=0.72)。表给出了校准和在线会话中所有参与者的平均分类精度结果。
用户满意度
用户对系统的交互整体满意度平均为6分,接近满分11分的“非常满意”最高评分。调查发现,在交互中得分最高的方面是安全性和易用性。对于系统的其余方面,评分平均为5级以上,包括调节性、尺寸、可靠性、重量和舒适性。
结论
根据感兴趣的区域对血流动力学变化进行分类,可以识别出注意力增强和放松程度。
在实验中,头戴式显示设备和移动fNIRS交互的总体用户满意度较高。
此外,开源实时数据处理软件中的信号处理方式可以为未来的脑机接口和神经反馈研究提供框架。
便携式fNIRS和虚拟现实系统在更自然条件下研究认知过程是可行的。
参考文献:
Zapała, D., Augustynowicz, P., & Tokovarov, M. (2022). Recognition of Attentional States in VR Environment: An fNIRS Study. Sensors, 22(9), 3133.


公司简介

北京恒挚科技有限公司,由中科(广东)科学集团投资,依托于广东人因技术研究院与武汉人因工程技术研究院的技术背景,是一家新型以心理人因、驾驶人因、生物力学、用户体验、虚拟现实等方向为基础,集生产、研发、销售、技术服务于一体高新科技型企业,已成功入选中关村高新技术企业名单。


恒挚科技自主研发驾驶人因系统、虚拟现实图形化编辑软件、光环境心理评估系统、心理与人因实验教学系统,已经进入国内市场。

恒挚科技作为波兰Cortivision近红外、俄罗斯Mitsar脑电中国区总代理、意大利BTS表面肌电等生物力学与步态分析的国内产品总代理,荷兰Noldus行为科学、瑞典Tobii眼动仪、荷兰MindMedia生理与生物反馈、美国Biopac生理、美国ETT嗅觉/味觉刺激仪等产品的国内特许代理所经营的高新科技产品,已服务包括清华大学、北京师范大学、东北师范大学、燕山大学、启元实验室、西安建筑科技大学、西北农林科技大学、深圳技术大学、西安科技大学、上海大学、航天二院中国电子科技集团2728所等国内顶尖高校和最高级别的科研单位同时为墨迹天气、网易、华为技术提供技术支持,在人才培养、科研合作、成果转化等科技领域内持续进行深合作。



关注我们:

本篇文章来源于微信公众号:恒挚科技EVERLOYAL

zh_CNChinese