学术成果 | 人类视觉如何识别遥感影像目标？

目标检测是理解和分析遥感影像的基础，被广泛应用于环境监测、城市管理和灾害评估等领域。而人类视觉注意力在遥感目标检测中起着关键作用。相较于自然图像，遥感影像具有更广阔的空间尺度和独特的俯视视角，同时也更易受到地理环境变化的动态影响。然而，目前对视觉注意力的理解大多来自自然图像，缺少对遥感影像目标检测中人类注意力的研究。

在自然图像目标检测的视觉注意研究中，眼动和脑电图(Electroencephalography ,EEG)技术被广泛用于捕捉人类的视觉注意认知过程。现有研究将人类在目标检测中的注意分为引导、分配、选择和识别四个阶段。

由此我们提出了人类遥感影像目标检测的三个关键问题：

• 哪些图像特性引导了人类的视觉注意？

• 在目标搜索过程中，注意力分配受到哪些因素的影响？

• 人类是如何选择和识别目标的？

为了回答以上问题，我们以飞机作为目标开展了目标检测认知实验，同步采集了40名遥感解译专业人员的EEG和眼动追踪数据。本研究运用眼动指标和注视相关电位（FPR）分析，首次为遥感目标检测中人类视觉注意提供了全面和可靠的理解。

本研究从DIOR遥感目标检测数据集中选取了1000张影像，每张影像中包含0～6个飞机。我们通过问卷测试选拔了40名具有遥感专业背景和解译经验的研究生作为被试。每名被试被要求观看500张遥感影像，并在3秒内找到影像中所有飞机。眼动和EEG数据由SMI RED250眼动仪（250Hz）和 NE Enobio 32脑电仪（500Hz，32通道）同步采集（图1）。

图1. 基于眼动和EEG的遥感目标检测实验。(A)刺激材料；(B)实验流程；(C)数据收集过程，左：EEG电极排列，中：实验场景照片，右：眼动轨迹。

针对引导被试视觉的图像特征，本研究基于眼动热力图和目标标注数据，将遥感影像划分成目标、干扰物和背景三个区域，统计了每种区域的色调、亮度、饱和度、灰度非线性、边缘密度和图像信息熵，并进行了曼-惠特尼秩和检验。

针对影响被试注意分配的因素，本研究统计了不同区域的注视时长、注视次数以及平均注视时长，设计了两个标准化差异指数以衡量被试对目标和干扰物注意行为的差异，并计算了注视差异与目标总面积、目标平均面积以及目标数量的相关性。

针对被试选择和识别目标的认知过程，本研究使用注视相关电位（Fixation-related potential, FPR）方法分析。计算FRP首先选择特定的注视点作为“触发事件”，提取与这些事件相关的数据段；随后进行基线校正和叠加平均，消除非特异性的电位变化，提高信噪比；最后对不同条件下的FRP进行比较，以探究视觉注意力的分配和视觉信息加工的差异。

注视指标结果表明，被试很少关注视觉复杂度较高的背景区域。这种选择性关注不仅有效排除了复杂环境因素的干扰，还显著减轻了视觉系统的认知负担。（图2 C）进一步的图像特征比较表明，色调和亮度是主导被试视觉注意力分配的关键因素。值得注意的是，与普通图像相比，遥感影像中的饱和度并未显著影响被试的注意力分配。此外，纹理和形状特征在引导视觉注意力方面的作用也不明显（图2 B）。

图2. 眼动分析。(A)目标、干扰物和背景划分示例；(B)目标、干扰物和背景区域图像特征统计结果；(C)对目标、干扰物和背景的注意力差异度量分析；(D)注视差异指标与目标平均面积回归分析。

注视时长和注视次数的结果表明，被试在目标上分配了更多的注意力，用于识别和记忆目标。（图2 C）与自然图像的研究结果不同的是，随着当目标平均面积的降低，被试开始将注意力转移到干扰物上。当目标平均面积低于整张图像的3.9%时，被试将更多的注意力放在干扰物上。（图2 D）这种注意力的转移可能导致了被试在目标物较小的遥感影像中，不能快速检测到所有的目标。

图3. 目标与检测率的相关性结果。(A)不同检测率组间总目标面积、目标数量和目标平均面积的差异（*：p

枕叶脑区的FRP表明，大脑对目标和干扰物进行了相同的初级视觉加工。（图4 B）而两者的认知差异主要出现额叶和颞叶脑区。额叶控制了初级视觉信的传输和记忆（图4 C），在颞叶中对目标进行了视觉特征的记忆、综合和识别（图4 D）。

图4. 目标和干扰物的FRP。(A)目标和干扰物的全脑地形图；(B-E)目标和干扰物的FRPs：红线表示目标，蓝线表示干扰物，阴影区域是FRP差异显著时的聚类时间。

本研究联合眼动跟踪和EEG探究了人类在遥感目标检测过程中的视觉行为和神经反应，揭示了遥感影像视觉注意的认知过程和规律。不仅在视觉行为中发现了引导人类注意的独特视觉特征，揭示了被试的注意分配依赖于目标大小，更在大脑神经活动层面证明了记忆和加工是目标识别的关键。本研究为理解人类遥感目标检测过程提供了视觉和神经证据，为开发人机融合的遥感解释应用提供了理论基础，并为遥感智能检测算法的研发提供了参考和指导。

Bing He, Tong Qin, Bowen Shi & Weihua Dong (2024) How do human detect targets of remote sensing images with visual attention?, International Journal of Applied Earth Observation and Geoinformation, DOI: 10.1016/j.jag.2024.104044.

素材来源：S³-Lab

内容排版：王志洋