打破色彩的速度限制——事件相机如何彻底改变高光谱成像

引言: 隐形世界与铁三角

人类的视觉是三色视觉；我们通过混合红、绿、蓝来感知世界。然而，物理世界要丰富得多。每种材料都会在连续的波长光谱上与光发生相互作用，产生一种肉眼看不见的独特“指纹”。 高光谱成像 (Hyperspectral Imaging, HSI) 正是让我们能够看到这些指纹的技术。通过捕获数百个光谱波段而不仅仅是三个，HSI 可以实时区分真假植物、检测组织病变或对矿物进行分类。

然而，传统的高光谱成像面临着一个根本性的瓶颈，通常被称为权衡取舍的“铁三角”:

1. 光谱分辨率 (Spectral Resolution): 颜色波段有多精细？
2. 时间分辨率 (Temporal Resolution): 捕获图像的速度有多快？
3. 数据带宽 (Data Bandwidth): 我们需要处理和存储多少数据？

传统上，你只能三选其二，很少能兼得。扫描系统提供高细节但速度慢 (不适合移动物体) 。快照系统速度快但分辨率低。两者都会产生大量冗余数据。

一篇名为 《Active Hyperspectral Imaging Using an Event Camera》 (基于事件相机的主动高光谱成像) 的新论文提出了一种激进的解决方案来打破这种僵局。通过结合主动照明 (受控光源) 与事件相机 (一种受生物学启发的传感器) ，研究人员开发出了一种系统，能够以视频速率 (高达 30 FPS) 捕获高质量的高光谱数据，而所需带宽仅为传统方法的一小部分。

在这篇深度文章中，我们将探讨该系统的工作原理、将“事件”转化为“光谱”背后的数学原理，以及它所取得的惊人成果。

背景: 从帧到事件的转变

要理解这篇论文的重要性，我们首先需要了解其核心传感器: 事件相机 (Event Camera) 。

帧的问题

传统相机是“基于帧”的。它们打开快门，记录传感器上每个像素的强度，通常每秒记录 30 或 60 次。如果你拍摄的是静态场景，相机就会浪费地一遍又一遍记录完全相同的数据。这种冗余是效率的大敌，尤其是在数据量本就庞大的高光谱成像中 (3D 数据立方体: \(Height \times Width \times Wavelength\)) 。

事件相机解决方案

事件相机 (也称为动态视觉传感器) 的工作方式不同。每个像素都是独立且异步运行的。只有当像素检测到亮度的显著变化 (对数强度) 时，它才会发送数据 (一个“事件”) 。如果没有变化，像素就保持静默。

这带来了以下优势:

• 微秒级时间分辨率: 变化发生的瞬间即被报告。
• 低带宽: 静态背景产生零数据。
• 高动态范围: 它们可以同时处理非常暗和非常亮的场景。

然而，挑战在于事件相机只报告亮度的变化，而不是绝对颜色 (波长) 。研究人员必须想办法将颜色信息编码进亮度变化中。

核心方法: “扫掠彩虹”

研究人员的关键见解非常巧妙: 如果我们控制照射到场景的光线，我们可以强制颜色表现为随时间变化的亮度。

光学架构

该系统不再使用被动相机来观察静态场景，而是使用主动照明 。 他们构建了一个定制的光学装置，充当“光谱扫描仪”。

图 2 展示了光路的分步过程:

1. 光源: 一个白点光源通过透镜准直 (变为平行光) 。
2. 色散: 光线穿过狭缝和闪耀光栅 (Blazed Grating) 。 这就像棱镜一样，将白光分解成其组成的波长 (一道彩虹) 。
3. 扫描: 分散的光线照射到旋转镜阵列上。随着镜子旋转，它们引导“彩虹”光束扫过场景。
4. 捕获: 光线从物体反射回来并被事件相机捕获。

时空-光谱编码

想象一下相机上的一个像素正对着花朵上的某一点。当镜子旋转时，“彩虹”扫过该点。

• 首先，该像素被 400nm (紫) 光照射。
• 几毫秒后，它被 500nm (绿) 光照射。
• 然后是 600nm (红) ，依此类推。

由于不同材料对不同波长的反射效率不同，随着照明颜色的变化，反射回相机的光线强度也会发生变化。

• 如果是红花，当彩虹的紫色部分照射到它时，它反射的光很少 (低强度) 。
• 当彩虹的红色部分照射到它时，它反射大量的光 (高强度) 。

这种从暗到亮的快速变化会触发事件相机。 事件的时间戳告诉我们那一刻照亮像素的是哪种波长。 通过知道镜子的速度，系统将时间直接映射到波长。

如图 4 所示，“扫掠彩虹”建立了时间 (\(\tau\)) 和波长 (\(\lambda\)) 之间的确定性关系。

数学框架: 解开光谱谜题

硬件提供了事件流。目标是将这些事件转化为高光谱图像 (HSI)。这需要一个稳健的数学模型。

1. 成像模型

首先，我们定义特定像素 \((x, y)\) 在时间 \(\tau\) 的强度 \(I\)。这个强度取决于三件事:

1. 相机传感器的光谱响应，\(D(\lambda)\)。
2. 物体的未知反射率 (我们要寻找的) ，\(R(\lambda)\)。
3. 照明模式，\(L(\lambda, \tau)\)。

这种关系表示为所有波长的积分:

这里，\(S(\lambda)\) 代表我们想要重建的真实高光谱图像。为了让计算机能够求解，我们将连续光谱离散化为 \(M\) 个不同的波段 (例如，从 400nm 到 760nm 的 72 个通道) 。这变成了求和:

我们可以通过将已知量 (照明和传感器响应) 分组为系数向量 \(\boldsymbol{a}_\tau\) 并将未知光谱值分组为向量 \(\boldsymbol{x}\) 来简化这一点。

2. 事件约束

现在我们引入事件相机物理学。当对数强度变化达到阈值 \(C\) 时，就会触发事件。如果在时间 \(\tau_k\) 发生事件，它与 \(\tau_{k-1}\) 的前一个事件的关系如下:

该方程表明，新强度等于旧强度乘以由阈值 \(C\) 和极性 \(\sigma\) (亮度是上升还是下降) 决定的因子。

3. 零光谱向量

通过重新排列事件方程中的项，研究人员推导出了一个强大的概念，称为零光谱向量 (Null Spectrum Vector) , 表示为 \(\boldsymbol{n}_k\)。

由于 \(\boldsymbol{n}_k\) 与未知光谱 \(\boldsymbol{x}\) 的点积必须等于零:

这个方程是重建的核心引擎。相机产生的每一个事件都提供了一个垂直于真实光谱的新向量 \(\boldsymbol{n}_k\)。如果我们收集到足够多的事件 (足够多的向量) ，我们就可以从数学上精确地缩小 \(\boldsymbol{x}\) (光谱) 的范围。

4. 克服模糊和噪声

仅使用零光谱向量求解 \(\boldsymbol{x}\) 有一个问题: 它只给出相对强度，而不是绝对值。为了解决这个问题，研究人员在装置中添加了一个恒定的“偏置”光 \(c\)。这增强了向量并锚定了解决方案。

他们将重建公式化为最小二乘最小化问题:

然而，原始数据是有噪声的。直接使用奇异值分解 (SVD) 等技术求解可能会导致物理上不可能的结果 (如负光强) 或“幻觉”，即算法在事件之间的间隙中进行疯狂猜测。

为了确保高质量的重建，作者引入了三个关键约束:

1. 非负约束 (Non-negative Constraint): 光强不能小于零。
2. 抗漂移正则化 (Anti-Drift Regularization, \(R_{int}\)): 确保强度在事件之间平滑变化，不会漫无目的地漂移。
3. 光谱平滑度 (Spectral Smoothness, \(R_{spec}\)): 自然光谱 (如花朵上的颜色) 倾向于在波长上平滑变化，而不是不规则地出现尖峰。该项惩罚光谱域中的高频噪声。

最终算法求解一个受约束的优化问题，该问题平衡了来自事件的数据与这些物理现实。

下面的消融实验生动地说明了这些约束的重要性。没有它们，重建就会遭受伪影、噪声或不稳定的影响。

实验与结果

研究人员构建了一个原型，并将其与几种最先进的方法进行了对比，包括基于帧的系统和“快照”压缩成像系统 (CASSI)。

1. 高频光谱精度

最难捕获的东西之一是具有尖锐峰值 (高频) 的光谱。研究人员投射了一个彩虹图案来测试这一点。

如图 5 所示，传统的基于基的方法 (c) 倾向于模糊彩虹的清晰线条，因为它们假设光谱总是平滑的。提出的基于事件的方法 (b) 几乎像全带宽帧相机一样好地捕获了锐利的过渡，但数据量要少得多。

2. 色彩保真度 (ColorChecker)

使用标准的 X-Rite ColorChecker 色卡，该系统展示了很高的定量精度。RMS (均方根) 误差在各种色块上都很低，证明“扫掠彩虹”技术能够正确识别标准颜色。

3. 同色异谱: 雏菊测试

同色异谱 (Metamerism) 是指两种颜色在人眼 (或 RGB 相机) 看来完全相同，但具有完全不同的光谱组成。研究人员将一朵真雏菊放在一朵假雏菊旁边。肉眼看去，它们非常相似。

在图 7 中，系统成功区分了两者。“Ours”线 (黑色实线) 紧跟真花和假花的地面实况 (红色虚线) ，揭示了标准相机会遗漏的反射率上的细微生物学差异。

4. “杀手级特性”: 动态场景

使用事件相机的主要动机是速度。传统的高光谱扫描需要几秒钟，这使得捕获移动物体成为不可能。

该系统以 10-30 FPS 的速度捕获高光谱数据。图 8 展示了一张移动的珠光纸 (变色纸) 。纸上的颜色随视角而变化。随着纸张移动，光谱特性迅速变化。

系统实时重建了变化的光谱，没有出现会困扰传统扫描狭缝相机的运动模糊或“果冻效应” (倾斜) 。

结论与未来展望

这项研究标志着计算成像领域向前迈出的重要一步。通过重新思考数据采集流程——从改变传感器 (扫描) 转变为改变光线 (主动照明) ，并使用检测变化而非绝对值的传感器——作者打破了“铁三角”。

主要收获:

• 效率: 与基于帧的方法相比，该系统实现了 59.53% 的带宽减少 。
• 速度: 它实现了实时 HSI 捕获 (高达 30 FPS) ，为 HSI 在机器人技术、自动驾驶和工业分拣中的应用打开了大门。
• 灵活性: 光谱分辨率由数学和光学定义，而非传感器像素布局，从而允许高分辨率的光谱重建。

虽然该系统目前需要黑暗环境 (以控制主动光) 并且尚未考虑复杂的光线相互作用 (如相互反射) ，但它证明了事件相机不仅仅用于运动追踪——它们是多维科学成像的强大工具。这种光子学与神经形态传感的融合很可能会激发新一代相机的诞生，它们不仅看世界更快，而且能看到我们只能想象的“色彩”。