大家读完觉得有帮助记得关注和点赞摘要单像素成像为获取高光谱图像提供了一条经济高效的途径但在极低采样率下难以恢复高保真的空间和光谱细节——这是一个严重的不适定逆问题。虽然深度学习已显示出潜力但现有的数据驱动方法需要大规模的预训练数据集这在高光谱成像中通常不切实际。为了克服这一限制我们提出了一个端到端的物理信息框架该框架利用无训练的神经网络和RGB引导无需任何外部训练数据即可联合实现高光谱重建和超分辨率。该框架包含三个基于物理的步骤1基于RGB衍生灰度先验的正则化最小二乘法通过利用跨模态结构相关性来初始化解2无训练高光谱恢复网络通过测量一致性和混合正则化细化重建结果3基于变换器的无训练超分辨率网络通过跨模态注意力提升空间分辨率从RGB引导图像中迁移高频细节。在基准数据集上进行的大量实验表明我们的方法在重建精度和光谱保真度方面均显著优于最先进的算法。此外一个使用物理单像素成像系统的概念验证实验验证了该框架的实际适用性在仅6.25%的采样率下成功重建了144波段的高光谱数据立方体。因此所提出的方法为计算高光谱成像提供了一个鲁棒且数据高效的解决方案。1. 引言单像素成像是一种新兴的计算成像技术由于其在非可见光谱区域和低光环境下的优势而引起了相当大的兴趣[1, 2, 3]。通过使用带有结构化照明图案的单像素探测器SPI 可以实现经济高效的高光谱成像而阵列探测器在此类应用中可能过于昂贵或不可用[4, 5]。然而在极低采样率下重建高质量的高光谱图像仍然是一个艰巨的挑战。压缩感知等传统算法在低于5%的采样率下通常会出现严重的性能下降导致伪影、噪声和光谱失真[6, 7]。虽然深度学习方法最近提高了重建质量但它们通常需要大量带标注的数据集进行监督训练——由于对齐的RGB-高光谱图像对稀缺这一要求在高光谱成像中难以满足[8]。此外在特定数据集上训练的模型对新场景或硬件配置的泛化能力往往很差。为了解决这些问题我们提出了一种新颖的框架它协同集成了物理测量模型、RGB引导和无训练的神经网络从而在没有外部训练数据的情况下实现高保真重建。图1​ 提出的RGB引导高光谱重建框架整体架构。a集成了SPI物理模型、RGB引导和无训练神经网络的端到端流程。bUHRNetRGB引导的高光谱恢复网络。cUSRNet基于变换器的高光谱超分辨率网络。d用于特征映射的头部模块。e带有多头注意力的编码器。f用于通道注意力的SE块。g带有卷积和归一化层的ConvBlock。1.1. 相关工作我们的工作建立在三个关键领域的进展之上单像素高光谱成像、RGB引导重建和无训练神经网络。1.1.1. 单像素高光谱成像SPI 已从早期的基于相关性的方法如差分关联成像发展到先进的压缩感知和深度学习方法。像 TVAL3 这样的 CS 算法利用图像稀疏性来降低采样要求但通常计算成本高并且在低于5%的采样率下难以恢复精细纹理[12, 13]。最近的深度学习方法学习从一维测量到二维图像的映射[14, 15]但其监督性质限制了在数据稀缺场景下的灵活性。1.1.2. RGB引导的高光谱重建RGB图像提供了高分辨率的空间结构可以补偿高光谱传感器空间分辨率的不足[16]。现有方法通常将其视为光谱超分辨率或融合问题[17]但它们通常假设固定的光谱响应并且需要大量的配对训练数据。在 SPI 中在不依赖大规模预训练的情况下有效地将一维压缩测量与二维 RGB 先验融合仍然具有挑战性。1.1.3. 无训练神经网络无训练神经网络也称为深度图像先验利用网络结构作为先验在单个测试实例上优化网络权重[18, 19, 20]。当真实数据不可用时这种范式具有优势。最近的工作已将 UNN 应用于标准 SPI[21, 22]但由于高维度和光谱一致性的要求将其扩展到 SPHI 具有挑战性。我们的工作通过结合显式的 RGB 引导和物理测量约束扩展了 UNN 范式。1.2. 主要贡献为了应对极低采样率和数据稀缺的双重挑战我们提出了一个端到端的框架具有以下主要贡献一个统一的物理信息框架协同集成了 SPI 测量模型、RGB 引导和无训练神经网络能够在极低采样率下实现高质量的高光谱重建而无需大规模的预训练数据。一种带有RGB先验的正则化最小二乘初始化方法它以解析方式结合了从RGB导出的结构信息为优化提供了鲁棒的起点。一种双阶段无训练网络架构包含 RGB 引导的高光谱恢复网络 和基于变换器的超分辨率网络它们强制物理一致性并利用跨模态注意力逐步细化空间和光谱细节。在基准数据集上进行的大量实验表明我们的方法在空间重建质量和光谱精度方面均显著优于最先进的基于优化和基于深度学习的方法。通过一个真实的 SPHI 实验进行验证在 6.25% 的采样率下成功地从物理测量中重建了 144 波段的数据立方体证实了其实际可行性。2. 方法2.1. 整体框架如图1所示我们的框架由三个核心步骤组成。首先SPI 测量和初步重建阶段获取极低采样率下的一维测量信号并通过整合RGB衍生的灰度先验进行初步重建。其次RGB引导的高光谱恢复阶段使用 UHRNet通过迭代优化来细化初步重建该优化强制测量一致性、傅里叶正则化、感知损失、锐度损失和空间平滑度损失。第三高光谱超分辨率阶段使用 USRNet一个基于变换器的网络通过跨模态注意力从 RGB 引导图像迁移高频细节从而提升空间分辨率。整个过程无需外部训练数据充分利用物理约束和 RGB 引导在严重欠采样条件下实现高质量重建。2.2. SPI 前向模型与初始化在 SPI 中一系列图案照亮场景反射光强由单像素探测器记录。对于高光谱图像每个图案产生一个标量测量值。在极低采样率下该系统严重欠定。为了融入先验知识我们将 RGB 引导图像通过亮度提取转换为灰度先验。初步重建通过求解正则化最小二乘问题获得该问题具有封闭形式的解。这种 LS-RGP 初始化提供了一个稳定的起点但仍包含噪声和缺失的细节这些问题将在后续步骤中得到解决。在实际中测量图案是通过阈值化正态分布矩阵生成的二值随机掩码便于使用数字微镜器件进行硬件实现。2.3. RGB引导的高光谱恢复网络2.3.1. 网络架构UHRNet 基于具有跳跃连接的 U-Net 主干构建并结合了用于通道注意力的压缩激励块。编码器通过卷积和最大池化逐步对输入特征图进行下采样捕获多尺度表示。解码器通过转置卷积进行上采样跳跃连接保留了精细的空间细节。SE块首先计算全局平均池化然后应用两个带有 Sigmoid 激活的全连接层来生成注意力权重从而重新缩放输入特征。这种设计增强了网络聚焦于信息性光谱空间特征的能力。2.3.2. 损失函数UHRNet 的训练最小化一个复合损失函数该函数强制物理一致性和感知质量。复合损失包括测量一致性损失、傅里叶正则化损失、锐度损失、平滑度损失和感知损失。权重用于平衡各项的贡献。图2​ 不同方法在波段1、16和21上的高光谱重建质量对比。灰度热力图可视化空间保真度。从左到右真实值、DGI、GISC、TVAL3、GIDC、PYFINETUNE、MST 和我们的方法。显示 PSNR 和 SSIM 值。我们的方法始终实现更高的指标和更优的视觉质量。2.4. 高光谱超分辨率网络2.4.1. 网络架构USRNet 是一个基于变换器的网络旨在利用 RGB 引导将低分辨率高光谱图像上采样到高分辨率。输入首先通过卷积层嵌入。添加位置编码以保留空间信息。核心变换器模块采用多头自注意力来捕获跨越空间和光谱维度的长距离依赖关系。对于输入特征计算查询、键和值矩阵多头注意力输出被连接并进行线性变换。残差连接和层归一化稳定了训练。一个 RGB 引导路径从高分辨率 RGB 图像中提取亮度信息将其下采样以匹配高光谱特征尺度并通过通道连接与变换器特征融合。最后转置卷积逐步上采样到目标分辨率。2.4.2. 损失函数超分辨率损失结合了多个项以确保空间和光谱保真度。包括下采样一致性损失、傅里叶损失、全变分损失、感知损失和 SSIM 损失。这里下采样一致性损失强制执行与低分辨率输入的一致性全变分损失促进边缘保持平滑SSIM 损失使结构细节与 RGB 引导对齐。3. 仿真实验与分析我们在 CAVE 数据集上评估我们的方法该数据集包含 32 个高光谱场景每个场景有 31 个波段。我们将我们的方法与最先进的算法进行了比较。实现使用 PyTorch 和 NVIDIA RTX 4090D GPU使用 AdamW 优化器。没有使用外部预训练。评估指标包括峰值信噪比、结构相似性指数和光谱角制图。3.1. 各波段重建质量图2比较了波段1、16和21的重建结果。在视觉上和定量上我们的方法都优于其他方法。恢复的图像显示出更清晰的边缘、更好的纹理保留以及与真实值更接近的相似性。图3​ 在 6.25% 采样率下不同信噪比条件下的性能。a每种方法的平均 PSNRb平均 SSIM和c平均 SAM。我们的方法显示出显著更好的噪声鲁棒性。3.2. 整体定量性能图4呈现了所有测试波段上 PSNR 与 SAM 的散点图。我们的方法实现了最高的平均 PSNR 和最低的 SAM显著优于次优的方法。这表明了在空间细节恢复和光谱精度方面的卓越性归因于有效使用了 RGB 先验来约束解空间并减轻噪声过拟合。图4​ 在 PSNR 和 SAM 方面的整体性能比较。我们的方法实现了最佳的权衡表明具有卓越的重建保真度和光谱保持能力。3.3. 对噪声的鲁棒性图3评估了不同信噪比水平下的性能。在 0 dB 信噪比下其他方法严重退化而我们的方法仍然保持较高的 PSNR 和 SSIM。这种鲁棒性源于混合正则化和 RGB 引导它们共同抑制噪声同时保留结构信息。3.4. 图案数量的影响图5显示了性能如何随测量图案数量的变化而变化。即使只有4个图案我们的方法也能获得较高的 PSNR 和 SSIM显示出对极端欠采样的强大适应性。随着图案数量增加到1024PSNR 和 SSIM 进一步提高而 SAM 降低表明在不同采样条件下的稳定和准确恢复。图6提供了仅使用4个图案时波段9、15和31的视觉比较。我们的方法比 PYFINETUNE 保留了更多的空间细节并更好地抑制了噪声更高的 PSNR 和 SSIM 值也证实了这一点。图5​ 测量图案数量对我们的方法和 PYFINETUNE 的性能指标的影响。图6​ 仅使用4个图案时波段9、15和31的视觉比较。我们的方法产生了更清晰的纹理和更高的保真度指标。3.5. 光谱精度图7绘制了两个代表性像素的光谱曲线。我们重建的光谱与真实值高度匹配SAM 值显著低于其他方法。这证实了精确的光谱特征恢复这对于材料识别等应用至关重要。图7​ 在 6.25% 采样率下两个像素在 RGB 图像中标记的光谱恢复比较。我们的方法与真实值最吻合表现出最低的 SAM 值。图8​ 波段10、15和20的超分辨率重建。我们的方法提供了卓越的视觉质量和客观指标。3.6. 超分辨率性能表1总结了超分辨率结果。我们的方法在 PSNR、SSIM 和 SAM 方面均达到了最高值优于所有竞争对手。这突显了其在提升空间分辨率的同时保持光谱完整性的能力。表1​ 超分辨率性能比较。我们的方法在所有指标上都表现出色。方法PSNR (dB)SSIMSAM (°)SAM (rad)Ours​35.0147​0.9571​7.5949​0.1326​DGI8.32230.051927.07870.4726GIDC22.79020.575822.95020.4006GISC9.99160.347227.22650.4752TVAL313.29840.099189.91101.5692PYFINETUNE26.28540.636114.57660.2544DIP31.46530.871313.99910.2443波段10、15和20的视觉结果如图8所示我们的方法产生了更清晰的细节和更准确的颜色。3.7. 局部细节分析图9放大了一个感兴趣区域。与其他方法相比我们的重建显示了更清晰的纹理和更忠实的光谱内容与真实值的偏差最小。图9​ ROI比较标有ROI的RGB图像左上以及每种方法相对于真实值的放大重建结果。我们的结果展示了最精细的细节保留。3.8. 消融研究3.8.1. 高光谱恢复组件表2对 UHRNet 中的损失项进行了消融。移除任何组件都会导致 PSNR、SSIM 和 SAM 的明显下降证实了每个组件都对整体性能有贡献。特别是感知损失对于保持视觉真实性至关重要。表2​ RGB引导高光谱恢复的消融研究。每个损失项都对性能有积极影响。配置PSNR (dB)SSIMSAM (°)SAM (rad)完整模型​38.1406​0.9670​7.3064​0.1275​无测量损失25.53830.861621.25510.3710无傅里叶正则化36.50020.954612.50950.2183无锐度损失29.24060.837929.46640.5143无平滑度损失37.36110.960212.38050.2161无感知损失14.61820.584119.87940.34703.8.2. 超分辨率组件表3研究了 USRNet。用标准层替换变换器块会导致性能大幅下降凸显了长距离依赖建模的重要性。移除 RGB 引导或下采样一致性损失也会使结果变差验证了跨模态融合和多尺度约束的设计。表3​ 超分辨率网络的消融研究。变换器架构和 RGB 引导对于高质量上采样至关重要。配置PSNR (dB)SSIMSAM (°)SAM (rad)完整模型 (基线)​35.01​0.9571​7.59​0.1326​架构​无变换器块32.430.940010.870.1896浅层 (深度4)34.640.95587.640.1334较少注意力头 (头数2)33.640.94578.660.1512窄 (维度64)34.770.95607.580.1323无位置编码34.680.95617.640.1334无 RGB 引导34.310.95457.750.1352损失函数​无下采样损失21.090.820131.830.5555无 SSIM 损失33.200.93747.680.1340无 TV 损失33.800.931012.580.2196无傅里叶损失34.900.95667.690.1342无感知损失32.450.940010.780.18824. 真实世界实验验证为了证明实际适用性我们实现了一个物理 SPHI 系统并在实际测量上测试了所提出的框架。4.1. 实验装置该系统包括一个用于结构化照明的 DLP 投影仪、一个用于光谱检测的光纤光谱仪、一个用于空间引导的 RGB 相机以及一台用于数据采集的计算机。在此光路中光从目标反射到分束器。左路光通向 RGB 相机其前方配备了一个 16 倍镜头。直行光路将光引导至光谱仪依次通过一个 25 倍镜头和一个 40 倍显微物镜然后到达光纤探头。投影大小为 128×128 的二值随机图案M1024 个图案对应 6.25% 的采样率。光谱仪记录从 380 nm 到 720 nm 的 144 个波段。RGB 相机捕获高分辨率彩色图像用于引导。关键参数列于表4。图10​ 真实世界 SPHI 系统示意图。来自 DLP 投影仪的宽带光被随机图案结构化。来自目标的反射光进入分束器左路被 RGB 相机捕获直行光路通过 25 倍镜头和 40 倍显微物镜引导至光谱仪。图11​ 实验装置照片显示了关键组件DLP 投影仪、分束器、RGB 相机、收集透镜、显微物镜和光纤光谱仪。表4​ 真实世界实验系统的关键参数。参数值空间分辨率128×128 像素图案数量 (M)1024采样率 (β)6.25%光谱范围380–720 nm波段数量 (B)144光谱间隔≈ 2.4 nm图案类型随机二值投影仪DLP, 100 W光谱仪Avantes ULS2048CL-EVORGB 相机XIMEA MQ042CG, 2048×20484.2. 重建结果遵循相同的三阶段流程我们从物理测量中重建了一个 128×128×144 的高光谱数据立方体。尽管采样率低且有真实世界噪声重建图像在各波段均显示出清晰的空间结构。4.2.1. 光谱保真度目标场景由五颗彩色 Skittles 糖果组成。来自光纤光谱仪的点测量提供了每颗糖果的真实光谱。我们通过最小化光谱角来确定重建中最佳匹配的像素并比较光谱。图12显示了结果经过平滑后跨目标的平均皮尔逊相关系数为 r0.909平均 SAM 为 22.0°。平滑处理将相关性提高了 2.61%并将 SAM 降低了 1.5°证实了光谱特征被准确恢复。图12​ 光谱保真度分析。a标记了五个目标位置的 RGB 图像。b–f每个目标的真实光谱与重建光谱对比并标注了皮尔逊相关系数 r 和 SAM。表5​ 五个目标的定量光谱保真度指标。平滑增强了相关性并降低了 SAM。目标像素r (原始)r (SG)SAM (SG)目标 1(51, 100)0.8990.91317.6°目标 2(73, 33)0.9460.96716.3°目标 3(104, 55)0.8870.90921.9°目标 4(27, 76)0.8130.87128.8°目标 5(50, 65)0.8690.88525.6°均值—0.8830.90922.0°4.2.2. 高光谱数据立方体可视化完整的数据立方体可视化如图13所示。假彩色合成和单波段图像证实了空间和光谱上的一致恢复展示了该框架的实用性。图13​ 从实际测量重建的 128×128×144 高光谱数据立方体覆盖 380–720 nm的可视化。5. 结论我们提出了一种用于 RGB 引导的超分辨率 SPHI 的物理信息无训练学习框架。通过集成 LS-RGP 初始化、UHRNet 和 USRNet该方法在极低采样率下实现了高保真重建而无需外部训练数据。大量的仿真实验表明在空间和光谱指标上该方法优于最先进的算法。一项真实世界的实验验证了其实际可行性在 6.25% 的采样率下成功重建了 144 波段的高光谱立方体。该框架有效解决了计算高光谱成像中的数据稀缺挑战。局限性包括由于迭代优化导致的重建时间较长以及对 RGB 和 SPI 模态之间未对准的敏感性。未来的工作将侧重于通过元学习进行加速以及开发鲁棒的跨模态配准方法来处理视差和对准误差。