一、论文信息本文目录一、论文信息二、论文摘要概况三、CWA 组件级注意力结构图四、CWA 模块的作用五、CWA 模块的原理六、CWA 模块的优势七、即插即用模块代码论文题目Multinex: Lightweight Low-light Image Enhancement via Multi-prior Retinex中文题目Multinex基于多先验Retinex算法的轻量级弱光图像增强技术所属单位曼彻斯特大学二、论文摘要概况弱光图像增强LLIE旨在改善严重光照条件下降时的自然可见度、色彩保真度及结构细节。现有的先进SOTALLIE 技术通常依赖大型模型和多阶段训练这限制了其在边缘部署场景中的实用性。此外这些方法对单一颜色空间的依赖会导致系统不稳定并产生明显的曝光或色彩伪影。为解决这些问题我们提出了Multinex——一种超轻量级结构化框架它将多种精细特征表示整合到基于Retinex残差公式原理的设计中。该框架将图像分解为源自不同分析表征的光照先验与色彩先验堆栈并学习如何将这些表征融合为校正曝光所需的亮度与反射率调整参数。通过优先考虑图像增强而非重建并利用轻量级神经网络运算Multinex显著降低了计算成本其轻量版仅需45,000个参数纳米版仅需0.7,000个参数。大量基准测试表明所有轻量版本均显著优于对应的轻量级 SOTA 模型并能达到与重型模型相当的性能水平 。图1. Multinex各变体与近期最先进方法[4–8,31,40,44,45,48,50,52]在增强无参考数据集[10,20,26,37]和检测ExDark[22]方面的定性与定量比较。Multinex实现了最佳感知质量在平均 NIQE 值[29]上超越所有对比方法同时模型规模缩小数个数量级并在下游检测任务中达到最高mAP50%指标。结果采用− NIQE 值表示图表左上角区域代表性能最优。三、CWA 组件级注意力结构图图2. Multinex架构示意图。融合模块fL和fR分别利用光照与反射率引导堆栈SL和SR生成颜色校正项∆L和亮度校正项∆R随后通过类Retinex融合算法计算出增强增量∆I。四、CWA 模块的作用1. 对多先验特征进行选择性加权。CWA用于Multinex的融合模块中主要作用是对输入的亮度先验堆栈或反射率先验堆栈进行注意力加权使网络能够从多个解析先验中选择更有用的分量。例如在亮度分支中它帮助模型判断哪些亮度描述更适合曝光校正在颜色分支中它帮助模型判断哪些色彩描述更适合反射率修正。2. 保持不同先验分量的独立性。Multinex不是直接在RGB空间中学习增强而是构建多个亮度和色彩先验。CWA的作用是为每个先验分量生成相对独立的注意力响应避免不同分量过早混合从而减少亮度和颜色信息耦合带来的曝光偏差、色彩漂移和伪影问题。3. 提升轻量模型的特征利用效率。在极小参数量条件下模型不能依赖复杂的大型网络去自动学习全部表示因此CWA通过轻量注意力机制帮助网络更高效地利用已有解析先验使Multinex在低参数量下仍能获得较好的低光增强效果。五、CWA 模块的原理1. 输入来自多视角先验堆栈。CWA接收的是亮度指导堆栈或反射率指导堆栈这些堆栈由多个解析特征图组成分别描述图像的亮度、最大通道响应、感知亮度、颜色差异、色度比例和饱和度等信息。CWA通过对这些分量进行注意力建模帮助后续融合模块更有针对性地生成亮度修正项和颜色修正项。2. 使用深度卷积提取局部响应。CWA首先通过深度卷积处理输入特征。深度卷积按通道独立进行局部空间建模能够在不引入大量参数的情况下提取每个先验分量附近区域的局部信息同时避免一开始就把不同分量混合在一起。3. 使用1×1卷积完成通道对齐。经过深度卷积后CWA再使用1×1卷积进行通道映射使注意力图的通道数与后续融合特征保持一致。论文中特别采用无偏置的1×1卷积来减少可学习参数从而维持模块的轻量化特性。4. 通过Sigmoid生成软注意力图。CWA最终通过Sigmoid激活生成取值在0到1之间的注意力图用于表示每个位置、每个分量的重要程度。该注意力图随后与融合特征逐元素相乘从而增强有效先验响应抑制无关或干扰性的先验响应。5. 与Fusion Block协同工作。在Multinex的主融合结构中输入先验堆栈一方面经过1×1卷积和多个Fusion Block得到 refined feature另一方面经过CWA生成注意力图随后CWA注意力图对 refined feature 进行掩膜加权再送入后续Fusion Block和最终卷积输出亮度或反射率修正结果。六、CWA 模块的优势1. 计算量低适合轻量化低光增强。CWA主要由深度卷积、1×1卷积和Sigmoid组成相比Transformer注意力或复杂空间注意力结构更轻量能够在低参数量和低FLOPs条件下完成有效特征筛选符合Multinex面向边缘部署的设计目标。2. 保留分量特异性减少信息混淆。论文指出普通注意力方法容易混合不同分量的响应而CWA通过分量级独立建模使每个先验描述符都能形成更清晰的注意力响应有助于保持亮度先验和颜色先验各自的物理含义。3. 比常见注意力变体更有效。论文消融实验比较了CBAM空间分支、带池化的多头自注意力、MDTA和CWA。结果显示CWA取得最高PSNR说明其分量级注意力设计比直接使用通用注意力模块更适合Multinex的多先验融合场景。4. 与MSEF形成互补。消融实验表明单独使用CWA能提升性能单独使用MSEF也能提升性能而两者同时使用效果最好。这说明CWA负责对解析先验进行重要性加权MSEF负责局部细节增强和通道校准两者结合可以同时提升特征选择能力和细节恢复能力。5. 有助于减少曝光和颜色伪影。由于CWA能够根据不同先验分量的重要性进行自适应加权它可以帮助模型更稳定地区分亮度校正和颜色校正从而减少低光增强中常见的过曝、欠曝、偏色和颜色不连续问题。表1. LOLv1[42]与LOLv2[46]数据集真实数据与合成数据在四种参数尺度模型组中的结果。各组中最佳性能均以粗体标出。图3.基于参考数据对 SOTA 轻量级方法[2,7,8,21,27,33,42]与Multinex进行的定性比较。图12。在参考数据集LOL-v1[42]上对Multinex与当前最先进的轻量级及微尺度模型RetinexNet[42]、PairLIE[7]、ZeroDCE[8]、 LYT -Net[2]、 RUAS [21]、 RSF [33]和SCI[27]进行的定性比较。七、即插即用模块代码import torch import torch.nn as nn class CWA(nn.Module):#ComponentWiseAttention def __init__(self, in_channels, kernel_size7): super(CWA, self).__init__() # 深度卷积 (DWConv)保持通道独立性7x7 卷积核 self.dwconv nn.Conv2d( in_channelsin_channels, out_channelsin_channels, kernel_sizekernel_size, paddingkernel_size//2, # 保持特征图尺寸不变 groupsin_channels, # 深度卷积每个通道单独卷积 biasFalse ) # 1x1 卷积通道对齐零偏置 self.conv1x1 nn.Conv2d( in_channelsin_channels, out_channelsin_channels, # 输出通道数与输入一致 (C9 C) kernel_size1, biasFalse # 零偏置减少参数 ) self.sigmoid nn.Sigmoid() def forward(self, x): # 步骤1深度卷积 (DWConv) x_dw self.dwconv(x) # 步骤21x1 卷积 (通道对齐) x_conv self.conv1x1(x_dw) # 步骤3Sigmoid 激活生成注意力图 attention_map self.sigmoid(x_conv) return attention_map # 使用示例 if __name__ __main__: device cuda if torch.cuda.is_available() else cpu input torch.randn(2, 32, 256, 256).to(device) model CWA(in_channels32, kernel_size7).to(device) print(model) print(CSDN:AI魔改博士) output model(input) print(CWA input_size:, input.size()) print(CWA output_size:, output.size())