深入拆解 Transformer 注意力机制：从 MHA 到 MLA，大模型性能跃迁的底层密码

张

张建站

2026/5/25 23:11:44

10分钟阅读

深入拆解 Transformer 注意力机制从 MHA 到 MLA大模型性能跃迁的底层密码导语Transformer 架构自 2017 年诞生至今已成为几乎所有主流大语言模型的基石。但从 GPT-2 到 DeepSeek-V3注意力机制经历了翻天覆地的工程演进——MHA、GQA、MQA、MLA每一次迭代都是算力与效率的博弈结果。本文将系统拆解注意力机制的演进脉络结合公式推导与工程实践帮助你真正看懂大模型为什么这样设计。一、为什么注意力机制如此重要在传统 RNN/LSTM 架构中信息按序列顺序逐步传递长序列依赖问题长程梯度消失严重制约了模型能力。Transformer 通过全局注意力彻底打破了这一限制每个 token 能直接看到序列中的所有其他 token从而学习任意距离的依赖关系。这一机制带来了三项根本性改变并行计算序列内所有位置同时计算充分利用 GPU 矩阵乘法全局感受野不受序列长度限制的依赖建模能力可解释性注意力权重可视化提供了模型推理的部分可解释视角二、标准多头注意力MHA的数学本质2.1 基本公式标准注意力的核心计算公式Attention(Q,K,V)softmax(QKTdk)V\text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) VAttention(Q,K,V)softmax(dkQKT)V其中QQuery当前 token 想要查询的信息方向KKey序列中每个 token 的索引标签VValue实际携带的信息内容dkd_kdkKey 向量维度用于缩放防止梯度消失2.2 多头的意义多头注意力Multi-Head Attention, MHA将dmodeld_{model}dmodel维的表示拆分为hhh个头每个头独立学习不同的注意力模式MultiHead(Q,K,V)Concat(head1,...,headh)WO\text{MultiHead}(Q,K,V) \text{Concat}(\text{head}_1, ..., \text{head}_h) W^OMultiHead(Q,K,V)Concat(head1,...,headh)WOheadiAttention(QWiQ,KWiK,VWiV)\text{head}_i \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)headiAttention(QWiQ,KWiK,VWiV)不同的头可以同时关注句法依赖关系主谓宾语义相似性位置近邻关系指代消解2.3 KV Cache推理效率的关键在自回归推理auto-regressive decoding阶段每个新 token 的生成需要重新计算整个序列的 K/V 矩阵。KV Cache技术通过缓存历史 K/V将每步推理的复杂度从O(n2)O(n^2)O(n2)降至O(n)O(n)O(n)。但代价是显存占用随序列长度线性增长KV Cache 大小2×nlayers×nheads×dhead×seq_len×batch_size×dtype_bytes\text{KV Cache 大小} 2 \times n_{layers} \times n_{heads} \times d_{head} \times \text{seq\_len} \times \text{batch\_size} \times \text{dtype\_bytes}KV Cache大小2×nlayers×nheads×dhead×seq_len×batch_size×dtype_bytes对于 70B 参数的模型长序列场景下 KV Cache 动辄占用数十 GB 显存这是 GQA/MQA/MLA 诞生的直接动机。三、GQA 与 MQA共享 KV 的工程权衡3.1 多查询注意力MQAMQAMulti-Query Attention所有查询头共享同一组 K/V 头。KV Cache 大小降为原来的1/h1/h1/hh 为头数推理吞吐提升显著尤其在 batch decoding 场景代价模型质量有一定损失不同 query 头无法看到差异化的 K/V 投影Llama-2 中的 70B 模型首次大规模采用 MQA 策略。3.2 分组查询注意力GQAGQAGrouped Query Attention将 query heads 分组每组共享一对 K/V heads。KV headsQuery headsgroup size\text{KV heads} \frac{\text{Query heads}}{\text{group size}}KV headsgroup sizeQuery headsGQA 是 MHA 与 MQA 的折中方案方案KV Head 数显存占用质量保留MHA Query Heads100%最高GQAQuery Heads/G1/G接近 MHAMQA1最低略有损失Llama-3、Mistral、Qwen2 等主流开源模型均采用 GQA通常将 Query 头数为 32KV 头数设为 8group4。四、DeepSeek-V2/V3 的 MLA革命性的低秩 KV 压缩DeepSeek 团队在 2024 年提出了MLAMulti-head Latent Attention将 KV Cache 压缩推向新极限。4.1 核心思路低秩投影MLA 的核心创新不缓存完整的 K/V 矩阵而是缓存一个低维潜变量ctKVc_t^{KV}ctKVctKVWDKVhtc_t^{KV} W^{DKV} h_tctKVWDKVht其中dc≪dmodeld_c \ll d_{model}dc≪dmodel如 512 vs 4096。推理时从ctKVc_t^{KV}ctKV反投影还原 K/VktWUKctKV,vtWUVctKVk_t W^{UK} c_t^{KV}, \quad v_t W^{UV} c_t^{KV}ktWUKctKV,vtWUVctKV4.2 与 RoPE 的结合MLA 还引入了**解耦 RoPEDecoupled RoPE**策略将位置编码作用于独立的查询/键分量而非直接叠加到潜变量上从而保留了潜变量的低秩结构。4.3 效果对比在 DeepSeek-V2236B MoE21B激活上的测试指标MHA baselineMLAKV Cache每token高降低约 93.3%推理吞吐tokens/sbaseline提升 5.76×模型质量MMLU等baseline持平或略优五、Flash Attention让注意力计算真正高效Flash Attention2022Stanford/Tri Dao从 IO 复杂度角度重新设计了注意力计算5.1 问题根源标准注意力计算中QKTQK^TQKT矩阵n×nn \times nn×n会被写入 HBMHigh Bandwidth Memory这带来巨大的内存读写开销尤其在长序列时瓶颈明显。5.2 分块计算TilingFlash Attention 将 Q/K/V 分块加载到 SRAM片上高速缓存中计算避免了对 HBM 的大量读写Flash Attention v1基础分块计算内存复杂度从O(n2)O(n^2)O(n2)降至O(n)O(n)O(n)Flash Attention v2优化并行度减少 non-matmul FLOPs在 A100 上达到理论峰值的 72%Flash Attention v3针对 Hopper 架构H100优化利用 WGMMA 和 TMA 指令吞吐再提升约 1.5-2×# 使用 Flash Attention 的典型代码示例基于 flash_attn 库fromflash_attnimportflash_attn_qkvpacked_func,flash_attn_func# 标准调用outflash_attn_func(q,k,v,dropout_p0.0,softmax_scaleNone,# 默认为 1/sqrt(d_k)causalTrue,# 自回归任务使用因果掩码)六、长上下文注意力的工程挑战随着模型支持 128K、1M token 的上下文窗口注意力机制面临新挑战6.1 位置编码外推RoPE旋转位置编码已成为主流通过旋转矩阵编码相对位置YaRN通过频率调整实现 RoPE 的外推无需重新训练LongRoPE在不均匀插值策略下将上下文扩展到 2M6.2 稀疏注意力机制对超长序列全局注意力的O(n2)O(n^2)O(n2)计算复杂度不可接受稀疏注意力策略Sliding Window AttentionMistral/Llama-3.1只关注局部窗口内 tokenStrided Attention按步长稀疏采样Ring Attention跨多设备分布式计算长序列注意力七、实战避坑注意力机制工程落地的常见陷阱❌ 陷阱 1混淆 Attention Mask 的语义训练中attention_mask用于区分真实 token 与 padding token推理中因果掩码causal mask防止未来信息泄露。两者容易混淆导致训练/推理行为不一致。❌ 陷阱 2KV Cache 在变长 batch 下的处理动态序列长度场景下KV Cache 的 padding 策略直接影响显存效率。PagedAttentionvLLM 核心技术通过分页管理解决了这一问题。❌ 陷阱 3Flash Attention 版本与硬件适配Flash Attention v3 仅支持 Hopper 及以上架构H100在 A100/A10 上需使用 v2。在旧型号 GPU如 V100上需退回标准实现或使用 xFormers。❌ 陷阱 4注意力头维度与并行策略的配合在张量并行TP训练中注意力头数必须能被 TP degree 整除。GQA 场景下KV 头数同样需要满足这一约束否则会导致不均衡计算。八、总结与展望注意力机制的演进反映了一条清晰的工程主线在保持模型表达能力的前提下最大化计算与显存效率。技术核心收益代表模型MHA建立基础能力GPT-2, BERTMQA/GQAKV Cache 压缩Llama-3, MistralMLA极致 KV Cache 压缩DeepSeek-V2/V3Flash AttentionIO 效率优化几乎所有现代模型稀疏注意力超长上下文支持Llama-3.1, Gemini未来随着百万级 token 长上下文成为标配以及多模态输入图像、音频、视频帧的引入注意力机制的创新仍将持续。理解这些底层机制是进行大模型工程优化与应用落地的必备基础。参考文献Vaswani, A., et al. (2017).Attention Is All You Need. NeurIPS. https://arxiv.org/abs/1706.03762Shazeer, N. (2019).Fast Transformer Decoding: One Write-Head is All You Need(MQA). https://arxiv.org/abs/1911.02150Ainslie, J., et al. (2023).GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. https://arxiv.org/abs/2305.13245DeepSeek-AI. (2024).DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model. https://arxiv.org/abs/2405.04434Dao, T., et al. (2022).FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS. https://arxiv.org/abs/2205.14135Dao, T. (2023).FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning. ICLR. https://arxiv.org/abs/2307.08691Su, J., et al. (2024).RoFormer: Enhanced Transformer with Rotary Position Embedding. https://arxiv.org/abs/2104.09864vLLM Team.PagedAttention: Efficient Memory Management for Large Language Model Serving. https://vllm.ai