整理时间2026-04-24 |研究周期2026-03-19 ~ 2026-04-24来源AgentBench / SWE-bench / PaperBench / DeepSeek V4 / Kimi K2 / GLM-5.1 等论文精读目录LLM 评测体系全景Agent 能力三张考卷DeepSeek V4 技术架构深析2026 年开源模型架构横向对比关键技术词典核心洞察与行动建议一、LLM 评测体系全景1.1 六大评测维度维度代表基准测什么现状综合知识MMLU、C-Eval57 学科选择题顶级模型 86-90%差距已缩小深度推理GPQA Diamond博士级物理/化学/生物GPT-5.4 领先93%人类专家 65%数学竞赛AIME、MATH-500高难度数学推理o3/DeepSeek R1 接近满分基础代码HumanEval164 道 Python 函数补全顶级模型 90%已饱和工程代码SWE-bench、LiveCodeBench真实 Bug 修复 / 动态竞赛题SWE-bench 已退役LiveCodeBench 防污染真实体验Chatbot ArenaArena AI人类盲评最难刷最贴近用户1.2 SWE-bench 的兴衰启示timeline2023.10SWE-bench 发布Princeton OpenAI测试 12 个真实 Python 仓库的 Bug 修复2024.08SWE-bench Verified500 题精选版2025~2026模型分数从 33.2% 飞速涨到 80.9%2026.02.23OpenAI 官宣退役SWE-bench Verified退役三大原因训练数据污染——模型能背题天花板效应——6 个月只涨 6%测试用例缺陷——59.4% 存在过宽/过窄问题关键教训公开的 Benchmark 会被刷穿只有私有 持续更新才能保持评测效力2026 年替代方案SWE-bench Pro更难污染低GDPVal专家出题专家评审私有评测集各家自建1.3 评测体系信任危机2026.04伯克利团队用 10 行 Python 代码拿了 SWE-bench 满分利用 pytest 钩子机制篡改测试结果。8 大主流基准集体沦陷28 个模型提交存在作弊行为。修复建议评测系统与被测 AI 必须完全隔离运行标准答案存放于不可访问区域禁止对不可信输入执行危险函数二、Agent 能力三张考卷D1D2D32.1 AgentBenchD2——通用能力考卷论文清华 KEGICLR 2024arXiv 2308.03688核心设计8 个真实环境 × 25 个模型环境类别具体环境考察能力代码环境OSLinux终端/ DBSQL/ KG知识图谱命令行、SQL、工具调用游戏环境卡牌游戏 / 横向思维 / AlfWorld 家庭任务策略规划、创造性推理网络环境WebShop 购物 / Mind2Web 浏览网页理解、操作序列核心结论GPT-4 一骑绝尘4.41最佳开源模型 chatglm21.31——3.37 倍差距卡牌游戏DCG全部模型接近 0 分——博弈策略是当时天花板“会聊天 ≠ 会做事”——传统 NLP 能力无法预测 Agent 能力历史地位Agent 评测的开山之作后续 SWE-bench、HAL、GAIA 都在此基础上发展。2.2 SWE-bench PaperBenchD3——专项能力考卷SWE-bench修 Bug 的机试输入真实 GitHub 仓库代码 Issue 描述 任务生成 Patch 修复 Bug 判分① FAIL_TO_PASSBug 修好了② PASS_TO_PASS没搞坏其他功能排行榜演进33.2%GPT-4o 2024→ 80.9%Augment Code 2026→ 退役关键洞察SWE-bench 证明了一件事——修代码是可以被系统性评测的但公开评测终将被刷穿。PaperBench复现论文的博士考试输入1 篇 ICML 2024 Spotlight/Oral 论文 PDF 任务从零复现论文的实验结果 评判8316 个叶节点逐一 0/1 打分排行榜模型得分人类 ML 博士4 周兼职41.4%Claude 3.5 Sonnet (New)21.0%o1-high13.2%GPT-4o4.1%AI 三大软肋PaperBench 揭示长期规划弱——前期快24 小时后开始摆烂调试能力差——复杂错误无法系统排查主动放弃——所有模型都未用满全部时间SWE-bench vs PaperBench 本质差异维度SWE-benchPaperBench任务类型修 Bug局部修改复现论文从零建系统时间跨度分钟级天级人类基线~80%已追平41.4%AI 仅 21%类比维修工修水管建筑师造房子三、DeepSeek V4 技术架构深析3.1 基本规格规格V4-ProV4-Flash总参数1.6T284B激活参数49B13B上下文1M tokens1M tokens训练数据33T tokens32T tokens开源协议Apache 2.0Apache 2.03.2 架构三大创新① CSA HCA 混合压缩注意力核心问题标准 Attention 复杂度 O(n²)1M 上下文在 V3.2 上无法实用。CSACompressed Sparse Attention每 m4 个 token 的 KV → 压缩为 1 个 entry含 overlap 的双向压缩Lightning Indexer低秩查询向量对压缩 KV 块打分选 top-k 做 sparse attention附加滑动窗口n_win128维持近距离精细依赖评分用 FP4 精度2× 加速HCAHeavily Compressed Attention每 m’128 个 token → 压缩为 1 个更激进不做稀疏全量 dense attention但序列已缩小 128 倍负责超远距离全局语义两者交错排列Flash前 2 层纯 SWA后续 CSA/HCA 交错Pro前 2 层纯 HCA后续 CSA/HCA 交错效率数据vs V3.2 在 1M 上下文V4-Pro 推理 FLOPs27%V4-Flash 推理 FLOPs10%V4-Pro KV Cache10%对比标准 BF16 GQA8 基线KV Cache 仅2%② mHCManifold-Constrained Hyper-Connections标准残差X_{l1} X_l F_l(X_l)HC 升级残差流宽度扩展 n_hc4 倍提供多条信息通道mHC 核心将残差映射矩阵 B_l 约束到双随机矩阵流形Birkhoff polytope用 Sinkhorn-Knopp 算法迭代 20 次投影保证谱范数 ≤ 1 → 梯度传播数值稳定参数动态生成input-dependent表达力强工程开销训练时间增加 6.7%效果显著。③ Muon 优化器原理对梯度矩阵做奇异值分解的近似Newton-Schulz 迭代将更新方向正交化。V4 的两阶段 NS 迭代前 8 步系数 (3.4445, -4.7750, 2.0315)快速使奇异值逼近 1后 2 步系数 (2, -1.5, 0.5)精确稳定在 1应用范围大部分参数用 MuonEmbedding、Prediction Head、RMSNorm 用 AdamW。工程挑战Muon 需要完整梯度矩阵与 ZeRO 并行冲突 → 用 knapsack 分配算法解决。3.3 基础设施创新创新核心思路效果FP4 QATMoE 专家权重 CSA indexer QK 路径用 FP4推理/rollout 内存减半未来硬件可快 1/3细粒度 EP专家分 wave 调度计算通信完全重叠加速 1.5~1.73×RL rollout 可达 1.96×TileLang自研 DSL集成 Z3 SMT 求解器Host 开销 1μs原数百μs异构 KV CacheCSA/HCA/SWA 分开管理支持磁盘存储共享 prefix 无需重新 prefill华为昇腾验证EP 方案同时在 NVIDIA GPU 和华为昇腾 NPU 验证首次官方文档并列两家硬件3.4 后训练OPD 范式流程分领域独立训练专家数学/代码/Agent/指令遵循/写作……共 10每个专家经过 SFT → GRPO RL 两阶段多教师 OPD学生用 reverse KL loss 向所有老师靠拢用全词表 logit 分布不做 token-level 近似梯度更稳定工程支撑老师参数 offload 到存储按需加载只缓存最后一层 hidden state重建 logits 时再过 prediction head节省显存。3.5 三种推理模式模式特点上下文适用Non-think快速直觉8K日常对话、快速查询Think High复杂推理128K代码、数学、分析Think Max极限推理特殊 system prompt384K竞赛、科研、工程新增Quick Instruction——把辅助任务判断是否需要搜索、生成标题、判断域名权威性编码为特殊 token复用已有 KV Cache 并行执行消除冗余 prefill。四、2026 年开源模型架构横向对比4.1 规格对比表模型机构总参数激活参数上下文开源协议技术报告DeepSeek V4-ProDeepSeek1.6T49B1MApache 2.0✅ 2026.04Kimi K2.6MoonshotAI1T32B128KApache 2.0✅ arXiv 2507.20534GLM-5.1智谱744B40B200KMIT✅ 技术报告MiniMax M2.7MiniMax230B10B200K部分开源✅ 技术报告LLaMA 4 ScoutMeta109B17B10MLlama 4 ⚠️✅ arXiv 2601.11659LLaMA 4 MaverickMeta400B17B1MLlama 4 ⚠️✅ 同上Qwen3.6阿里未披露未披露128KApache 2.0✅ arXiv 2505.09388Hy3 Preview腾讯295B21B256K开源✅ 2026.044.2 各家核心技术创新Kimi K2 / K2.6MuonClip 首创MuonClipMuon 的改进版本在 Newton-Schulz 正交化前先做梯度裁剪解决了原版 Muon 在万亿参数 MoE 训练中的梯度爆炸问题。K22025.07是第一个在 1T 参数 MoE 上稳定使用 Muon 的工作。K2.6 特性支持 300 子 Agent 并行协同连续编码 13 小时长程稳定性极强上下文 128K短板技术报告arXiv 2507.20534GLM-5.1Slime 异步 RL DSADSADynamic Sparse Attention动态计算每个 token 的注意力稀疏 mask实现 200K 上下文幻觉率降低 56%与 DeepSeek CSA 的差异DSA 是动态稀疏选择CSA 是先压缩再稀疏Slime 异步强化学习框架Actor轨迹生成和 Critic梯度更新完全异步解耦解决 RL 训练的速度错配问题生成慢、训练快支持连续数小时工程任务的 RL 训练评测SWE-bench Pro 58.4%声称首个超 GPT-5.4 的开源模型MiniMax M2.7Self-Evolution核心哲学不追大参数追激活参数效率——230B 总参仅激活 10B。Self-Evolution 机制在 20 万个真实 RL 环境中训练模型对自身输出持续评估和迭代改进类似 AlphaGo 的自我博弈但在 LLM 领域LLaMA 4 ScoutiRoPE10M 上下文iRoPEInterleaved RoPE不是所有层都用旋转位置编码交错排列有 RoPE 层和无 RoPE 层无 RoPE 层可以无位置偏见地关注任意远距离信息实现10M tokens上下文目前所有模型最长注意Llama 4 协议限制商业使用月活 7 亿需授权。腾讯 Hy3 Preview快慢思考融合核心设计单模型内置两种推理模式类似 DeepSeek V4 的 Non-think/Thinkno-think 模式响应速度是深度思考的 1/5能力基本对齐深度思考模式复杂任务推理效率整体提升 40%API 定价 1.2 元/百万 tokens行业最低梯队。4.3 技术路线差异矩阵技术维度DeepSeek V4Kimi K2.6GLM-5.1LLaMA 4 ScoutHy3长上下文方案CSAHCA压缩1M标准MoE128KDSA动态稀疏200KiRoPE10M标准256K优化器MuonMuonClipAdamWAdamWAdamW后训练OPD多教师蒸馏GRPO RLSlime异步RL标准RLHFRL重建残差连接mHC流形约束标准标准标准标准KV压缩极致V3.2的10%无DSA稀疏标准GQA标准多模态❌开发中❌❌✅ 原生❌完全开源✅ Apache✅ Apache✅ MIT⚠️ Llama 4✅ 开源五、关键技术词典注意力机制类术语全称解释MLAMulti-head Latent AttentionDeepSeek V3 的低秩 KV 压缩减少 KV CacheCSACompressed Sparse AttentionDeepSeek V4先压缩再稀疏选择HCAHeavily Compressed AttentionDeepSeek V4重度压缩128:1 全量 AttentionDSADynamic Sparse AttentionGLM-5动态稀疏掩码iRoPEInterleaved RoPELLaMA 4交错使用有/无位置编码的层SWASliding Window Attention只关注最近 n 个 tokenO(n) 复杂度GQAGrouped Query Attention多查询头共享 KV节省内存优化器类术语解释AdamW标准优化器Adam 权重衰减Muon梯度正交化优化器Newton-Schulz 迭代收敛更快MuonClipKimi 首创Muon 梯度裁剪解决 MoE 训练不稳定架构类术语解释MoEMixture of Experts多个专家子网络每次只激活部分mHCManifold-Constrained Hyper-Connections流形约束残差MTPMulti-Token Prediction同时预测多个 token加速推理FP4/FP8浮点精度格式位数越少越省内存但精度越低QATQuantization-Aware Training量化感知训练训练范式类术语解释GRPOGroup Relative Policy OptimizationDeepSeek 发明的 RL 算法OPDOn-Policy Distillation在策略蒸馏学生模拟教师分布Slime智谱的异步 RL 框架Actor/Critic 完全解耦ZeROZero Redundancy Optimizer分布式训练内存优化策略DualPipeDeepSeek 的双向流水线并行策略六、核心洞察与行动建议洞察 1所有旗舰开源模型都用 MoE没有例外2026 年Dense 架构参数全激活在旗舰模型中已经消失。MoE 的核心优势是用更大的总参数量保持能力但每次推理只激活小部分参数控制成本。激活参数 / 总参数的比值DeepSeek V4-Pro49B / 1.6T 3.1%Kimi K2.632B / 1T 3.2%GLM-5.140B / 744B 5.4%MiniMax M2.710B / 230B 4.3%洞察 2长上下文的下一战场是 Agent 持久化1M 上下文的真正价值不是替代 RAG而是让 Agent 能把完整推理历史、工具调用记录、中间状态全部保留在上下文中——AI 的工作记忆升级。DeepSeek V4 的 Interleaved Thinking 明确实现了这一点工具调用场景中保留所有轮次的推理链。洞察 3评测基准的生命周期越来越短基准发布退役/饱和存活时间HumanEval2021202390%~2 年SWE-bench Verified2024.082026.02~18 个月预测 SWE-bench Pro2025~2027缩短中行动建议自建私有评测集每季度轮换 20% 题目参照 DeepSeek V4 的 RD Coding Benchmark真实工程任务模式。洞察 4Muon 优化器正在成为新标配两个独立顶级团队Kimi 2025.07DeepSeek 2026.04先后验证了 Muon 在大规模 MoE 训练中的优势。这种英雄所见略同往往预示行业趋势。预测2026 年下半年主流开源模型将普遍跟进 Muon 或其变体。洞察 5AI 的耐力问题尚未解决PaperBench 揭示 AI 在 24 小时后开始摆烂而人类博士持续发力。当前 Agent 适合短跑快速完成明确任务不适合马拉松长期探索性工作。行动建议Agent 任务拆成短任务多轮配合中途检查点设计主动求助机制连续 N 次失败 → 自动通知人类接管参考 OpenClaw 的心跳机制定期唤醒 Agent 重新评估进展附论文索引论文机构arXiv发表AgentBench清华 KEG2308.03688ICLR 2024SWE-benchPrincetonOpenAI2310.06770ICLR 2024PaperBenchOpenAI—2025.04DeepSeek V4DeepSeek—2026.04Kimi K2MoonshotAI2507.205342025.07LLaMA 4Meta2601.116592026.01Qwen3阿里2505.093882025.05整理路易乔布斯 | 最后更新2026-04-24