本文介绍了复旦大学、浙江大学、加州大学戴维斯分校的研究团队提出的RAPO框架旨在解决Agentic RL中的探索不足问题。RAPO通过引入检索机制拓展了Agent的步级探索能力在3大类任务、14个权威基准数据集上实现了平均5.0%的性能提升同时训练效率提升1.2倍。RAPO的核心框架包括混合策略Agent Rollout和检索感知策略优化两个阶段通过步级轨迹缓冲区和检索采样动态拓展Agent的推理感受野并通过检索奖励和检索重要性塑形校准策略梯度估计实现训练的稳定与高效。实验结果表明RAPO在性能和效率上都取得了显著提升为LLM Agent的发展打开了一个全新的方向。一、核心痛点Agentic RL的探索死局Agentic RL的核心目标是让Agent在多步推理、工具调用的循环中通过奖励信号优化策略学会更高效的任务求解路径。但现有方法始终没能跳出两大核心局限这一点从图1的对比中可以清晰看到图1 现有方法与RAPO的探索空间对比纯同策略的天然边界以GRPO、Tree-GRPO、ARPO为代表的主流Agentic RL方法探索完全局限于Agent自身生成的推理轨迹。这种模式只能放大基础模型已有的行为无法让Agent学习到原生能力之外的新推理策略最终往往陷入局部最优甚至出现RL后性能退化的问题。异策略增强的浅层应用现有引入异策略信号的方法仅把完整的外部轨迹用于轨迹级的分组计算本质是事后的静态优化没有把外部推理行为注入到动态的、逐步骤的Rollout过程中。Agent的推理视野没有得到任何拓展探索能力的提升微乎其微。而RAPO的核心突破就是把检索机制引入训练全流程让Agent在每一步推理时都能参考外部高质量的步级推理轨迹真正打开了探索空间从根源上解决了同策略训练的探索局限。二、RAPO核心框架检索增强双阶段解锁探索上限RAPO的整体架构如图2所示它将Agentic RL训练拆解为两个核心阶段混合策略Agent Rollout与检索感知策略优化既通过检索拓展了探索边界又通过精巧的优化机制保证了训练的稳定与高效。图2 RAPO整体架构阶段1混合策略Agent Rollout步级检索注入外部能力这一阶段的核心目标是把异策略的步级推理信息无缝融入Agent的动态推理过程核心设计有两点•步级轨迹缓冲区Step-Trace Buffer不同于传统的轨迹级回放缓冲区RAPO把异策略Agent生成的高质量轨迹拆解为逐步骤的推理片段以「推理历史上下文-当前步推理轨迹」的键值对形式存储。这种细粒度的设计让缓冲区能捕捉上下文相关的局部推理行为而非把完整轨迹当作不可拆分的单元。•检索采样与异策略条件推理在每一步Rollout时Agent以50%的概率用当前的同策略推理历史从缓冲区中检索最相关的异策略步级轨迹拼接到当前上下文中再基于这个融合了外部经验的上下文继续推理。这让Agent在每一步都能接触到自己原生不会生成的推理策略动态拓展了推理感受野从根源上丰富了Rollout的多样性。阶段2检索感知策略优化稳扎稳打巩固探索收益引入外部检索信息不可避免会带来训练噪声RAPO通过两个核心设计校准策略梯度估计既保留了检索带来的探索收益又保证了训练的稳定性检索奖励Retrieval Reward基于熵来量化每一次检索的价值同时评估两个维度检索质量是否降低了模型的推理不确定性和检索时机是否在模型高不确定性的探索阶段触发。只有在高熵状态下、能有效降低推理不确定性的检索才会获得高奖励让模型学会区分有用的外部经验和误导性干扰。检索重要性塑形通过检索token的占比重新平衡GRPO的重要性采样比让模型把优化重点放在「异策略条件下生成的同策略token」上解决了混合轨迹中梯度稀疏的问题让模型真正巩固从外部经验中学到的有效推理行为。最终RAPO将检索优势与任务结果优势结合完成策略更新实现了「拓展探索-巩固收益」的完整闭环。三、硬核实验性能与效率双丰收全场景碾压基线研究团队在14个权威基准数据集上完成了全面测试覆盖计算推理、知识密集型推理、Web Agent推理三大核心Agent场景对比了13个主流基线方法验证了RAPO的通用有效性。核心性能结果刷新SOTA全模型通用提升表1展示了计算推理与知识密集型推理任务的核心结果RAPO在所有主流开源模型上都实现了显著的性能提升• Qwen2.5-3B backbone相对GRPO基线平均提升6.3%达到47.0%• Llama3-8B backbone相对基线提升7.0%平均达到47.6%• Qwen2.5-7B backbone相对基线提升4.6%平均达到51.3%刷新了该任务的SOTA。表1 计算推理与知识密集型推理任务结果%Methods计算推理5个数据集知识密集型推理5个数据集平均提升Qwen2.5-3B-InstructGRPO基线--40.7RAPO本文--47.06.3%Llama3-8B-InstructGRPO基线--40.6RAPO本文--47.67.0%Qwen2.5-7B-InstructGRPO基线--46.7RAPO本文--51.34.6%在Web Agent推理任务上表2RAPO同样在所有子任务上拿下最优结果平均提升1.9%尤其在难度最高的BrowseComp数据集上准确率从2.9%提升至4.4%相对提升超50%证明了其在真实Web场景中的强有效性。表2 Web Agent推理任务结果%MethodsSimpleQAGAIAWebWalkerQABrowseComp平均GRPO基线61.514.710.92.915.1RAPO本文64.717.813.84.417.01.9%效率与探索能力更快的训练更有效的探索效率测试结果图3显示RAPO在提升性能的同时还实现了训练效率的全面领先Rollout时间降低18.13%策略更新时间加快37.72%同时Rollout生成的token数、工具调用次数都显著更少。这说明RAPO不仅让Agent探索了更多可能性还让它学会了更高效、更简洁的推理路径减少了冗余思考和无效工具调用。图3 RAPO训练效率对比而探索能力的可视化分析图4进一步验证了混合策略生成的轨迹在语义空间中形成了更多聚类展现出显著更高的多样性同时混合轨迹的平均奖励更高、轨迹长度更短证明RAPO的探索不是盲目的发散而是精准找到了更优的任务求解路径。图4 纯同策略与混合策略Rollout的对比分析鲁棒性与消融实验设计的有效性全面验证鲁棒性测试显示无论使用什么质量的异策略模型构建缓冲区甚至在检索完全随机的极端情况下RAPO都始终稳定领先GRPO基线证明模型能自主评估检索信息的价值不会被噪声干扰。消融实验则验证了每一个核心组件的必要性去掉任何一个组件都会导致性能显著下降而轨迹级的异策略方法效果最差直接证明了步级检索是RAPO性能提升的核心来源。四、深度洞察Agent RL的未来是博采众长的探索RAPO的核心价值不在于简单地给Agent RL加了一个检索模块而在于它彻底重构了Agent RL的探索范式从「闭门造车」的同策略循环变成了「博采众长」的检索增强探索。传统方法让Agent在自己的错误里反复试错而RAPO让Agent在每一步推理时都能站在外部优秀经验的肩膀上真正跳出了基础模型的原生能力边界。更重要的是RAPO完全兼容现有的Agentic RL框架不需要修改模型架构不需要海量的标注数据就能在开源模型上实现性能与效率的双重提升完美适配产业界低成本、规模化的Agent微调需求。对于LLM Agent的发展而言RAPO打开了一个全新的方向Agent的能力提升不应该只局限于对单模型的反复微调更应该通过细粒度的经验复用让优秀的推理行为在不同Agent之间流动、沉淀、迭代。当Agent的训练从「独自试错」走向「集体学习」通用人工智能的落地才真正迈出了最关键的一步。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取