本文介绍了上下文工程的概念和重要性它旨在解决当前大语言模型在生成回答时面临的挑战如信息不准确、上下文过长等问题。文章详细阐述了上下文工程的范围包括数据准备、检索优化和上下文构建等环节并提出了落地的策略。此外还探讨了上下文工程与上下文之间的区别以及未来的发展趋势。上下文工程作为解锁大模型潜力的关键未来将实现自动化并突破RAG系统限制对上下文进行深度加工。1、上下文工程解决什么问题我之前有篇文章写GRPO时候提到“2024年卷RAG一周出Demo,优化用半年”现在不是半年的问题方向上想提高生成式问答效果如果还不跳出RAG的思维那是很难有优化空间的。简单地“检索-拼接-生成”往往并不能得到最优结果。你可能会遇到检索到的信息不准确或与问题无关。即使检索到了相关信息LLM却忽略了它依然依赖自身知识产生幻觉。上下文太长导致LLM无法关注到关键信息或者因超过令牌限制而被截断。上下文工程正是为了解决这些问题而存在的。 它是一门设计和优化输入给LLM的上下文信息的艺术与科学旨在最大化LLM的推理能力和输出质量。2、上下文工程所包含的范围一句话只要是模型生成回答之前所看到的一切信息都是上下文工程的范畴。其核心工作贯穿以下流程检索前的数据准备知识库层面分块Chunking如何将长文档切割成更小的片段至关重要。块太大可能包含多主题干扰信息太小则可能丢失关键上下文。工程师需要根据文档类型如MD文档、PDF表格、代码调整块大小和重叠Overlap策略。数据清洗与增强清除无关内容页眉、页脚、标准化格式、为文本添加元数据如标题、发布日期、部门这些元数据可以极大提升检索的精准度。选择嵌入模型Embedding Model不同的模型在不同领域和语言上表现各异。为特定领域微调嵌入模型或选择专有模型可以显著提升检索相关性。检索中的优化查询与搜索层面查询重写/扩展Query Reformulation/Expansion用户的原始查询可能很模糊。使用LLM对查询进行重写、扩展同义词或生成假设性答案HyDE可以大幅提升检索效果。检索策略除了简单的相似性搜索还可以融合关键词搜索BM25进行混合搜索Hybrid Search兼顾语义匹配和精确术语匹配。高级技术如重新排序Re-ranking模型可以对初步检索结果进行二次精排将最相关的结果排在前面。生成前的上下文构建提示词层面——这是上下文工程的核心上下文压缩与摘要检索到的多个文档片段可能包含冗余信息。可以使用LLM先对这些片段进行摘要或去重只将最精炼的信息放入上下文节省宝贵的令牌。结构化与排序将检索到的上下文以清晰、有条理的方式呈现给LLM。例如按相关性排序或使用明确的章节标题如“## 相关文档1… ## 相关文档2…”帮助LLM更好地理解和利用这些信息。设计系统提示System Prompt这是上下文工程的精髓。系统提示用于明确指导LLM如何利用上下文。糟糕的提示“请根据以下文档回答问题。”工程化的提示“你是一个专业的客服助手。请严格根据提供的参考文档来回答问题。如果文档中的信息不足以回答问题请明确回答‘根据已有信息无法回答该问题’切勿编造信息。你的回答需清晰引用文档来源。参考文档如下…”通过上述精细化的操作上下文工程确保了注入LLM的信息是高相关、高质量、易理解的从而最终引导LLM生成更准确、更可靠、更符合要求的答案。3、上下文工程落地的策略上面四个落地策略来自Langchain 发布的一篇博客文章归纳四个词就是写入-筛选-压缩-隔离有点像SQL的增-删-改-查。本质上我们现在的调优工作其实都在上下文工程这个范畴这里面涉及到的Scratchpads、Memories、Tools、Knowledge、Context Summarization、Multi-agent、Context等再回归到问题的本质如果只是需要提高大语言模型回答问题的准确率和质量engineering这里面有非常大的想象空间RAG只是一个context engineering非常粗糙的一个工程方案。Andrej Karpathy一个推特火了一个新词就能让这个工作成为业界一个追逐范式并且发展成一个工程学科这就是业界影响力4、上下文工程不等同于上下文两者的目的都是通过引入额外的、动态的信息使系统的输出与当前情境更相关、更精准。在我们MCP应用中目前我们一个稍微复杂点的问题MCP最多能调12-15个Tools, 但实际调用3个Tools就能解决这个问题。一些技术报告也实验证明了更多的工具、更多的补充信息、更长的上下文并不一定会产生更好的响应。上下文过载可能会导致智能体以意想不到的方式失败。上下文可能会变得有害、分散注意力、令人困惑或产生冲突。在我们A2A应用中智能体之前也是依赖上下文来收集信息但综合发现一旦涉及到多轮对话上下文动作智能体之间的关系就容易出错因为一旦涉及到相互协作和相互依赖信息之间就会出现错乱。我个人理解在比较高级一点的应用这两项技术应该是相互融合的一方面要让生成的回答更准确、可信、相关另一方面追求个性化、情境化的智能输出。5、上下文工程前瞻思考如题Context Engineering是解锁大模型真正潜力的关键未来落地落地思考会暂时会围绕以下两点去展开1 大语言模型LLM作为智能体的大脑那上下文工程就是这个大脑的”外脑“它未来要自主决定何时需要检索、检索什么、如何根据初步结果进行下一步操作这一定是自动化的。2突破RAG系统限制追求对上下文的深度加工而RAG只提供了“检索”这一种获取方式。加工包括总结、翻译、格式化、过滤、排序、压缩等远非简单的“检索并拼接”。最后回想在深度学习时代一直在调侃自己是“调参侠”至从研究人员把离散的网络结构搜索变成连续可微的优化问题一次训练即可评估数千种结构从此“调网络结构”不再需要人手动试。后续 ENAS、FBNet、ProxylessNAS 等把显存和搜索时间降到单卡几小时彻底工程化模型输出直接可获得部署的模型模型结构 网络权重 超参数这样AI工程师人员彻底不用关心模型训练过程。如今在大模型时代提示工程Prompt Engineering已然不能完全解放人工写提示过程但上下文工程Context Engineering是有可能彻底告别人工调优的。最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】