在[上一节内容]中我们详细介绍了 RAG 出现的背景以及动机知道了为什么需要 RAG 以及最后 RAG 能帮我们完成哪些事情。在本节内容中我们将会就 RAG 开发的基本流程进行介绍。1.核心动机为什么需要 RAG首先我们来做一个简单的回顾。RAG检索增强生成的主要驱动力在于LLM 预训练数据的局限性。尽管 LLM 的预训练规模宏大但它们无法包含用户的私有数据或预训练之后的最新数据。因此我们可以将 LLM 视为一种新型操作系统的“内核Kernel”而将这个内核连接到外部数据则是该系统发展的核心能力。同时随着 LLM **上下文窗口Context Window**的不断扩大从数千 token 增加到可容纳数百页信息的规模通过 RAG 将外部信息直接提供给模型就变成了一件可行且高效的事情。2.RAG 的三个基本阶段从整体来看RAG 这种通用范式通常由以下三个关键步骤组成索引Indexing对外部文档进行预处理和存储以便后续根据查询进行检索。检索Retrieval针对用户的问题从存储的文档中寻找最相关的片段。生成Generation将检索到的相关文档与用户问题一同输入 LLM从而生成一个**有据可查Grounded**的答案。进一步对于 RAG 的整个生命周期来说它包括文档处理加载外部文档如博客文章并将其**分割Splitting**成 1000 字符大小的块Chunks。向量化存储例如可以使用 OpenAI 的嵌入模型将分块转化为向量并存储在本地的 Chroma 或 Milvus 向量数据库中。逻辑链Chain构建定义一个流程该流程会自动运行检索器以获取相关文档将它们填入预定义的提示词模板中例如“你是一个问答助手…使用以下检索到的内容来回答问题…”最后交给 LLM 生成答案。图 1. RAG 处理全流程如图1所示便是 RAG 的整个处理流程包括向量数据库构建到检索再到最终生成回答。工具与可观测性在整个 RAG 的流程构建中为了确保系统的透明度我们后续将使用 LangChain 开发的 LangSmith 组件来进行追踪Tracing和可观测性分析。通过 LangSmith开发者可以清晰地看到检索器具体提取了哪些文档以及最终传递给 LLM 的完整提示词内容这对于调试和优化管道至关重要。下面我们将开始逐步来深入探讨索引、检索和生成中更高级的技术细节。最近两年大模型发展很迅速在理论研究方面得到很大的拓展基础模型的能力也取得重大突破大模型现在正在积极探索落地的方向如果与各行各业结合起来是未来落地的一个重大研究方向大模型应用工程师年包50w属于中等水平如果想要入门大模型那现在正是最佳时机2025年Agent的元年2026年将会百花齐放相应的应用将覆盖文本视频语音图像等全模态如果你对AI大模型入门感兴趣那么你需要的话可以点击这里大模型重磅福利入门进阶全套104G学习资源包免费分享扫描下方csdn官方合作二维码获取哦给大家推荐一个大模型应用学习路线这个学习路线的具体内容如下第一节提示词工程提示词是用于与AI模型沟通交流的这一部分主要介绍基本概念和相应的实践高级的提示词工程来实现模型最佳效果以现实案例为基础进行案例讲解在企业中除了微调之外最喜欢的就是用提示词工程技术来实现模型性能的提升第二节检索增强生成RAG可能大家经常会看见RAG这个名词这个就是将向量数据库与大模型结合的技术通过外部知识来增强改进提升大模型的回答结果这一部分主要介绍RAG架构与组件从零开始搭建RAG系统生成部署RAG性能优化等第三节微调预训练之后的模型想要在具体任务上进行适配那就需要通过微调来提升模型的性能能满足定制化的需求这一部分主要介绍微调的基础模型适配技术最佳实践的案例以及资源优化等内容第四节模型部署想要把预训练或者微调之后的模型应用于生产实践那就需要部署模型部署分为云端部署和本地部署部署的过程中需要考虑硬件支持服务器性能以及对性能进行优化使用过程中的监控维护等第五节人工智能系统和项目这一部分主要介绍自主人工智能系统包括代理框架决策框架多智能体系统以及实际应用然后通过实践项目应用前面学习到的知识包括端到端的实现行业相关情景等学完上面的大模型应用技术就可以去做一些开源的项目大模型领域现在非常注重项目的落地后续可以学习一些Agent框架等内容上面的资料做了一些整理有需要的同学可以下方添加二维码获取仅供学习使用