背景为什么需要 Agent MemoryLLM 原生上下文窗口有限长对话、多轮交互、跨会话任务易丢失信息Memory 让 Agent 实现知识累积、迭代推理、持续进化支撑复杂长程任务区别于 RAGMemory 聚焦交互态、会话内 / 跨会话动态信息RAG 聚焦外部知识库Agent Memory vs LLM MemoryLLM Memory模型预训练知识静态Agent Memory智能体运行时记忆动态naive long-context prompting和记忆增强prompting概述Agent Memory工作流程Agent通常通过以下几步来有效地管理记忆记忆存储Memory Storage设计策略存储重要的交互信息**记忆更新**Memory Update随着交互不断更新优化响应记忆检索Memory Retrieval根据当下需求检索相关内容一、代表性Agent Memory方案代表性Agent Memory方法的分类A-MEM传统记忆系统都需要预先定义workflow中指定的Memory访问模式这限制了它们对各种场景的适应性。相比之下A-MEM 通过支持动态Memory操作增强了 LLM Agent的灵活性。A-MEM 架构A-MEM 核心过程笔记构建过程新增交互记忆时自动生成结构化多维笔记结合上下文描述、关键词、标签等属性完成单条记忆的标准化结构化存储链接生成过程基于Zettelkasten 卡片盒思想先检索与新记忆最相关的历史记忆再由LLM判断并建立记忆间关联链接创新支持单条记忆可归属多个关联盒子打破单一归类限制构建互通互联的知识网络。记忆检索过程利用文本编码模型生成查询Embedding在记忆库中检索匹配记忆命中目标记忆后自动联动跳转同盒子内所有关联链接记忆实现语义检索关联网络完善和加深对知识的理解。Zep (Graphiti)Zep 记忆模型核心结构在Zep中内存通过一个时间感知的动态知识图 (G (N, E, ) 提供其中 (N) 表示节点(E) 表示边(\varphi) 是一个形式的关联函数。知识图包括三层次的子图情节子图包含原始输入数据的节点并通过边连接到提及的语义实体。语义实体子图构建于情节子图之上节点表示从情节中提取的实体。社区子图表示强连接实体的集群并提供其摘要。核心机制时间感知知识图谱引擎。融合非结构化对话与结构化业务数据保持历史关系演化轨迹属于GraphRAG变体。MemoryBankMemoryBank框架SiliconFriend是一款基于LLM的AI助手并集成了Memoryank的功能。MemoryBank概述记忆存储存储过往对话、事件摘要和用户画像记忆更新机制更新记忆存储。记忆检索用于召回相关记忆。核心机制在每层Transformer中插入可更新的Memory Tokens固定参数预训练的模型参数不变Memory Tokens可读写的记忆单元可更新终身学习持续学习新知识对抗遗忘核心机制基于艾宾浩斯遗忘曲线的记忆衰减模型。根据时间流逝和重要性动态调整记忆强度实现自适应遗忘与强化。MemoChatMemoChat 流程的整体架构。在维护人类用户和聊天机器人之间的聊天流左侧部分的同时聊天机器人将拥有一个配备备忘录功能的内部思考系统右侧部分。核心机制迭代式记忆-检索-回复循环。通过结构化备忘录维护长程对话一致性优化开放域多轮交互。MemGPTMemGPT左图在收到关于上下文空间有限的系统警报后会将数据写入持久Memory。MemGPT左图可以搜索上下文之外的数据以便将相关信息带入当前上下文窗口。在 MemGPT 中固定上下文的 LLM 处理器通过分层内存系统和函数进行增强使其能够管理自身的Memory核心思想把 LLM 当成“CPU 少量Memory”再配一个“外部大内存 OS 风格调度”。LLM 的prompt tokens (输入或称主上下文由系统指令、工作上下文和一个 FIFO 队列组成。LLM 的completion tokens输出由函数执行器解释为function call。MemGPT 使用函数在主上下文和外部上下文归档和调用存储数据库之间移动数据。LLM 可以通过在其输出中生成一个特殊的关键字参数request heartbeattrue来请求立即进行后续 LLM 推理从而将函数调用链接起来函数链接使得 MemGPT 能够执行多步骤检索以回答用户查询。主要分为三个步骤虚拟上下文Virtual Context把 LLM 的 context window 当成“物理内存”再在外部向量库/数据库构造一个“虚拟、无限大”的上下文空间当前对话只放最关键的少量信息历史内容被有选择地持久化到外部存储系统式的缺页/换页逻辑把近期对话或中间状态总结成记忆块写入持久 memory当系统检测到“上下文空间不足”system alertMemGPT 触发写操作当模型需要某个不在上下文里的信息时通过检索工具从外部记忆中拉回相关片段再注入到当前 promptLLM 自己管理记忆写入 memory决定哪些内容值得长期记住搜索 memory根据当前任务需要拉回什么不是外部程序决定存什么、取什么而是LLM 自己通过工具调用来MemoryOS核心机制三层存储架构短期/中期/长期。短期→中期采用FIFO策略中期→长期基于热度评分访问频率时间衰减。三层存储架构三层存储架构短期记忆STM固定长度FIFO队列存储近期对话页聚焦即时上下文。中期记忆MTM按主题将对话页聚合成segment以语义关键词相似度为聚合指标作为近期重要话题缓存。长期个人记忆LPM存储稳定的用户/Agent画像、知识库及偏好保障跨会话个性化一致性。迁移策略STM→MTMFIFO驱动队列满时将最旧页面合并至对应MTM主题段。MTM→LPM基于热度评分访问次数对话页数时间衰减热度超阈值则转化为LPM条目低热度则优先驱逐MemOSMemory的形式化建模MemCube 抽象论文里强调三大类记忆Parametric模型权重里的知识Activation运行时上下文、隐藏状态等Plaintext外部文本/数据库中的显式记忆MemOS 引入一个统一的记忆单元抽象MemCube用于把这些不同形态的数据变成一个统一可管理的对象标注来源、重要性、使用历史,支持迁移、合并、追踪溯源把记忆当“系统资源”来调度表示representation组织organization调度scheduling演化evolution类似 OS 对 CPU/内存/IO 的调度MemOS 对记忆进行任务在跑的时候系统可以动态决定加载哪些记忆、淘汰哪些记忆、如何在不同形式的记忆之间迁移记忆中心的执行框架下一个 token 怎么生成不仅看 prompt还看“当前可访问的记忆视图”和记忆策略MemOS 建立一个“memory-centric”的运行框架核心机制将记忆视为可管理系统资源构建完整的记忆操作系统抽象层包含复杂的资源调度与生命周期管理。Mem0的工作流程的工作流程核心机制动态个性化记忆提取。从持续对话中实时提取、整合、检索用户特定信息变体引入图结构。动态抽取精准识别用户身份、偏好、任务等信息结构化抽取为记忆条目避免冗余存储。多信号检索融合语义相似度、实体匹配、会话作用域与时间衰减高效筛选关键记忆。图结构构建实体关系有向图支持多跳推理快速关联相关记忆片段。MemTreeMemTree 提出的是一种层级树状记忆结构核心是用“树 语义嵌入 动态重构”来管理长期记忆。树状层级表示节点包含聚合文本、语义嵌入与抽象层级从顶层主题到底层具体片段结构清晰。动态结构调整新信息到来时依据语义相似度实现节点合并、新建或分支扩展随对话动态演化。检索优势高层粗筛、底层细粒度搜索减少检索空间适配多轮对话与长文档问答保持全局记忆结构。核心机制动态树状记忆表示。将记忆以树状结构组织每个节点封装聚合文本、语义嵌入及跨层抽象信息通过实时语义相似度计算动态调整树的结构如节点合并、拆分、层级调整实现记忆的分层抽象与高效检索适配复杂场景下的多粒度记忆需求二、统一框架下的模块化分解将现有的智能体记忆系统分解为统一框架下的 模块化组件该框架包含四个关键组件信息提取记忆管理大型记忆存储大型信息检索。Agent Memory系统的统一框架概述,用户消息 → 信息提取 → 记忆管理 → 记忆存储 → 信息检索 → LLM生成回复2.1 信息提取Information Extraction三种实现范式直接归档零处理存储原始消息时间戳MemoryBank、MemGPT摘要式提取LLM生成简洁摘要或提取关键词/标签A-MEM、Mem0依赖prompt工程基于摘要提取的示例prompt图式提取提取SPO三元组构建知识图谱保留结构化关联Mem0ᵍ、Zep同样基于prompt基于图的提取2.2 记忆管理Memory ManagementMemory Management流程的工作机制该过程模拟人类记忆生命周期包含五项核心操作关联相关经验、整合碎片化信息、将短期记忆转化为长期记忆、更新过时内容以及过滤陈旧知识五大核心操作关联相关经验基于语义相似度/时间接近性/上下文相关性建立连接A-MEM/MemoryOS语义关联链接Zep/Mem0ᵍ实体节点连接整合碎片化记忆MemoryBank日常记录→事件摘要→全局用户画像MemoChat主题分组主题级摘要跨层级转换MemoryOSFIFO短期→中期热度评分中期→长期Zep语义社区形成机制更新现有记忆规则驱动MemoryBank的遗忘曲线、MemoryOS的相似度整合LLM驱动MemTree的聚合操作压缩泛化Agent驱动MemGPT的自主工具调用过滤无效信息基于使用MemoryOS的访问频率时间衰减基于内容Mem0的语义去重粒度控制困难2.3 记忆存储Memory Storage组织方式扁平式FIFO队列/JSON文件MemoryBank分层式多粒度存储池MemoryOS三层架构表示方式向量存储高维嵌入相似度检索FAISS/Qdrant主流方案图存储MemTree层次化树结构节点封装不同抽象层级Zep时序知识图谱原始消息节点SPO三元组实体社区2.4 信息检索Information Retrieval四种检索范式词汇检索BM25/Jaccard相似度适合精确匹配向量检索余弦相似度ANN算法解决词汇失配最主流结构检索Mem0ᵍ相似度搜索→子图构建ZepBFS图遍历增强初始结果LLM辅助检索查询重构实体识别MemoChat三、性能评估实验设置LOCOMO人类间长程对话10个对话平均198.6问题/27.2会话/588.2轮次评估单跳/多跳检索、时间推理、开放域知识LONGMEMEVAL用户-AI长程交互500问题平均50.2会话/11.5万token评估信息提取、多会话推理、知识更新、时间推理实验结果各方法在 LONGMEMEVAL 上的对比MemTree、MemOS树状、MemoryOS分层性能最优。树结构在上层保留概念摘要、叶节点保留细节实现高效信息流动。保留原始消息的方法优于纯图三元组提取Mem0 Mem0ᵍ。结构化提取易导致语义丢失这是图式方法的固有缺陷。说明信息完整性是记忆管理的基础。各方法在 LOCOMO 上的对比信息完整性是记忆管理的基础:保留原始消息的方法优于纯图三元组提取Mem0 Mem0ᵍ。结构化提取易导致语义丢失这是图式方法的固有缺陷。说明信息完整性是记忆管理的基础。关联能力决定多跳推理上限:缺乏关联操作的方法MemoryBank、MemGPT在多会话任务中表现极差。Mem0通过相似记忆同步更新实现隐式关联性能显著提升。时间推理强依赖模型能力模型从7B→72B时时间推理任务性能翻倍MemoryOS、MemoChat。现有方法普遍缺乏专门的时空信息处理组件。LOCOMO 上性能与 token 成本之间的总体权衡MemTree和MemOS实现高准确率但token开销显著。F1得分与平均token消耗呈正相关。LOCOMO 上各会话的平均每对话 token 成本处理粒度影响成本MemoryOS对话片段粒度中期存储MemoryBank每日粒度摘要粗粒度处理不一定降低性能甚至可能因LLM泛化能力而提升效果学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】