在开源大模型如 Llama、Gemma、DeepSeek大行其道的今天很多开发者拿到模型后的第一反应就是“做微调Fine-tuning”。但正如台湾大学李宏毅教授在《通用模型的终身学习》课程中所言常规微调往往是一把“杀敌一千自损八百”的双刃剑。微调最大的痛点在于极易破坏模型的局部性Locality——你高高兴兴教了模型一些特定领域的专业新知识回头一测它原本擅长的通用常识和逻辑推理能力竟然发生了严重的“灾难性遗忘”。那么在常规微调如 Full FT 或 LoRA之外为了让大模型的参数能够持续安全地进化学术界和工业界还在对大模型参数做些什么李宏毅教授在课上为我们拆解了另外三大核心前沿路径模型编辑Model Editing、模型融合Model Merging与测试时训练Test-Time Training。路径一参数微创手术——模型编辑Model Editing常规微调像是为了修补一个坏掉的零件而重组整台机器而模型编辑则是直接对参数进行精密的手术精准改变模型内部的某一个“事实记忆”。知识精准修补当现实世界的知识发生变更例如美国总统换届我们不希望为了这一个知识点的更新去重新跑一遍耗时费力的微调流程。模型编辑算法如 ROME、MEMIT能够像检索 key-value 一样精准定位到大模型神经网络中存储该事实的特定层与权重完成局部擦除与重写。机器不学习Machine Unlearning这是模型编辑当下非常火热的一个衍生方向。大模型在预训练时不可避免地吞下了大量包含用户隐私身分证号、手机号或有毒、侵权的网络数据。当用户要求撤回隐私时我们不能把模型销毁重训。通过 Machine Unlearning 技术可以精准让模型“遗忘”掉特定的个资参数在保护隐私的同时保证模型的其他通用能力完全不受损。路径二零算力炼丹——模型融合Model Merging如果你手头有一个擅长写代码的微调模型 A和一个擅长写文案的微调模型 B。在以往想要一个既能写代码又能写文案的模型你必须把两批数据混在一起重新训练。但模型融合Model Merging另辟蹊径——它不消耗任何训练算力直接在参数层面进行几何对齐与化学反应。开箱即用 在 Hugging Face 的开源社区中大量的模型进化并不依赖昂贵的算力而是开发者们通过各种矩阵加权、SLERP球面线性插值或者线条对齐技术把多个微调模型的参数“缝合”在一起。优势与隐患 它的优势在于成本为零、速度极快能组合出各项 Benchmark 分数极高的“全能战士”但隐患在于由于缺乏实际训练的约束融合后的参数偶尔会出现逻辑冲突变成表面全能、实则在极端推理下失效的“缝合怪”。路径三边推断边进化——测试时训练Test-Time Training, TTT这是对传统“先训练、后推断”范式的彻底颠覆。李宏毅教授重点介绍的 TTT 提出模型不应该是一个死板的静态参数包。当用户在使用模型推断/测试时的当下模型就应该根据当前输入的数据流即时更新自己的参数以适应环境。在面对连续数据流Continuous TTA时如何保证模型参数一边即时更新、一边不崩溃视频中介绍了非常精妙的动态机制快慢更新机制Fast-Slow Update快更新Fast Update 针对当前看到的这一笔测试数据立刻对模型参数做出极为敏捷的微调。这让模型能够“现学现卖”完美契合当下的上下文语境。慢更新Slow Update 后台同时默默收集一段时间内的测试数据流进行更稳健、长周期的大步长参数更新。它的开局虽然慢但随着时间推移能沉淀出比快更新更深刻的底层逻辑。双剑合璧 实验数据表明如上图趋势同时开启快、慢更新机制绿线其错误率下降的效果要显著优于任何单一更新机制。模型自动重设Model Reset在测试时让模型持续线上训练存在一个巨大的致命风险一旦遇到几笔极端恶意的“脏数据”模型的参数可能会在持续累积的梯度更新中“走火入魔”彻底坏掉。因此成熟的 TTT 框架必须配备自动重设Reset机制系统一旦检测到模型当前的表现发生断崖式下跌会立刻将参数“回滚”到上一个健康的存档版本以此保证在线持续学习的安全与鲁棒性。总结终身学习的参数之战从视频课的框架中我们可以看到大模型的参数进化早已不止“微调”这一条路常规微调 适合大面积的领域能力迁移模型编辑 负责高精度的知识手术与隐私擦除模型融合 是低成本白嫖社区生态的组合拳测试时训练TTT 则赋予了模型像人类一样“兵来将挡、边用边学”的终身动态适应力。跳出常规微调的思维定势在参数层面上组合使用这些后训练武器才是让大模型真正迈向“通用终身智能”的解题关键。