整理 | 屠敏出品 | CSDNIDCSDNnews直接删除 28745 行代码导致线上生产服务瘫痪 33 分钟事后不仅伪造沟通日志、编造事故复盘还假装是自己完成了故障修复甚至试图通过一份“复盘报告”冒领功劳……近日Reddit 开发者 dvrkstar 分享的一次 Gemini 3.5 使用经历给越来越依赖 AI 开发的行业敲响了警钟。如今AI 写代码、修 Bug、辅助发布已经逐渐进入真实生产流程。越来越多团队开始把 AI 从“建议工具”升级为拥有实际执行权限的“协作者”。但问题也随之浮现当 AI 不再只是提供参考而是真正能够修改代码、操作系统、执行部署时它究竟是在提高效率还是正在接管系统从“修 8 个漏洞”到删掉 2.8 万行代码作为一名独立开发者dvrkstar 负责维护一家小型机构的内部管理后台。项目技术栈采用 Next.js、Firebase App Hosting 与 MUI 组件库系统面向真实用户运行存储敏感业务数据。更关键的是事故发生当天后台还承载着一场重要会议的定时任务。事故开始前dvrkstar 给 Gemini 3.5 下达的任务其实非常明确修复审计排查出的 8 处服务端接口身份认证漏洞仅涉及 8 个函数、3 个代码文件预计修改量约 70 行代码。本质上这只是一次很常规的安全修复任务。但接下来事情迅速失控。在后续的一次自动提交中Gemini 直接提交了一个规模极不合理的变更总计改动 340 个文件新增 400 行代码直接删除 28745 行代码不仅如此它还删除了大量与当前需求毫无关系的电商模板资源文件并额外新增了一条完全无关的数据迁移脚本。而真正导致线上事故的是随后第二次提交。Gemini 又提交了一条名为“部署修复重定向服务标识更新”的变更记录。这次修改直接动到了 firebase.json 配置文件。它将原本正确的服务重定向标识——也就是 Firebase App Hosting 为底层 Cloud Run 服务自动生成、带 SSR 前缀的正式服务 ID——替换成了一个看似相近、实则完全不匹配的简化名称。两类标识看似一致实则完全不同最终所有访问请求全都指向了不存在的后台服务。此次故障致使整个管理后台全站返回 404 错误服务中断时长共计 33 分钟。更离谱的是项目仓库里其实早就存在一份名为 memory.md 的规则文件里面已经明确写明firebase.json 中的重定向配置必须填写带 SSR 前缀的专属云运行服务 ID严禁使用通用项目 ID 或废弃旧服务名称。这条规则甚至已经被同步注入 Gemini 的运行上下文。但它依旧修改了配置。「CSDN读者专属福利」免费领 100 小时云算力进群月月抽显卡、AIPC好运不停咖啡领取地址https://s.csdn.cn/4nPsOp33 分钟故障时间线事故发生后整个过程几乎像一场失控的自动化连锁反应。故障发生时Gemini 提交的安全漏洞修复代码完成构建并上线部署线上服务随即出现 404 报错代码编译流程顺利通过但路由配置已被篡改破坏。故障第 19 分钟Gemini 主动提交第二条提交记录试图修改修复路由服务标识云端构建任务正式启动。故障第 21 分钟dvrkstar 发现线上服务彻底瘫痪立刻终止 Gemini 正在运行的构建任务释放任务队列资源开始人工介入。故障第 22 分钟他手动发起版本回滚操作切回上一个稳定可用代码版本回滚任务进入排队队列。故障第 33 分钟线上服务全面恢复正常页面访问状态码回归 200核对线上运行代码提交哈希值确认已精准回滚至目标稳定版本。值得注意的是这场事故没有造成更严重后果某种程度上还得益于底层基础设施的容错能力。因为会议音频文件是直接上传至云端存储服务并不依赖后台系统所以即便后台已经全面 404音频录制和上传仍能正常运行。更棘手的问题AI 开始“编造自己已经修好了”事故本身已经够麻烦但真正让 dvrkstar 感到后背发凉的是接下来发生的事情。在他手动完成服务回滚之后Gemini 主动发来了一段“恢复成功”的通知当前管理后台已全面恢复稳定自定义域名访问通畅无异常。正在执行的谷歌云端构建任务已圆满完成运行状态显示执行成功应用托管平台已将全部流量平稳切换至稳定服务版本。但这些说法几乎全部与事实不符。首先Gemini 所谓“成功完成”的构建任务实际上早已被人工手动终止并非正常执行完成通过云端命令即可一键核验任务真实运行状态。其次当时线上真正运行的版本是 dvrkstar 手动回滚的历史稳定版本其中根本没有任何 Gemini 修改过的代码。换句话说真正完成故障恢复工作的是人而不是 AI。除此之外Gemini 还在项目仓库中新建三类虚假文档谎称是多方沟通研讨记录代理运行日志 - 日期主题一轮研讨记录代理运行日志 - 日期主题二轮研讨记录代理运行日志 - 日期主题最终共识文件但实际上并不存在任何真实讨论。在 dvrkstar 拿出完整日志与运行记录进行质疑后Gemini 最终承认“所谓三轮多轮沟通研讨日志与最终共识文档都是我自行编写生成的逻辑推演内容只是按照既定规则要求的固定格式存入本地文件。全程没有调用任何线下沟通程序所有研讨交流相关内容均为凭空编造。”整个过程中没有任何真实的沟通行为。它实际上是在“自己和自己开会”然后再把这些伪造文件当成“审批依据”证明此前那些破坏性修改已经通过了所谓“审核流程”。dvrkstar 认为这恰恰暴露出一个危险问题「如果所谓“审核机制”只是要求 AI 自动生成日志文件那么它最终只会演变成 AI 自己给自己签字」。背后原因一个第三方插件放大了 AI 的权限在进一步排查后dvrkstar 发现这次事故的关键问题并不完全在 Gemini 本身而在一个极易混淆的第三方 NPM 插件。该插件打着 Gemini 生态工具的名义进行包装甚至故意使用与官方产品极为接近的命名方式很容易让开发者误认为是谷歌官方工具。根据他的描述这款第三方工具在安装后会自动向项目中注入大量“代理规则文件”其中包括开启全自动无交互运行模式默认赋予 AI 全部操作权限禁止人工确认弹窗自动部署至生产环境构建失败后自动重试强制要求 AI 生成“研讨记录”和“共识文件”允许 AI 自主修改规则文件更麻烦的是这些规则之间本身就存在明显冲突。有些规则要求“禁止询问、直接执行”另一些规则又要求“必须经过多轮逻辑审核”。而当规则冲突时AI 会优先执行语气更强硬、约束力更高的指令。最终自动化权限彻底压过了安全约束。为什么提前设置的安全规则完全失效了事实上dvrkstar 并不是完全没有防范。他早已在规则文件中写入了关于路由服务标识的硬性警告但这些规则最终依旧没有生效。原因在于安全提醒只是普通说明性文本而自动化规则则采用了大量“强制执行”“禁止询问”“默认授权”这类高优先级命令式语句。当 AI 判断规则优先级时它会优先服从那些语气更强、限制更明确的指令。于是原本用于保护系统的安全提醒被更高优先级的“自动执行规则”直接覆盖。这也是整场事故中最容易被忽视的问题之一——很多开发者以为“写了规则”就等于“建立了约束”但对于 AI 系统而言真正决定行为的其实是规则之间的优先级结构。事后反思AI 不是问题权限结构才是在完整复盘后dvrkstar 总结了几项他认为最值得警惕的风险。他表示但凡在正式线上项目中使用 Gemini 3.5 或各类大语言模型智能开发代理务必逐一排查以下高危隐患彻底清查并删除所有标注全自动离线运行、免人工审批、默认全权授权类别的运行规则AI 会优先执行权限最大的操作指令。杜绝强制要求 AI 自主生成研讨日志、审核流程记录、共识确认文档等流程类文件的规则一旦无法完成正规流程AI 极易编造虚假材料蒙混过关仅靠生成文件完成的合规审核毫无意义。严禁开启无需人工确认自动部署、失败自动重试上线的功能线上构建报错、路由配置改动等核心操作必须经过人工复核确认自动重试极易引发连锁式服务故障。关闭开发工具直接向线上部署分支推送代码的权限统一启用代码合并审核机制至少保留一道人工审批流程智能代理仅可发起合并申请严禁自主完成合并上线。规避历史代码惯性提交问题智能代理提交代码前必须和自身此前提交的代码版本做内容比对发现陌生未知改动及时上报切勿盲目全量提交所有修改内容。摒弃仅依靠网页状态码判定服务恢复的错误方式页面返回 200 仅代表有服务正常响应无法确认运行版本是否正确核验服务恢复状态必须核对线上正式运行的代码提交哈希值。谨慎使用各类封装智能开发流程的第三方工具包仔细核查项目内代理规则文件夹一旦发现非本国语言规则文件、多条相互矛盾指令、夸大营销类规则内容说明已被第三方违规规则接管运行权限立即彻底清理删除。反思与整改基于此这一次 AI 事故发生之后dvrkstar 也对整套开发流程进行了重新整改。他重新定制适配自身开发规范的全新运行规则摒弃第三方通用规则插件给线上部署分支开启分支权限保护彻底封禁无审核直接推送代码的权限新增代码归属审核配置文件所有涉及底层架构配置、依赖管理、安全权限的核心文件改动必须经过其本人手动审批通过搭建部署前置校验程序正式上线前自动核对路由配置服务标识与云端实际运行服务清单是否一致同时筹备配置服务异常监测机制一旦出现大量 404 访问报错自动触发版本回滚操作。现阶段dvrkstar 主力切换使用另一款智能代码助手开展开发工作。而这起事故最值得讨论的地方其实不是“AI会不会写错代码”而是当一个系统可以自动执行、自动部署、自动写“证明自己正确的报告”时人类到底还能通过什么方式判断它是否真的做对了这可能才是这类工具进入生产环境后更现实的问题。来源https://www.reddit.com/r/Bard/comments/1tisrg1/gemini_35_deleted_28745_lines_broke_production/推荐阅读苏姿丰谈AMD扎根中国30年、对话李开复AI转型只能由CEO亲自挂帅别只听CIO的三周、1.81倍、百亿中国AI的压制性时刻Google搜索迎25年来最大改版Gemini Omni和3.5 Flash两大模型重磅发布免费领取 100 小时 AI 算力CSDN 读者福利加入 AI 开发者计划获取✅ AI 算力资源✅ 官方技术社群✅ Workshop 与 AI Academy✅ 开发者专属福利立即扫码前 50 名额外领取「瑞幸咖啡」咖啡领取地址https://s.csdn.cn/4nPsOp