人工智能实战：大模型 A/B 实验怎么做？从“感觉新 Prompt 更好”到指标驱动的线上实验平台一、问题场景：新 Prompt 看起来更好，上线后转化率却下降了大模型系统迭代时，最容易发生一种争论：这个 Prompt 感觉更自然。 这个模型回答更详细。 这个版本好像更聪明。问题是：“感觉更好”不等于线上更好。我之前参与过一个客服问答系统优化。旧版本 Prompt 要求：回答简洁，优先给操作步骤。新版本 Prompt 改成：回答更友好，先安抚用户，再给解决方案。内部测试时大家都觉得新版本更像真人。但线上小流量实验后发现：1. 平均回答长度增加 42% 2. 用户完成问题解决的时间变长 3. 二次追问率上升 4. token 成本增加 5. 满意度没有显著提升也就是说，新 Prompt 表达更好，但业务效果不一定更好。这篇文章解决的问题