1、设计模式问题A2A 的信息同步和任务协作有哪些模式什么时候用什么模式除了七个一级智能体由一个系统编码统管其余智能体散落在各个业务科技研发中心的系统中A2A 协作的所有数据实体如何存储维护如何还原完整的 Agent Trajectory1.1 信息同步和任务协作模式A2A模式适用于复杂任务拆解规划执行、React、人机协作。智能体间任务交互需使用A2A模式MCP模式适用于工具调用、算法原子能力智能体作为能力提供给外部调用需使用MCP模式。同步调用模式适用于快速操作。主agent发送请求并等待执行agent一次性返回完整响应。4、异步回调模式适用于耗时任务。主agent发送异步请求执行agent立即返回“处理中”状态和任务id执行完成后回调结果给主agent回调也是A2A协议。5、流式输出模式适用于实时、增量结果。执行agent持续推送状态和增量结果主agent增量处理分片结果。1.2 智能体归属1.3数据存储维护1、结构化数据采用Mysql存储存储task任务信息、Agent执行状态数据、关键节点数据、结果数据。2、非结构化数据采用OSS对象存储存储文档、图片、音频、视频、日志。临时办法字段约束允许哪些需要约束哪些不用约束-考虑后期的维护参考设计1.4完整Agent Trajectory1、Agent执行轨迹langfuse记录Agent执行轨迹通过全局唯一的trace id和parent_span_id父agent的span id确保跨Agent的链路关联。2、Agent和业务应用轨迹langfuse和业务应用的APM系统应用性能监控打通支持全链路监控和可观测性业务应用A--智能体B--智能体C--业务应用D。2、Agent LLM 模型冷启动问题冷启动用 DeepSeek V3.2基于上线后的实际数据优化 PE数据进一步积累后SFTDPO一个小模型是baseline。但这个baseline用户体验差早期用户数据太少收敛太慢存在极大的失败风险。如何实现在线影子模式规模化生产 real sample提升学习效率加快收敛时间是否还有更好的提升学习效率和样本效率的方法2.1 异常主理人现状方案检索大模型兜底二级意图识别。现状准确率如下图。基于产品自己造的种子问题7天研发人员的自测日志测试自己捏造了一些问题。核心问题该项目为全新的的项目业务没有参与问题收集和验证导致产品/研发/测试自己造的问题与生产实际用户会问的问题相差过大意图定义不清晰例如没人可以说清楚三个报告子意图的核心区别另一方面自己造的问题质量也不高——提供的样本意图边界模糊、有重复样本例如“查询可用的接驳车辆”同时出现在“问答查询”、“流程任务”两个意图中。2.2 如何规模化得到高质量样本三种方案方案1直接捞生产数据标注适用于有真实业务、有真实数据的情况业务深度参与明确每种意图的清晰定义、典型问题、对话流程捞取没有AI之前业务人员与真人客服之间的对话用LLM进行筛选并让业务进行进步一过滤、标注矫正基于业务标注后的样本中的错误样本进行PE/SFT微调循环2-3直到某一次业务标注的准确率达到80%以上。方案2影子模式让Agent直接上线回答用户问题适用于有真实业务、没有真实数据或缺少的情况业务深度参与明确每种意图的清晰定义、典型问题、对话流程基于业务的规则用PE方法构造shadowAgent;直接将模拟的shadowAgent上线用户的问题会走到真人客服的同时也会走到这个shadow Agent但是不会返回Agent的结果给客户仅做日志保存。对拿到的日志和对应的真人回复进行对比收集到差异很大的问题对问题收集到的问题进行模型业务标注得到chosen、rejected样本基于标注后的样本中的错误样本进行PE/DPO微调循环3-6直到某一次业务标注的准确率达到80%以上。方案3用两个Agent模拟用户和客服适用于没有真实业务、也没有真实数据的情况业务深度参与明确每种意图的清晰定义、典型问题、对话流程基于业务的规则用PE方法构造模拟用户Agent、客服Agent待上线的批量生成该场景的对话数据生成将合成的对话数据进行模型业务标注基于标注后的样本中的错误样本进行PE/SFT微调重复3-5直到某一次业务标注的准确率达到80%以上。三种方案的对比优点缺点(风险)业务参与标注程度方案1直接捞生产数据标注工程量小技术路线成熟。需要该对话场景在应用AI之前已经存在。需要有大量的真实用户与客服的对话数据。高方案2影子模式让Agent直接上线与客服同时回答用户问题可以得到天然的人工客服与shadowAgent的正负样本对用于DPO训练。需要该对话场景在应用AI之前已经存在或者与AI应用同时上线。工程开发量较大技术路线在问答领域不成熟由于初始的shadowAgent能力与真人客服差异过大导致样本有效率非常低最终导致退化为方案1。中方案3用两个Agent模拟用户和客服适用于没有任何对话数据的全新场景。算法实现风险大。中2.3 如何更好的利用用户反馈AI寄件智能体碰到的问题为大量智能体设计标准化、低门槛、高可用的用户反馈流程核心目标是快速收集有效反馈数据、精准定位智能体问题、支撑迭代优化同时兼顾用户体验避免反馈负担和数据统一性适配多智能体场景。这套智能体用户反馈流程以「低门槛、标准化、数据闭环」为核心分 5 步落地触发智能体回答后显「赞 / 踩」核心入口 可选详细反馈入口不打扰用户核心反馈1 步完成赞 正向 10 分踩 负向 0 分系统自动关联智能体 / 会话 / 用户 ID详细反馈不满意必补问题分类标准化 场景化选项满意可选填亮点支持文本 / 截图数据处理统一字段存储自动分类去重、优先级排序同步至优化看板闭环内部按优先级修复问题对外同步反馈进度 定期公示优化成果。关键设计分分支减少用户负担满意不强制、不满意强引导可适配各类智能体仅调整问题分类靠技术复用 运营监控保障落地。2.4业务如何参与到对话Agent建设中现状意图准确率92%PV2000UV2000点踩率兜底率共2.2%上线前规划业务场景与构建语料体系负责梳理和规划的业务场景定义用户意图与对话逻辑并按照场景系统性地构建了语料标签体系。落地中方案设计与交互逻辑梳理设计PDD文档和流程图明确功能边界与业务流程并细致梳理交互逻辑确保小丰在用户体验与系统实现间的协调一致。上线后持续排查badcase定期跟踪线上问题分析生产环境中的badcase建立持续的监控与优化机制业务侧每天收集10点踩/兜底case分析原因日度闭环处理2.5如何提高样本训练效率结合RLHFSFT第一步使用RLHF训练长思考模型 基于少量高质量样本进行大量的ROLL OUT直到模型猜出正确答案(主要为规则面向意图/实体等)再进行奖励训练以此让模型从少量的高质量样本中获得大量的经验。第二步基于第一步得到的长思考模型产生大量样本训练用于上线的SFT模型。名词解释ROLL OUT输入一个样本到LLM采样得到大量的输出。2.6结论1根据不同场景选择不同的数据构造方案场景适用方案该对话场景在应用AI之前已经存在已有大量客户与真人客服的对话业务参与度高。方案1直接捞生产数据标注该对话场景在应用AI之前已经存在或者与AI应用同时上线但还没有大量对话数据业务参与度中等。方案2影子模式让Agent直接上线与客服同时回答用户问题该对话场景在应用AI之前无法上线。方案3用两个Agent模拟用户和客服2基于RLHFSFT结合ROLL OUT提高训练数据利用效率。3业务参与度高是Agent优化好的必要条件。3、字节反馈1、参考 https://github.com/volcengine/agentkit-samples/blob/main/02-use-cases/multimedia/app/multimedia-agent/src/multimedia_agent/agent.py 构建多智能体系统。多Agent系统使用OTEL来Tracing 整条调用链路通过Tracing ID可以还原整个多智能体的调用链路。智能体的状态通过veADK的session管理持久化在数据库中。主Agent ReactPlanner通过思考和上下文来决定remote agent的调用方式和时机。https://github.com/volcengine/agentkit-samples/blob/main/02-use-cases/multimedia/app/multimedia-agent/src/multimedia_agent/prompt.py2、在 Rollout 机制稳定性、Reward 准确性尚未验证且正负样本规模不足1K的情况下引入 RL 会显著放大噪声与偏差难以收敛并存在 reward hacking 风险因此不建议在该阶段尝试 RL。在收集到足够高质量的样本10-100个之前也不要使用SFTDPO DPO 提出的动机本身就是“小样本不适合 RL”Rafailov et al., 2023DPO 动机但 DPO 仍然依赖偏好质量不是“噪声免疫”。可以先考虑使用托管Prompt方式来管理多版本的Prompt通过收集线上输入作为评测集的input准确性评估器等来对Prompt调优以及使用不同版本的智能体做AB测试。---主要还是先最好人工标注出100条左右的高质量数据集规模化 造生产真实数据我们也可以提供sandbox沙箱来让DeepSeek 就指导Agent 如何去干并且RL打分。 可以做但最最前期还说得有一些精品数据pe版本管理写出一些大概能执行的pe来三个阶段1. agent架构设计多agent或者单agent和tools或a2a等根据不同场景选择合适的架构2. prompt调优根据业务场景优化各个agent的prompt上述架构和prompt在初期是非常建议开展的而且效果一般很明显。看上去咱们现在也处于这个阶段。在上述两种手段都已经达到一定优化程度后可以继续提升模型能力也就是agent rl1和2的迭代过程中应该也能积累一些质量不错的real sample。可以作为之后rl的部分数据集veadk对接了方舟的agent rl提供了llm as a judge的模式用在强化学习的reward过程基于veadk实现的agent能比较方便地run起整个强化学习流程字节核心结论可以同步做影子模式用对抗生成的方式来产生较多数据但基础的baselineDSPE业务标注高质量数据是核心要重点投入的也是效果显著的。Agent影子模式规模化生产Real Sample 的实现【Agent影子模式规模化生产Real Sample 的实现】