「需求评审」和「手工用例生成」的知识库要如何构建下面先展示一下需求评审的多 SKILL 串联的工作流结构需求评审req-review主req-review-associator关联分析子 Skillreq-review-challenger审查挑战子 Skill手工用例生成req-test-cases三个重点知识库如何构建——需求文档沉淀 两类人工维护文档通用规则、业务规则Skill 是自学习的——评审通过的需求、生成的用例都会回流知识库供以后复用工作流如何设计——主从编排、人工卡点、分层加载这里我们没有使用多 Agent而是用了单 Agent 多 SKILL 的结构这也是考虑到大多数同学对 token 的消耗有要求所以我们尽量用更为节省的方式来完成工作。在这套工作流里我们的思路是是先审查需求的合理性需求是否有缺失或者有考虑不周的地方。 只有需求足够完善了用例的生成才能足够的准确。比如我给了一个类似一句话需求产品增加了连接器的功能其实与 mcp 插件是一样的。 填写服务名称 描述 选择接入类型sse 和 streambleHttp输入服务 url。 在 Agent 模式中可以添加连接器并在对话中使用。上面明显是一个很不负责任的需求说明 产品人员默认开发和测试人员能理解他的意思 但事实上这里有很多还未澄清的东西。 所以在生成用例之前我们需要先让 AI 来审查这里面还缺少的产品信息。 这里我列一下 SKILL 分析结果的一部分片段全文太长了## 阻塞问题Blocker ### B1. 连接器与已有 MCP 插件的关系未定义 - **问题**: 需求说与 MCP 插件是一样的但平台已存在功能完全覆盖的 MCP 插件SSE/HTTP 双协议、Agent 集成、cases/plugin_marketplace/mcp_plugin_create_test.py 已稳定运行。两者是替换、并存还是子集不明确则无法确定测试范围。 - **引用证据**: 产品文档/工作流文档/工作流/工作流节点分类说明/信息处理节点/插件节点.md#常见问题 - **给 PM 的追问**: 「连接器」与已有「MCP 插件」是什么关系(a) 替换 MCP 插件并废弃旧入口(b) 并存为独立新类型(c) MCP 插件的子集现有 MCP 插件用户的迁移路径是什么旧 APICreateMcpPlugin / mcp_type 字段是否保留插件搜索 create_types 枚举如何变化 ### B2. 服务名称长度和字符集未明确 - **问题**: 只说填写服务名称未给最小/最大字符数、字符集、空字符串处理、超长处理。 - **给 PM 的追问**: 连接器名称的最小/最大字符数是多少支持哪些字符中文/英文/数字/符号/emoji空字符串和纯空格如何处理超长输入截断还是拒绝 ### B3. 描述字段长度和格式未明确 - **问题**: 只说填写描述未给字符数范围、是否允许换行/URL/Markdown。 - **给 PM 的追问**: 描述字段的最大字符数是多少是否支持换行、URL、Markdown在 Agent 工具列表中展示时是否截断 ### I4. 审计日志格式扩展 - **问题**: 现有日志 Content 格式为编辑-Multi-Agent 模式-Agent\name\添加工具\x\Agent 中添加连接器是否走同一路径 - **引用证据**: cases/platform_management/audit_log/agent/agent_add_plugin_audit_log_test.py - **给 PM 的追问**: 创建/编辑/删除连接器以及在 Agent 中添加/移除连接器是否记录审计日志Content 文案格式是什么 ### I5. 计费/用量统计口径 - **问题**: 用户自带 URL 的连接器属于自调用是否纳入插件用量统计 - **引用证据**: 产品文档/公共模块/数据报表-资源看板.md - **给 PM 的追问**: 连接器调用是否纳入资源看板插件用量统计是否计费统计颗粒度调用次数/Token/流量 ### I6. 工作流插件节点是否支持引用连接器 - **问题**: 需求只说 Agent 模式可用未提工作流。工作流插件节点已支持 API/代码/MCP/应用四类。 - **引用证据**: 产品文档/工作流文档/工作流/工作流节点分类说明/信息处理节点/插件节点.md - **给 PM 的追问**: 连接器是否支持在工作流的插件节点中引用若不支持UI 上是否明确告知用户仅 Agent 模式可用从上面的分析片段可以看出SKILL 结合了产品其他模块的功能来对新加的连接器需求进行了思考。 即便需求里没有写审计计费工作流但模型还是从知识库中分析出来了关联性。所以在这里需要测试人员跟产品经理补全这些缺失的信息才可以进入下一步的测试用例生成的步骤。PS需求分析这一步是非常重要的很多同学都是简单的把需求文档扔给 AI 后就开始生成用例这种操作的效果会非常差。下面再看一下生成的测试用例是什么样的## 测试点清单 ### P0 - 核心主流程 - [x] TP01 创建连接器SSE 类型成功 - [x] TP02 创建连接器Streamable HTTP 类型成功 - [x] TP03 在 Agent 应用中添加已创建的连接器 - [x] TP04 评测端对话中连接器被成功调用返回正常响应 - [x] TP05 发布含连接器的 Agent 应用用户端对话正常调用连接器 - [x] TP06 删除连接器 ### P1 - 边界值 异常路径 - [x] TP07 服务名称最大字符数边界值 - [x] TP08 服务名称超出最大字符数 - [x] TP09 服务名称空字符串 / 纯空格 - [x] TP10 服务名称包含特殊符号 - [x] TP11 服务 URL填入内网地址SSRF 防护 - [x] TP12 服务 URL填入 localhost / 127.0.0.1 - [x] TP13 服务 URL格式非法 - [x] TP14 服务 URL超出最大长度 - [x] TP15 连接器调用外部服务超时对话降级行为符合预期 - [x] TP16 连接器调用外部服务返回 5xx对话异常处理符合预期 - [x] TP17 删除已被 Agent 引用的连接器 - [x] TP18 重复创建同名连接器 ### P2 - 兼容性 权限 多环境 - [x] TP19 含连接器的 Agent 应用版本回退连接器配置不丢失 - [x] TP20 无权限角色尝试创建连接器 - [x] TP21 无权限角色尝试在 Agent 中添加连接器 - [x] TP22 Private 环境创建连接器并在对话中调用 - [x] TP23 International 环境创建连接器并在对话中调用 - [x] TP24 审计日志Agent 中添加连接器的操作日志 Content 格式正确 - [x] TP25 连接器调用次数在资源看板中正确统计 ### ⬜ 暂不测试 / 待澄清 - [ ] TP-X1 工作流插件节点引用连接器待 PM 澄清 finding I6 - [ ] TP-X2 共享/导出含连接器的应用凭证处理正确待 PM 澄清 finding I3 - [ ] TP-X3 连接器鉴权方式待 PM 澄清 finding B6 - [ ] TP-X4 连接器与已有 MCP 插件的迁移兼容性待 PM 澄清 finding B1 --- ## 手工测试用例 ### TC01 创建连接器SSE 类型成功 - **优先级**: P0 - **测试点**: TP01 - **前置条件**: - 已登录系统具备创建连接器权限 - 当前空间连接器数量未达上限 - **测试步骤**: 1. 进入连接器管理页面点击新建连接器 2. 填写服务名称test-connector-sse合法值中英文均可 3. 填写描述测试用 SSE 连接器 4. 接入类型选择 SSE 5. 服务 URL 填写https://mcp.example.com/sse合法 https 地址 6. 点击保存 - **预期结果**: 1. 连接器创建成功页面跳转回连接器列表 2. 列表中可见新建的连接器名称、类型SSE、URL 均正确显示 3. 连接器状态显示为正常/可用 - **关联用例参考**: cases/plugin_marketplace/mcp_plugin_create_test.py --- ### TC02 创建连接器Streamable HTTP 类型成功 - **优先级**: P0 - **测试点**: TP02 - **前置条件**: - 已登录系统具备创建连接器权限 - **测试步骤**: 1. 进入连接器管理页面点击新建连接器 2. 填写服务名称test-connector-http 3. 填写描述测试用 HTTP 连接器 4. 接入类型选择 Streamable HTTP 5. 服务 URL 填写https://mcp.example.com/mcp 6. 点击保存 - **预期结果**: 1. 连接器创建成功 2. 列表中可见新建的连接器类型显示为 Streamable HTTP或其正确文案 - **待澄清**: 接入类型文案以 PM 确认为准finding B5需求原文streambleHttp疑似拼写错误 --- ### TC03 在 Agent 应用中添加连接器 - **优先级**: P0 - **测试点**: TP03 - **前置条件**: - 已完成 TC01连接器创建成功 - 已创建一个 Agent 模式应用 - **测试步骤**: 1. 进入 Agent 模式应用的配置页面 2. 找到工具/连接器配置区域点击添加连接器 3. 在连接器列表中选择 TC01 创建的连接器 4. 点击确认添加 5. 保存 Agent 应用配置 - **预期结果**: 1. 连接器成功添加到 Agent工具列表中可见该连接器 2. 连接器名称、类型显示正确 3. 应用配置保存成功 - **关联用例参考**: cases/plugin_marketplace/mcp_plugin_create_test.pyAgentModelService.add_plugin 步骤 --- ### TC04 评测端对话中连接器被成功调用 - **优先级**: P0 - **测试点**: TP04 - **前置条件**: - 已完成 TC03连接器已添加到 Agent 应用 - 评测端可用 - **测试步骤**: 1. 进入 Agent 应用评测端 2. 输入能触发连接器调用的问题如调用 [连接器名称] 执行查询 3. 等待 Agent 响应