企业官网建设流程全解析

AI 生成用例的审查验收：分层校验，兼顾效率与质量

核心结论

必须做审查验收，但绝对不能回到全量人工审核的老路——否则效率优势直接归零。
行业通用做法是**「五层分层验收体系」**：硬规则全量自动校验 + 语义自动对齐 + 核心场景人工抽检 + 可执行性自动验证 + 金标准基准锚定，用 20% 的人工投入守住 80% 的质量底线，最终实现「效率翻倍、质量不滑坡」。

AI 生成用例的核心通病是「格式都对、结构规范，但业务覆盖不全、边界缺失、happy path 扎堆、测试设计失效」，验收必须针对性穿透这些“表面正确”的问题。

一、五层验收体系（从自动到人工，从粗到精）

第一层：规则层——格式结构硬校验（全自动化，100% 全量）

验收目标：拦截硬错误、格式错误、结构缺失、规范不符，把最基础的问题用规则拦下来，零人工投入。
校验内容：

1. 结构完整性：用例必填字段是否齐全（用例ID、模块、前置条件、操作步骤、预期结果、优先级、标签）
2. 格式规范性：是否符合团队用例模板、命名规范、编号规则、层级缩进
3. 语法正确性：无错别字、无语法错误、无歧义表述、术语统一
4. 重复校验：和已有用例库的标题、步骤完全重复的用例自动去重
5. 分类正确性：模块标签、优先级标签、类型标签是否符合分类规范

通过标准：100% 通过，有任意一项硬错误直接打回
自动化程度：100% 自动，规则引擎/正则校验，毫秒级完成
工具落地：EvalScope 用例规则校验插件 / 自定义规则脚本

第二层：语义层——一致性与覆盖度校验（LLM 自动，100% 全量）

验收目标：解决「文不对题、需求偏离、语义重复、覆盖不足」的问题，校验用例和对应需求/场景的匹配度。
校验内容：

1. 需求一致性：用例是否对应目标需求/测试点，有没有答非所问、偏离测试目标
2. 语义去重：和历史用例语义重复但表述不同的用例，自动识别合并，避免“换个说法又是一条”
3. 场景覆盖度：自动校验是否覆盖了正常、异常、边界、错误四类场景，重点识别是不是全是 happy path
4. 等价类分布：校验同一功能点的用例是否覆盖了不同等价类，有没有重复堆同一类场景

校验方法：

• 用能力更强的裁判模型做语义级校验，不用人工逐条看
• 向量相似度 + 分类标签双重校验，识别语义重复与偏离

通过标准：

• 需求匹配率 ≥ 90%
• 语义重复率 ≤ 5%
• 异常/边界场景占比 ≥ 30%（避免全是正常流程）
  自动化程度：90% 自动，批量执行
  工具落地：RAGAS 语义相关性 + 自定义分类规则

第三层：业务层——测试设计有效性校验（分层抽样人工审核，核心中的核心）

验收目标：解决「看起来都对，但测不出问题、不符合测试设计逻辑」的核心质量问题，这是 AI 生成用例最容易翻车的一层，也是人工审核的重点。
校验内容：

1. 测试设计合理性：等价类划分是否正确、边界值选取是否准确、有没有遗漏关键测试点
2. 业务逻辑正确性：前置条件是否充分、步骤是否符合业务流程、预期结果是否准确可验证
3. 边界与负面：有没有覆盖异常分支、错误输入、极限值、非法操作等反常规场景
4. 可验证性：预期结果是否明确、可量化、可观测，不能是模糊描述
5. 优先级合理性：P0/P1/P2 分级是否符合业务重要性与风险等级

抽样策略（核心技巧，平衡效率与质量）：

通过标准：抽检合格率 ≥ 85%；核心场景合格率 ≥ 90%；边界负面场景无重大遗漏
自动化程度：20% 人工投入，覆盖核心风险

第四层：执行层——可执行性验证（自动化试运行，全量/抽样）

验收目标：针对自动化测试用例、评测用例，验证能不能跑、通不通、断言对不对，避免“看起来正确但跑不起来”。
校验内容：

1. 语法可执行：代码/脚本无语法错误、依赖齐全、参数正确
2. 运行通过率：在测试环境试运行，执行成功率是否达标
3. 断言有效性：断言是不是能真正校验结果，不是空断言、伪断言
4. 幂等性：重复执行结果一致，不会产生脏数据

通过标准：

• 自动化用例运行通过率 ≥ 95%
• 断言有效率 100%
  自动化程度：100% 自动执行，接入测试框架/评测引擎试运行
  工具落地：EvalScope 自动化执行引擎、CI 流水线试运行

第五层：基准层——金标准对齐验证（抽样锚定，质量底线）

验收目标：用人工标注的黄金标准用例做锚点，校验整批 AI 生成用例的整体质量水平，避免系统性偏差。
校验方法：

1. 从历史人工用例中筛选 50~100 条「金标准用例」，覆盖各层级、各场景
2. 让 AI 针对同一批测试点生成用例
3. 对比两者的测试点覆盖、场景完整度、业务准确性，计算一致性
4. 用加权 Kappa 系数衡量整体一致性

通过标准：加权 Kappa ≥ 0.75 为合格；≥ 0.85 为优秀

• 低于 0.7：整批质量不合格，优化生成 Prompt 后重新生成
• 核心场景一致性必须 ≥ 0.8

作用：不用全量人工审，通过小样本金标准就能判断整批用例的质量水平，是质量的锚点
自动化程度：自动对比 + 人工校验金标准

二、RAG / Agent 评测用例专项验收要点

针对你之前关注的 RAG 评测集、Agent 测试集，AI 生成后除了通用验收，还要额外专项校验：

RAG 评测用例专项验收

1. 分层对应性：是否覆盖检索层、生成层、端到端层对应的测试点，有没有混为一谈
2. 边界样本占比：边界模糊案例、部分正确、轻微幻觉等案例占比 ≥ 30%，避免全是简单题
3. 标注规范性：标准答案、关键信息点、预期得分是否标注清晰规范
4. 集隔离性：校准集、训练集、测试集是否严格分开，有没有重叠过拟合
5. 场景覆盖：是否覆盖了不同难度、不同长度、不同领域的查询

Agent 评测用例专项验收

1. 任务分层：是否覆盖组件级、链路级、任务级三类测试场景
2. 异常场景：有没有工具失败、参数错误、超时、权限不足等异常测试用例
3. 幂等验证：写操作场景有没有幂等性测试用例
4. 权限边界：有没有越权调用、跨权限操作的测试用例

三、标准验收执行流程

1. 生成后自动初检：AI 生成用例后，自动跑规则层 + 语义层校验，不通过的直接打回，优化 Prompt 后重生成
2. 分层抽样人工审：通过初检的用例，按优先级、场景类型分层抽样，人工审核业务有效性
3. 试运行验证：自动化用例接入测试环境试运行，验证可执行性
4. 金标准对齐：抽样和金标准对比，验证整体质量水平
5. 入库打标：验收通过的用例，打上版本、来源、验收标签，入库到 Langfuse Dataset
6. Bad Case 闭环：验收不通过的案例，沉淀到优化库，迭代优化生成 Prompt 与规则

不合格处理机制

• 规则层/语义层不通过：自动优化 Prompt 重生成
• 业务层抽检合格率 < 80%：整批打回，优化生成指令后重新生成
• 基准层 Kappa < 0.7：整批驳回，升级生成模型或重构提示词

四、工具链落地（匹配现有技术栈）

五、最佳实践与避坑

最佳实践

1. 先定规则再生成：把格式、结构、场景要求、边界占比提前写进生成 Prompt，从源头减少质量问题，比事后验收效率高得多
2. 分层抽样，重点突出：核心场景、边界异常场景重点审，长尾场景少审，把人力用在刀刃上
3. 金标准锚定：不用全量人工审，用 50~100 条金标准就能把控整体质量方向
4. 闭环迭代：验收不通过的案例同步优化生成 Prompt，越生成质量越高
5. 裁判分离：验收用的模型/人工，不能和生成用例的是同一个，避免自说自话

常见避坑

1. ❌ 全量人工审核：等于否定了 AI 的效率优势，从“效率翻倍”变成“效率减半”
2. ❌ 只看格式不看业务：AI 生成的用例格式都特别规范，但业务逻辑、边界覆盖才是核心问题
3. ❌ 全是 happy path：AI 天生倾向生成正常流程，验收必须重点查异常、边界、负面场景占比
4. ❌ AI 自己审自己：用同一个模型生成又验收，等于自己给自己打分，系统性偏差极大
5. ❌ 验收一次就完：没有 Bad Case 闭环，生成质量不会迭代提升，每次都会犯同样的错