测试与评价
AI 工作流 Eval、测试集与质量诊断
用有边界的测试集与评价标准定位 AI 工作流的失败。
- 适合
- 需要评估 AI 质量、失败模式和测试集时选择；传统网页 QA 选 独立功能测试与可用性走查。
- 工作范围单位
- 一类行为/失败模式与约定测试规模
- 可能的交付形式
- 约定的诊断／Eval 方案、测试集与 rubric；范围含执行时附结果及局限
你提供 · 你会收到
需要你提供
- 待评价的功能、当前输出及失败案例
- 预期正确行为、关键错误后果
- 可用测试数据、允许访问的运行环境
- 输出格式/统计口径和预算
可以先说明你已有的材料，缺少的信息可在确认范围时补充。正式执行前，会根据具体任务确认必要的材料、使用权限及执行条件。
分两步进行
第一步 · 初步评估
先检查现有输出、失败样例、测试资料与成功标准，交付失败分类、评估范围／方案和数据或真值缺口说明。评估／诊断本身可以是完整的约定交付物；范围包含实跑时再交付实际结果与样本证据。
可能交付什么
- 失败分类、评估范围／方案、数据与真值缺口说明
初步评估本身可以是一份完整订单。
第二步 · 按约定范围执行
测试集规模、评分方式、可访问运行环境、执行轮次与预算须先约定。追加执行或模型／工作流改造另定范围；完成评估不要求客户再购买开发。
可能交付什么
- 测试集与 rubric；范围含执行时交付实际结果、样本证据和改进建议
另行确定范围与报价。
两步都适用评估／诊断可作为完整交付物；后续模型或工作流改造不是默认包含项
第三方费用模型／API 运行、第三方平台、专业标注或领域复核费用单列并事先确认，不承诺无成本运行或无限轮次。
重点核查客户可核对评分标准、测试规模、自动／人工判定及局限；范围含执行时，每项结果对应实际用例与证据，未执行项明确标注。
可核查的验收 · 3
- 两步都适用客户收到约定的诊断／Eval 文件，能看清失败类型、可操作的通过／失败标准、所需数据与仍未知的事项
- 第二步 · 按约定范围执行范围含执行时：结果表可回溯到用例、实际输出和失败证据；未运行项明确标记
- 两步都适用明确哪些是自动判定、哪些须人工判断，公开样本数与外推局限；不以准确率数字替代缺失真值
假设 Brief 与输出结构
示例 · 假设
说明性假设示例，非已完成的客户订单
示例请求
一个 Agent 经常编造来源，希望建立一套测试来识别这种失败。
示例成果文件
eval-plan.md失败类型与指标test-set.csv用例和标准答案字段eval-results.md约定范围含执行时的实际证据、建议与未测项
文件名仅为示意
其他同类需求示例
- 检查一个拥有外部操作权限的 Agent 是否会在未经确认时写入数据，用沙盒用例验证审批边界。
输出结构/测试路径
测试列：input | expected_evidence | source_valid | claim_supported | reviewer_note
重要边界
测试数据和正确标准优先确认；自动判定与人工复核分开；模型运行费用另估。
默认不包含
- 没有领域真值却承诺百分比准确率
- 保证模型绝不会出错
- 完整持续评价平台自动包含
影响报价的因素
按现有评估资产、样本标注量、执行轮次和专业判断需求报价。
真实项目参考
Asterline ↗
AI 工作流与 Eval（自有项目，使用合成测试数据）
合成测试数据上的评价经验，不应当作真实客户业务准确率。
Score Simplifier ↗
公开 Agent Skill（Alpha）
公开示例证明基于有来源乐谱的简化、排版以及 PDF/MusicXML/MIDI 检查；不自动证明任意音频都能准确还原为双手谱。
自有项目与公开作品证明相关实践，不代表付费客户交付记录，也不保证本次任务结果。
