文档使用与协作

任务设计、评估与验收样本

把业务目标转化为可复现的任务,用真实样本衡量交付质量。

先建立人工基线

选取一段完整业务周期,记录当前每次任务的耗时、出错位置和人工复核时间。衡量 AI 带来的变化时,应包含资料准备、等待和返工,不能只比较生成耗时。首次试点固定资料范围,避免输入变化掩盖质量差异。

把目标写成可检查的条件

例如“减少报告整理时间”应同时约定报告范围、计算口径、人工复核量和可接受异常。目标由业务负责人确认,再决定是否适合交给 Agent。

示例验收条件,需要按项目确认
维度检查方法示例目标
数据一致性与批准样本逐项核对汇总额一致,差异逐项列出
可追溯性抽查结论对应来源关键数字均能找到依据
人工工作量记录准备、复核及返工时间较基线改善,幅度由试点确定
越权行为用拒绝样本测试越权读取和未批准外发均被阻止

覆盖正常与异常路径

样本至少包含完整资料、缺字段、重复数据、相互矛盾的规则、超范围请求和第三方超时。对没有答案的输入,正确结果可能是说明不足并升级,而不是生成一个看似完整的结论。

固定版本后执行评估

记录任务说明、技能版本、模型配置、样本版本和输出摘要。对非确定性结果可重复抽测,并记录波动;评估通过只证明已测范围,不应外推到所有场景。业务制度或连接方式变化后,重跑受影响样本。

将失败转化为明确修改

把错误分为输入不足、知识过期、工具失败、权限问题和结果不合格,分别指定责任人。一次修改对应可验证的问题,保留修改前后结果。通过业务验收后,再将任务扩展到更多数据和执行频率。

返回全部文档下一篇指南

还有疑问?

查看专家支持