Agent 成本与延迟治理：以完成任务为单位

根据机器转写整理，未经原音或画面核对。以下是讲者提出的运营和工程观察方式，指标口径需要按实际业务定义。

不只看一次模型调用

一次 Agent 任务可能涉及多轮模型调用、外部工具、重试和人工接管。单次调用便宜，若导致更多失败和重试，完成同样业务量的总成本仍可能上升。可统计一定时期内的模型输入输出、工具费用、重试和人工接管成本，并结合任务成功数量计算每个成功任务的平均成本。统计时要说明失败任务和人工处理是否计入分子，以及成功的判定标准。

看用户经历的整条链路

首字延迟有助于了解响应速度，但不能代表任务完成时间。对于订票、生成报告等任务，还应统计从请求到结果可用的端到端时长。平均值可能掩盖慢请求，可结合 P95、P99 等分位数观察长尾；同时明确统计范围和失败、超时任务的处理方式。

先找无效工作，再比较方案

讲者建议检查重复上下文、一次性加载过多工具、重复检索和无进展循环；允许时可以缓存稳定内容或并行执行相互独立的只读任务。缓存仍需满足数据版本、有效期和权限要求；并行是否有效也要观察真实链路。

模型路由可以在质量和接口兼容性满足要求时，为不同任务选择不同能力与成本的模型。优化顺序不是固定规则：应在同一任务集上比较成功率、成本和延迟。高风险操作不能因为使用更强的模型就自动可信，仍需执行独立的权限校验、业务约束及必要审批。

设定预算和退出条件

任务可设置轮次、Token、工具调用数与总时长等预算，并结合成功率和人工接管率观察服务水平。接近预算时，可以根据实际场景压缩上下文、缩小任务或请求补充信息；超过预算且无法可靠完成时，应明确停止或转人工，而不是用猜测掩盖失败。