Agent Planner 评测：识别指标失真与线上偏差

根据机器转写整理，未经原音、画面或独立实验核对。文中的场景和指标变化是讲者用于说明问题的示例，不代表可复现的性能结果。

格式合格不等于计划可执行

只检查步骤是否简短、参数是否齐全，可能让格式整齐但遗漏关键业务约束的计划得到高分。讲者以会议室预约为例：计划看似完成了查询和预约，却漏掉用户对会议室容量的限制。评测时应同时检查任务目标、约束、依赖和关键步骤，而不只检查文本形式。

如果逐步骤打分后只取平均，一项足以导致整个任务失败的严重缺陷可能被其他正确步骤稀释。可单独统计关键约束遗漏或严重规划错误，并根据任务风险设置计划级的失败条件。

校准评判器和参考答案

讲者提醒，使用与 Planner 相同的模型或风格相近的评判器，可能对省略信息过于宽容。评判器需要明确的业务规则、可核对样本和校准；使用另一模型或人工复核可提供不同视角，但本身不能保证消除偏差。

分支任务可能存在多种逻辑等价的计划。只与固定文本逐字比对，可能误判合理方案；只做宽松语义判断又可能放过错误分支。应结合明确的条件和执行约束，检查方案是否覆盖正确路径。

防止数据集掩盖退化

评测集若以简单任务为主，而真实请求中复杂任务更多，整体均分可能遮住复杂场景退化。可以按任务难度和类型分别报告结果，并与目标场景的请求分布比较。

评测样本混入微调数据或运行上下文，也可能让模型记住样例而不是掌握泛化能力。应追踪数据来源并检查评测与训练或优化材料的隔离，再用未见过的变体验证。

区分三个结果

任务拆解质量、计划步骤是否执行完，以及最终业务目标是否达成，回答的是不同问题。计划拆得更细可能增加工具调用与失败机会；所有步骤都有返回，也不代表模型正确理解了结果或业务目标已完成。若发生重规划，可分别记录初始计划和后续计划的表现，并同时观察重规划频率、成本与延迟。

让评测更贴近实际

如果测试工具只返回理想数据，而实际环境包含空值、错误和较长输出，评测可能高估表现。应在可控条件下覆盖这些观测情况，并考虑多次运行的结果波动；样本量和重复次数要按目标与成本确定。发布判断可同时参考分层结果、严重错误、业务成功率和资源消耗，避免只追逐单一指标。