← 项目主页
过程

过程:从固定样本到对比表

发布于 2026/10/8

从固定样本到对比表

AI 生成的实现路线,以下步骤尚未作为真实运行记录验收。

1. 整理实验输入

为每条样本分配固定编号,例如 sample-001。把原文和期望保留的信息分开存放,避免评分时只凭印象。示例任务可以是把一段自编学习笔记整理成三条摘要。

2. 保存提示词版本

提示词放在独立文本文件中,用 baseline、structured 这样的稳定名称引用。第一轮只改变提示词,尽量保持模型、参数和样本一致;模型服务无法固定行为时,在结论中记录这一限制。

3. 记录实验

每条 JSONL 记录建议包含 sampleId、promptVersion、model、input、output、scores 和 notes。暂未填写的可选值用 null,不要用猜测数据填满表格。时间如需跨系统传输使用 Unix 毫秒时间戳。

4. 生成对比

按样本编号合并两种版本,展示三个评分维度和备注。先看具体失败样本,再解释分数变化;5 条样本只能支持这个小练习的观察,不推断普遍效果。

常见问题与处理

  • 输出格式正确但事实错误:把格式与事实分开评分。
  • 两版使用了不同原文:对输入求摘要指纹,发现不一致时不参与对比。
  • 重跑覆盖旧结果:每次实验分配独立批次,保留原记录。
  • 输出包含私人内容:练习优先使用自编公开样本,文件分享前人工检查。

下一篇可补充的真实材料

实际代码入口、两轮原始结果、失败样本分析与截图。完成这些之后,再创建成果展示文档并根据真实进度调整项目状态。