过程:从固定样本到对比表
从固定样本到对比表
AI 生成的实现路线,以下步骤尚未作为真实运行记录验收。
1. 整理实验输入
为每条样本分配固定编号,例如 sample-001。把原文和期望保留的信息分开存放,避免评分时只凭印象。示例任务可以是把一段自编学习笔记整理成三条摘要。
2. 保存提示词版本
提示词放在独立文本文件中,用 baseline、structured 这样的稳定名称引用。第一轮只改变提示词,尽量保持模型、参数和样本一致;模型服务无法固定行为时,在结论中记录这一限制。
3. 记录实验
每条 JSONL 记录建议包含 sampleId、promptVersion、model、input、output、scores 和 notes。暂未填写的可选值用 null,不要用猜测数据填满表格。时间如需跨系统传输使用 Unix 毫秒时间戳。
4. 生成对比
按样本编号合并两种版本,展示三个评分维度和备注。先看具体失败样本,再解释分数变化;5 条样本只能支持这个小练习的观察,不推断普遍效果。
常见问题与处理
- 输出格式正确但事实错误:把格式与事实分开评分。
- 两版使用了不同原文:对输入求摘要指纹,发现不一致时不参与对比。
- 重跑覆盖旧结果:每次实验分配独立批次,保留原记录。
- 输出包含私人内容:练习优先使用自编公开样本,文件分享前人工检查。
下一篇可补充的真实材料
实际代码入口、两轮原始结果、失败样本分析与截图。完成这些之后,再创建成果展示文档并根据真实进度调整项目状态。