RAG 上下文预算：筛选证据、压缩与分批

根据机器转写整理，未经原音或画面核对。Token 限额、计数方式和支持的输入输出组合应按实际模型确认。

先计算剩余空间

检索到的文档只是模型输入的一部分。系统提示、用户问题、对话历史、工具描述、引用标记以及输出预留都要占用预算。讲者举例：假设某模型输入和输出共用 16,000 Token，上述其他输入占 2,000、输出预留 2,000、安全余量 1,000，留给文档的预算为 11,000。这个算式依赖示例前提，不代表所有模型都采用同样限制。

中文字符与 Token 没有适用于所有模型的固定换算比例，应使用对应模型的计数方式，并在内容按最终消息格式包装后再核对总量。更换模型、增加历史或工具说明时需要重新计算。

先筛证据，再决定装入什么

入库前清理空白、乱码和重复内容，切分时尽量保留标题、语义关系、条件及其结论；表格保留必要表头和说明，来源元数据用于回查。候选召回后，可按问题相关性重排并去除重复证据，再根据剩余预算选择内容。

高分片段也可能反复表达同一事实；多条件问题需要核查不同条件是否都有证据。某段放不下时，可以提取相关段落或选择更精简的证据，必要时补上相邻上下文，避免截断关键条件。

压缩和分批都要保留出处

面向问题压缩时，优先保留相关原句并去除重复描述；模型生成的摘要可能遗漏数字、否定、时间范围或例外条件，因此要保留与原文的对应关系并复核。材料确实过多时，可按主题或子问题分批提取，再带来源汇总；每批和最终汇总都需重新计算预算，并标注冲突与证据不足。

预算内仍没有足够证据时，可以改写查询、补充检索或让用户缩小问题；最终回答应明确说明缺失内容。用真实问题比较方案时，同时观察 Token、延迟、成本、证据覆盖与引用可核对性。更大的窗口不保证答案更准确。