微调、蒸馏与量化：目标和取舍

根据机器转写整理，未经原音或实验核对。三种方法可以组合，但实际效果和部署资源都需要在目标任务及硬件上验证。

微调：适应特定任务

在已有预训练模型的基础上，使用特定领域或任务数据继续训练，可以尝试让模型更适合目标场景。讲者举法律材料为例，但训练完成并不自动意味着模型成为可靠的专业助手，仍需评估任务表现及风险。

微调可以更新全部参数，也可采用参数高效的方法，只训练部分额外或选定的参数；具体方式取决于所用方法。其主要目的通常是任务适配，而不是必然缩小模型。

蒸馏：使用教师信号训练学生

蒸馏通常让学生模型学习教师提供的训练信号，例如答案、输出分布或示例。较小的学生模型是常见目标，但学生不保证保留教师的全部能力，也不等于完整复制教师内部过程。最终表现仍依赖训练数据、方法和评测。

量化：改变数值表示

量化通过较低位宽表示部分模型数值，有机会降低权重存储和内存需求。降低精度可能引入近似误差并影响任务表现；是否加速还取决于硬件和运行方式，不能仅凭 4 位或 8 位就保证速度更快。

选择时先明确是要改善任务效果、训练更小的学生模型，还是降低现有模型的资源占用。讲者提出可以先微调、再蒸馏、再量化作为一种组合思路，但这不是必须遵守的顺序。