语言模型预训练数据：清洗、去重与配比

根据机器转写整理，未经原音或画面核对。讲者以根据前文预测下一个 Token 的预训练任务为背景，介绍训练语料处理的三个方面。

清洗：控制输入质量

网络语料可能包含乱码、残缺编码、导航栏、广告模板和批量生成的低质量页面。讲者提到可以在训练前使用规则和分类器筛选内容，减少这些材料对训练的干扰。清洗规则本身也需要检查：判断内容是否适合训练，不能只靠一条固定规则。

去重：识别反复出现的内容

相同文本可能被多个页面转载，在训练数据中反复出现。讲者指出，这会改变模型在训练中接触不同内容的频率，因此需要识别并处理重复副本。去重可以作为降低重复记忆风险的一种措施，但不意味着能够彻底消除原文复现或数据泄露。

配比：平衡数据类型

语料可能包括代码、数学、网页、书籍和多语言内容。不同类型所占的比例会影响模型的训练方向，不能只用总数据量判断数据集是否合适。讲者引用了有关复现概率和训练效率的数字，但没有提供可以核对的研究和实验条件，不能将这些数字当作普遍结论。