多头注意力:分头投影、并行计算与输出组合
根据机器转写整理,未经原音或画面核对。这里使用讲者的经典多头注意力示例;维度、掩码和实现方式应以具体模型为准。
多个头如何处理同一输入
讲者先回顾单个注意力头:将输入表示分别投影为 Q、K、V;由 Q 与 K 计算匹配分数,经缩放、必要的掩码和 Softmax 得到权重,再对 V 做加权组合。多头注意力使用不同的投影,让各个头在不同表示空间中计算注意力,而不是把完全相同的一次计算机械重复。
不同投影可以产生不同的注意力模式,但不能仅凭头的编号断言某个头固定负责语法、人名或情绪;头的具体行为需要对实际模型进行分析。
维度、拼接与输出投影
讲者举例:若隐藏维度为 512、使用 8 个头,经典配置中每个头的维度可为 64;8 个头各自产生 64 维结果,拼接后总宽度为 512。这个算例说明维度关系,不表示所有架构都使用同样的头数或配置。
各头结果先拼接(concatenate),再经过输出投影矩阵进行线性组合。拼接把各头结果放在一起,输出投影使后续表示能够组合这些结果;具体权重和计算布局取决于实现。
与后续模块的边界
该来源主要解释多头注意力,最后仅引出下一节的残差连接,并未完整讲解残差的设计和作用。注意力结果如何进入后续归一化、残差或前馈模块,需要结合具体 Transformer 架构查看。
评论 最新优先
还没有评论,欢迎分享你的看法。