← 返回学习资料

多头注意力:分头投影、并行计算与输出组合

人工与AI结合

整理 QKV 分头投影、维度示例、拼接和输出投影。

知识笔记 · 大模型基础 · 进阶 · 发布 2026/10/28 11:59:35 · 作者 佚名 · 更新 2026/10/28 11:59:35

专题:神经网络与 Transformer · 标签:无

综合评分 暂无 · 用户评分 暂无(0 人)· 管理评分 暂无 · 浏览 0

多头注意力:分头投影、并行计算与输出组合

根据机器转写整理,未经原音或画面核对。这里使用讲者的经典多头注意力示例;维度、掩码和实现方式应以具体模型为准。

多个头如何处理同一输入

讲者先回顾单个注意力头:将输入表示分别投影为 Q、K、V;由 Q 与 K 计算匹配分数,经缩放、必要的掩码和 Softmax 得到权重,再对 V 做加权组合。多头注意力使用不同的投影,让各个头在不同表示空间中计算注意力,而不是把完全相同的一次计算机械重复。

不同投影可以产生不同的注意力模式,但不能仅凭头的编号断言某个头固定负责语法、人名或情绪;头的具体行为需要对实际模型进行分析。

维度、拼接与输出投影

讲者举例:若隐藏维度为 512、使用 8 个头,经典配置中每个头的维度可为 64;8 个头各自产生 64 维结果,拼接后总宽度为 512。这个算例说明维度关系,不表示所有架构都使用同样的头数或配置。

各头结果先拼接(concatenate),再经过输出投影矩阵进行线性组合。拼接把各头结果放在一起,输出投影使后续表示能够组合这些结果;具体权重和计算布局取决于实现。

与后续模块的边界

该来源主要解释多头注意力,最后仅引出下一节的残差连接,并未完整讲解残差的设计和作用。注意力结果如何进入后续归一化、残差或前馈模块,需要结合具体 Transformer 架构查看。

评论 最新优先

0 / 1000

还没有评论,欢迎分享你的看法。