MQA（Multi-Query Attention） 是一种对标准多头注意力的改进，它让所有注意力头共享同一份键（K）和值（V），而只保留查询（Q）是各自独立的。

流程

输入表示

对于序列中第 i 个位置的输入向量 \mathbf{x}_i，我们计算：

• 查询向量（每个头独立）：
  \mathbf{q}_i^{(s)} = \mathbf{x}_i \mathbf{W}_q^{(s)} \quad (s=1,\dots,h)
  
• 键向量（所有头共享）：
  \mathbf{k}_i = \mathbf{x}_i \mathbf{W}_k
  
• 值向量（所有头共享）：
  \mathbf{v}_i = \mathbf{x}_i \mathbf{W}_v

参数含义

• i：输入序列中的位置索引，取值范围为 1 到序列长度 L，对应每个位置的词或特征向量 \mathbf{x}_i。在自注意力中，每个位置会与序列所有位置进行交互。
• s：注意力头的编号，取值范围为 1 到总头数 h。每个注意力头学习不同的表示子空间，用于计算查询向量 \mathbf{q}_i^{(s)}。键向量 \mathbf{k}_i 和值向量 \mathbf{v}_i 在原文中为所有头共享，不随 s 变化。
• h：注意力头的总数，是多头注意力机制的超参数（常用如 8、12、16）。每个头使用独立的查询变换矩阵 \mathbf{W}_q^{(s)}，而键/值变换矩阵 \mathbf{W}_k, \mathbf{W}_v 在所有头间共享（与标准 Transformer 不同）。所有头的输出会拼接或聚合为该位置的完整表示。

注意力计算

注意力计算（对每个头 s）：
在解码的第 t 步，第 s 个头的输出 \mathbf{o}_t^{(s)} 是通过将当前查询 \mathbf{q}_t^{(s)} 与之前所有位置的共享键 \mathbf{k}_{1},\dots,\mathbf{k}_t 做点积，得到注意力权重，再对共享值 \mathbf{v}_{1},\dots,\mathbf{v}_t 加权求和： \mathbf{o}_t^{(s)} = \frac{\sum_{i=1}^{t} \exp\left( \mathbf{q}_t^{(s)} \cdot \mathbf{k}_i^\top \right) \mathbf{v}_i}{\sum_{i=1}^{t} \exp\left( \mathbf{q}_t^{(s)} \cdot \mathbf{k}_i^\top \right)}

最终输出

将所有 h 个头的输出向量拼接起来，得到第 t 步的注意力输出： \mathbf{o}_t = \left[ \mathbf{o}_t^{(1)}, \mathbf{o}_t^{(2)}, \dots, \mathbf{o}_t^{(h)} \right]

这样做的优势：因为 K 和 V 的投影矩阵被所有头共享，模型在推理时需要缓存的数据量大大减少（只需缓存一份 K 和 V），从而显著节省内存并提高推理速度，同时通常能保持与标准多头注意力相近的模型效果。