MLA 中的 c^{KV}、LatentMoE 中的 latent token，以及 Kimi K3 里的 LatentMoE，都围绕同一个词：latent。它不是某个模型特有的技巧，而是一个可以单独定义的数学对象。本节先给出 latent 的定义，再解释为什么要在 GEMM 两侧插入 latent，以及它在数学层面改变了什么。
Latent 表示的定义
给定输入 X \in \mathbb{R}^{T \times H}，其中 T 是 token 数、H 是 hidden size。latent 表示指的是一个维度更低的中间变量 Z \in \mathbb{R}^{T \times L}（L < H），以及一对映射 \operatorname{Enc} : \mathbb{R}^{H} \to \mathbb{R}^{L} 和 \operatorname{Dec} : \mathbb{R}^{L} \to \mathbb{R}^{H}：
Z = \operatorname{Enc}(X), \qquad \hat{X} = \operatorname{Dec}(Z).
这个定义本身很空泛，真正决定含义的是三个问题：
- 压缩的是什么？ 是整个 token 的 hidden state，还是 attention 的 K/V，还是专家计算使用的表示？
- latent 在哪里被物化？ 是写进 KV cache 长期保存，还是只在一次前向中短暂存在？
- 谁在读取 latent？ 后续计算直接在这个低维空间中完成，还是立刻展开回 H 维？
“用了 latent”这句话本身并不蕴含任何显存或计算收益。收益来自 L 的大小、压缩与展开的次数，以及低维表示被复用的范围。后面的公式会用统一的语言量化这三点。
与低维流形假设的区别
latent 只说明中间经过了一个更窄的变量，不蕴含输入数据一定位于某个低维流形上。数学上的硬约束来自映射的结构，而不是来自 L < H 这个事实本身：线性 latent 约束的是秩，带非线性的 latent 约束的是每层线性算子的内部宽度。
GEMM 两侧的 latent 与低秩分解
先看最简单的形式。一个标准线性层写作
Y = X W^{\mathsf T},
其中 X \in \mathbb{R}^{T \times H}、W \in \mathbb{R}^{N \times H}、Y \in \mathbb{R}^{T \times N}。在它的两侧插入 latent，就是把一次 GEMM 拆成两次：
Z = X W_{\mathrm{down}}^{\mathsf T}, \qquad \hat{Y} = Z W_{\mathrm{up}}^{\mathsf T},
其中
W_{\mathrm{down}} \in \mathbb{R}^{L \times H}, \qquad W_{\mathrm{up}} \in \mathbb{R}^{N \times L}.
由于矩阵乘法满足结合律，
X W^{\mathsf T} = X \left( W_{\mathrm{up}} W_{\mathrm{down}} \right)^{\mathsf T},
所以这条路径计算的仍然是一个普通线性层，只是它的权重被限制为
W_{\mathrm{eff}} = W_{\mathrm{up}} W_{\mathrm{down}} \in \mathbb{R}^{N \times H}, \qquad \operatorname{rank}(W_{\mathrm{eff}}) \le L.
这就回答了”一个 GEMM 为什么要加一个 latent”：它把一个原本有 NH 个自由度的矩阵，换成了秩被 L 卡住的矩阵，用表达能力换取参数量和计算量。latent 没有引入新的运算类型，它引入的是一个参数化约束。
给定权重时的最优 latent
如果问题不是训练一个新矩阵，而是近似一个已经给定的 W，那么最优的秩 L 近似由 SVD 截断给出（Eckart–Young 定理）。设
W = U \Sigma V^{\mathsf T}, \qquad W_L = U_L \Sigma_L V_L^{\mathsf T},
则
\lVert W - W_L \rVert_F^2 = \sum_{i=L+1}^{r} \sigma_i^2,
且最优分解可以取
W_{\mathrm{up}} = U_L \Sigma_L^{1/2}, \qquad W_{\mathrm{down}} = \Sigma_L^{1/2} V_L^{\mathsf T}.
这给出了一个可直接执行的判据：查看 W 的奇异值谱。如果
\frac{\sum_{i > L} \sigma_i^2}{\sum_{i} \sigma_i^2}
已经很小，那么秩 L 的 latent 路径几乎不损失信息；如果谱尾部能量很大，瓶颈 L 就会成为真实的性能上限。能否压缩是谱的性质，不是维度的性质。
需要注意，真实训练中并不存在一个给定的 W，W_{\mathrm{up}} 与 W_{\mathrm{down}} 是和整个网络一起端到端学习的。SVD 只能给出”给定矩阵”意义下的最优近似，不能保证是网络层面的最优解。
中间插入非线性之后
如果 latent 两侧之间还夹着非线性，例如
f(X) = \sigma\!\left( X W_{\mathrm{down}}^{\mathsf T} \right) W_{\mathrm{up}}^{\mathsf T},
那么复合映射不再是一个低秩线性映射，上面的秩结论对整体函数不再成立。此时保留下来的是一条局部结论：在任意点 x，该函数的 Jacobian 为
J_f(x) = W_{\mathrm{up}} \operatorname{Diag}\!\left( \sigma'\!\left( W_{\mathrm{down}} x \right) \right) W_{\mathrm{down}} \in \mathbb{R}^{N \times H}, \qquad \operatorname{rank}(J_f(x)) \le L.
也就是说，瓶颈限制的不是网络的整体表达能力，而是每个线性算子可以使用的内部方向数。这正是 LatentMoE 的形态：down projection、专家内部的非线性、up projection 三层结构，L 约束的是专家每一层线性权重的内部宽度。
参数量与计算量
单层线性层
原路径的参数量与每个 token 的 FLOPs 分别为
P_{\text{base}} = NH, \qquad F_{\text{base}} = 2THN.
latent 路径为
P_{\text{latent}} = LH + LN = L(H + N), \qquad F_{\text{latent}} = 2THL + 2TLN = 2TL(H + N).
两者给出同一个压缩比：
\frac{P_{\text{latent}}}{P_{\text{base}}} = \frac{F_{\text{latent}}}{F_{\text{base}}} = \frac{L}{H} + \frac{L}{N}.
这个式子值得记住：压缩比由两项组成，一项来自 H \to L 的压缩，另一项来自 L \to N 的展开，两者都正比于 L。令比值小于 1，得到盈亏平衡条件
L < \frac{HN}{H + N},
即 L 必须小于 H 与 N 的调和平均数的一半。当 H = N 时，条件退化为
L < \frac{H}{2}.
换句话说，latent 只比 hidden size 小一点时，先压缩再展开反而比直接算更贵。
MoE 中的摊销
设每个专家是一个两层 FFN，输入输出宽度为 H、中间宽度为 N，共有 E 个专家、每个 token 激活 k 个。普通 MoE 的全部参数为
P_{\text{base}} = 2ENH,
而 LatentMoE 把共享的 down/up projection 加在两侧、让专家在 latent space 中工作之后，
P_{\text{latent}} = 2LH + 2ENL,
因此
\frac{P_{\text{latent}}}{P_{\text{base}}} = \frac{2LH + 2ENL}{2ENH} = \frac{L}{EN} + \frac{L}{H}.
每个 token 的激活计算量（只算被选中的 k 个专家）有同样的结构：
F_{\text{base}} = 4kTHN, \qquad F_{\text{latent}} = 4THL + 4kTLN,
\frac{F_{\text{latent}}}{F_{\text{base}}} = \frac{L}{kN} + \frac{L}{H}.
把三种场景放在一起对比：
| 场景 | 压缩比 | 摊销效果 |
|---|---|---|
| 单层线性层 | \frac{L}{H} + \frac{L}{N} | 没有可摊销的对象 |
| MoE 全部专家参数 | \frac{L}{H} + \frac{L}{EN} | 共享投影被 E 个专家分摊 |
| MoE 每 token 激活计算 | \frac{L}{H} + \frac{L}{kN} | 只有 top-k 个专家参与 |
三行的第一项都是 L/H，第二项的分母被复用次数放大。这就是为什么 latent 在 MoE 里比在单层 dense 层里更有吸引力：同一个 down/up projection 被所有专家共享，E 和 k 越大，\frac{L}{EN} 与 \frac{L}{kN} 越接近零，压缩比趋近理想值 L/H。反过来，单个矩阵没有摊销对象，只能靠 N 本身足够大来压低 L/N 这一项。
也要注意反例：当 L 接近 H 时，三次 GEMM 的总量加上中间张量的读写会超过原来的一次 GEMM。所以问题通常不是”要不要加 latent”，而是”L 取多少”。
显存与带宽
latent 同时改变了几种不同性质的资源占用，需要分开看：
- 常驻权重：L(H + N) 替代 NH，减少的是参数存储；
- 每次前向的权重读取：与常驻权重同阶，减少的是权重带宽；
- 中间张量：latent 会引入 T \times L 的临时 workspace，通常远小于原来的 KV cache 或专家输出；
- 长期保存的表示：如果 latent 需要缓存（例如 MLA 的 c^{KV}），节省体现在缓存容量与 decode 阶段的读取带宽上，而不是当次的 GEMM 计算量；
- 跨设备通信：如果 latent 是 EP dispatch 的载荷（例如 LatentMoE），节省体现在 All-to-All 的字节数上。
一个容易混淆的点是：latent 不自动减少 FLOPs。它减少的是被压缩那个 GEMM 的 FLOPs，但会新增两次投影 GEMM，只有 \frac{L}{H} + \frac{L}{N} < 1 时净计算量才下降。
表达能力与信息瓶颈
秩上限
纯线性 latent 路径的输出只能落在 W_{\mathrm{down}} 行空间张成的 L 维子空间中：
W_{\mathrm{eff}} = W_{\mathrm{up}} W_{\mathrm{down}}, \qquad \operatorname{rank}(W_{\mathrm{eff}}) \le L.
这意味着下游计算只能读取 hidden space 中 L 个方向的信息，剩下的 H - L 个方向对这一分支不可见。是否可接受，取决于被压缩对象的信息是否真的集中在这 L 个方向上，这又回到前面的谱判据。
信息瓶颈的下界
对固定目标 W，误差下界是谱尾部能量
\sum_{i > L} \sigma_i^2.
这是一个与训练过程无关的下界：无论怎样优化 W_{\mathrm{up}} 和 W_{\mathrm{down}}，只要 L 固定，都无法突破。这个下界在 L 很小时增长很快，所以瓶颈最直接的影响是模型容量。
在带非线性的结构里，通用逼近性仍然成立，表达能力的损失更多表现为优化难度上升和有效宽度下降，而不是某类函数完全无法表示。
尺度对称与非凸性
参数化 (W_{\mathrm{up}}, W_{\mathrm{down}}) \mapsto W_{\mathrm{up}} W_{\mathrm{down}} 不是单射。对任意可逆矩阵 S \in \mathbb{R}^{L \times L}，
(W_{\mathrm{up}} S)\,(S^{-1} W_{\mathrm{down}}) = W_{\mathrm{up}} W_{\mathrm{down}}.
也就是说，同一组有效权重对应无穷多组因子参数，多出的自由度有 L^2 个。这带来几个后果：
- 目标函数在因子参数空间中是非凸的，会出现鞍点和平台；
- 两个因子的尺度可以相互补偿（一个变大、另一个变小），权重衰减作用在因子上而不是作用在 W_{\mathrm{eff}} 上，因此通常需要额外的缩放约定或初始化策略；
- 有效映射的条件数 \sigma_1 / \sigma_L 直接影响数值稳定性，\sigma_L 很小时训练更困难。
梯度也停留在低秩流形上
记 \mathcal{L} 为损失，G = \partial \mathcal{L} / \partial W_{\mathrm{eff}}，由链式法则
\frac{\partial \mathcal{L}}{\partial W_{\mathrm{up}}} = G W_{\mathrm{down}}^{\mathsf T}, \qquad \frac{\partial \mathcal{L}}{\partial W_{\mathrm{down}}} = W_{\mathrm{up}}^{\mathsf T} G.
两个梯度矩阵的秩都不超过 L，因此一次梯度更新给出的
\Delta W_{\mathrm{eff}} = \Delta W_{\mathrm{up}} W_{\mathrm{down}} + W_{\mathrm{up}} \Delta W_{\mathrm{down}}
是两个秩不超过 L 的矩阵之和，秩不超过 2L。这正好是秩 L 矩阵流形在 W_{\mathrm{eff}} 处的切空间。换句话说，低秩约束在优化过程中是被解析地保持的：网络不会溢出到 L 维之外的子空间去。
两个典型应用
MLA：latent 作为可缓存的 KV 表示
沿用 content/theory/attention/mla/index.md
的记号，
c^{KV} = X W_{DKV}, \qquad K_{nope} = c^{KV} W_{UK}, \qquad V = c^{KV} W_{UV}.
把 K 与 V 的投影写在一起：
\begin{bmatrix} K_{nope} & V \end{bmatrix} = c^{KV} \begin{bmatrix} W_{UK} & W_{UV} \end{bmatrix}, \qquad \operatorname{rank} \le d_c.
它的数学含义是：所有 head 的 key 和 value 都来自同一个 d_c 维 latent 子空间，head 之间共享的是坐标，而不是输出。
缓存量的差别可以直接算出来。以 DeepSeek-V2 的量级为例，d_c = 512、rope key 为 64，每 token 每层只需缓存 512 + 64 = 576 个元素；而 MHA 需要缓存 2 n_h d_h = 2 \times 128 \times 128 = 32768 个元素，两者相差约 57 倍。
MLA 与 MQA/GQA 的数学区别也在这里：
- MQA/GQA 减少的是 head 数量，让多个 query head 共用同一个 key/value head，相当于把 K/V 的表示限制在少数几个 head 中；
- MLA 保持 head 数量不变，让所有 head 共享一个 d_c 维 latent，再各自上投影。head 结构完整保留，被压掉的是 latent 子空间之外的方向。
decode 阶段的权重吸收只是结合律与转置恒等式。设 W_K \in \mathbb{R}^{d_c \times d_h} 是某个 head 的 key 上投影矩阵，c 是 latent，则
q^{\mathsf T} \left( W_K c \right) = \left( W_K^{\mathsf T} q \right)^{\mathsf T} c,
即 \langle q, W_K c \rangle = \langle W_K^{\mathsf T} q, c \rangle。query 被先吸收到 latent 空间后，attention 的 key 侧只剩 c^{KV} 一个”头”，所以 decode 阶段在形式上等价于 MQA；但 value 路径满足
\sum_s a_s W_V c_s = W_V \left( \sum_s a_s c_s \right),
说明 head 的上投影可以推迟到最后再做，因此效果上仍然接近 MHA。
有一点必须区分：MLA 的压缩收益是缓存容量与 decode 阶段的读取带宽。prefill 阶段 q_len 与 kv_len 同阶，MLA 走的就是 MHA 路径，压缩并不带来计算量收益；只有在 decode 阶段缓存被反复读取时，latent 才真正体现价值。
LatentMoE：latent 作为共享的专家工作空间
LatentMoE 的前向可以抽象为
Z = X W_{\mathrm{down}}^{\mathsf T}, \qquad Z' = \sum_{e \in \mathcal{S}(X)} \alpha_e(X) f_e(Z), \qquad Y = Z' W_{\mathrm{up}}^{\mathsf T}.
路由仍在 hidden space 中完成，被压缩的是专家计算使用的表示：
- W_{\mathrm{down}} 与 W_{\mathrm{up}} 由所有专家共享，专家特有的参数位于 latent space 内；
- 专家主体的内部宽度由原来的 H 变成 L，参数量与 FLOPs 按上一节的公式下降；
- latent 是一次前向中的临时量，不写回缓存，这一点与 MLA 相反。
两者共享同一副骨架：
宽空间输入 X
│ down projection
▼
窄空间表示 Z （维度 L）
│ 在窄空间中重复主要计算
▼
窄空间结果 Z'
│ up projection
▼
宽空间输出 Y差异可以整理成一张表：
| 维度 | MLA | LatentMoE |
|---|---|---|
| 压缩对象 | K/V 表示 | routed token 表示 |
| 窄空间中的计算 | attention 的匹配与加权 | 专家 FFN |
| latent 是否长期保存 | 是，写入 KV cache | 否，单次前向的临时量 |
| 主要收益 | KV cache 容量与读取带宽 | 专家参数、激活计算与 EP 通信载荷 |
| 是否改变 head 或专家数量 | 不改变 head 数 | 不改变 top-k |
| 数学约束 | K/V 投影的秩不超过 d_c | 专家线性层的内部宽度为 L |
LatentMoE 不改变路由的稀疏性，它改变的是被选中的专家在什么坐标空间里工作。
如何判断某个位置该不该加 latent
- 先看谱。 对目标权重做 SVD，计算前 L 个奇异值的能量占比。谱尾部能量大，说明 L 会成为硬瓶颈。
- 再算盈亏平衡。 单层 dense 用 L < \frac{HN}{H+N}；MoE 用 \frac{L}{H} + \frac{L}{kN} < 1（激活计算）或 \frac{L}{H} + \frac{L}{EN} < 1（全部参数）。
- 确认有摊销对象。 同一个 latent 被多少下游计算复用？MLA 里是所有 head 与所有历史位置，LatentMoE 里是所有专家。复用次数越多，收益越接近理想的 L/H。
- 确认收益类型。 是省缓存（MLA）、省参数与计算（LatentMoE），还是省通信？三者不能混为一谈。
- 检查实现代价。 latent 引入的 GEMM 维度小，在 decode 场景可能受 kernel launch 和带宽限制，实际是否更快取决于融合程度与 batch size。
- 检查精度敏感度。 attention 的 K/V 与专家中间表示通常能承受压缩，输出 logits 或需要精确复现的路径通常不能。
一个经验判据是：只有当 L 足够小、下游计算能在窄空间中完整完成，并且低维表示被大量复用时，latent 才值得引入。仅仅”中间过一层窄表示”并不构成优化。
与 LoRA、SVD 的关系
| 方法 | 数学形式 | 低秩结构扮演的角色 |
|---|---|---|
| SVD 截断 | W_L = U_L \Sigma_L V_L^{\mathsf T} | 对给定 W 的最优秩 L 近似 |
| LoRA | W + BA，\operatorname{rank}(BA) \le r | 在满秩原矩阵上增加低秩增量 |
| latent 路径 | W_{\mathrm{up}} W_{\mathrm{down}}（中间可带非线性） | 用低秩形式替代原计算 |
三者都用到”两个瘦矩阵相乘”，差别在于低秩结构是替代、修正还是近似：
- LoRA 的总矩阵秩不低于原矩阵，只是少学了增量部分；
- latent 路径的秩上界就是 L，压缩更彻底，代价也更直接；
- SVD 是事后近似，latent 是事前设计，W_{\mathrm{up}} 与 W_{\mathrm{down}} 与网络其余部分一起训练。
常见面试问题
- 为什么在 GEMM 两侧插入 latent 会同时降低参数量和 FLOPs？压缩比是多少，什么时候反而更贵？
- 一个秩 L 的 latent 路径在数学上被限制在哪一类函数里？如果中间插入非线性，这个限制还在吗？
- latent 的 W_{\mathrm{up}} W_{\mathrm{down}} 参数化存在什么对称性？它对优化和权重衰减有什么影响？
- MLA 与 MQA 都减少了 K/V 信息，在数学上的区别是什么？
- MLA 的 decode 阶段为什么可以等价成 MQA？用到了哪条矩阵性质？
- LatentMoE 的收益为什么会随专家数 E 和 top-k 变化？
- 给定一个训练好的权重矩阵，如何估计需要多大维度的 latent？
小结
- latent 的数学本质是”低维中间变量 + 一对压缩/展开映射”；在纯线性情形下，它等价于秩不超过 L 的矩阵分解。
- 参数量与计算量的压缩比是 \frac{L}{H} + \frac{L}{N}，在 MoE 中被 E 或 k 进一步摊销；盈亏平衡点约为 L < \frac{HN}{H+N}。
- 数学代价是秩上限与信息瓶颈，误差下界由奇异值谱尾部给出；非线性保留了通用逼近性，但局部 Jacobian 的秩仍被 L 限制。
- 因子参数化是非凸的，存在 L^2 维的尺度冗余，梯度更新停留在秩 2L 的切空间内。
- MLA 用它压缩 KV cache 并用结合律做权重吸收，LatentMoE 用它构造共享的专家工作空间，两者共享同一个”先压缩、在窄空间计算、再展开”的骨架。