架构演进时间线 · LLM Inference Analyzer

三条主线共同的驱动 = decode 的三张账单（算力/带宽/存储）。组头 = 改的是哪个部件，道名 = 策略（怎么记/怎么堆），账单注 = 省的是哪几张账。纵轴 = 真实时间，自底向上生长（历史在下、新在上，与 spec 谱系树同向；段内真实比例，2024-26 的爆发一目了然；长空档以 ⫽ 断轴折叠）。

⊕ 徽章 = 跨族成分（建于其上/作为配方）⪬ = 断轴（空档年份折叠）卡片小字 = 库内实例（判别式对 36 个真实模型算出）或历史语境点击卡片 → 浮动详解（含代码锚点）

Attention：历史怎么记

FFN：容量怎么堆

模型级

KV 全存，存得更省省存储+带宽MQA · GQA · MLA · 滑窗

不存明细，只留摘要省存储+带宽+计算线性注意力 · SSM

KV 全存，只读重点省计算+读带宽（不省存储）稀疏注意力 DSA/NSA

MoE 变多变专省计算+读带宽（存储爆炸）专家路由

MoE 精度逐渐变小省存储+带宽fp8 · fp4（含 scale 税）

把写死的结构变成可学习不省账单（换稳定性/延迟）MTP · hc · 复用

2023

2024

2025

2026

2019.5

2017.5

⪬

MHA

GPT 系早期（Transformer 原始形态）

——（问题的制造者）

MQA

PaLM 等

带宽：档案只留一组

滑窗 SWA

gpt-oss-120b

容量：只留最近 N 条

GQA

Qwen2.5-0.5B-Instruct · Qwen2.5-72B-Instruct · Qwen2.5-7B-Instruct · Qwen3-235B-A22B · Qwen3-32B-FP8 · Qwen3-32B · Qwen3-8B · Qwen3-Next-80B-A3B-Instruct · Qwen3.5-122B-A10B · Qwen3.5-27B · Qwen3.5-35B-A3B · Qwen3.5-397B-A17B · Qwen3.5-4B · Qwen3.6-27B · Qwen3.6-35B-A3B · Qwen3.8-27B · Qwen3.8-Flash-Next · Mixtral-8x7B-v0.1 · Qwen3.5-122B-A10B-NVFP4 · Qwen3.6-27B-NVFP4 · gpt-oss-120b · GLM-4.5-Air · GLM-4.5 · GLM-4.6 · GLM-4.7

带宽+容量：档案分组

MLA

DeepSeek-V2 · DeepSeek-V3.1 · DeepSeek-V3.2-Exp · DeepSeek-V3.2 · DeepSeek-V3 · Kimi-K2-Instruct · Kimi-K2-Thinking · Kimi-K2.5 · Kimi-K2.6 · Kimi-K2.7-Code · Kimi-K3 · Kimi-Linear-48B-A3B-Instruct · Moonlight-16B-A3B · GLM-5.2-NVFP4 · GLM-4.7-Flash · GLM-5.1 · GLM-5.2-FP8 · GLM-5.2 · GLM-5.3-Flash · GLM-5.3 · GLM-5

带宽+容量：只存 576B 摘要

Compressed Attention (CSA/HCA)

DeepSeek-V4-Flash · DeepSeek-V4-Pro-DSpark · DeepSeek-V4-Pro · DeepSeek-V4-Flash-NVFP4

带宽+容量：补压 O 投影⊕ DSA

Mamba/SSM

Mamba → Nemotron-H · Falcon-H1

算力+带宽：state 固定 O(1)

GDN

算力：O(1) 且记得更准

KDA

Kimi-K3 · Kimi-Linear-48B-A3B-Instruct · GLM-5.3-Flash

算力：Kimi 版精确擦写

混合层排

算力与精度的均衡⊕ MLA⊕ GDN

DSA/NSA 稀疏

Qwen3.8-Flash-Next · DeepSeek-V3.2-Exp · DeepSeek-V3.2 · DeepSeek-V4-Flash · DeepSeek-V4-Pro-DSpark · DeepSeek-V4-Pro · DeepSeek-V4-Flash-NVFP4 · GLM-5.2-NVFP4 · GLM-5.1 · GLM-5.2-FP8 · GLM-5.2 · GLM-5.3-Flash · GLM-5.3 · GLM-5

算力+读带宽：每步只算 top-k 条⊕ MLA

开源 MoE

Mixtral-8x7B-v0.1

算力：8 选 2 激活

细粒度 MoE

Qwen3-235B-A22B · Qwen3-Next-80B-A3B-Instruct · Qwen3.5-122B-A10B · Qwen3.5-35B-A3B · Qwen3.5-397B-A17B · Qwen3.6-35B-A3B · Qwen3.8-Flash-Next · DeepSeek-V2 · DeepSeek-V3.1 · DeepSeek-V3.2-Exp · DeepSeek-V3.2 · DeepSeek-V3 · DeepSeek-V4-Flash · DeepSeek-V4-Pro-DSpark · DeepSeek-V4-Pro · Kimi-K2-Instruct · Kimi-K2-Thinking · Kimi-K2.5 · Kimi-K2.6 · Kimi-K2.7-Code · Kimi-K3 · Kimi-Linear-48B-A3B-Instruct · Moonlight-16B-A3B · DeepSeek-V4-Flash-NVFP4 · GLM-5.2-NVFP4 · Qwen3.5-122B-A10B-NVFP4 · gpt-oss-120b · GLM-4.5-Air · GLM-4.5 · GLM-4.6 · GLM-4.7-Flash · GLM-4.7 · GLM-5.1 · GLM-5.2-FP8 · GLM-5.2 · GLM-5.3-Flash · GLM-5.3 · GLM-5

算力：每 token 只激活 <2%

latent MoE

Kimi-K3

容量：专家宽度减半

fp8 权重

DeepSeek-V3.1 · DeepSeek-V3.2-Exp · DeepSeek-V3.2 · DeepSeek-V3 · DeepSeek-V4-Flash · DeepSeek-V4-Pro-DSpark · DeepSeek-V4-Pro · Kimi-K2-Instruct · DeepSeek-V4-Flash-NVFP4 · GLM-5.2-FP8 · GLM-5.3-Flash · GLM-5.3

容量打 5 折

fp4/mxfp4

DeepSeek-V4-Flash · DeepSeek-V4-Pro-DSpark · DeepSeek-V4-Pro · Kimi-K2-Thinking · Kimi-K2.5 · Kimi-K2.6 · Kimi-K2.7-Code · Kimi-K3 · DeepSeek-V4-Flash-NVFP4 · GLM-5.2-NVFP4 · Qwen3.5-122B-A10B-NVFP4 · gpt-oss-120b

容量打 2.7 折（含 scale 税）

MTP 投机头

Qwen3-Next-80B-A3B-Instruct · Qwen3.5-122B-A10B · Qwen3.5-27B · Qwen3.5-35B-A3B · Qwen3.5-397B-A17B · Qwen3.5-4B · Qwen3.6-27B · Qwen3.6-35B-A3B · Qwen3.8-27B · Qwen3.8-Flash-Next · DeepSeek-V3.1 · DeepSeek-V3.2-Exp · DeepSeek-V3.2 · DeepSeek-V3 · DeepSeek-V4-Flash · DeepSeek-V4-Pro-DSpark · DeepSeek-V4-Pro · DeepSeek-V4-Flash-NVFP4 · GLM-5.2-NVFP4 · Qwen3.5-122B-A10B-NVFP4 · Qwen3.6-27B-NVFP4 · GLM-4.5-Air · GLM-4.5 · GLM-4.6 · GLM-4.7-Flash · GLM-4.7 · GLM-5.1 · GLM-5.2-FP8 · GLM-5.2 · GLM-5.3-Flash · GLM-5.3 · GLM-5

TPOT：多养一层换草稿

架构跨厂复用

Kimi-K2-Instruct · Kimi-K2-Thinking · Kimi-K2.5 · Kimi-K2.6 · Kimi-K2.7-Code · Moonlight-16B-A3B

生态：新模型零新代码

hc / hash / 残差门

DeepSeek-V4-Flash · DeepSeek-V4-Pro-DSpark · DeepSeek-V4-Pro · Kimi-K3 · DeepSeek-V4-Flash-NVFP4 · GLM-5.3-Flash

训练稳定性（非三账单）

n-gram 表 / GR / QSA

Qwen3.8-Flash-Next

存储换容量（表可离卡）

时间轴向上生长（历史在下、新在上）· 节点纵向位置 = 该代最早成员的发行日期（evolution.RELEASES，"~" = 估计待核准）· 虚线边 = 经占位类（KimiK2Spec，库内零模型已隐去）· hover 浮起 / 点击钉住 · 其余全部派生自 llmanatomy

mistralai

deepseek-ai

moonshotai（K2 复用枝）

zai-org

Qwen

openai

moonshotai（自研线 KDA）

2024

2025

2026

DeepSeek-V2 ~2024-05

DeepSeekV2Spec

起始MLAMoE细粒度

DeepSeek-V2

MLA + MoE 的原型。后面几代都是在这上面加东西。

DeepSeek-V3（+4 同代） ~2024-12

DeepSeekV3Spec

+MTP

DeepSeek-V3 · DeepSeek-V3.1 · Kimi-K2-Instruct · Kimi-K2-Thinking · Moonlight-16B-A3B

V3 / V3.1。相对 V2 只有路由策略和规模变化，装配逻辑不变。

Kimi-K2.5（+2 同代） ~2025-12

KimiK25Spec

−MTP

Kimi-K2.5 · Kimi-K2.6 · Kimi-K2.7-Code

Kimi-K2.5 / K2.6 / K2.7 —— 语言塔仍是 DS-V3，外面套了个多模态壳子。

DeepSeek-V3.2-Exp（+1 同代） ~2025-09

DeepSeekV32Spec

+DSA-indexer

DeepSeek-V3.2 · DeepSeek-V3.2-Exp

V3.2 引入 DSA（DeepSeek Sparse Attention）—— 这是本代唯一的新原语。

DeepSeek-V4-Flash（+3 同代） ~2026-04

DeepSeekV4Spec

+Compressed Attention+hash路由+hc+残差门−MLA

DeepSeek-V4-Flash · DeepSeek-V4-Flash-NVFP4 · DeepSeek-V4-Pro · DeepSeek-V4-Pro-DSpark

V4：新 attention 形态 + 逐层 KV 压缩 + hyper-connections + hash 路由。

GLM-4.5（+4 同代） ~2025-07

Glm4MoeSpec

起始GQAMLAMTPMoE细粒度

GLM-4.5 · GLM-4.5-Air · GLM-4.6 · GLM-4.7 · GLM-4.7-Flash

GLM-4.5 / 4.5-Air / 4.6 / 4.7 —— GQA + MoE。

GLM-5（+5 同代） ~2026-01

GlmMoeDsaSpec

+DSA-indexer−GQA

GLM-5 · GLM-5.1 · GLM-5.2 · GLM-5.2-FP8 · GLM-5.2-NVFP4 · GLM-5.3

GLM-5 / 5.1 / 5.2 —— MLA + MoE + DSA。

GLM-5.3-Flash 日期缺失

Glm5NextSpec

+KDA+hc

GLM-5.3-Flash

GLM-5-Next（GLM-5.3-Flash）—— 混合注意力：KDA 线性层 + MLA/DSA 全注意力层。

gpt-oss-120b ~2025-08

GptOssSpec

起始GQAMoE细粒度滑窗

gpt-oss-120b

Kimi-Linear-48B-A3B-Instruct ~2025-10

KimiLinearSpec

起始KDAMLAMoE细粒度

Kimi-Linear-48B-A3B-Instruct

Kimi-Linear / Kimi-K3 —— KDA（Kimi Delta Attention）+ MLA 混合。

Kimi-K3 ~2026-05

KimiK3Spec

+latentMoE+残差门

Kimi-K3

Kimi-K3 —— Kimi-Linear 的架构 + 多模态壳子 + **逐层残差门**。

Mixtral-8x7B-v0.1 ~2023-12

MixtralSpec

起始GQAMoE粗粒度

Mixtral-8x7B-v0.1

Qwen2.5-72B-Instruct（+6 同代） ~2024-09

Qwen3Spec

起始GQAMoE细粒度

Qwen2.5-0.5B-Instruct · Qwen2.5-72B-Instruct · Qwen2.5-7B-Instruct · Qwen3-235B-A22B · Qwen3-32B · Qwen3-32B-FP8 · Qwen3-8B

Qwen2.5 / Qwen3 / Qwen3-MoE —— GQA + dense/MoE，最经典的形态。

Qwen3-Next-80B-A3B-Instruct ~2025-09

Qwen3NextSpec

+GDN+Gated Attention+MTP−GQA

Qwen3-Next-80B-A3B-Instruct

Qwen3-Next / Qwen3.5 / Qwen3.6 —— 线性注意力 + full attention 混合。

Qwen3.5-122B-A10B（+9 同代） ~2026-02

Qwen35Spec

零结构差异

Qwen3.5-122B-A10B · Qwen3.5-122B-A10B-NVFP4 · Qwen3.5-27B · Qwen3.5-35B-A3B · Qwen3.5-397B-A17B · Qwen3.5-4B · Qwen3.6-27B · Qwen3.6-27B-NVFP4 · Qwen3.6-35B-A3B · Qwen3.8-27B

Qwen3.5 / Qwen3.6 —— 和 Qwen3-Next 同属混合注意力这一代，但**方言全变了**。

Qwen3.8-Flash-Next ~2026-08

Qwen4ExpSpec

+DSA-indexer

Qwen3.8-Flash-Next

Qwen3.8-Flash-Next（architectures Qwen4ExpForConditionalGeneration，