推理部署 ·进阶 ·2026年7月18日 ·10 分钟阅读
AWQ:让大模型 4-bit 量化几乎不掉点的「激活感知」策略 AWQ(Activation-aware Weight Quantization)是大模型权重量化的代表性方法,把权重压到 4-bit 几乎不掉点。 核心洞察:不是所有权重通道都同等重要,激活大的「显著通道」权重量化误差会被放大,必须重点保护。 用 per-channel scaling 把显著通道在量化前放大、反量化时缩回,等效于给重…
AWQ(Activation-aware Weight Quantization)是大模型权重量化的代表性方法,把权重压到 4-bit 几乎不掉点。 核心洞察:不是所有权重通道都同等重要,激活大的「显著通道」权重量化误差会被放大,必须重点保护。 用 per-channel scaling 把显著通道在量化前放大、反量化时缩回,等效于给重…
投机解码用一个小的 draft 模型快速「猜」出若干 token,再用大模型一次性并行验证,猜对的直接采纳、猜错的从错处回退。 它在数学上保证输出分布和大模型单独生成完全一致——加速但无损。 EAGLE 进一步让 draft 模型复用大模型的隐状态作输入,猜测质量大幅提升,2~4 倍加速成为常态。
vLLM 引入的 PagedAttention 借鉴 OS 分页内存管理,把 KV cache 切成定长 block 按需分配。 它消灭了 KV cache 的内部/外部碎片,让显存利用率从 ~30% 提到 ~90%+,吞吐翻倍以上。 还顺带解锁了「连续批处理」和「前缀共享」两个杀手锏,是开源 LLM serving 的事实标准。