技术解读 · 共 25 篇

模型能力 ·硬核 ·2026年7月18日 ·12 分钟阅读
Mamba-2:把状态空间模型和 Attention 统一到一个数学框架里

Mamba 系列是 Transformer 之外最有影响力的架构路线,用状态空间模型(SSM)实现线性时间推理、常数显存。 Mamba-1 的关键创新是「选择性」——让 SSM 参数随输入变化,能像 attention 一样选择性记忆或遗忘。 Mamba-2 证明了 SSM 和 Attention 存在对偶关系,于是把 SSM 写成矩阵…

模型能力 ·硬核 ·2026年7月18日 ·11 分钟阅读
MLA:DeepSeek 把 KV Cache 压到 1/10 的注意力改造

MLA(Multi-Head Latent Attention)是 DeepSeek-V2/V3 用来压缩 KV cache 的注意力变体。 核心是把每层的 K、V 先压成一个低维 latent 向量存进 cache,attention 时再上投影还原,KV cache 直接缩到原来的 ~7%。 为了不牺牲质量、还要兼容 RoPE,它用…

模型能力 ·进阶 ·2026年7月18日 ·9 分钟阅读
无辅助损失 MoE:DeepSeek-V3 让专家负载均衡不再「伤主任务」

传统 MoE 用一个辅助损失(auxiliary loss)逼专家负载均衡,但这会干扰主任务、拉低最终质量。 DeepSeek-V3 提出无辅助损失的均衡方案:在路由打分上加一个动态 bias,bias 由负载统计更新而非梯度驱动。 这样均衡控制彻底脱离主损失,模型质量回升、训练更稳,是 MoE 工程化的重要一步。

头条 模型能力 ·进阶 ·2026年7月18日 ·11 分钟阅读
Test-time Compute:把「思考时间」当作新的扩展维度

o1 类推理模型证明:在推理时投入更多算力(更长的思维链、多次采样、搜索验证),能换回明显更强的推理能力。 这把「模型能力」从单纯依赖参数量,扩展成「参数量 × 推理算力」两个维度,催生了新的扩展规律。 它不是免费午餐——test-time compute 有收益递减,且和训练时算力是替代关系,关键是怎么分配。