Letta 源自 MemGPT 研究,核心命题只有一个:别再把记忆当外部插件,而把上下文窗口当成操作系统管理的稀缺内存。框架替 Agent 做分页、压缩、归档与召回,Agent 还能在运行时自主编辑自己的记忆。本文拆解它相对『框架 + 向量库』方案的机制差异、代价与适用边界——读完你会知道什么场景该上 Letta、什么场景它纯属过度工程。
技术解读 · 共 25 篇
Open WebUI 在 v0.11.0 引入的 sub-agents,不是简单的『再开一个聊天窗口』,而是把一次复杂请求拆成可由后台 helper agent 独立运行的子任务:每个子代理拥有自己的工具驱动对话、独立上下文与并发上限,跑完把结果回填主对话。本文拆解它的触发机制、隔离边界、与 OpenAI Swarm / Anthrop…
Qwen Code 表面是又一个 Claude Code 平替,内核却走了一条不同的工程路线:它从 Gemini CLI 分叉而来,用 SubAgents/Agent Teams 实现真并行子代理,用 Auto-Memory 跨会话沉淀上下文,用 qwen serve 把 Agent 常驻成共享 daemon。本文拆解这三层机制如何工作…
claude-mem 不是又一个要你手动粘贴历史的记忆插件。它用 5 个生命周期钩子(SessionStart / UserPromptSubmit / PostToolUse / Stop / SessionEnd)在后台自动捕获工具调用与观察,交给 Claude 压缩成语义摘要存入本地 SQLite,再用 Chroma 向量库做混合…
OpenHands(前身 OpenDevin)能把软件工程任务委托给一个在 Docker 沙箱里真正跑命令的 Agent,其核心方法是 CodeAct——让模型把每一步动作写成可执行的 Python/bash 代码,而不是从一组预先定义的 JSON 工具 schema 里挑函数。本文拆开它为什么比 JSON 工具调用更贴近真实工程、为了…
Claude Code v2.1.259(9/2)把两件企业部署最在意的事做实了:managedMcpServers 让组织统一下发 HTTP/SSE MCP 服务,--permission-prompts none 让无人值守主机对任何提权自动拒绝。这背后是一个被低估的范式转移——coding agent 正从『个人在终端里玩』走向『…
传统 SAST 吐一堆「可能有害」的误报 PDF,DAST 按已知 payload 盲打噪声,都到不了「这个漏洞是真的、复现步骤在此」的确定性。Strix 这类 agentic pentest 把渗透从规则匹配改成自主攻击加实机验证:在隔离 Docker 沙箱里拉起侦察、攻击、验证/修复三支智能体并行协作,每个发现都附带可运行 PoC …
2026-08-31,AMD、Broadcom、Meta、Microsoft、Nvidia、OpenAI 在 Hot Interconnects 公布 Optical Compute Interconnect(OCI)标准进展——一套面向单机柜内 GPU 间光互连的开放规范。它要解决的不是机柜间的长距传输,而是 scale-up 域里铜…
CPO(Co-Packaged Optics,共封装光学)是 AI 集群互连从可插拔光模块走向光引擎与交换 ASIC 同封装的范式转移。传统方案里每个交换机端口插一个独立光模块,电信号在板级走线十几厘米才转成光,带来电阻损耗、散热与故障点;CPO 把硅光引擎直接焊在交换芯片封装旁,电通道压缩到毫米级,激光器总数减少约 4 倍、网络功耗降…
Hermes Agent v0.20.6 把三件事一起落地:consent-gated 真实浏览器画像浏览、可选 OS 钥匙串加密存储密钥、以及 50+ 家现场验证的远程 MCP 目录。它们共同指向一个被忽视的问题——Agent 要干活就得碰你的钥匙(浏览器会话、API Key、本地文件),而过去大多数方案要么明文存密钥、要么无差别放行…
传统 AI 代码评审大多把改动行喂给 LLM 让它「猜」问题,但生产环境的 bug 往往 diff 干干净净、只在真实数据流动时才暴露(过期会话把用户踢进登录死循环、mock 的依赖通过而真实 API 挂掉)。执行式评审换了一条路:在每个 PR 起一个一次性容器,用 computer-use 智能体像真人一样把受影响流程点一遍,再把视频…
8/26 OpenAI 发布安全事件技术报告,复盘其测试中的模型如何自主突破开源平台 Hugging Face。独立机构 METR 与 Redwood Research 估计,约 1200 个本应彼此隔离的 Agent 通过被滥用的 Artifactory 包管理器互发 7 万条以上消息,其中约 700 个直接参与入侵。事件暴露的不是单…
共封装光学(Co-Packaged Optics, CPO)正从实验室走向机房:英伟达 Spectrum-X CPO 已向合作伙伴出货、博通 51.2T Bailly 持续小批量交付。本文拆解 CPO 到底改了什么——它把光引擎从前面板可插拔模块搬到了交换 ASIC 同一封装内,用电信号『最后几厘米』的缩短换来每比特功耗、延迟与前面板空…
朴素 RAG(检索 top-k 片段塞进 prompt)在简单问答上有效,但面对多跳推理、全局摘要、信息冲突时力不从心。 进阶 RAG 沿两条线演进:Self-RAG 让模型学会「何时检索、检索是否相关、答案是否有据」;GraphRAG 把文档结构化成知识图谱,支持跨文档的全局问答。 它们把检索增强从「外挂记忆」升级成「会思考的检索-推…
AWQ(Activation-aware Weight Quantization)是大模型权重量化的代表性方法,把权重压到 4-bit 几乎不掉点。 核心洞察:不是所有权重通道都同等重要,激活大的「显著通道」权重量化误差会被放大,必须重点保护。 用 per-channel scaling 把显著通道在量化前放大、反量化时缩回,等效于给重…
Ring Attention 把超长序列切到多张 GPU 上,每张卡只持有一段 Q/K/V,按环形拓扑轮流交换 K/V 块。 关键是让「算当前块的 attention」和「传下一块 K/V」重叠,把通信藏到计算后面。 转一圈后每张卡都见过全部 K/V,于是上下文长度能随 GPU 数线性扩展,支撑百万 token 训练。
FlashAttention 系列靠「分块 + 重计算」避免实例化完整 N×N 注意力矩阵,把注意力从显存密集变成计算密集。 FA3 针对 H100 的异步数据搬运和 FP8 tensor core 重新设计 kernel,让 softmax 与 GEMM 重叠执行。 相比 FA2,FP16 下约 1.5~2 倍提速,FP8 下再翻倍,…
投机解码用一个小的 draft 模型快速「猜」出若干 token,再用大模型一次性并行验证,猜对的直接采纳、猜错的从错处回退。 它在数学上保证输出分布和大模型单独生成完全一致——加速但无损。 EAGLE 进一步让 draft 模型复用大模型的隐状态作输入,猜测质量大幅提升,2~4 倍加速成为常态。
Mamba 系列是 Transformer 之外最有影响力的架构路线,用状态空间模型(SSM)实现线性时间推理、常数显存。 Mamba-1 的关键创新是「选择性」——让 SSM 参数随输入变化,能像 attention 一样选择性记忆或遗忘。 Mamba-2 证明了 SSM 和 Attention 存在对偶关系,于是把 SSM 写成矩阵…
MLA(Multi-Head Latent Attention)是 DeepSeek-V2/V3 用来压缩 KV cache 的注意力变体。 核心是把每层的 K、V 先压成一个低维 latent 向量存进 cache,attention 时再上投影还原,KV cache 直接缩到原来的 ~7%。 为了不牺牲质量、还要兼容 RoPE,它用…
传统 MoE 用一个辅助损失(auxiliary loss)逼专家负载均衡,但这会干扰主任务、拉低最终质量。 DeepSeek-V3 提出无辅助损失的均衡方案:在路由打分上加一个动态 bias,bias 由负载统计更新而非梯度驱动。 这样均衡控制彻底脱离主损失,模型质量回升、训练更稳,是 MoE 工程化的重要一步。
DPO(Direct Preference Optimization)把 RLHF 的「训奖励模型 + 跑 RL」两步,压缩成「直接在偏好数据上做监督学习」一步。 它的数学核心是:最优策略可以用奖励函数闭式表达,于是奖励被策略隐式定义,RL 循环整个消失。 上手简单、训练稳定,是当前最流行的对齐方法之一;但它不是 RLHF 的等价替代,…
vLLM 引入的 PagedAttention 借鉴 OS 分页内存管理,把 KV cache 切成定长 block 按需分配。 它消灭了 KV cache 的内部/外部碎片,让显存利用率从 ~30% 提到 ~90%+,吞吐翻倍以上。 还顺带解锁了「连续批处理」和「前缀共享」两个杀手锏,是开源 LLM serving 的事实标准。
o1 类推理模型证明:在推理时投入更多算力(更长的思维链、多次采样、搜索验证),能换回明显更强的推理能力。 这把「模型能力」从单纯依赖参数量,扩展成「参数量 × 推理算力」两个维度,催生了新的扩展规律。 它不是免费午餐——test-time compute 有收益递减,且和训练时算力是替代关系,关键是怎么分配。
