SGLang

结构化输出+前缀缓存优化的推理服务框架

RadixAttention 前缀缓存强，工具调用和 JSON 输出场景常超 vLLM