LMDeploy

纯 C++ TurboMind 后端的高效推理部署工具

吞吐量与 SGLang 打平，C++ 后端极致优化，中文社区活跃