vLLM

高吞吐量 LLM 推理服务引擎，生产部署首选

PagedAttention + 连续批处理，生产级吞吐量王者，硬件支持最广