开源项目 · 共 71 个

Ollama Inc. ·Go ·MIT
14.7w
Ollama

一行命令本地跑大模型,体验最简的推理引擎

ggml-org ·C++ ·MIT
9.0w
llama.cpp

C++ 实现的轻量推理引擎,CPU/边缘端万能选手

vllm-project ·Python ·Apache-2.0
8.5w
vLLM

高吞吐量 LLM 推理服务引擎,生产部署首选

Nomic AI ·C++ ·MIT
7.3w
GPT4All

消费级 CPU 上跑 GPT 模型的本地推理工具

oobabooga ·Python ·AGPL-3.0
4.3w
text-generation-webui

万能本地大模型 WebUI,支持多种后端的聊天界面

LMSYS ·Python ·Apache-2.0
3.7w
FastChat

多模型对话平台,Chatbot Arena 底层框架

mudler ·Go ·MIT
3.6w
LocalAI

OpenAI API 兼容的本地推理服务,Drop-in 替代

Mozilla ·C ·Apache-2.0
2.1w
llamafile

单文件分发+跨平台运行的 LLM 推理方案

sgl-project ·Python ·Apache-2.0
1.9w
SGLang

结构化输出+前缀缓存优化的推理服务框架

NVIDIA ·C++/Python ·Apache-2.0
9.0k
TensorRT-LLM

NVIDIA 官方极致优化的 LLM 推理引擎

Hugging Face ·Rust/Python ·Apache-2.0
9.0k
TGI

HF 官方推理服务,与 Hub 深度集成的部署引擎

InternLM ·Python ·Apache-2.0
5.0k
LMDeploy

纯 C++ TurboMind 后端的高效推理部署工具