Ollama Inc. ·Go ·MIT
14.7w 一行命令本地跑大模型,体验最简的推理引擎
一行命令本地跑大模型,体验最简的推理引擎
C++ 实现的轻量推理引擎,CPU/边缘端万能选手
高吞吐量 LLM 推理服务引擎,生产部署首选
消费级 CPU 上跑 GPT 模型的本地推理工具
万能本地大模型 WebUI,支持多种后端的聊天界面
多模型对话平台,Chatbot Arena 底层框架
OpenAI API 兼容的本地推理服务,Drop-in 替代
单文件分发+跨平台运行的 LLM 推理方案
结构化输出+前缀缓存优化的推理服务框架
NVIDIA 官方极致优化的 LLM 推理引擎
HF 官方推理服务,与 Hub 深度集成的部署引擎
纯 C++ TurboMind 后端的高效推理部署工具