llama.cpp

C++ 实现的轻量推理引擎，CPU/边缘端万能选手

能跑在任何硬件上，GGUF 量化格式的事实标准，Ollama 底层引擎