AI++
Mozilla·推理部署·C21k

llamafile

单文件分发+跨平台运行的 LLM 推理方案

一个可执行文件包含模型+引擎,最简分发方案

LLMInferencePortableApache-2.0