本地部署开源大模型用什么方案？Ollama / vLLM / llama.cpp 对比

看你要部署什么规模的模型。Ollama 最省心，一条命令拉起模型，内置 OpenAI 兼容接口，适合个人电脑和入门；vLLM 主打高吞吐推理，用 PagedAttention 优化显存，适合生产环境和并发高的服务，目前企业部署的主流选择；llama.cpp 主打 CPU 推理和低配设备，手机、树莓派都能跑小模型。选型建议：自己玩用 Ollama；做服务用 vLLM；设备弱用 llama.cpp。另外 2026 年开源模型已经很能打（Qwen、Llama 系列），本地部署的实用性比两年前强太多。