AI 导航 · 精选清单
本地部署大模型需要什么配置？
想在自己电脑上跑大模型，最先要知道的是：多大的模型需要多少显存、量化到哪个档位、上下文开长之后又要多占多少。下面按 llama.cpp 官方实测数据给出对照表，再列出可以直接上手的本地推理与微调工具。
VRAM, quantization and context requirements for local LLMs: a curated, data-backed list from AI Navigator — sorted by popularity, with free-tier and regional availability noted.
显存与量化对照（Q4_K_M，4k 上下文）
| 模型规模 | 权重占用 | 建议显存 | 典型硬件 |
|---|---|---|---|
| 8B | ~5 GB | 8 GB | RTX 3060 8G / 4060 / M1 16G |
| 14B | ~9 GB | 12 GB | RTX 3060 12G / 4070 |
| 32B | ~20 GB | 24 GB | RTX 3090 / 4090 / 5090 |
| 70B | ~43 GB | 48 GB | 2×24G 或 A6000 / M3 Ultra 96G |
| 405B | ~249 GB | 多卡服务器 | 8×H100 级别，个人不现实 |
量化档位与实测吞吐（Llama-3.1-8B）
| 档位 | 位/权重 | 体积 GiB | Prompt 处理 t/s | 生成 t/s |
|---|---|---|---|---|
| Q2_K | 3.16 | 2.95 | 784 | 79.9 |
| Q3_K_M | 4.00 | 3.74 | 783 | 71.7 |
| Q4_K_M（推荐） | 4.89 | 4.58 | 822 | 71.9 |
| Q5_K_M | 5.70 | 5.33 | 759 | 67.2 |
| Q6_K | 6.56 | 6.14 | 812 | 58.7 |
| Q8_0 | 8.50 | 7.95 | 865 | 50.9 |
| F16 | 16.00 | 14.96 | 923 | 29.2 |
数据来源：llama.cpp 官方量化文档实测表（2026-10 核实）。同一份权重，量化越狠体积越小、生成越快，但质量下降越明显；Q4_K_M 是体积、速度与质量最平衡的默认档。
上下文（KV cache）占用
KV cache ≈ 2（K 和 V）× 层数 × KV 头数 × head_dim × token 数 × 每元素字节数。Llama-3.1-8B 与 Qwen3-32B 在 f16 KV cache 下的估算：
| 模型 | 每 token | 4k 上下文 | 32k 上下文 |
|---|---|---|---|
| Llama-3.1-8B | 128 KiB | 512 MiB | 4 GiB |
| Qwen3-32B | 256 KiB | 1 GiB | 8 GiB |
Ollama 默认上下文只有 4096（num_ctx），长文档问答要先调大；并发数会成倍占用，OLLAMA_NUM_PARALLEL=4 时 2k 上下文按 8k 算显存。
清单（13 个，按热度）
| 工具 | 分类 | 价格 / 免费额度 | 海外可用 |
|---|---|---|---|
| Ollama | 本地部署 | 本地永久免费开源；云端按量 $0 起，Pro $20/月、Max $100/月、Team $500/月（含月度额度） | 全球可用 |
| llama.cpp | 本地部署 | 免费开源（MIT） | 全球可用 |
| vLLM | 本地部署 | 免费开源（Apache-2.0），算力自备 | 全球可用 |
| Unsloth | 本地部署 | 免费开源（Apache-2.0） | 全球可用 |
| LLaMA-Factory | 本地部署 | 免费开源（Apache-2.0） | 全球可用 |
| SGLang | 本地部署 | 免费开源（Apache-2.0） | 全球可用 |
| GPT4All | 本地部署 | 免费开源（MIT），可商用 | 全球可用 |
| LocalAI | 本地部署 | 免费开源（MIT） | 全球可用 |
| KoboldCpp | 本地部署 | 免费开源（AGPL-3.0） | 全球可用 |
| MLX / mlx-lm | 本地部署 | 免费开源（MIT） | 全球可用 |
| Text Generation WebUI | 本地部署 | 免费开源（AGPL-3.0） | 全球可用 |
| exo | 本地部署 | 免费开源（Apache-2.0） | 全球可用 |
| Distilabel | 本地部署 | 免费开源（Apache-2.0） | 全球可用 |
常见问题 / FAQ
Q：8B 模型需要多少显存？
Q4_K_M 量化后权重约 5 GB，加上 4k 上下文的 KV cache 与运行开销，8 GB 显存的显卡（RTX 3060 8G / 4060）即可运行，Apple Silicon 16 GB 统一内存也可以。
Q：量化会损失多少效果？
Q4_K_M 是通用默认档，体积约为 F16 的 30%，生成速度反而更快，多数场景察觉不到质量下降；2–3 bit 档位省显存明显，但数学、代码与长文任务容易出现退化。
Q：上下文越长越吃显存吗？
是的，KV cache 随 token 数线性增长。以 Llama-3.1-8B（f16 KV cache）为例，每 token 约 128 KiB，4k 上下文约 512 MiB，32k 上下文约 4 GiB。开 Flash Attention 并把 KV cache 量化到 q8_0 可以省约一半。
Q：显存不够可以跑大模型吗？
可以退到 CPU 推理或把模型分层加载到内存/显存，但速度会掉一个数量级；也可以用 exo 这类工具把多台设备拼成集群。
Q：本地部署后怎么接入现有工具？
选支持 OpenAI Chat Completions 的引擎（vLLM、SGLang、llama.cpp server、Ollama 都支持），把客户端的 base_url 指过去即可，代码基本不用改。
Q：蒸馏能替代本地部署大模型吗？
不能完全替代。蒸馏是把强模型的输出变成训练数据教小模型，能显著提升小模型在特定任务上的表现，但通用能力仍有上限，且要用到教师模型的 API 或权重。
更多清单：有哪些免费 AI 编程工具？（2026 免费清单）哪些 AI 工具支持海外访问？（2026 推荐清单）不需要信用卡的 AI API 有哪些？（免费额度清单）适合学生用的 AI 编程助手和学习工具有哪些？每天能领免费 Token 的 AI 平台有哪些？← 全部 AI 工具