本地大模型配置选择器
约 157 字
本地大模型配置选择器
选好你的显卡、内存或 Mac,看看能跑哪些模型、该用多大的量化、每秒能出多少字。也可以反过来,先挑模型再看要买什么。
上下文就是模型一次能记住多少内容,中文 1 个 token 约等于 1–1.5 个字。写代码、跑 Agent 建议 64K 以上。
125B 主模型加 51B N-gram 表,每个 token 只激活 6B。16–24GB 显卡配 64GB 以上内存就能跑,网友实测多在 60–130 tok/s,性价比极高。
全放显存 9 个,最快,优先选
能力: 轻微下降
引擎: llama.cpp
只激活 3B,非常快,12–16GB 显卡也能跑得飞起。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 72.3GB | 显存 + 内存 | 14–22 tok/s 不开 MTP 11–15 | 几乎无损 |
| Q8_0 | 39.5GB | 显存 + 内存 | 30–47 tok/s 不开 MTP 25–32 | 几乎无损 |
| Q6_K | 31.2GB | 显存 + 内存 | 44–66 tok/s 不开 MTP 37–45 | 几乎无损 |
| Q5_K_M | 27.3GB | 显存 + 内存 | 56–82 tok/s 不开 MTP 47–56 | 轻微下降 |
| Q4_K_M | 23.6GB | 显存 + 内存 | 75–105 tok/s 不开 MTP 63–72 | 轻微下降 |
| IQ4_XS / MXFP4 | 21.2GB | 全放显存 | 93–125 tok/s 不开 MTP 78–86 | 轻微下降 |
| Q3_K_M | 19.4GB | 全放显存 | 95–127 tok/s 不开 MTP 80–87 | 能察觉 |
| IQ3_S | 17.7GB | 全放显存 | 97–130 tok/s 不开 MTP 82–89 | 明显下降 |
| IQ2_XS | 12.8GB | 全放显存 | 104–137 tok/s 不开 MTP 87–94 | 下降较多 |
能力: 轻微下降
引擎: llama.cpp
激活 3.8B 的 MoE,速度快。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 52.2GB | 显存 + 内存 | 13–20 tok/s 不开 MTP 11–14 | 几乎无损 |
| Q8_0 | 28.6GB | 显存 + 内存 | 36–55 tok/s 不开 MTP 30–38 | 几乎无损 |
| Q6_K | 22.6GB | 显存 + 内存 | 68–96 tok/s 不开 MTP 57–66 | 几乎无损 |
| Q5_K_M | 19.7GB | 全放显存 | 83–113 tok/s 不开 MTP 69–78 | 轻微下降 |
| Q4_K_M | 17.1GB | 全放显存 | 87–119 tok/s 不开 MTP 73–81 | 轻微下降 |
| IQ4_XS / MXFP4 | 15.3GB | 全放显存 | 90–122 tok/s 不开 MTP 76–84 | 轻微下降 |
| Q3_K_M | 14.1GB | 全放显存 | 93–125 tok/s 不开 MTP 78–86 | 能察觉 |
| IQ3_S | 12.8GB | 全放显存 | 96–128 tok/s 不开 MTP 80–88 | 明显下降 |
| IQ2_XS | 9.3GB | 全放显存 | 104–136 tok/s 不开 MTP 87–93 | 下降较多 |
能力: 轻微下降
引擎: llama.cpp
支持语音输入的中小模型。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 25.6GB | 显存 + 内存 | 13–26 tok/s 不开 MTP 9–12 | 几乎无损 |
| Q8_0 | 14.4GB | 全放显存 | 50–94 tok/s 不开 MTP 34–44 | 几乎无损 |
| Q6_K | 11.5GB | 全放显存 | 62–114 tok/s 不开 MTP 42–53 | 几乎无损 |
| Q5_K_M | 10.2GB | 全放显存 | 69–127 tok/s 不开 MTP 47–59 | 轻微下降 |
| Q4_K_M | 8.9GB | 全放显存 | 78–141 tok/s 不开 MTP 53–66 | 轻微下降 |
| IQ4_XS / MXFP4 | 8.1GB | 全放显存 | 85–153 tok/s 不开 MTP 57–71 | 轻微下降 |
| Q3_K_M | 7.5GB | 全放显存 | 91–162 tok/s 不开 MTP 61–76 | 能察觉 |
| IQ3_S | 6.9GB | 全放显存 | 97–173 tok/s 不开 MTP 66–81 | 明显下降 |
| IQ2_XS | 5.3GB | 全放显存 | 122–213 tok/s 不开 MTP 83–99 | 下降较多 |
能力: 几乎无损
引擎: llama.cpp
笔记本和老显卡都能跑的小模型。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 11.1GB | 全放显存 | 46–58 tok/s | 几乎无损 |
| Q8_0 | 7.4GB | 全放显存 | 69–84 tok/s | 几乎无损 |
| Q6_K | 6.4GB | 全放显存 | 78–95 tok/s | 几乎无损 |
| Q5_K_M | 6GB | 全放显存 | 84–101 tok/s | 轻微下降 |
| Q4_K_M | 5.6GB | 全放显存 | 90–107 tok/s | 轻微下降 |
| IQ4_XS / MXFP4 | 5.3GB | 全放显存 | 94–111 tok/s | 轻微下降 |
| Q3_K_M | 5.1GB | 全放显存 | 98–115 tok/s | 能察觉 |
| IQ3_S | 4.9GB | 全放显存 | 102–119 tok/s | 明显下降 |
| IQ2_XS | 4.3GB | 全放显存 | 114–131 tok/s | 下降较多 |
能力: 几乎无损
引擎: llama.cpp
原生 4bit 约 13GB,16GB 显卡轻松跑。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| MXFP4(原生) | 15.5GB | 全放显存 | 70–79 tok/s | 几乎无损 |
能力: 轻微下降
引擎: llama.cpp
8GB 显卡的首选。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 21.1GB | 全放显存 | 25–32 tok/s | 几乎无损 |
| Q8_0 | 12.7GB | 全放显存 | 41–52 tok/s | 几乎无损 |
| Q6_K | 10.6GB | 全放显存 | 49–61 tok/s | 几乎无损 |
| Q5_K_M | 9.6GB | 全放显存 | 54–67 tok/s | 轻微下降 |
| Q4_K_M | 8.6GB | 全放显存 | 59–74 tok/s | 轻微下降 |
| IQ4_XS / MXFP4 | 8GB | 全放显存 | 64–79 tok/s | 轻微下降 |
| Q3_K_M | 7.5GB | 全放显存 | 67–83 tok/s | 能察觉 |
| IQ3_S | 7.1GB | 全放显存 | 71–87 tok/s | 明显下降 |
| IQ2_XS | 5.8GB | 全放显存 | 86–103 tok/s | 下降较多 |
能力: 轻微下降
引擎: llama.cpp
Google 的稠密模型,多语言好,自带推测解码草稿模型。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 65.5GB | 显存 + 内存 | 2–4 tok/s 不开 MTP 1–2 | 几乎无损 |
| Q8_0 | 36.7GB | 显存 + 内存 | 5–10 tok/s 不开 MTP 3–5 | 几乎无损 |
| Q6_K | 29.4GB | 显存 + 内存 | 8–16 tok/s 不开 MTP 6–8 | 几乎无损 |
| Q5_K_M | 26GB | 显存 + 内存 | 13–25 tok/s 不开 MTP 9–12 | 轻微下降 |
| Q4_K_M | 22.7GB | 显存 + 内存 | 24–47 tok/s 不开 MTP 16–22 | 轻微下降 |
| IQ4_XS / MXFP4 | 20.6GB | 全放显存 | 38–72 tok/s 不开 MTP 26–33 | 轻微下降 |
| Q3_K_M | 19.1GB | 全放显存 | 41–77 tok/s 不开 MTP 28–36 | 能察觉 |
| IQ3_S | 17.5GB | 全放显存 | 44–84 tok/s 不开 MTP 30–39 | 明显下降 |
| IQ2_XS | 13.3GB | 全放显存 | 59–108 tok/s 不开 MTP 40–51 | 下降较多 |
能力: 轻微下降
引擎: llama.cpp
稠密 27B,目前最受欢迎的本地模型之一。24GB 显存跑 Q4;32GB 推荐 Q4 留出长上下文,想要更高精度也放得下 Q5–Q6。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 59.3GB | 显存 + 内存 | 2–4 tok/s 不开 MTP 1–2 | 几乎无损 |
| Q8_0 | 34GB | 显存 + 内存 | 6–11 tok/s 不开 MTP 4–5 | 几乎无损 |
| Q6_K | 27.6GB | 显存 + 内存 | 10–20 tok/s 不开 MTP 7–9 | 几乎无损 |
| Q5_K_M | 24.5GB | 显存 + 内存 | 16–32 tok/s 不开 MTP 11–15 | 轻微下降 |
| Q4_K_M | 21.7GB | 全放显存 | 37–71 tok/s 不开 MTP 25–33 | 轻微下降 |
| IQ4_XS / MXFP4 | 19.8GB | 全放显存 | 41–77 tok/s 不开 MTP 28–36 | 轻微下降 |
| Q3_K_M | 18.5GB | 全放显存 | 44–83 tok/s 不开 MTP 30–39 | 能察觉 |
| IQ3_S | 17.1GB | 全放显存 | 48–90 tok/s 不开 MTP 32–42 | 明显下降 |
| IQ2_XS | 13.4GB | 全放显存 | 62–114 tok/s 不开 MTP 42–53 | 下降较多 |
能力: 轻微下降
引擎: llama.cpp
上一代 27B,资料和调优经验最多。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 59.3GB | 显存 + 内存 | 2–4 tok/s 不开 MTP 1–2 | 几乎无损 |
| Q8_0 | 34GB | 显存 + 内存 | 6–11 tok/s 不开 MTP 4–5 | 几乎无损 |
| Q6_K | 27.6GB | 显存 + 内存 | 10–20 tok/s 不开 MTP 7–9 | 几乎无损 |
| Q5_K_M | 24.5GB | 显存 + 内存 | 16–32 tok/s 不开 MTP 11–15 | 轻微下降 |
| Q4_K_M | 21.7GB | 全放显存 | 37–71 tok/s 不开 MTP 25–33 | 轻微下降 |
| IQ4_XS / MXFP4 | 19.8GB | 全放显存 | 41–77 tok/s 不开 MTP 28–36 | 轻微下降 |
| Q3_K_M | 18.5GB | 全放显存 | 44–83 tok/s 不开 MTP 30–39 | 能察觉 |
| IQ3_S | 17.1GB | 全放显存 | 48–90 tok/s 不开 MTP 32–42 | 明显下降 |
| IQ2_XS | 13.4GB | 全放显存 | 62–114 tok/s 不开 MTP 42–53 | 下降较多 |
显存 + 内存 4 个,能跑,一部分在内存里,速度看内存带宽
能力: 轻微下降
引擎: Strata
125B 主模型加 51B N-gram 表,每个 token 只激活 6B。16–24GB 显卡配 64GB 以上内存就能跑,网友实测多在 60–130 tok/s,性价比极高。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 | 官方测试 |
|---|---|---|---|---|---|
| BF16 | 254GB +103GB | 内存还差约 18GB | — | 几乎无损 | Top-1 100% |
| Q8_0 | 136GB +54.5GB | 显存 + 内存 | 26–44 tok/s 不开 MTP 19–25 | 几乎无损 | Top-1 94.1% |
| UD-Q6_K_XL | 117GB +54.5GB | 显存 + 内存 | 31–52 tok/s 不开 MTP 23–30 | 几乎无损 | Top-1 94.1% |
| UD-Q5_K_XL | 106GB +54.5GB | 显存 + 内存 | 35–59 tok/s 不开 MTP 26–33 | 几乎无损 | Top-1 93.7% |
| UD-Q4_K_XL | 81.7GB +32.3GB | 显存 + 内存 | 48–80 tok/s 不开 MTP 36–46 | 轻微下降 | Top-1 92.3% |
| UD-IQ4_XS | 67.6GB +28.7GB | 显存 + 内存 | 59–97 tok/s 不开 MTP 45–55 | 轻微下降 | Top-1 89.6% |
| UD-Q3_K_XL | 63.4GB +28.7GB | 显存 + 内存 | 63–103 tok/s 不开 MTP 48–59 | 能察觉 | Top-1 88.3% |
| UD-IQ3_XXS | 57.5GB +28.7GB | 显存 + 内存 | 70–113 tok/s 不开 MTP 53–64 | 明显下降 | Top-1 85.4% |
| UD-Q2_K_XL | 53.5GB +28.7GB | 显存 + 内存 | 75–121 tok/s 不开 MTP 57–69 | 明显下降 | Top-1 82.7% |
| UD-IQ1_M | 41.9GB +28.7GB | 显存 + 内存 | 95–148 tok/s 不开 MTP 72–84 | 下降较多 | Top-1 79.7% |
| UD-IQ1_S | 40.3GB +28.7GB | 显存 + 内存 | 99–153 tok/s 不开 MTP 75–87 | 下降较多 | Top-1 77.3% |
| GSQ-RCO IQ3_S | 57.5GB +28.7GB | 显存 + 内存 | 70–113 tok/s 不开 MTP 53–64 | 轻微下降 | 任务均分 93.26(原版的 100.2%) |
| GSQ-RCO IQ3_XXS | 49.7GB +28.7GB | 显存 + 内存 | 81–129 tok/s 不开 MTP 61–73 | 轻微下降 | 任务均分 92.57(原版的 99.4%) |
| GSQ-RCO IQ2_XS | 41.9GB +28.7GB | 显存 + 内存 | 95–148 tok/s 不开 MTP 72–84 | 明显下降 | 任务均分 89.16(原版的 95.7%) |
| GSQ-RCO Q2_0 | 40.3GB +28.7GB | 显存 + 内存 | 99–153 tok/s 不开 MTP 75–87 | 明显下降 | 任务均分 89.07(原版的 95.7%) |
能力: 几乎无损
引擎: llama.cpp
原生 MXFP4,约 63GB,128GB 内存的 Mac 或 AI Max 很合适。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| MXFP4(原生) | 66.3GB | 显存 + 内存 | 22–28 tok/s | 几乎无损 |
能力: 能察觉
引擎: Maya
321B 总参数、18B 激活,编程和 Agent 能力强。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 645GB | 内存还差约 253GB | — | 几乎无损 |
| Q8_0 | 344GB | 内存还差约 72GB | — | 几乎无损 |
| Q6_K | 268GB | 内存还差约 26GB | — | 几乎无损 |
| Q5_K_M | 232GB | 内存还差约 5GB | — | 几乎无损 |
| Q4_K_M | 198GB | 显存 + 内存 | 6–8 tok/s 不开 MTP 6–8 | 轻微下降 |
| IQ4_XS / MXFP4 | 176GB | 显存 + 内存 | 8–12 tok/s 不开 MTP 8–11 | 轻微下降 |
| Q3_K_M | 160GB | 显存 + 内存 | 12–16 tok/s 不开 MTP 11–15 | 能察觉 |
| IQ3_S | 143GB | 显存 + 内存 | 19–26 tok/s 不开 MTP 18–24 | 能察觉 |
| IQ2_XS | 99.3GB | 显存 + 内存 | 29–40 tok/s 不开 MTP 28–36 | 下降较多 |
能力: 下降较多
引擎: Maya
552B 总参数,生成时激活 16B。KV 缓存极小,长上下文很省内存。另有 196B Engram 表可以放在 SSD 上。显存放不下时推荐 Project Maya(Strata 从 0.2.14 起已不再支持),llama.cpp 也已支持。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 1105GB +392GB | 内存还差约 529GB | — | 几乎无损 |
| Q8_0 | 588GB +208GB | 内存还差约 218GB | — | 几乎无损 |
| Q6_K | 457GB +162GB | 内存还差约 140GB | — | 几乎无损 |
| Q5_K_M | 395GB +140GB | 内存还差约 102GB | — | 几乎无损 |
| Q4_K_M | 336GB +119GB | 内存还差约 67GB | — | 轻微下降 |
| IQ4_XS / MXFP4 | 298GB +105GB | 内存还差约 44GB | — | 轻微下降 |
| Q3_K_M | 270GB +95.6GB | 内存还差约 28GB | — | 能察觉 |
| IQ3_S | 243GB +85.8GB | 内存还差约 11GB | — | 能察觉 |
| IQ2_XS | 167GB +58.8GB | 显存 + 内存 | 14–19 tok/s 不开 MTP 13–17 | 下降较多 |
跑不了 1 个,显存和内存都不够,或引擎不支持
目前最强的开源模型之一,2.8T 参数,个人设备基本跑不动,需要服务器集群。
| 量化 | 需要 | 能不能跑(128K 上下文) | 预估速度 | 能力 |
|---|---|---|---|---|
| BF16 | 5605GB | 内存还差约 5462GB | — | 几乎无损 |
| Q8_0 | 2980GB | 内存还差约 2837GB | — | 几乎无损 |
| Q6_K | 2315GB | 内存还差约 2172GB | — | 几乎无损 |
| Q5_K_M | 2000GB | 内存还差约 1857GB | — | 几乎无损 |
| Q4_K_M | 1703GB | 内存还差约 1559GB | — | 轻微下降 |
| IQ4_XS / MXFP4 | 1510GB | 内存还差约 1367GB | — | 轻微下降 |
| Q3_K_M | 1370GB | 内存还差约 1227GB | — | 能察觉 |
| IQ3_S | 1230GB | 内存还差约 1087GB | — | 能察觉 |
| IQ2_XS | 845GB | 内存还差约 702GB | — | 下降较多 |
全放显存 40 种,最快
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
引擎: MLX
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
引擎: MLX
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
引擎: MLX
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
引擎: MLX
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
引擎: vLLM/SGLang
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
显存 + 内存 38 种,按 128GB 内存计算
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
这套配置暂时还没有实测数据。
多台机器串联(网友实测)
多台 DGX Spark、Mac、AI Max 用网线或雷电连起来一起跑。上面的列表只算单台,这类配置单独列在这里。
量化会损失多少
量化就是把模型压小。压得越狠越省内存、越快,但回答质量会下降。下面左边是有官方逐档测试的模型,右边是常见量化的一般经验。
Qwen3.8-Flash-Next:各量化和原版 BF16 的 Top-1 一致率(Unsloth 官方测试)
Top-1 一致率:每一步选出的下一个字和原版一样的比例。它反映"像不像原版",不等于任务得分会按比例下降;连 Q8 和原版之间也有约 6% 的差距,说明这个指标对很小的数值差异都很敏感(条形图从 70% 起绘以便区分各档)。文件大小是 Hugging Face 上当前文件(2026-11-04 重新上传后),包含 N-gram 表,这部分可以放在内存或 SSD 上;Top-1 是 Unsloth 对重传前文件的测试。
ISTA-DASLab GSQ-RCO 版(Strata 官方使用)
这一家没有公布 Top-1 一致率,只有任务测试(ISTA-DASLab 模型卡,带 * 的 AIME25 分数由公布的三项均分反推)。3-bit 的两档基本没掉分,IQ3_S 略高于原版是测试波动;模型卡把更小的 IQ3_XXS 称作最佳平衡点,本站默认推荐分数最高的 IQ3_S,显存或内存紧张时可换 IQ3_XXS。两个 2-bit 平均低约 4 分,换来更小的体积,其中 Q2_0 生成速度更快更稳。任务得分和上面的 Top-1 是两种口径,不能直接比大小。
常见量化的一般经验
同一个量化名,不同发布者(Unsloth、bartowski、GSQ-RCO 等)做出来的效果可能差不少。几百 B 的大 MoE 对低量化更耐受,27B 这类稠密模型建议不低于 Q4。
推理引擎怎么选
上手最简单,什么显卡都能用,显存不够可以放内存。Ollama、LM Studio 都基于它。
多卡只是拼显存,速度不叠加;多人同时用时吞吐一般。
多卡张量并行,带宽能叠加;多人同时用吞吐最高;MTP 推测解码支持好。
模型必须完全放进显存;配置复杂,部分 AMD 显卡需要修改版,Intel 显卡走 XPU 后端、支持的模型较少。
苹果官方框架,在 Mac 上通常比 llama.cpp 更快,长上下文缓存好。
只能在 Mac 上用。
专为大 MoE 模型设计:16–24GB 显卡加大内存就能跑 125B 级模型,单人速度很快。官方直接提供 ISTA-DASLab 的 GSQ-RCO 量化版(Q2_0 到 IQ3_S)。
主要适合单人对话,多会话要排队;只支持 Qwen 的少数几个模型,版本更新很快(0.2.14 起已不再支持 DeepSeek V4.1 Flash);Mac 上有 Metal 版,但比 MLX 慢。
开源,专为大 MoE 设计:常用专家放显存、其次放内存、其余从 SSD 读,对话中动态调整;支持 1 到 16 张 N 卡,自带 OpenAI / Anthropic 兼容接口。
目前只支持 GLM-5.3-Flash 和 DeepSeek V4.1 Flash;主要面向 Linux,AMD 为实验性支持,需要快速的 NVMe SSD。
这些数字怎么看
- 速度指模型往外出字的速度,单位 tok/s。主数字按你选的上下文长度估算,支持 MTP 推测解码的模型按开启 MTP 算(本地跑模型基本都会开),下面另写不开 MTP 的速度作对照;区间宽度来自不同引擎版本、驱动、散热带来的效率差异,写代码、格式固定的工具调用这类 MTP 命中率高的任务更接近上限。
- 有网友实测、而且量化(Q6 以下)、引擎、上下文(128K 以内)、全放显存还是放一部分到内存、内存大小都和实测条件接近,就直接显示实测速度(多位网友的汇总优先;只有 1 位网友测过的,要和预估大体一致才用);否则显示按显存带宽和模型大小算出的预估值(各类引擎的系数都按网友实测校准过),实测放在下面供参考。同一套配置换引擎版本、调参数,结果会差不少。
- 网友实测区间的算法:同一位用户的多篇实测先合并取中位数(防止单人连发拉偏),再取多位独立用户的中间一半,去掉调优前后、个别极端配置带来的偏差。读题速度、超过显存带宽物理上限的数字、引擎和硬件对不上的、别人回复里引用的、和其余实测相差 2 倍以上的、和同档人工核对实测矛盾的,都不收录;混有自研/未建模引擎的汇总只作参考,不覆盖标准引擎主数字。
- 显存放不下时,一部分模型放进系统内存,能跑但会变慢,慢多少取决于内存带宽:四通道、八通道内存明显更快。Strata、Maya 这类引擎还会把冷门专家和 N-gram 表放在 SSD 上,所以内存要求比模型文件小不少。
- 量化数字越小,越省显存、越快,能力也会损失一点。Q4_K_M 是最常用的平衡点;几百 B 的大 MoE 模型对低量化更不敏感。
- 智商星级参考 Artificial Analysis 智能指数和官方榜单,由本站归纳,不同任务会有差别。
- 内存占用按 8bit KV 缓存计算(Gemma 4 全局层按 K=V 共享折算),部分新模型的 KV 大小按架构估算。Qwen3.8-Flash-Next 的 N-gram 表、DeepSeek V4.1 Flash 的 Engram 表是查表参数,llama.cpp、Strata、Maya 可以把它们放在内存或 SSD 上,所以不计入必须放进显存的部分;MLX 和常规 vLLM 配置按整块装入计算(部分新版 vLLM 已支持将 N-gram 表卸载到内存)。
- github.com/mw00/project-maya
- unsloth.ai/docs/models/qwen3.8-next
- huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
- github.com/Niko1221/Strata
- huggingface.co
- artificialanalysis.ai
- github.com/ggml-org/llama.cpp
- github.com/vllm-project/vllm
- github.com/sgl-project/sglang
- github.com/ml-explore/mlx
- lcz.me
- nvidia.com
- amd.com
- intel.com
- apple.com
