前文：

本文實(shí)測(cè) 24GB 顯存的 4090 單卡啟動(dòng) Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF Q4_K_M

省流：

• 1、單卡 4090 跑 27B 很輕松，最高64K 上下文、128K 報(bào) OOM，這個(gè)上下文還是不錯(cuò)的，對(duì)比同樣單 4090 啟動(dòng)的 ，上下文只能開到 10K

• 2、平均生成速度 46 token/s 的樣子，并發(fā)是沒有的，個(gè)人用還可以

• 3、 實(shí)際表現(xiàn)中規(guī)中矩，中等水平，可以完成核心任務(wù)，細(xì)節(jié)不如 GLM-4.7-Flash

我選擇的這個(gè)

使用 modelscope 下載

pip install modelscope
modelscope download --model Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-GGUF Qwen3.5-27B.Q4_K_M.gguf --local_dir .

安裝真是一言難盡，大家各顯神通吧

我的內(nèi)網(wǎng)機(jī)基礎(chǔ)環(huán)境很差，編譯從來沒有成功過

所以還是走的 Docker 方案

docker pull ghcr.io/ggml-org/llama.cpp:full-cuda

啟動(dòng)腳本

我計(jì)劃完全用顯卡來跑，不動(dòng)用 CPU

啟動(dòng)腳本：

docker run --rm --runtime nvidia  --gpus "device=4" -v /data/llm-models:/models --name qwen35-27 -p 8005:8000 ghcr.io/ggml-org/llama.cpp:server-cuda  -m /models/jackrong/Qwen3.5-27B.Q4_K_M.gguf --port 8000 --host 0.0.0.0 -c 65536  -ngl 99 

前端對(duì)話使用的自帶 UI，其實(shí)可以接入到 OpenwebUI，它現(xiàn)在的 UI 還支持 MCP

告訴他細(xì)節(jié)不夠豐富后，這種表現(xiàn)已經(jīng)十分優(yōu)秀了，這個(gè)題目考察閱讀理解+svg 代碼生成+審美，很多大號(hào)模型表現(xiàn)也不一定這么好

對(duì)比 GLM-4.7-Flash-AWQ-4bit

平均 46 t/s

測(cè)試并發(fā)能力，失敗告終

找 GPT5.4 讀了文檔加了一些支持并發(fā)，激發(fā)性能的參數(shù)，結(jié)果依然如上，沒有改善，或許默認(rèn)的 4 并發(fā)會(huì)好一些，沒在嘗試。

docker run --rm --runtime nvidia  --gpus "device=4" -v /data/llm-models:/models --name qwen35-27 -p 8005:8000 ghcr.io/ggml-org/llama.cpp:server-cuda  -m /models/jackrong/Qwen3.5-27B.Q4_K_M.gguf --port 8000 --host 0.0.0.0 -c 65536  -kvu -ngl 99 --flash-attn on -b 1024 -t 48

，結(jié)論：

lama.cpp 并未針對(duì)張量并行（Tensor Parallelism）與批推理（Batch Inference）進(jìn)行優(yōu)化。只有在進(jìn)行 LLM 的部分或全部 CPU 卸載時(shí)，你才應(yīng)該使用 llama.cpp。但在多 GPU 配置下，需要經(jīng)過優(yōu)化的批推理與 Tensor Parallelism，此時(shí) vLLM 是正確選擇。

附 LocalLLaMA 社區(qū)的吐槽

llama.cpp 項(xiàng)目 issue 吐槽

14 張 RTX 3090 GPU 和 336GB VRAM 的專用 AI 服務(wù)器，# Stop Wasting Your Multi-GPU Setup With llama.cpp