大家好，我是 Ai 學(xué)習(xí)的老章

前文：，Qwen3-Next 的思考和指令兩個模型官方性能測試結(jié)果十分誘人。僅用 3B 活躍參數(shù)即可達(dá)到 DeepSeek V3.1 級別的智能水平

Qwen3 Next 80B（推理版）在 Qwen3 模型家族中智能程度排名第二，介于 Qwen3 235B 2507（推理版）與剛發(fā)布的 Qwen3-Max（預(yù)覽版，不使用推理）之間

我早就下好了完整模型文件 -160GB+

但是后來出了 FP8 量化版，模型文件大小減半，可裝入單張 H200 GPU

但是我用 0.10.2 版本的 vLLM 無論怎么改參數(shù)都部署失敗

無奈就還跑原版，2xH200 開跑

腳本如下：

docker run --rm -d --runtime nvidia  --name qwen3-next-tk-server  --ipc=host --gpus '"device=4,5"'  -p 8001:8000  -v /data/ai:/models vllm/vllm-openai:v0.10.2  --model /models/Qwen3-Next-80B-A3B-Thinking  --served-model-name qwen3-next-tk-fp8 --port 8000   --max-num-seqs 50 --max-model-len  131072  --tensor-parallel-size 2

[! 注意] 默認(rèn)上下文長度為 256K。如果遇到內(nèi)存不足（OOM）問題，可以考慮將上下文長度減少到更小的值。但是，由于模型可能需要更長的 token 序列進(jìn)行推理，我們強烈建議盡可能使用大于 131,072 的上下文長度。

ps：上下文上限跑起需要使用 4 張 H200/H20 或 4 張 A100/A800 GPU 來啟動，這里我減半到官方建議的 131072

每卡上模型加載 75GB，耗時 44 秒，KV Cache 49.5GB，峰值激活內(nèi)存 0.62GB，非 Torch 顯存占用 1.38GB，合計 126GB 的樣子

運行成功后接入 OpenWebUI，簡單測試了一下，略失望，原因有幾：

1 是首 token 響應(yīng)延遲，大幾秒的樣子才開始回復(fù)

2 是 think 標(biāo)簽缺失，導(dǎo)致整個思考過程無法被識別，直接被打印，而非可隱藏

原因阿里也有解釋：

[! 注意] Qwen3-Next-80B-A3B-Thinking 僅支持思考模式。為了強制模型進(jìn)行思考，默認(rèn)聊天模板自動包含 \ 。因此，模型的輸出只包含 \<\/think\> 而沒有顯式的 \ 標(biāo)簽是正常的。

我看魔塔社區(qū)也有網(wǎng)友在抱怨，不知道為啥 Qwen 要這么搞，與之前模型保持一致不好嗎？無故增加下游應(yīng)用適配成本

3 是思考過程非常、非常、非常長，長到時常會無限思考

原因阿里還是有解釋：

[! 注意] Qwen3-Next-80B-A3B-Thinking 可能會生成比其前身更長的思考內(nèi)容。我們強烈建議將其用于高度復(fù)雜的推理任務(wù)。

4 是并發(fā)太低了

啟動腳本設(shè)置了--max-num-seqs 50，但是我用測試工具跑了一下，由于前面三個問題，并發(fā)幾乎跑不起來，全是 error

5Qwen3-Next 也支持多詞元預(yù)測（簡稱 MTP），它既提升了預(yù)訓(xùn)練效率，也加快了推理速度。我試了一下，單請求快了點，但是上面四個問題都存在。

docker run --rm -d --runtime nvidia  --name qwen3-next-tk-server  --ipc=host --gpus '"device=4,5"'  -p 8001:8000  -v /data/ai:/models vllm/vllm-openai:v0.10.2  --model /models/Qwen3-Next-80B-A3B-Thinking  --served-model-name qwen3-next-tk-fp8 --port 8000   --max-num-seqs 50 --max-model-len  131072  --tensor-parallel-size 2 --speculative-config '{"method": "qwen3_next_mtp", "num_speculative_tokens": 2}'  --no-enable-chunked-prefill

哪位兄弟本地部署過Qwen3-Next-80B-A3B-Thinking，感受如何？

如有發(fā)現(xiàn)我的腳本有問題，歡迎提出，我還是有點不敢相信它會這么不堪。

或許它真就只適合高度復(fù)雜的推理任務(wù)？