一文中我已經(jīng)把這個(gè)模型和部署（原版 + 量化版）介紹的很清楚了，閑逛又發(fā)現(xiàn)幾個(gè)版本（4bit 量化版、推理加速版、Claude Opus 蒸餾版）很亮眼，推薦給大家。

第一路：三個(gè) 4bit 量化版本

Qwen3.6 發(fā)布還沒(méi)捂熱，社區(qū)已經(jīng)搞出了三個(gè) 4bit 量化版本

目標(biāo)很明確：把顯存需求壓下來(lái)，讓消費(fèi)級(jí)顯卡能跑起來(lái)

1. cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit

AWQ（Activation-aware Weight Quantization）量化，可以用 vLLM 0.19 直接拉起來(lái)

網(wǎng)友測(cè)試 2x4060 可以跑出 83tok/s

2. QuantTrio/Qwen3.6-35B-A3B-AWQ

同樣是 AWQ 量化，這個(gè)版本出自 QuantTrio 團(tuán)隊(duì)，量化后模型大小約 24GB

有詳細(xì)的 vLLM 啟動(dòng)腳本，支持 MTP（Multi-Token Prediction）推測(cè)解碼

啟動(dòng)命令參考：

vllm serve QuantTrio/Qwen3.6-35B-A3B-AWQ \
    --served-model-name MY_MODEL \
    --max-model-len 32768 \
    --gpu-memory-utilization 0.9 \
    --tensor-parallel-size 4 \
    --enable-expert-parallel \
    --reasoning-parser qwen3 \
    --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}' \
    --trust-remote-code

注意 TP=8 時(shí)要加--enable-expert-parallel，否則專家參數(shù)分片不均勻會(huì)出問(wèn)題。

效果在線

3. RedHatAI/Qwen3.6-35B-A3B-NVFP4

這個(gè)來(lái)自 Red Hat AI 團(tuán)隊(duì)，用的是 NVFP4 格式——權(quán)重和激活都量化到 FP4

用 llm-compressor 工具做的量化

初步評(píng)測(cè)結(jié)果有個(gè)小驚喜：

模型

GSM8K Platinum 準(zhǔn)確率

Qwen3.6-35B-A3B（原版）

95.62%

Qwen3.6-35B-A3B-NVFP4

96.28%

恢復(fù)率

100.69%

量化后準(zhǔn)確率居然還漲了一點(diǎn)點(diǎn)

當(dāng)然 Red Hat 團(tuán)隊(duì)也說(shuō)了這只是初步結(jié)果，更嚴(yán)格的評(píng)測(cè)還在進(jìn)行中

三個(gè)量化版本怎么選？

版本

量化格式

特點(diǎn)

推薦場(chǎng)景

cyankiwi

AWQ 4bit

快速可用

想嘗鮮、快速驗(yàn)證

QuantTrio

AWQ

文檔詳細(xì)、附啟動(dòng)腳本

生產(chǎn)部署參考

RedHatAI

NVFP4

權(quán)重 + 激活雙量化、官方團(tuán)隊(duì)出品

追求更極致壓縮

三個(gè)版本都兼容 vLLM 0.19+，直接vllm serve就能跑

第二路：DFlash 推理加速版

DFlash 我介紹過(guò)兩次了，老讀者應(yīng)該不陌生

簡(jiǎn)單回顧一下：DFlash 是一種基于塊擴(kuò)散模型（Block Diffusion）的推測(cè)解碼方法。傳統(tǒng)推測(cè)解碼（比如 EAGLE-3）的草稿模型還是自回歸的，一次只能預(yù)測(cè)一個(gè) token。DFlash 換了個(gè)思路——用一個(gè)輕量的擴(kuò)散模型，一次并行生成一整個(gè) block 的 token。

核心技巧在于：DFlash 不讓小模型從零開(kāi)始預(yù)測(cè)，而是從目標(biāo)大模型的隱層特征中提取上下文信息，注入到草稿模型的每一層 KV Cache 中。這樣即使草稿模型很小，也能"借用"大模型的推理能力。

在 Qwen3-8B 上的實(shí)測(cè)數(shù)據(jù)：

基準(zhǔn)測(cè)試

原版

EAGLE-3 加速

DFlash 加速

GSM8K

1×

2.13×

5.20×

MATH-500

1×

2.18×

6.17×

HumanEval

1×

2.48×

5.20×

MBPP

1×

2.27×

4.75×

EAGLE-3 大概 2-2.5 倍加速，DFlash 直接拉到 5-6 倍

而且這是完全無(wú)損的——輸出跟原版一模一樣

現(xiàn)在 z-lab 團(tuán)隊(duì)第一時(shí)間跟進(jìn)了 Qwen3.6：

? z-lab/Qwen3.6-35B-A3B-DFlash

需要注意的是，這個(gè)草稿模型還在訓(xùn)練中（目前 2000 步），所以效果還會(huì)繼續(xù)提升。

使用方式也很簡(jiǎn)單，vLLM 一行命令：

vllm serve Qwen/Qwen3.6-35B-A3B \
  --speculative-config '{"method": "dflash", "model": "z-lab/Qwen3.6-35B-A3B-DFlash", "num_speculative_tokens": 15}' \
  --attention-backend flash_attn \
  --max-num-batched-tokens 32768

SGLang 也已經(jīng)支持了：

python -m sglang.launch_server \
    --model-path Qwen/Qwen3.6-35B-A3B \
    --speculative-algorithm DFLASH \
    --speculative-draft-model-path z-lab/Qwen3.6-35B-A3B-DFlash \
    --speculative-num-draft-tokens 16 \
    --tp-size 1 \
    --attention-backend fa3 \
    --mem-fraction-static 0.75 \
    --trust-remote-code

早期測(cè)試的接受長(zhǎng)度（Accept Length）數(shù)據(jù)：

數(shù)據(jù)集

接受長(zhǎng)度

GSM8K

6.5

Math500

7.2

HumanEval

6.2

MBPP

5.6

MT-Bench

5.0

接受長(zhǎng)度越高意味著加速比越大

Math500 上平均每次能接受 7.2 個(gè) token，這個(gè)數(shù)字相當(dāng)可觀

第三路：Claude Opus 4.6 蒸餾版

這條路線大家也應(yīng)該很熟悉了，我一直在追

Jackrong 在 Qwen3.5 上做的 Claude Opus 蒸餾系列我介紹過(guò) V2 和 V3，每一版都有明顯提升

現(xiàn)在社區(qū)開(kāi)發(fā)者 hesamation 把這套思路搬到了 Qwen3.6 上：

? hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled

核心思路：保留 Qwen3.6 強(qiáng)大的 Agentic Coding 底座，同時(shí)注入 Claude Opus 4.6 風(fēng)格的結(jié)構(gòu)化推理能力

訓(xùn)練方式是用 LoRA 做有監(jiān)督微調(diào)（SFT），然后合并回完整模型

訓(xùn)練數(shù)據(jù)來(lái)自三個(gè)公開(kāi)數(shù)據(jù)集：

數(shù)據(jù)集

樣本量

用途

nohurry/Opus-4.6-Reasoning-3000x-filtered

3,900

Claude Opus 推理軌跡

Jackrong/Qwen3.5-reasoning-700x

700

精選 Qwen 推理樣本

Roman1111111/claude-opus-4.6-10000x

9,633

更多 Claude Opus 推理示例

總共約 14,000 條數(shù)據(jù)，規(guī)模不大，但質(zhì)量很高——都是經(jīng)過(guò)篩選的鏈?zhǔn)酵评恚–hain-of-Thought）示例。

訓(xùn)練配置：

配置項(xiàng)

微調(diào)方法

LoRA（僅 Attention 模塊）

LoRA rank / alpha

32 / 32

梯度累積

32

訓(xùn)練輪次

2

最終訓(xùn)練 loss

最大序列長(zhǎng)度

初步評(píng)測(cè)數(shù)據(jù)很亮眼：

基準(zhǔn)測(cè)試

Base 模型

蒸餾后

提升

MMLU-Pro（70 題子集）

42.86%

75.71%+32.85pp

當(dāng)然，作者也說(shuō)了這只是 70 道題的小規(guī)模測(cè)試（14 個(gè)學(xué)科各 5 題），應(yīng)該當(dāng)做 smoke test 看，不是完整評(píng)測(cè)。但 +32.85 個(gè)百分點(diǎn)的提升還是很說(shuō)明問(wèn)題的——Claude Opus 的推理數(shù)據(jù)確實(shí)能顯著增強(qiáng)模型的結(jié)構(gòu)化推理能力。

值得注意的是，這個(gè)微調(diào)是純文本的。Qwen3.6 底座雖然自帶視覺(jué)編碼器，但這輪訓(xùn)練沒(méi)有用到圖像/視頻數(shù)據(jù)，所以多模態(tài)能力基本就是繼承自 base model。

三路并行，選哪個(gè)？

需求

推薦方案

顯存有限，想跑 Qwen3.6

AWQ/NVFP4 量化版

追求推理速度，愿意多占點(diǎn)顯存

DFlash 加速版

需要更強(qiáng)的推理/分析能力

Claude Opus 蒸餾版

又想快又想省顯存

量化版 + DFlash（理論可疊加，待驗(yàn)證）

這三條路線其實(shí)不沖突

量化解決的是"跑得起"的問(wèn)題

DFlash 解決的是"跑得快"的問(wèn)題

蒸餾解決的是"跑得好"的問(wèn)題

我的看法

1. 評(píng)測(cè)數(shù)據(jù)普遍不夠充分。蒸餾版只跑了 70 道 MMLU-Pro 題，NVFP4 版只有一個(gè) GSM8K 分?jǐn)?shù)，量化版基本沒(méi)有獨(dú)立評(píng)測(cè)。社區(qū)還需要更多人來(lái)做嚴(yán)格的 benchmark

2. DFlash 版本還在訓(xùn)練中。2000 步的草稿模型效果肯定不是最終水平，現(xiàn)階段的性能數(shù)據(jù)參考價(jià)值有限

3. Qwen3.6 的 base model 本身也是新出的。官方 benchmark 看著很強(qiáng)，但實(shí)際使用中的表現(xiàn)還需要時(shí)間檢驗(yàn)

總的來(lái)說(shuō)，開(kāi)源 AI 社區(qū)圍繞一個(gè)模型形成了量化→加速→蒸餾的完整優(yōu)化鏈，每條路線都有獨(dú)立團(tuán)隊(duì)在推進(jìn)。

這種分布式協(xié)作的效率和活力，可能比任何單個(gè)模型的發(fā)布都更值得關(guān)注

.6

制作不易，如果這篇文章覺(jué)得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見(jiàn)！