Qwen3.5 系列繼續(xù)：

上篇文章介紹了 Jackrong 和 TeichAI 兩個(gè)團(tuán)隊(duì)做的 Claude Opus 4.6 蒸餾版 Qwen3.5-27B，發(fā)完之后好多網(wǎng)友在評(píng)論區(qū)催我：光說不練假把式，能不能實(shí)際跑一下？

今天就拿 Jackrong 放出的GGUF 量化版，用 LM Studio 在本地實(shí)測(cè)一把，看看這個(gè)號(hào)稱"平替 Opus"的蒸餾模型到底幾斤幾兩。

我選擇 Jackrong 的版本，原因無他，開發(fā)者用腳投票，它曾經(jīng)登錄過 Huggingface 熱榜第一

熱榜第一.png

2B、9B、27B、35B 都有，豐儉由人了可以說

其中 2B 版本模型文件只有 2GB

https://modelscope.cn/models/Jackrong/Qwen3.5-2B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

Q4_K_M 只有 1.2GB

這個(gè)大家別試了，很多任務(wù)都無法完成，給他現(xiàn)成的 Skills 也不行

接入到 Claude Code

它花了 8 分鐘才找全可用 skills，指定了也無法完全調(diào)用

一定要說優(yōu)點(diǎn)：它是 256K 上下文，而且有 Vision 能力，生成速度 40+t/s

還有它翻譯還可以

也不精神錯(cuò)亂

9B 版本 6GB

我是 16G 的 MacMini M4

所以本文只測(cè)試了 2B 和 9B

我建議大家能力尚可 從 27B 開始，我的機(jī)器其實(shí)也可以上 27B Q3，但是下載，測(cè)試，太耗時(shí)了，我?guī)缀醢胩於己脑跍y(cè)試了，時(shí)長氣的腦仁疼

35-A3B 36GB，這也是為何它干不過 27B 的原因之一

為什么選 GGUF + LM Studio？

GGUF是目前本地部署大模型最主流的格式，基于 llama.cpp 生態(tài)，對(duì) CPU 和消費(fèi)級(jí) GPU 都非常友好。相比原始的 safetensors 權(quán)重動(dòng)輒 50+GB，GGUF 量化后最低 10GB 就能跑 27B 模型，這才是我們普通玩家的菜。

LM Studio就不用多介紹了吧，之前專門寫過一篇

一句話概括：圖形界面一鍵下載運(yùn)行 + OpenAI/Anthropic 雙兼容 API + CLI 命令行 + 遠(yuǎn)程 LM Link，從小白到開發(fā)者全覆蓋。

用它來測(cè)模型，門檻最低、體驗(yàn)最好

模型概覽

Jackrong 在 HuggingFace 上放出了27B完整的 GGUF 量化家族：

量化版本

文件大小

顯存占用（估算）

推薦場(chǎng)景

Q2_K

10.1 GB

~12 GB

極致省內(nèi)存，精度有損

Q3_K_S

12.1 GB

~14 GB

內(nèi)存緊張時(shí)的折中選擇

Q3_K_M

13.3 GB

~15 GB

Q3 里精度最好的

Q4_K_S

15.6 GB

~17 GB

性價(jià)比之選

Q4_K_M

16.5 GB

~18 GB

精度與體積最佳平衡Q8_0

28.6 GB

~30 GB

追求精度，顯存充裕時(shí)用

社區(qū)大佬 @ 在單卡 RTX 3090（24GB 顯存）上實(shí)測(cè) Q4_K_M 版本的數(shù)據(jù)：

• 顯存占用約 16.5 GB，3090/4090 毫無壓力

• 生成速度 29–35 tok/s，日常使用足夠絲滑

• 完整保留 262K 上下文窗口，沒有打折

• 修復(fù)了官方模型 Jinja 模板不支持developerrole 的崩潰問題

我的建議：閉眼選 Q4_K_M。24GB 顯存的卡（3090/4090）輕松裝下，精度損失可以忽略。如果你是 Mac 用戶，統(tǒng)一內(nèi)存 32GB 以上也能跑。

本文測(cè)試 9B 實(shí)屬無奈

Jackrong 的蒸餾版有什么特別的？

回顧一下上篇文章講過的核心要點(diǎn)

這個(gè)模型的訓(xùn)練方法很"暴力"：

1. 數(shù)據(jù)來源：大約 3,280 條高質(zhì)量的 Claude Opus 4.6 推理數(shù)據(jù)，外加 TeichAI 和 Jackrong 自己整理的補(bǔ)充數(shù)據(jù)集

2. 訓(xùn)練策略：train_on_responses_only——Loss 只在 思考過程和最終答案上計(jì)算，逼模型去模仿 Claude 那種深度結(jié)構(gòu)化思考

3. 微調(diào)方式：Unsloth + LoRA（Rank=64），非常高效

蒸餾完的模型在推理時(shí)會(huì)主動(dòng)展開思維鏈：

 

Let me analyze this request carefully:
1. Identify the core objective of the problem.
2. Break the task into clearly defined subcomponents.
3. Evaluate constraints and edge cases.
4. Formulate a step-by-step solution plan.
5. Execute the reasoning sequentially and verify consistency...


 

和原版 Qwen3.5-27B 容易在簡單問題上"繞圈子"不同，這個(gè)蒸餾版學(xué)到了 Claude 的風(fēng)格——先分析、再拆解、再執(zhí)行，推理效率明顯更高。

而且社區(qū)測(cè)試發(fā)現(xiàn)，它在 AI 代碼智能體場(chǎng)景（Claude Code、OpenCode）中表現(xiàn)極其穩(wěn)定：連續(xù)自主運(yùn)行超過 9 分鐘不中斷，能自動(dòng)讀報(bào)錯(cuò)、改代碼、寫 README，中途不卡頓不死機(jī)。

這一點(diǎn)確實(shí)可以，2B/9B 版都能做到。

原版模型在這種場(chǎng)景下經(jīng)常半途卡住，差距很明顯。

LM Studio 部署步驟

用 LM Studio 跑這個(gè)模型，總共就三步：

第一步：下載模型

打開 LM Studio，在搜索欄直接搜索Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF，或者在 Discover 頁面找到它。

如果你更喜歡命令行，也可以用lmsCLI：

lms get Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF --file Qwen3.5-9B.Q4_K_M.gguf

或者用 huggingface-cli 手動(dòng)下載到 LM Studio 的模型目錄：

huggingface-cli download Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF \
  --include "Qwen3.5-9B.Q4_K_M.gguf" \
  --local-dir ~/.cache/lm-studio/models/Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF

網(wǎng)絡(luò)不通可以使用 modelscope

pip install modelcope
modelscope download --model Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF Qwen3.5-9B.Q4_K_M.gguf --local_dir  ~/.cache/lm-studio/models/Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF


 

下載完成后，在 LM Studio 左側(cè)模型列表中找到它，點(diǎn)擊加載

加載時(shí)建議調(diào)整幾個(gè)參數(shù)：

• GPU Offload：拉滿（如果你有獨(dú)立 GPU）

• Context Length：先設(shè) 8192 或 16384 試試，夠用再加，我上 262144

• Max Concurrent Predictions：保持默認(rèn) 1 即可

加載完成后直接在 Chat 界面對(duì)話

模型會(huì)自動(dòng)啟用思維鏈模式，你會(huì)看到 ... 標(biāo)簽包裹的推理過程。

我用看家測(cè)試題目，背影閱讀理解+svg 代碼生成+審美測(cè)試題測(cè)它

令我吃驚的是，它完全可以理解到

就是速度差點(diǎn)意思，13t/s

這是曾經(jīng)一種旗艦?zāi)Ｐ投伎赡芑F盧的

生成的 svg 也只能說能看吧

進(jìn)階：當(dāng) API 服務(wù)器用

LM Studio 加載模型后，點(diǎn)擊左側(cè)的Developer標(biāo)簽，開啟本地服務(wù)器（默認(rèn)端口 1234）。然后你就能用 OpenAI SDK 直接調(diào)用：

from openai import OpenAI

 client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lmstudio"
)

 response = client.chat.completions.create(
    model="Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF",
    messages=[
        {"role": "user", "content": "用Python寫一個(gè)LRU緩存，要求線程安全"}
    ],
    temperature=0.6,
    top_p=0.95,
    max_tokens=8192
)

 print(response.choices[0].message.content)

甚至可以直接對(duì)接 Claude Code：

    "ANTHROPIC_AUTH_TOKEN": "lm-studio-local",
    "ANTHROPIC_BASE_URL": "http://localhost:1234",
    "ANTHROPIC_DEFAULT_HAIKU_MODEL": "qwen3.5-9b-claude-4.6-opus-reasoning-distilled",
    "ANTHROPIC_DEFAULT_OPUS_MODEL": "qwen3.5-9b-claude-4.6-opus-reasoning-distilled",
    "ANTHROPIC_DEFAULT_SONNET_MODEL": "qwen3.5-9b-claude-4.6-opus-reasoning-distilled",
    "ANTHROPIC_MODEL": "qwen3.5-9b-claude-4.6-opus-reasoning-distilled"

本地蒸餾模型驅(qū)動(dòng) Claude Code，白嫖到底，就問你香不香。

工具調(diào)用能力

請(qǐng)?jiān)诋?dāng)前目錄下創(chuàng)建一個(gè)名為 debug_test.py 的 Python 腳本，代碼內(nèi)容是計(jì)算 1 到 10
的平均值，但請(qǐng)?jiān)诖a中故意留下一個(gè)邏輯錯(cuò)誤（比如除以 或者變量名寫錯(cuò)）。接著運(yùn)行這個(gè)腳本，捕獲錯(cuò)誤日志，分析原因并自動(dòng)修復(fù)它，最后再次運(yùn)行以確保輸出正確的平均值

結(jié)果write_file、run_shell_command、read_file、write_file、run_shell_command一路下來都是 ok 的

能不能干點(diǎn)稍微重點(diǎn)的活兒呢？

有點(diǎn)難，比如查找 skills 調(diào)用 skills

看起來是瞎編的

本地有的 他也要 web search

除非你特殊強(qiáng)調(diào)

它很慢，又特別能思考，我實(shí)在沒有精力等下去了，一下午荒廢了。。。

算是幫大家踩過了，看的腦仁疼

總結(jié)

可以玩玩，但是能力有限，需要?jiǎng)谛馁M(fèi)神

或許 27B 會(huì)好很多，至少評(píng)論區(qū)這么說

再挖個(gè)坑吧

-Opus .5

制作不易，如果這篇文章覺得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見！