国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Claude-Opus-4.6 蒸餾 Qwen3.5 V2 來了

0
分享至

大家好,我是Ai學(xué)習(xí)的老章

Claude-Opus-4.6 蒸餾 Qwen3.5 我一直很關(guān)注:


現(xiàn)在 v2 來了,這次的升級(jí)重點(diǎn)不是"更準(zhǔn)",而是"更快更省"——同樣的準(zhǔn)確率,思維鏈縮短了 24%,每個(gè) Token 產(chǎn)出的正確答案多了 31.6%。


部署條件沒變,Qwen3.5-27B 4bit 單張 4090 即可本地跑起


v2 到底改了啥?

先看核心數(shù)據(jù):

指標(biāo)

v1

v2

變化

HumanEval pass@1

96.95%

96.91%

基本持平

思維鏈長(zhǎng)度

基準(zhǔn)

縮短 ~24%

顯著減少

每 Token 正確率

基準(zhǔn)

+31.6%

大幅提升

HumanEval+

基準(zhǔn)

-1.24%

微降

MMLU-Pro

基準(zhǔn)

-7.2%

有所下降

簡(jiǎn)單說就是:代碼能力幾乎沒掉,但思考效率提升了三成

這意味著什么?同樣一道編程題,v2 想的更少、答得更快,但正確率一樣。對(duì)于跑本地模型的人來說,生成速度本來就是瓶頸,少生成 24% 的 Token 就等于快了 24%——還不用加任何硬件。




怎么做到的?

v2 的訓(xùn)練數(shù)據(jù)是關(guān)鍵。作者 Jackrong 用了14,000 條 Claude 4.6 Opus 風(fēng)格的通用推理樣本,注意是"通用推理"——數(shù)學(xué)題、邏輯推理、文字題,不是代碼題。

這個(gè)設(shè)計(jì)思路很有意思:不針對(duì)代碼刷分,而是讓模型學(xué)會(huì)一種更高效的"思考腳手架"。結(jié)果在 HumanEval(代碼測(cè)試)上照樣拿了 96.91%,說明底層推理能力的提升是可以跨任務(wù)遷移的。

具體來說,v2 學(xué)到的推理模式長(zhǎng)這樣:

Let me analyze this request carefully:


1. Identify the core objective of the problem.
2. Break the task into clearly defined subcomponents.
3. Evaluate constraints and edge cases.
4. Formulate a step-by-step solution plan.
5. Execute the reasoning sequentially and verify consistency.

對(duì)比 v1 的長(zhǎng)篇大論式思考,v2 更像一個(gè)有經(jīng)驗(yàn)的工程師——先列大綱再下手,不會(huì)在簡(jiǎn)單問題上反復(fù)糾結(jié)。這就是 Claude Opus 的推理風(fēng)格:結(jié)構(gòu)化、有條理、不廢話。


訓(xùn)練細(xì)節(jié)

技術(shù)棧和 v1 一脈相承:

  • 基座模型:Qwen3.5-27B

  • 訓(xùn)練框架:Unsloth + LoRA SFT

  • 訓(xùn)練方式:Response-Only Training,只對(duì) assistant 的思考部分做監(jiān)督

  • 數(shù)據(jù)量:~14,000 條篩選后的高質(zhì)量推理軌跡

Base Model (Qwen3.5-27B)


Qwen3.5-27B fine-tuned with Unsloth


Supervised Fine-Tuning (SFT) + LoRA
(Response-Only Training masked on "<|im_start|>assistant\n " )


Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2

數(shù)據(jù)來源包括幾個(gè)公開的 Claude 4.6 Opus 蒸餾數(shù)據(jù)集:

數(shù)據(jù)集

用途

Opus-4.6-Reasoning-3000x-filtered

Claude 4.6 Opus 推理軌跡

claude-opus-4.6-10000x

大規(guī)模通用推理遷移

claude-4.5-opus-high-reasoning-250x

高強(qiáng)度結(jié)構(gòu)化推理

Qwen3.5-reasoning-700x

補(bǔ)充多樣性推理樣本


代價(jià)是什么?

說完優(yōu)點(diǎn),也得說缺點(diǎn)。

v2 在 **MMLU-Pro 上掉了 7.2%**,也就是通用知識(shí)推理能力有所下降。Jackrong也很坦誠(chéng)地說了,由于 SFT 數(shù)據(jù)主要是通用推理類,對(duì)長(zhǎng)上下文理解和復(fù)雜多步推理場(chǎng)景可能不如原版 Qwen3.5。

我的理解是:這是一個(gè)典型的"專精 vs 通用"的權(quán)衡。如果你主要用來寫代碼、做邏輯推理、解數(shù)學(xué)題,v2 毫無疑問更好——又快又準(zhǔn)。但如果你需要一個(gè)什么都能聊的通用模型,原版 Qwen3.5 或者 v1 可能更穩(wěn)。


怎么跑?

跟之前一樣,GGUF 格式直接用 LM Studio、llama.cpp、Ollama 這些工具跑就行。HuggingFace 上提供了多種量化版本:

模型地址:Jackrong/Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-GGUF

之前我用 4090 跑 v1 的 27B 能到 46 Token/s,v2 思維鏈短了 24%,等效推理速度還能再快不少。

總結(jié)

v2 的核心價(jià)值就一句話:用更少的 Token 辦同樣的事。

  • 代碼準(zhǔn)確率不掉:HumanEval 96.91%

  • 思維鏈縮短 24%:生成更快,成本更低

  • 每 Token 正確率 +31.6%:推理效率質(zhì)的飛躍

  • 代價(jià):通用知識(shí)推理(MMLU-Pro)下降 7.2%

對(duì)于本地部署場(chǎng)景,這種"推理效率優(yōu)化"比單純提升準(zhǔn)確率更有實(shí)際價(jià)值——畢竟我們的瓶頸往往不是模型不夠聰明,而是它想得太慢。

.5

制作不易,如果這篇文章覺得對(duì)你有用,可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊:點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè),謝謝你看我的文章,我們下篇再見!

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
伊朗宣布對(duì)所有商船開放霍爾木茲海峽,美維持對(duì)伊海上封鎖,伊朗議長(zhǎng):特朗普7項(xiàng)聲明“均不屬實(shí)”

伊朗宣布對(duì)所有商船開放霍爾木茲海峽,美維持對(duì)伊海上封鎖,伊朗議長(zhǎng):特朗普7項(xiàng)聲明“均不屬實(shí)”

縱相新聞
2026-04-18 12:36:03
突然“值錢了”!不少人家里都有,專家提醒:別賣!

突然“值錢了”!不少人家里都有,專家提醒:別賣!

劉哥談體育
2026-04-19 21:40:06
王偉中對(duì)俄羅斯后貝加爾邊疆區(qū)交通事故作出批示

王偉中對(duì)俄羅斯后貝加爾邊疆區(qū)交通事故作出批示

澎湃新聞
2026-04-19 13:55:05
不裝了賴清德、馬英九暴露真面目!國(guó)民黨發(fā)甲級(jí)動(dòng)員,想決一死戰(zhàn)

不裝了賴清德、馬英九暴露真面目!國(guó)民黨發(fā)甲級(jí)動(dòng)員,想決一死戰(zhàn)

青梅侃史啊
2026-04-19 19:17:48
中小學(xué)生上課時(shí)間大調(diào)整:9點(diǎn)上課或成新規(guī),周六上課引家長(zhǎng)熱議

中小學(xué)生上課時(shí)間大調(diào)整:9點(diǎn)上課或成新規(guī),周六上課引家長(zhǎng)熱議

復(fù)轉(zhuǎn)這些年
2026-04-18 12:47:43
美國(guó)全世界逛一圈才發(fā)現(xiàn),自己扶持所有小弟里,最能打的還是老蔣

美國(guó)全世界逛一圈才發(fā)現(xiàn),自己扶持所有小弟里,最能打的還是老蔣

呼呼體壇
2026-04-19 18:26:54
局勢(shì)生變,全球接到消息,美軍全部撤離,所有軍事基地被敘國(guó)接管

局勢(shì)生變,全球接到消息,美軍全部撤離,所有軍事基地被敘國(guó)接管

聞識(shí)
2026-04-19 21:08:29
美國(guó)證實(shí)!伊朗最高領(lǐng)袖“已受傷但仍活著”,伊朗方面此前稱穆杰塔巴·哈梅內(nèi)伊身體健康 ,但因戰(zhàn)爭(zhēng)推遲公開露面

美國(guó)證實(shí)!伊朗最高領(lǐng)袖“已受傷但仍活著”,伊朗方面此前稱穆杰塔巴·哈梅內(nèi)伊身體健康 ,但因戰(zhàn)爭(zhēng)推遲公開露面

每日經(jīng)濟(jì)新聞
2026-04-16 23:06:57
曼城羅德里傷病令人擔(dān)憂,瓜迪奧拉給出更新

曼城羅德里傷病令人擔(dān)憂,瓜迪奧拉給出更新

綠茵情報(bào)局
2026-04-20 04:22:15
研究表明,中學(xué)生的抑郁率已高達(dá)36%!

研究表明,中學(xué)生的抑郁率已高達(dá)36%!

黯泉
2026-04-18 18:06:01
《八千里路云和月》朱管家想不到,算計(jì)田家泰家業(yè),卻成全了萬福

《八千里路云和月》朱管家想不到,算計(jì)田家泰家業(yè),卻成全了萬福

白淺娛樂聊
2026-04-19 12:37:15
難怪能成為大明星,小時(shí)候居然這么漂亮!大家看出來她是誰了嗎?

難怪能成為大明星,小時(shí)候居然這么漂亮!大家看出來她是誰了嗎?

阿廢冷眼觀察所
2026-04-19 22:13:42
國(guó)產(chǎn)光纖全球“爆單”:部分產(chǎn)品價(jià)格暴漲650%

國(guó)產(chǎn)光纖全球“爆單”:部分產(chǎn)品價(jià)格暴漲650%

環(huán)球網(wǎng)資訊
2026-04-19 11:16:14
身材纖細(xì)、體態(tài)修長(zhǎng)的日本業(yè)界骨感美人·TOP10

身材纖細(xì)、體態(tài)修長(zhǎng)的日本業(yè)界骨感美人·TOP10

吃瓜黨二號(hào)頭目
2026-04-19 09:58:57
神替補(bǔ)!桑喬兩次送禮,鴨脖救主,維拉先被絕平又反絕殺,太刺激

神替補(bǔ)!桑喬兩次送禮,鴨脖救主,維拉先被絕平又反絕殺,太刺激

硬腿子聊個(gè)球
2026-04-19 22:58:51
真給力!5月1日起,65歲老人坐公交全省都免費(fèi) 福建老人幸福感拉滿

真給力!5月1日起,65歲老人坐公交全省都免費(fèi) 福建老人幸福感拉滿

今日搞笑分享
2026-04-19 16:37:15
第一次對(duì)「鋁箔紙」產(chǎn)生了敬意!以為烘焙專用,沒想到是家居神器

第一次對(duì)「鋁箔紙」產(chǎn)生了敬意!以為烘焙專用,沒想到是家居神器

裝修秀
2026-04-18 11:55:03
莫蘭特灰熊時(shí)代終章:從天之驕子到無人問津的墜落

莫蘭特灰熊時(shí)代終章:從天之驕子到無人問津的墜落

漫川舟船
2026-04-19 15:03:30
打蛇打七寸!中國(guó)全面斷供開始,日本多行業(yè)停擺,高市真慌了

打蛇打七寸!中國(guó)全面斷供開始,日本多行業(yè)停擺,高市真慌了

有你便是晴天呢
2026-04-19 09:27:13
吃相太難看!莫氏雞煲爆火后,惡心一幕出現(xiàn),終走上呆呆妹的老路

吃相太難看!莫氏雞煲爆火后,惡心一幕出現(xiàn),終走上呆呆妹的老路

以茶帶書
2026-04-15 17:30:12
2026-04-20 07:12:49
Ai學(xué)習(xí)的老章 incentive-icons
Ai學(xué)習(xí)的老章
Ai學(xué)習(xí)的老章
3334文章數(shù) 11137關(guān)注度
往期回顧 全部

科技要聞

50分26秒破人類紀(jì)錄!300臺(tái)機(jī)器人狂飆半馬

頭條要聞

半年下沉22厘米 女子家中坐擁價(jià)值上億別墅卻沒法住人

頭條要聞

半年下沉22厘米 女子家中坐擁價(jià)值上億別墅卻沒法住人

體育要聞

湖人1比0火箭:老詹比烏度卡像教練

娛樂要聞

何潤(rùn)東漲粉百萬!內(nèi)娛隔空掀桌第一人

財(cái)經(jīng)要聞

華誼兄弟,8年虧光85億

汽車要聞

29分鐘大定破萬 極氪8X為什么這么多人買?

態(tài)度原創(chuàng)

家居
時(shí)尚
房產(chǎn)
旅游
本地

家居要聞

法式線條 時(shí)光靜淌

裝修“精神角落”,就是這么上癮

房產(chǎn)要聞

官宣簽約最強(qiáng)城更!??跇鞘?,突然殺入神秘房企!

旅游要聞

小浪底庫區(qū)南北兩岸游線通航

本地新聞

12噸巧克力有難,全網(wǎng)化身超級(jí)偵探添亂

無障礙瀏覽 進(jìn)入關(guān)懷版