金絲大環(huán)刀，解剖AI的工程難題。

大模型在推理時(shí)產(chǎn)生的每個(gè) token（詞或子詞）所需的時(shí)間越短，模型的 輸出速度 就越快。

快速的 token 生成直接決定了 響應(yīng)延遲（毫秒級(jí)）和 吞吐量（每秒可生成多少 token）。

實(shí)現(xiàn)高速輸出的關(guān)鍵在于硬件（高算力 GPU/TPU、低延遲網(wǎng)絡(luò)）、模型優(yōu)化（量化、稀疏、Mixture?of?Experts）和高效推理框架（TensorRT、vLLM 等）以及緩存與動(dòng)態(tài)批處理等調(diào)度技術(shù)。

我們來(lái)測(cè)試下同等硬件下，GPT-OSS 20b 和120b 對(duì)比Qwen3 32b的輸出速度

深度測(cè)試

問(wèn)題起源于一個(gè)截圖，說(shuō)GPT-OSS 20b輸出速度達(dá)到驚人的6000 token/s

環(huán)境：截圖中說(shuō)的groq平臺(tái) https://groq.com/

測(cè)試問(wèn)題

1 如何寫個(gè)agent去實(shí)現(xiàn)coding，利用ddd思想的相關(guān)mcp tools和function call

2 比做AI workflow更可靠嗎？?jī)?yōu)勢(shì)和劣勢(shì)是什么？

gpt-oss 20b

qwen3 32b

gpt-oss 120b

多測(cè)試一個(gè)問(wèn)題給 gpt-oss

寫一篇1萬(wàn)字的長(zhǎng)篇小說(shuō)，講一個(gè)傳統(tǒng)后端程序員，在2025年受到AI沖擊，經(jīng)歷長(zhǎng)達(dá)3年的轉(zhuǎn)型期，終于成為AI程序員的故事

我調(diào)整了推理等級(jí)，選low的時(shí)候也沒(méi)有什么太大提升

結(jié)論

gpt-oss 20b 比qwen3 32b 快4倍，大約1200 tokens/s，速度非常快，甚至gpt-oss 120b也比qwen快。但沒(méi)有達(dá)到 6000 tokens/s的速度。

GPT?OSS 的強(qiáng)勁源自：

1 海量、干凈的預(yù)訓(xùn)練語(yǔ)料， 產(chǎn)生 豐富的知識(shí)表征；

2 規(guī)?；?、混合精度+并行訓(xùn)練，十億級(jí)參數(shù)；

3 高效實(shí)現(xiàn) + 優(yōu)化 ，結(jié)果就是Token 速度快、內(nèi)存節(jié)?。?/p>

在聊天機(jī)器人、實(shí)時(shí)搜索、智能客服等交互式場(chǎng)景，用戶只需要幾百毫秒甚至更少的等待時(shí)間即可得到答案，極大提升用戶滿意度。

在批量數(shù)據(jù)處理、日志分析等后端任務(wù)時(shí)，系統(tǒng)同樣能在相同算力下完成更多工作，顯著降低成本和能耗。

token 速度快＝低延遲、高吞吐，對(duì)提升產(chǎn)品體驗(yàn)、提升業(yè)務(wù)效率、降低運(yùn)營(yíng)成本以及實(shí)現(xiàn)實(shí)時(shí)安全審查都具有重要意義。GPT-OSS確實(shí)未來(lái)可期！

回復(fù)【GPT】，一起評(píng)測(cè)研究GPT-OSS。下一篇我詳細(xì)講一講 AI工作流為什么會(huì)比 智能體工作流落后，給大家一些轉(zhuǎn)型和學(xué)習(xí)的思路。

我是刀哥，大廠架構(gòu)師，出海創(chuàng)業(yè)者，深入研究AI工具和AI編程。關(guān)注我，了解更多AI知識(shí)！