新智元報道

編輯：桃子

【新智元導(dǎo)讀】Transformer統(tǒng)治地位懸了！一款SubQ模型帶著SAA架構(gòu)橫空出世，1200萬上下文成本僅Opus的5%，計算量暴減千倍。

Transformer，王座不保？！

今天，一款A(yù)I模型SubQ橫空出世，震撼了全世界。

這是全球首個基于完全亞二次方稀疏注意力架構(gòu)（SSA）的模型，上下文高達1200萬Token。

SubQ的核心優(yōu)勢在于，其SSA架構(gòu)會根據(jù)內(nèi)容「動態(tài)選擇」關(guān)注點，不會盲目計算所有Token間的關(guān)聯(lián)。

相較于Transformer，它的計算量直接暴減1000倍。

實驗結(jié)果顯示，100萬token上下文，SubQ要比FlashAttention快52倍，成本不到Claude Opus的5%。

而打造出這款架構(gòu)的背后這家公司，叫Subquadratic，坐標(biāo)邁阿密，全公司僅13人。

AI大佬Bindu Reddy辣評道，「若這一切都是真的，Anthropic和OpenAI的估值直接歸0」！

還有人表示，這才是LLM接下來真正Scaling的方式。

Transformer「原罪」，九年未解

2017年，谷歌那篇「Attention is All You Need」奠定了Transformer架構(gòu)的統(tǒng)治地位。

此后九年，從GPT到Claude到Gemini，所有前沿大模型都建立在同一個基礎(chǔ)上：密集注意力機制。

長期以來，Transformer的工作方式非常暴力，即每個token都要和序列中所有其他token做一次比較。

這種機制讓它深陷「二次方復(fù)雜度」的泥潭，上下文每增加一倍，計算成本飆升四倍。

這意味著，輸入越長，模型越貴、越慢、越容易崩。

這就解釋了幾乎所有LLM的上下文卡在100萬token左右，不是技術(shù)做不到更長，是做到了也用不起。

這一次，SubQ的誕生，從根本上改變了這個等式。

SSA架構(gòu)出世

不要「更快」只要「更少」

SubQ的核心突破叫做SSA——亞二次方稀疏注意力（Subquadratic Sparse Attention）。

它的思路出奇地簡單，不再讓每個token和所有token做比較。

既然訓(xùn)練好的模型中，絕大多數(shù)注意力權(quán)重都接近零0，那為什么還要算它們？

SSA的做法是，對每一個query，基于「內(nèi)容」選擇序列中真正值得關(guān)注的位置，然后只在這些位置上精確計算注意力。

它只計算那些真正有意義的交互，跳過其余99%以上的無用計算。

以下是SSA的三大關(guān)鍵特性——

• 線性擴展

計算量隨選中的位置數(shù)量增長，而不是隨整個序列長度增長。上下文翻倍，成本只翻倍，不再是翻四倍。

• 內(nèi)容依賴路由

模型根據(jù)語義決定看哪里，而不是根據(jù)位置。關(guān)鍵信息在序列第3個token還是第1100萬個token，都能被找到。

• 精確檢索

不像循環(huán)模型那樣把信息壓縮成固定狀態(tài)，SSA保留了從任意位置精確取回信息的能力。

說白了，SSA不是「把密集注意力算得更快」，而是「讓模型做更少的注意力計算」。

減少的計算量，直接轉(zhuǎn)化為速度。

速度狂飆52.5倍，成本不到Opus 5%

SubQ放出的數(shù)據(jù)，每一條都在暴擊：

在100萬token長度上，SSA比標(biāo)準密集注意力+FlashAttention-2快52.2倍。

在12.8萬token上快7.2倍，25.6萬token快13.2倍，51.2萬token快23倍。

顯而易見，上下文越長，優(yōu)勢越碾壓。

這正是SSA線性擴展的直接體現(xiàn)——密集注意力越長越慢，SSA越長越劃算。

再來看算力消耗，在100萬token下，注意力FLOP減少了62.5倍。在1200萬token下，這個數(shù)字飆升到接近1000倍。

至于成本，Subquadratic給了一個非常直觀的對比——

在RULER 128K基準測試上，SubQ花費8美元，Opus為2600美元，直接拉出了300倍的成本差距。

最關(guān)鍵的是，這些速度和成本優(yōu)勢，并沒有以犧牲準確率為代價。

RULER 128K基準測試： SubQ拿下95%，Opus 4.6是94.8%；

SWE-Bench Verified（代碼工程）： SubQ得分81.8，超過Opus 4.6的80.8。

MRCR v2（長上下文檢索）： SubQ拿到65.9%，雖然低于Opus 4.6的78%，但遠超GPT 5.4（39%）和Gemini 3.1 Pro（23%）。

這組數(shù)字放在一起看，細思極恐——

一家種子輪公司，用不到Opus 5%的成本，在多項核心基準測試上打平甚至超過了Anthropic和OpenAI的旗艦?zāi)Ｐ汀?/p>

一個提示詞，SubQ即可處理1200萬Token的超長信息：

無論是整個代碼庫、數(shù)月的 PR 記錄，還是長期運行的 AI 智能體狀態(tài)，全都游刃有余，而且成本僅需原來的五分之一。

不得不說，若這一切成真，這將是Transformer問世以來最重要的架構(gòu)級突破。

13人初創(chuàng)公司，要顛覆Transformer

Subquadratic成立于2024年，拿下2900萬美元種子輪，估值5億美元。

它有兩位聯(lián)合創(chuàng)始人：CEO Justin Dangel，CTO Alexander Whedon。

研究團隊11人，全部是博士，來自Meta、谷歌、牛津大學(xué)、劍橋大學(xué)、Adobe。

值得一提的是，這家公司之前叫Aldea，做的是語音模型，后來轉(zhuǎn)型到了注意力架構(gòu)研究。

這一次，產(chǎn)品線三條同時上線：

• SubQ API：12M token全量上下文接口

• SubQ Code：命令行編碼Agent，整個代碼庫一次性塞進去

• SubQ Search：深度研究工具，初期免費

全網(wǎng)炸鍋：是終結(jié)者，還是AI版Theranos？

SubQ發(fā)布后數(shù)小時內(nèi)，AI社區(qū)就分裂成了兩個陣營。

AI大佬Dan McAteer一句話，概括了所有人的心態(tài)：

SubQ要么是Transformer以來最大的突破……

要么就是AI界的Theranos。

支持者一方陣容不小。

有人表示，這是2026年最瘋狂的AI發(fā)布之一。

Subquadratic可能找到了奧特曼所言的另一個架構(gòu)的重大突破。

但懷疑派也毫不留情，有人直言這就是一個「騙子公司」，尤其是看完創(chuàng)始人領(lǐng)英介紹后。

OpenAI前研究員Will Depue更是連發(fā)多條，第一時間指出，「SubQ幾乎可以確定是基于Kimi或DeepSeek的稀疏注意力微調(diào)」。

AI圈見過太多「發(fā)布即巔峰」的故事，發(fā)布會上的PPT和真實世界的部署之間，隔著一整條死亡谷。

但話說回來，也正因為這個賭注太大，整個行業(yè)才不敢不認真對待。

答案，也許只有等技術(shù)報告公開、獨立benchmark復(fù)現(xiàn)之后，才會真正揭曉。

參考資料：

https://x.com/alex_whedon/status/2051663268704636937?s=20

https://subq.ai/how-ssa-makes-long-context-practical

https://x.com/daniel_mac8/status/2051710659822305661?s=20