這個(gè)春節(jié)，有個(gè)叫Taalas的芯片新公司橫空出世，它干了一件讓英偉達(dá)震驚的事情：

直接把大模型裝在芯片面上。。。

這樣什么內(nèi)存帶寬限制之類都不存在了。。。

而且性能非?？鋸垼?/p>

在這塊專用芯片上跑Llama 3.1，速度能達(dá)到17000 token/秒。。。

英偉達(dá)最強(qiáng)的H200大概230 token/秒。。。

英偉達(dá)超級大芯片B200也就2000 token/秒。。。

這個(gè)差距不是一點(diǎn)半點(diǎn)，是直接降維打擊。。

想體驗(yàn)可以到這里：chatjimmy.ai

我試了一下，感受到快、非?？?、恐怖的快。。。不亞于第一次使用ChatGPT的震撼

按照現(xiàn)在發(fā)展速度，很快實(shí)現(xiàn)22,000 tokens/s，意味著AI的反應(yīng)速度已經(jīng)超過了人類神經(jīng)的傳導(dǎo)速度。

我總結(jié)它的優(yōu)點(diǎn)：

跑得賊快，比英偉達(dá)最牛的芯片快50倍

便宜到離譜，成本只有英偉達(dá)的二十分之一

省電省到能直接用風(fēng)扇吹，不用上水冷

連軟件都省了，不用寫那些復(fù)雜的代碼

當(dāng)然缺點(diǎn)也很大：

每次升級都得換硬件。。。。

打個(gè)比方，傳統(tǒng)GPU像是任天堂Switch游戲機(jī)，卡槽一插，想玩《塞爾達(dá)》玩《塞爾達(dá)》，想玩《馬里奧》玩《馬里奧》，換游戲只需要換卡帶。

Taalas相當(dāng)于直接把《塞爾達(dá)》這部游戲燒死在主板上。想玩《馬里奧》？沒法下載，也沒法插卡，只能把整臺機(jī)器扔掉，買一臺出廠就燒好《馬里奧》的新機(jī)器。

不管怎么樣，Taalas做的事情具有劃時(shí)代的意義。

現(xiàn)在AI的底層幾乎被英偉達(dá)鎖死，而Taalas證明了如果愿意放棄通用性，能把成本和功耗打到這個(gè)地步，亞馬遜、谷歌、微軟這些每天跑幾億次推理的巨頭能不心動嗎？

英偉達(dá)的戰(zhàn)略部門肯定在失眠，這種模型即芯片的思路，是沖著顛覆現(xiàn)有游戲規(guī)則來的。

我往更深一層想了想，這是極大利好軍事、機(jī)器人、自動駕駛，前途不可限量。

軍事，只能跑一個(gè)模型，聽起來是缺點(diǎn)，但對軍事裝備來說反而是優(yōu)點(diǎn)。因?yàn)檐娛卵b備往往需要固化的、無法被篡改的功能。一旦芯片為某個(gè)作戰(zhàn)模型定制，它就變成了一個(gè)硬件級的黑盒，無法被外部改寫或注入病毒，安全性極高。

自動駕駛，現(xiàn)在的自動駕駛從看見障礙物到剎車，還得經(jīng)過“看-想-動”這一圈，再快也有延遲。Taalas這芯片快幾十倍，基本是看見的瞬間就動了，甚至可以做到不聯(lián)網(wǎng)條件反射式反應(yīng)。

機(jī)器人，Taalas這顆芯片就是一張王牌炸彈

快速，現(xiàn)在機(jī)器狗用在戰(zhàn)場最大問題就是反應(yīng)慢，這顆芯片的反應(yīng)速度快到離譜，比GPU快幾十倍，用在機(jī)器人身上，延遲概念消失，像膝跳反射一樣，看見就是反應(yīng)。

可控，芯片只跑一個(gè)模型，功能焊死，也不會被外部篡改。用在機(jī)器人身上，就意味著它的行為是100%可預(yù)測的。說它會干啥，它就只會干啥。這對工業(yè)機(jī)器人、自動駕駛、尤其是自主武器來說，簡直是剛需。

便宜，功耗低一個(gè)數(shù)量級，成本只有別人的二十分之一。這意味著機(jī)器人終于不用背個(gè)服務(wù)器到處跑，也不用花幾百萬才能買得起。當(dāng)芯片便宜到能當(dāng)消耗品用，機(jī)器人就能真正批量生產(chǎn)、遍地開花。

最后：

Taalas新芯片是一個(gè)里程碑事件。即使我們沒有新的革命性計(jì)算架構(gòu)，也不能突破硅芯片制程極限，用類似思路仍然可能把 AI 再往前推進(jìn)一步。