這個春節(jié)，有個叫Taalas的芯片新公司橫空出世，它干了一件讓英偉達震驚的事情：

直接把大模型裝在芯片面上。。。

這樣什么內存帶寬限制之類都不存在了。。。

而且性能非?？鋸垼?/p>

在這塊專用芯片上跑Llama 3.1，速度能達到17000 token/秒。。。

英偉達最強的H200大概230 token/秒。。。

英偉達超級大芯片B200也就2000 token/秒。。。

這個差距不是一點半點，是直接降維打擊。。

想體驗可以到這里：chatjimmy.ai

我試了一下，感受到快、非?？?、恐怖的快。。。不亞于第一次使用ChatGPT的震撼

按照現在發(fā)展速度，很快實現22,000 tokens/s，意味著AI的反應速度已經超過了人類神經的傳導速度。

我總結它的優(yōu)點：

跑得賊快，比英偉達最牛的芯片快50倍

便宜到離譜，成本只有英偉達的二十分之一

省電省到能直接用風扇吹，不用上水冷

連軟件都省了，不用寫那些復雜的代碼

當然缺點也很大：

每次升級都得換硬件。。。。

打個比方，傳統GPU像是任天堂Switch游戲機，卡槽一插，想玩《塞爾達》玩《塞爾達》，想玩《馬里奧》玩《馬里奧》，換游戲只需要換卡帶。

Taalas相當于直接把《塞爾達》這部游戲燒死在主板上。想玩《馬里奧》？沒法下載，也沒法插卡，只能把整臺機器扔掉，買一臺出廠就燒好《馬里奧》的新機器。

不管怎么樣，Taalas做的事情具有劃時代的意義。

現在AI的底層幾乎被英偉達鎖死，而Taalas證明了如果愿意放棄通用性，能把成本和功耗打到這個地步，亞馬遜、谷歌、微軟這些每天跑幾億次推理的巨頭能不心動嗎？

英偉達的戰(zhàn)略部門肯定在失眠，這種模型即芯片的思路，是沖著顛覆現有游戲規(guī)則來的。

我往更深一層想了想，這是極大利好軍事、機器人、自動駕駛，前途不可限量。

軍事，只能跑一個模型，聽起來是缺點，但對軍事裝備來說反而是優(yōu)點。因為軍事裝備往往需要固化的、無法被篡改的功能。一旦芯片為某個作戰(zhàn)模型定制，它就變成了一個硬件級的黑盒，無法被外部改寫或注入病毒，安全性極高。

自動駕駛，現在的自動駕駛從看見障礙物到剎車，還得經過“看-想-動”這一圈，再快也有延遲。Taalas這芯片快幾十倍，基本是看見的瞬間就動了，甚至可以做到不聯網條件反射式反應。

機器人，Taalas這顆芯片就是一張王牌炸彈

快速，現在機器狗用在戰(zhàn)場最大問題就是反應慢，這顆芯片的反應速度快到離譜，比GPU快幾十倍，用在機器人身上，延遲概念消失，像膝跳反射一樣，看見就是反應。

可控，芯片只跑一個模型，功能焊死，也不會被外部篡改。用在機器人身上，就意味著它的行為是100%可預測的。說它會干啥，它就只會干啥。這對工業(yè)機器人、自動駕駛、尤其是自主武器來說，簡直是剛需。

便宜，功耗低一個數量級，成本只有別人的二十分之一。這意味著機器人終于不用背個服務器到處跑，也不用花幾百萬才能買得起。當芯片便宜到能當消耗品用，機器人就能真正批量生產、遍地開花。

最后：

Taalas新芯片是一個里程碑事件。即使我們沒有新的革命性計算架構，也不能突破硅芯片制程極限，用類似思路仍然可能把 AI 再往前推進一步。