圖片來自Taalas官網(wǎng)

打著“顛覆英偉達(dá)”的旗號(hào)的公司，總是會(huì)接二連三涌現(xiàn)。

最近，一家來自加拿大多倫多的芯片“小廠”Taalas引起了AI圈關(guān)注。有聲音認(rèn)為，它很可能撬動(dòng)英偉達(dá)主宰了多年的AI芯片市場。

當(dāng)?shù)貢r(shí)間2月20日，成立于2023年的初創(chuàng)公司Taalas發(fā)布了首款產(chǎn)品Taalas HC1芯片，專為Llama 3.1 8B模型優(yōu)化，采用30芯片集群時(shí)實(shí)現(xiàn)每秒12000 tokens的推理速度，較傳統(tǒng)GPU方案提升50倍能效。

Taalas稱，公司通過結(jié)構(gòu)化ASIC技術(shù)將芯片定制周期縮短至兩個(gè)月，已累計(jì)融資2.19億美元。24名敬業(yè)的員工的努力，投入3000萬美元，打造出了這款擁有“極致的專業(yè)化、速度和能源效率”的產(chǎn)品。

Taalas創(chuàng)始人兼CEO是曾任AMD架構(gòu)師的業(yè)界傳奇人物柳比沙·巴伊奇（Ljubi?a Baji?）。

在公司官網(wǎng)的介紹文章中，巴伊奇稱，這款芯片選擇了Meta公司2024年7月推出的開源大模型Llama 3.1 8B作為運(yùn)行平臺(tái)，峰值推理速度接近17000 tokens/秒，比目前市場中最先進(jìn)的技術(shù)快近10倍，構(gòu)建成本降低到原來的1/20，功耗降低至原來的1/10。

截圖來自社交平臺(tái)X

巴伊奇給出了一組測試數(shù)據(jù)，Taalas自己在Llama 3.1 8B上測試了英偉達(dá)的主力產(chǎn)品H200和B200，結(jié)果為230 tokens/秒和353 tokens/秒，而Taalas的HC1性能是它們的48倍。

此前這一數(shù)據(jù)，是由獨(dú)立分析平臺(tái)Artificial Analysis測出的最高值，來自剛剛完成H輪融資、估值230億美元的Cerebras，為1981 tokens/秒，也僅為HC1的11%。

在實(shí)測演示中，大模型對用戶問題的詳細(xì)解答，達(dá)到甚至超越了“秒回”的水平。

不過，AI在大量回復(fù)的一瞬間，人類對話者也產(chǎn)生了撲面而來的壓迫感。

圖片來自Taalas官網(wǎng)

這一堪稱“突破極限”的表現(xiàn)，果不其然引起了大量的討論。大呼“顛覆將至”者有之，質(zhì)疑其言過其實(shí)、過度營銷者亦有之。

令我們好奇的是，在喧囂背后，Taalas的技術(shù)和產(chǎn)品究竟有何特殊之處？又是否當(dāng)?shù)闷鹌渥苑Q的“世界上速度最快、成本和功耗最低的推理平臺(tái)”呢？

將模型直接“刻”在芯片上

在研究了其首款產(chǎn)品HC1的相關(guān)公開信息之后，我們發(fā)現(xiàn)，Taalas的技術(shù)路線，與目前市場主流的ASIC路線相比，極具顛覆性，堪稱“邪修版”ASIC。

與英偉達(dá)和AMD代表的業(yè)界主流GPU通用計(jì)算技術(shù)路線不同，Taalas更接近ASIC（專用集成電路）路線。

這一技術(shù)路線通過為特定應(yīng)用場景定制硬件設(shè)計(jì)，以追求極致能效和成本效益。雖然它的適用性、功能豐富度、可互換性，遠(yuǎn)低于能覆蓋多場景的GPU，但自去年以來，以谷歌TPU為首，ASIC技術(shù)擁有成本（TCO）低、打造大模型能力毫不遜色等特點(diǎn)，得到了市場認(rèn)可，出貨量大幅提升。

野村證券預(yù)測，2026年，ASIC芯片的總出貨量可能會(huì)首次超過GPU。而在GPU市場處于兩巨頭壟斷的情況下，大多數(shù)芯片初創(chuàng)也都選擇了ASIC路線，包括市場知名度較高的Cerebras、SambaNova，以及，此前剛剛被英偉達(dá)將核心團(tuán)隊(duì)納入囊中的Groq。

巴伊奇在AMD和英偉達(dá)都有任職經(jīng)歷，之前還創(chuàng)立了一家專注于AI芯片研發(fā)的獨(dú)角獸Tenstorrent公司。Tenstorrent通過開源RISC-V架構(gòu)和軟硬件協(xié)同設(shè)計(jì)，降低AI計(jì)算成本。

而“挑戰(zhàn)英偉達(dá)壟斷地位”，一直是巴伊奇所宣揚(yáng)的核心理念，也是Tenstorrent公司備受關(guān)注的“招牌”標(biāo)簽。

不過，英偉達(dá)的發(fā)展，要遠(yuǎn)好于AMD及各類AI芯片初創(chuàng)公司，巴伊奇也在探索中有了更“極端”的設(shè)想。

2022年至2023年間，巴伊奇逐漸脫離了此前工作，開始籌劃創(chuàng)辦Taalas。他與他的妻子、曾在AMD任系統(tǒng)工程高級(jí)經(jīng)理萊拉·巴伊奇（Lejla Bajic），以及，曾任AMD高級(jí)設(shè)計(jì)工程師并在Tenstorrent擔(dān)任過ASIC設(shè)計(jì)總監(jiān)的德拉貢·伊格納托維奇（Drago Ignjatovic）成為了Taalas聯(lián)合創(chuàng)始人。

Taalas公司20余人的核心工程師團(tuán)隊(duì)，多數(shù)來自AMD、蘋果、谷歌、英偉達(dá)和TensorRent。

2024年，Taalas公司完成5000萬美元的首輪融資，并正式出現(xiàn)在公眾視野。

巴伊奇強(qiáng)調(diào)，Taalas致力于解決AI發(fā)展面臨的兩大障礙——“高延遲”和“天文數(shù)字般的算力成本”，并提出“單芯片性能超越小型GPU數(shù)據(jù)中心”這一極具野心，甚至顯得有些“狂妄”的目標(biāo)。

資本市場為巴伊奇的野心投票。截至目前，Taalas目前已完成三輪融資，總額超過2億美元。

Taalas奉行“The Model is The Computer”（這句話也是公司的slogan），可以理解為，將傳統(tǒng)“在計(jì)算設(shè)備上運(yùn)行模型”的范式，轉(zhuǎn)變?yōu)椤澳Ｐ捅旧沓蔀橛?jì)算設(shè)備”。

技術(shù)實(shí)現(xiàn)路徑上，Taalas提出“無需軟件，直接將模型刻在芯片上”，這與傳統(tǒng)的ASIC芯片仍需使用軟件，通過編譯過程將軟件代碼轉(zhuǎn)化為芯片指令不同。

Taalas通過EDA（電子設(shè)計(jì)自動(dòng)化）流程，將特定大模型直接轉(zhuǎn)化為定制芯片。

也就是說，每款使用Taalas的大模型，都會(huì)擁有專屬于自身的定制芯片，實(shí)現(xiàn)巴伊奇所說的“完全專業(yè)化”（Total specialization）。

與此同時(shí)，算力也擺脫了軟件束縛和編譯過程，數(shù)據(jù)幾乎不需要在內(nèi)存和計(jì)算單元之間移動(dòng)，“內(nèi)存墻”由此消失，推理成本隨之大幅降低，推理速度則顯著提升。

截圖來自社交平臺(tái)X

目前來看，Taalas的主要業(yè)務(wù)操作流程也比較簡單。大致是客戶向Taalas提供自身所需的模型，Taalas在一周內(nèi)將其轉(zhuǎn)化為電路設(shè)計(jì)，通過臺(tái)積電代工在兩個(gè)月內(nèi)交付專屬芯片。

可想而知，如果Taalas能為每個(gè)主流模型，都提供出類似HC1在Llama 3.1 8B上那樣的性能飛躍，那么，各大廠商很可能會(huì)對其產(chǎn)品趨之若鶩。

實(shí)際上，包括獨(dú)立人工智能研究員本杰明·馬里（Benjamin Marie）、Devtools創(chuàng)業(yè)顧問肖恩·王（swyx）等產(chǎn)業(yè)界人士和The Next Platform記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）等媒體人士，都已在積極介紹Taalas的新產(chǎn)品，看好其前景者不在少數(shù)。

Taalas的死穴在哪？

不過，在輿論熱度落地到商用市場之前，Taalas還有很多問題需要被看到。

首先，Taalas需要面對的是，其產(chǎn)品能否適用更先進(jìn)、大規(guī)模的模型。

2024年，Meta推出Llama 3.1時(shí)，發(fā)布了8B、70B和405B三種參數(shù)規(guī)模版本，Taalas選用的是最小的8B。

很顯然，在目前大模型進(jìn)化速度極快、規(guī)模越來越大的背景下，Taalas的產(chǎn)品能否匹配，是否面臨明顯“天花板”，都是必須解決的問題。

巴伊奇稱，公司將在今年春季推出一款適用中等規(guī)模推理模型的產(chǎn)品，屆時(shí)表現(xiàn)如何，值得關(guān)注。

與此相關(guān)的，目前測評(píng)體驗(yàn)中，不少質(zhì)疑聲音集中在，Taalas讓本已不算聰明的Llama變得“更笨了”。

一些用戶發(fā)帖稱，HC1“幻覺嚴(yán)重”“答案明顯錯(cuò)誤，質(zhì)量遠(yuǎn)低于同參數(shù)GPU版”，“回答速度快但錯(cuò)得也快”，其實(shí)用性不佳。

截圖來自社交平臺(tái)X

實(shí)際上，對于如何理解Taalas給出的測試數(shù)據(jù)，也有較多質(zhì)疑聲音。

一位關(guān)注芯片產(chǎn)業(yè)的愛好者對作者表示，Taalas相當(dāng)于內(nèi)置了問題的答案，所以，計(jì)算速度“秒殺”英偉達(dá)等一眾業(yè)界翹楚，但是，將”1+1=2”的問題換為“2*2=？”，它的表現(xiàn)可能就會(huì)“掉鏈子”。

Taalas能在極其有限的特定場景下“秒殺英偉達(dá)”，但目前其他英偉達(dá)能做的事，對于Taalas來說可能更難。

更為關(guān)鍵的問題是，Taalas能否跟得上大模型的迭代周期。

一位半導(dǎo)體行業(yè)從業(yè)者對作者表示，Taalas的芯片“表現(xiàn)很牛，但目前可能沒啥大的用處”，因?yàn)榇竽Ｐ瓦€在不停迭代，而Taalas的迭代能力和速度成疑。

該行業(yè)人士認(rèn)為，“要等以后大模型達(dá)到某個(gè)層級(jí)不再大規(guī)模、快速迭代了，這種芯片才能有更大舞臺(tái)”。

而在社交平臺(tái)上的討論中，不少質(zhì)疑集中在HC1“模型鎖定”的“只讀”模式導(dǎo)致的“過時(shí)”和“廢棄”風(fēng)險(xiǎn)，并認(rèn)為這是其商業(yè)化、規(guī)?；闹卮笞璧K。

目前，一款頂尖大模型能保持領(lǐng)先優(yōu)勢的時(shí)間窗口不過月余，而Taalas交付芯片（而非量產(chǎn)）即使已經(jīng)很快，但也需要至少兩個(gè)月。

改寫AI芯片規(guī)則的未來已來

支持HC1進(jìn)步性的聲音也不在少數(shù)。

在知乎的相關(guān)討論中，中國科學(xué)院計(jì)算技術(shù)研究所副研究員趙永威指出，雖然Taalas“目前的狀況還沒有應(yīng)用價(jià)值”，但不妨礙它會(huì)成為“一顆有歷史意義的芯片”。

他認(rèn)為，這種“硬連線”的模式，是未來芯片發(fā)展的一大趨勢，目前的質(zhì)疑由Taalas來扛，后來者在推廣相關(guān)概念時(shí)就會(huì)更加輕松。他也透露，自己所在單位也在研究類似技術(shù)路線，并提到，降低經(jīng)濟(jì)成本，既是相關(guān)路線的研究目標(biāo)，也應(yīng)該是宣傳發(fā)力點(diǎn)所在。

知名科技記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在文章中提到，Taalas確實(shí)需要模型的每一次更新中重新設(shè)計(jì)芯片，但其在推理引擎上蝕刻新模型，只需要更改設(shè)計(jì)中的兩層金屬，而不是完全廢棄?？紤]到訓(xùn)練模型的成本高達(dá)數(shù)十億美元，Taalas芯片的更新成本微不足道。

摩根認(rèn)為，在主要模型發(fā)布間隔時(shí)間延長，人們對成熟模型依賴度增加時(shí)，Taalas芯片有望贏得更廣泛的市場認(rèn)可。

也有一些分析稱，得益于低延遲、低功耗的特性，Taalas真正的用武之地或在于邊緣推理場景，比如，機(jī)器人、自動(dòng)駕駛汽車，甚至高端智能手機(jī)等設(shè)備中。這些設(shè)備不需要運(yùn)行所有模型，只需要穩(wěn)定運(yùn)行定制化的模型，而更快的速度和更低的消耗，顯然更有利于產(chǎn)業(yè)普及AI大模型。

不過，即便是相關(guān)產(chǎn)品能真正規(guī)?；剡M(jìn)入市場并大展拳腳，新的狀況和問題也會(huì)隨之浮現(xiàn)。

比如，大模型的底層架構(gòu)（Transformer）是否會(huì)遭遇另一場“革命”？這似乎決定著“模型即芯片”技術(shù)路線的命運(yùn)。還有，生態(tài)系統(tǒng)建設(shè)的問題，英偉達(dá)雖然是硬件公司，但CUDA軟件生態(tài)和開發(fā)者的重度依賴，才是其真正的護(hù)城河，而這也是Taalas看中且有意顛覆的。

但這些都是后話了，至少目前來看，Taalas距離英偉達(dá)還很遙遠(yuǎn)，更遑論“顛覆英偉達(dá)”了。然而，巴伊奇在這條路上依舊步履不停，Taalas宣布，計(jì)劃在今年冬季推出第二代HC2產(chǎn)品，將具備更快的執(zhí)行速度和更強(qiáng)的性能。

屆時(shí)，一代產(chǎn)品的市場反饋和二代產(chǎn)品的迭代效果，將進(jìn)一步驗(yàn)證今天各方對這股橫空出世的新勢力的判斷。（作者｜胡珈萌，編輯｜李程程）