在人工智能競爭日益激烈的當(dāng)下，延遲和成本已成為制約大模型部署主要瓶頸。對此，加拿大AI芯片初創(chuàng)公司Taalas 近日推出了號稱“可以將任何AI模型轉(zhuǎn)換為定制ASIC芯片”的技術(shù)平臺。其核心邏輯在于，將存儲和計算統(tǒng)一在單芯片上，將特定大模型的神經(jīng)網(wǎng)絡(luò)映射到硅片電路中，在 DRAM 級密度下完成所有計算。

Taalas表示，“通過消除內(nèi)存-計算邊界，并針對每個模型定制硅片，我們能夠從根本重新設(shè)計整個硬件棧。結(jié)果是一個不依賴復(fù)雜或特殊技術(shù)的系統(tǒng)，沒有HBM，采用先進(jìn)封裝、3D疊加、液冷和高速I/O。工程簡潔性使系統(tǒng)總成本降低了數(shù)量級。從收到一個此前未曾見過的模型開始，對應(yīng)的硬件版本只需兩個月即可實(shí)現(xiàn)。”

這種優(yōu)勢源于其結(jié)構(gòu)化ASIC設(shè)計理念：通過固定底層電路、僅調(diào)整兩層掩模的方式，將芯片開發(fā)周期從傳統(tǒng)6個月縮短至2個月，同時保持設(shè)計成本可控。

在這一技術(shù)理念的指導(dǎo)下，Taalas 打造了全球最快、成本最低的推理平臺——針對Llama 3.1 8B模型定制的AI芯片HC1，使得其運(yùn)行Llama 3.1 8B模型的速度達(dá)到了驚人的單用戶每秒可生成近17000個Token，是英偉達(dá)B200的48倍，這一數(shù)據(jù)意味著在實(shí)時交互和復(fù)雜推理任務(wù)中，用戶將獲得近乎零延遲的體驗(yàn)。并且，由于沒有復(fù)雜的HBM存儲系統(tǒng)，成本和功耗也大幅降低。

根據(jù)Taalas的官方說法，其HC1系統(tǒng)的速度幾乎是當(dāng)前技術(shù)水平的10倍，制造成本只有當(dāng)前領(lǐng)先方案1/20，功耗更是直接縮減到了當(dāng)前方案的1/10。

針對特定模型定制：混合ROM和SRAM，拋棄HBM和高速I/O

雖然英偉達(dá)（NVIDIA）一直是云端人工智能（AI）芯片市場當(dāng)之無愧的霸主，但隨著其GPU能耗和成本越來越高，市場上也涌現(xiàn)了很多主打高能效和性價比優(yōu)勢的數(shù)據(jù)中心AI ASIC芯片廠商。比如，Grop（已被英偉達(dá)以200億美元收購）、Etched、Grow、SambaNova、Cerebras和Tenstorrent等。

相對于英偉達(dá)GPU來說，很多的AI ASIC廠商要么選擇增加大量的片上SRAM，以提升大模型的運(yùn)行效率；要么犧牲一些靈活性，針對特定的一些AI模型來優(yōu)化加速，以提升性能、降低成本。比如芯片初創(chuàng)公司Etched在2025年6月就推出了一款針對 Transformer架構(gòu)模型優(yōu)化的ASIC芯片，號稱其AI芯片的性能達(dá)到了英偉達(dá)H100的20倍。

在Taalas看來，雖然目前的AI模型仍在持續(xù)快速發(fā)展，但是已經(jīng)有很多模型達(dá)到了在一些場景下可用的程度，與其等待AI模型的發(fā)展進(jìn)入穩(wěn)定期，或者是花大價錢去不停地去適應(yīng)模型的變化，倒不如直接將一些可用的AI模型的推理權(quán)重直接編碼進(jìn)芯片的晶體管里，消除所有試圖讓計算引擎具有可塑性、讓公司能不斷調(diào)整模型所帶來的軟件垃圾。這樣做，可以極大簡化AI設(shè)備的架構(gòu)，消除所有串行和并行計算引擎，尤其是消除了GPU和AI XPU中存在的計算與內(nèi)存之間的壁壘，無需通過HBM來獲得與浮點(diǎn)和整數(shù)性能相匹配的高速I/O接口。

目前，Taalas 對其HC1的硬編碼推理架構(gòu)的具體工作細(xì)節(jié)保密。不過，據(jù)The next platform報道，Taalas產(chǎn)品副總裁Paresh Kharya透露，“HC1的架構(gòu)基本上是這樣：我們將模型嵌入其中，把模型和權(quán)重硬編碼到我們稱之為'mask ROM recall fabric'（掩模只讀存儲器回憶結(jié)構(gòu)）的結(jié)構(gòu)中，并與一個SRAM recall fabric（靜態(tài)隨機(jī)存取存儲器回憶結(jié)構(gòu)）配對。這兩者結(jié)合在一起，既能存儲模型，又能執(zhí)行KV緩存的所有計算。我們還支持適配器和定制化——所有這些我們都支持。這種設(shè)計讓我們在計算和存儲方面都達(dá)到了超高密度，并且我們可以在存儲之上以極快的速度進(jìn)行計算，這正是推動密度提升和成本降低的關(guān)鍵。"

簡單來說，Taalas創(chuàng)新性的存儲架構(gòu)包含了兩部分：可編程SRAM區(qū)域，用于保存微調(diào)權(quán)重（如LoRA）和KV緩存；而模型主體則通過掩模ROM固化執(zhí)行。而為彌補(bǔ)量化帶來的精度損失，其研究團(tuán)隊開發(fā)了LaRA適配器進(jìn)行重新訓(xùn)練，并配置可調(diào)上下文窗口，在靈活性與性能間取得平衡。

"在當(dāng)前這一代產(chǎn)品中，我們的密度是——芯片硬連線（Hard-wiring）部分可承載80億參數(shù)，再加上SRAM，讓我們能夠處理KV緩存、微調(diào)等適應(yīng)性調(diào)整。在我們的下一代產(chǎn)品中，一塊芯片將能夠承載高達(dá)200億參數(shù)。即使處理萬億參數(shù)的模型，我們也只需要幾十塊芯片，與當(dāng)今市場上任何其他方案相比，這個數(shù)量都非常、非常小。"

Taalas的CEO Ljubisa Bajic則補(bǔ)充道：“我們這種mask ROM recall fabric的方案——也就是硬連線部分——有一個巧妙之處：我們可以用單個晶體管存儲4bit數(shù)據(jù)，并同時完成與之相關(guān)的乘法運(yùn)算——所有一切都在一個晶體管里完成。所以密度基本上是很瘋狂的。而且這不是什么核物理——它完全是數(shù)字電路。只是一個我們不想公開的巧妙技巧。但一旦你把一切都硬連線，你就會獲得這種機(jī)會，可以用完全不同的方式來布局，而不必像需要應(yīng)對變化時那樣妥協(xié)。關(guān)鍵在于，我們可以把權(quán)重和與之相關(guān)的乘法全部塞進(jìn)一個晶體管里。而你知道，乘法器基本上是計算芯片里的大塊頭。"

“我們發(fā)明的東西其實(shí)也沒什么特別難的。只是一個巧妙的技巧，只是因?yàn)闆]人走過這條路，所以沒人發(fā)現(xiàn)它。我們兩年多前成立時，就想徹底消除存儲器和計算之間的障礙。這就是這一切的起源?，F(xiàn)在，我們想出來的第一種方法——也是當(dāng)時我們基本上能看到唯一能在可預(yù)期的時間內(nèi)做出產(chǎn)品的方法，因?yàn)槲覀儾幌氘?dāng)三年后搞出一些不工作的東西的研究教授——就是迅速轉(zhuǎn)向這種基于ROM的方法。我們開始詳細(xì)研究它，然后意識到這其實(shí)比我們最初想的還要好?！?/p>

總結(jié)來說，Taalas聲稱實(shí)現(xiàn)了一種存內(nèi)計算的極致形態(tài)。他們利用了ROM陣列的特殊連接方式，讓流過晶體管的電流不僅代表存儲的值，還能在模擬或數(shù)字域直接參與運(yùn)算。這相當(dāng)于把乘法器“壓扁”進(jìn)了存儲陣列里。正如Ljubisa Bajic所說，“乘法器是計算里的大塊頭”，如果能把它和存儲單元合二為一，密度的提升是指數(shù)級的。

Ljubisa Bajic進(jìn)一步指出：“實(shí)際上，所有這些我們都是從零開始內(nèi)部設(shè)計的。我們沒有使用任何現(xiàn)成的組件，我們做了大量的晶體管級設(shè)計和手工布局——基本上我們整個努力最終就像是對1970年代的致敬?！?/p>

這里需要解釋的是，在1970-80年代，芯片設(shè)計規(guī)模小，工程師為了追求極致的性能和面積，會親手?jǐn)[放每一個晶體管的位置，也就是全定制設(shè)計。后來隨著EDA（電子設(shè)計自動化）工具的發(fā)展，大家更多采用標(biāo)準(zhǔn)單元庫，像搭積木一樣快速設(shè)計。

Taalas選擇“手工布局”是因?yàn)樗麄円龅拇鎯?nèi)計算單元是全新的，沒有現(xiàn)成的庫可用。為了榨干每一寸面積、每一個晶體管的性能，他們必須回到最原始、最精細(xì)的設(shè)計方式，為這種新架構(gòu)量身定制物理實(shí)現(xiàn)。

HC1：性能是英偉達(dá)B200的48倍，延遲及成本大幅降低

Taalas 最新推出的全球最快、成本最低的推理平臺——針對Llama 3.1 8B模型定制的AI芯片HC1，是基于臺積電6nm制程，面積為815mm2，擁有530億顆晶體管，其中大多數(shù)很可能用于ROM和SRAM內(nèi)存。HC1加速卡本身功耗僅200瓦，一臺集成了10張HC1加速卡的雙插槽X86服務(wù)器，功率也只有2500瓦，散熱也只需要空氣冷卻。

那么，針對Llama 3.1 8B模型固化的AI芯片HC1芯片，在運(yùn)行Llama 3.1 8B模型時，到底有多快，成本有多低呢？

根據(jù)Taalas公布的測試數(shù)據(jù)顯示，在單用戶的情況下，運(yùn)行Llama 3.1 8B模型，Taalas HC1每秒可生成16960個Token，是排名第二的Cerebras（1981 Tokens/s）的近9倍，更遙遙領(lǐng)先于其他AI芯片，是英偉達(dá)B200的48倍。

另外，為了解決單芯片容量不足的問題，Taalas 采用了集群化擴(kuò)展策略。在針對 DeepSeek R1 671B模型的測試中，Taalas通過 30 顆HC1芯片的集群配置，實(shí)現(xiàn)了單用戶高達(dá)每秒12382個Token的生成速度，達(dá)到了8卡英偉達(dá)B200系統(tǒng)（每秒192個Token）的約64.5倍。

這里需要強(qiáng)調(diào)的是，雖然Taalas并未解釋針對Llama 3.1 8B模型固化的HC1芯片為何在集群系統(tǒng)中運(yùn)行更大的DeepSeek R1 671B也更高效，但是猜測Taalas應(yīng)該也是設(shè)計了一個針對DeepSeek R1 671B優(yōu)化的HC1集群版本。另外，由于其消除了“內(nèi)存墻”，創(chuàng)新地采用了將模型的不同部分（如SRAM用于動態(tài)KV緩存，ROM用于固化權(quán)重）拆分到不同芯片上，實(shí)現(xiàn)高度專業(yè)化分工的協(xié)同計算，并且這30顆芯片之間采用了“分布式直連”的互聯(lián)，通信協(xié)議極簡、高效，也使得其應(yīng)對DeepSeek R1 671B更具優(yōu)勢。

從每百萬Token的生產(chǎn)成本以及每個Token間的延遲（毫秒）對比來看，Taalas的測試數(shù)據(jù)顯示，在Llama 3.1 8B模型下，HC1的每百萬Token生成成本最低只有英偉達(dá)B200（延遲優(yōu)化）的不到1/36，只有英偉達(dá)B200（吞吐量優(yōu)化）的約1/5，每個Token間的延遲也只有英偉達(dá)B200約1/50；在DeepSeek R1 671B 模型下，HC1的每百萬Token生成成本最低只有英偉達(dá)B200（延遲優(yōu)化）的約1/6，只有英偉達(dá)B200（吞吐量優(yōu)化）的約1/3，每個Token間的延遲也只有英偉達(dá)B200約1/65。

因?yàn)镠C1加速卡的速度足夠快，想要獲得低延遲推理不需要批量查詢，這意味著Taalas設(shè)備的帶寬壓力很低。低到如果客戶想利用多卡系統(tǒng)運(yùn)行更大的模型，PCI-Express總線就足夠了，無需英偉達(dá)AI系統(tǒng)所需的NVLink和NVSwitch進(jìn)行復(fù)雜的通信。Taalas今年晚些時候會允許客戶通過流水線并行性將工作分配到HC卡之間。

事實(shí)上，到今年夏天，Taalas將推出第二個模型，仍基于Taalas的第一代芯片平臺（HC1），將支持Llama 3.1 20B模型。到今年年底時，Taalas將推出第二代芯片平臺（HC2），支持一個前沿級大型語言模型——可能是更先進(jìn)的Llama、DeepSeek模型，甚至兩個模型可以在一組HC卡上運(yùn)行推理。

總結(jié)來看，Taalas HC1在這兩款模型的測試當(dāng)中展現(xiàn)出了相比英偉達(dá)B200更低的成本和極低的延遲表現(xiàn)。對于已經(jīng)大規(guī)模部署了Llama 3.1 8B 或 DeepSeek R1 671B 模型云服務(wù)廠商來說，部署Taalas HC1顯然非常具有性價比。

Anthropic 和 OpenAI 很可能會拿起電話，希望Taalas為其模型向定制AI加速器，甚至谷歌也有可能想試試。目前，Taalas已以Ljubisa Bajic名義申請了14項(xiàng)專利，涵蓋其多項(xiàng)關(guān)鍵技術(shù)。

有不少業(yè)內(nèi)人士也認(rèn)為，Taalas 走的路線可能確實(shí)是未來的一個方向，因?yàn)榇竽Ｐ偷陌l(fā)展最終可能會趨于穩(wěn)定，這種Token的輸出速度，以及其成本和功耗上的優(yōu)勢，確實(shí)非常具有吸引力。

但也有很多業(yè)內(nèi)人士認(rèn)為，當(dāng)前的大語言模型還不夠可靠，特別是小模型帶來的幻覺問題也無法避免，新模型的迭代速度依然很快，現(xiàn)在就讓其中一個模型運(yùn)行得更快其實(shí)意義不大。因?yàn)?，一旦針對特定模型固化的ASIC芯片生產(chǎn)出來，它將無法去適應(yīng)其他模型，后續(xù)也無法升級。

雖然Taalas 專注于將開源模型的權(quán)重固化在其 HC 系列芯片上，但顯而易見的是，每次模型升級，比如從Llama 3.1到Llama 4，Taalas都需要重新調(diào)整HC系列芯片，這同樣也可能會帶來很大的成本。

成立不到3年，已獲超2億美元融資

Taalas 成立至今僅兩年半的時間，已通過三輪風(fēng)險投資籌集超過2億美元。該公司總部位于加拿大多倫多，三位創(chuàng)始人都曾在明星AI芯片公司Tenstorrent工作。

其中，Taalas的CEO Ljubisa Bajic曾在AMD、英偉達(dá)擔(dān)任骨干架構(gòu)師，也是Tenstorrent的聯(lián)合創(chuàng)始人。Ljubisa Bajic在互聯(lián)網(wǎng)熱潮后曾為Teralogic和Oak Technology設(shè)計視頻編碼器，隨后跳槽至AMD，并在工程層級晉升，成為AMD公司PC和服務(wù)器混合CPU-GPU芯片設(shè)計的架構(gòu)師和高級經(jīng)理。他還曾在英偉達(dá)擔(dān)任高級架構(gòu)師一年，然后回到AMD擔(dān)任集成電路設(shè)計總監(jiān)兩年。在離開AMD后，Ljubisa Bajic創(chuàng)立了Tenstorrent。2022年秋，芯片專家Jim Keller加入Tenstorrent后，Ljubisa Bajic決定離開。在休息了六個月后，Ljubisa Bajic開始開發(fā)一個完全不同的AI推理計算理念，并在多倫多創(chuàng)立了Taalas。

Lejla Bajic是Taalas另一位聯(lián)合創(chuàng)始人，她是Taalas的首席運(yùn)營官，也是Ljubisa Bajic的妻子。她曾在互聯(lián)網(wǎng)泡沫泡沫期間擔(dān)任FPGA制造商Altera的軟件工程師，隨后成為加拿大GPU制造商ATI的高級工程師，該公司于2006年7月被AMD以54億美元收購。Lejla Bajic也在AMD工程層級逐步晉升，最終成為系統(tǒng)工程高級經(jīng)理。她于2017年10月加入Tenstorrent從事同樣的工作，并在丈夫離開后離開。

Taalas 的第三位聯(lián)合創(chuàng)始人是 Drago Ignjatovic，他曾是高級設(shè)計工程師，負(fù)責(zé) AMD APU 和 GPU 項(xiàng)目，后來接替 Ljubisa Bajic，擔(dān)任 ASIC 設(shè)計總監(jiān)。在Ljubisa Bajic離職創(chuàng)辦 Tenstorrent九個月后，Drago Ignjatovic加入Tenstorrent，擔(dān)任硬件工程副總裁，并與Bajic夫婦共同創(chuàng)立了Taalas，擔(dān)任該初創(chuàng)公司的首席技術(shù)官。

值得注意的是，Taalas 產(chǎn)品副總裁Paresh Kharya曾任谷歌數(shù)據(jù)中心業(yè)務(wù)產(chǎn)品管理與市場高級總監(jiān)三年，隨后擔(dān)任Google Cloud的AI基礎(chǔ)設(shè)施產(chǎn)品管理總監(jiān)（管理其GPU和TPU硬件及其軟件棧）。

目前，Taalas 擁有25名員工，大多數(shù)是曾在AMD、蘋果、谷歌、英偉達(dá)和Tenstorrent工作的工程師，他們擁有將芯片從創(chuàng)意轉(zhuǎn)化為系統(tǒng)的豐富經(jīng)驗(yàn)。據(jù)悉，Taalas僅為剛發(fā)布HC1芯片投入了3000萬美元的研發(fā)，銀行中仍有超過1.7億美元的資金儲備。

編輯：芯智訊-浪客劍