芯東西（公眾號：aichip001）
編譯 ZeR0
編輯 漠影

芯東西2月11日消息，據(jù)外媒今日報道，一家由00后創(chuàng)辦的神秘英國AI芯片創(chuàng)企Olix，已獲得2.2億美元（約合人民幣15億元）融資，估值超過10億美元（約合人民幣69億元），躋身獨角獸企業(yè)。

Olix（此前名為Flux Computing）成立于2024年3月，總部位于英國倫敦，由James Dacombe創(chuàng)辦，計劃開發(fā)比英偉達(dá)GPU更快、更便宜的AI芯片。

James Dacombe今年25歲，同時也是英國腦監(jiān)測創(chuàng)企CoMind的創(chuàng)始人兼CEO。CoMind是他18歲時創(chuàng)立的，并已融資1億美元（約合人民幣7億元）。

▲James Dacombe

針對AI推理需求，Olix正在打造一種新型AI芯片，目標(biāo)是高吞吐量和高交互性，以應(yīng)對最苛刻的推理工作負(fù)載，并且不受當(dāng)今AI芯片的架構(gòu)和供應(yīng)鏈限制。

Olix光學(xué)張量處理單元（OTPU）是一款采用新型存儲器和互連架構(gòu)的光學(xué)數(shù)字處理器。

其團隊相信，將SRAM架構(gòu)與光子學(xué)相結(jié)合，可以在每兆瓦吞吐量和總擁有成本方面超越基于HBM的架構(gòu)，并且在交互性和延遲方面顯著優(yōu)于純硅SRAM架構(gòu)。

該公司已累計獲得2.5億美元（約合人民幣17億元）融資。據(jù)知情人士透露，Olix希望最早明年向客戶交付首批產(chǎn)品。這家初創(chuàng)公司拒絕就其融資事宜置評。

Vertex Ventures普通合伙人、前Facebook基礎(chǔ)設(shè)施高管Jonathan Heiliger認(rèn)為，AI推理需要對芯片的制造方式進(jìn)行徹底的重新思考，系統(tǒng)級架構(gòu)的大規(guī)模重構(gòu)極其困難，“James和他的團隊的執(zhí)行速度比擁有十倍資源的公司還要快。”

目前英國芯片公司的融資規(guī)模遠(yuǎn)遠(yuǎn)落后于美國。另一家英國AI芯片創(chuàng)企Fractile昨日宣布，計劃在未來三年投資1億英鎊（約合人民幣9億元），以擴大在其在英國本土的業(yè)務(wù)。

Olix在官網(wǎng)分享了其芯片設(shè)計思路：

現(xiàn)有GPU架構(gòu)已接近物理極限，當(dāng)前硬件從根本上來說無法同時為每個用戶提供快速推理。

這種權(quán)衡取舍是自TPUv2和V100以來所有主流加速器所采用的內(nèi)存架構(gòu)固有的——一個大型邏輯芯片放置在中介層上，旁邊是堆疊的HBM內(nèi)存。

只有將大量用戶的數(shù)據(jù)批量處理，充分利用計算資源，并將模型權(quán)重通過HBM傳輸?shù)酱罅枯敵鰐oken的能耗??分?jǐn)?，才能實現(xiàn)每個XPU和每兆瓦的高吞吐量。

但大批量處理必然會增加每個用戶的延遲，降低交互性，迫使用戶做出艱難權(quán)衡。

推理性能受限于數(shù)據(jù)傳輸。因此，邏輯效率（FLOPs/W）和吞吐量（每個封裝的FLOP）的持續(xù)提升帶來的收益遞減。數(shù)據(jù)傳輸時間的縮短受到內(nèi)存墻以及封裝互連邊界長度和封裝尺寸限制的制約。

雖然從HBM2到HBM4的過渡在能效和吞吐量密度方面都取得了顯著提升，但要再次實現(xiàn)如此巨大的改進(jìn)需要近十年時間，并且需要更加復(fù)雜和昂貴的制造技術(shù)。

HBM性能提升帶來的能效提升有限，不可避免限制了每個token傳輸KV cache所需的 pJ/bit 能量，從而也限制了當(dāng)前架構(gòu)中token總能耗的下限。

過去十年，這種架構(gòu)擴展提升了系統(tǒng)的整體性能，但進(jìn)一步擴展無法同時實現(xiàn)高吞吐量和高交互性。從英偉達(dá)Hopper到Rubin Ultra，封裝尺寸大約增長了4倍。再增長4倍將接近晶圓級封裝的極限。

更大的封裝可以縮短數(shù)據(jù)傳輸時間并提高交互性，但無法降低固定數(shù)據(jù)傳輸延遲。因此，阿姆達(dá)爾定律限制了未來通過進(jìn)一步增大封裝尺寸來提升交互性的可能性。

數(shù)據(jù)從HBM經(jīng)由中介層進(jìn)入計算單元的物理路徑并未發(fā)生根本性改變，但隨著跨光罩高帶寬接口的引入，其復(fù)雜性卻日益增加。

因此，以每次緩存命中或未命中時間衡量的數(shù)據(jù)傳輸延遲已接近或達(dá)到極限，并逐漸成為每個token延遲中越來越重要的組成部分。

雖然可以通過更大層的張量并行性進(jìn)一步縮短每層的數(shù)據(jù)傳輸時間，但這會增加功耗和互連延遲。

此外，高吞吐量編碼方案也會引入編碼和解碼延遲，進(jìn)一步提高每個token的最低延遲，并限制可實現(xiàn)的交互性。

如果可以通過規(guī)模、集成或執(zhí)行來解決這一權(quán)衡問題，那么當(dāng)今計算生態(tài)系統(tǒng)的核心企業(yè)將是做這件事的主體。由于預(yù)付了數(shù)十億美元以確保獲得領(lǐng)先的邏輯節(jié)點、HBM和先進(jìn)封裝能力，這類公司將在軟件、系統(tǒng)集成和供應(yīng)鏈方面擁有巨大的護城河。

每一代都加倍強化這種方法。系統(tǒng)規(guī)模越來越大，集成度越來越高，目標(biāo)也越來越遠(yuǎn)大。絕對性能持續(xù)提升，但底層限制卻始終不變，因此仍然無法同時實現(xiàn)高交互性和高吞吐量。

能夠同時提供高吞吐量和高交互性的硬件，必須同時解決大規(guī)模數(shù)據(jù)傳輸效率和延遲問題。任何僅改善其中一個維度的方法都只是改變了權(quán)衡的本質(zhì)。

Olix團隊認(rèn)為，從供應(yīng)鏈和制造角度來看，新的架構(gòu)必須放棄高密度金屬薄膜（HBM）、先進(jìn)封裝或其他任何受現(xiàn)有廠商供應(yīng)鏈限制的技術(shù)。即便是最大的超大規(guī)模數(shù)據(jù)中心運營商都難以確保產(chǎn)能，初創(chuàng)公司根本無法與之競爭。

從兼容性角度來看，硬件必須支持現(xiàn)有模型。它不應(yīng)強制要求現(xiàn)有模型具備量子算術(shù)能力/物理理論能力，也不應(yīng)要求采用新的熱力學(xué)神經(jīng)擬態(tài)架構(gòu)，即使這種架構(gòu)承諾在理論上有所改進(jìn)。

從設(shè)計角度來看，實現(xiàn)這一目標(biāo)需要系統(tǒng)級思考，從光罩級和晶圓級設(shè)計轉(zhuǎn)向機架級計算和數(shù)據(jù)傳輸?shù)膮f(xié)同設(shè)計，將其作為一個單一的統(tǒng)一系統(tǒng)。

這個領(lǐng)域不乏資金雄厚的挑戰(zhàn)者，但他們都陷入了同樣的兩種失敗模式。

有些芯片仍然采用邏輯芯片-中介層-HBM架構(gòu)范式，并且在與新一代GPU/TPU競爭時，仍面臨同樣的交互性-吞吐量權(quán)衡，而這些GPU/TPU采用的是老一代低端HBM和邏輯芯片。

另一些則做得不夠。他們認(rèn)識到需要一種新的范式，試圖重新塑造交互性的權(quán)衡取舍，但無法擺脫這種權(quán)衡取舍，仍然受到僅限硅基方法的局限性的制約。

Olix團隊希望擺脫這些限制，創(chuàng)造前沿AI的下一個范式。