機(jī)器之心報(bào)道

最近幾年，大模型賽道好不熱鬧。

叫得上名字的幾乎數(shù)都數(shù)不過(guò)來(lái)：從 GPT、Llama、Gemma、Mistral，到 DeepSeek、Qwen、Kimi、GLM、MiniMax 等等，新模型幾乎以周更的速度出現(xiàn)。

但問(wèn)題是，當(dāng)架構(gòu)創(chuàng)新越來(lái)越多時(shí)，理解它們反而變得越來(lái)越困難。不同論文里的模型結(jié)構(gòu)圖風(fēng)格各異、模塊命名不統(tǒng)一，即便是研究者，也很難快速看清一個(gè)模型究竟在哪些地方做出了關(guān)鍵改動(dòng)。

如果把過(guò)去幾年主流模型的架構(gòu)放在一起，你會(huì)發(fā)現(xiàn)一個(gè)明顯的空白：我們擁有大量模型，卻缺少一張清晰的大模型架構(gòu)圖。

最近，AI 研究者 Sebastian Raschka 就嘗試給了這樣一張圖，他將過(guò)去幾年主流大模型的結(jié)構(gòu)重新繪制，并整理成了一個(gè)在線圖譜 「LLM Architecture Gallery」。

• 原文地址：https://sebastianraschka.com/llm-architecture-gallery/#card-olmo-2-7b
• GitHub 地址：https://github.com/rasbt/llm-architecture-gallery

根據(jù) Raschka 介紹，該網(wǎng)站匯集了他此前兩篇博客中的內(nèi)容，這兩篇博客分別為《The Big LLM Architecture Comparison》 和 《A Dream of Spring for Open-Weight LLMs》。

從「LLM Architecture Gallery」頁(yè)面結(jié)構(gòu)上看，這個(gè)圖譜幾乎像一張大模型名錄。

這里匯集了大量近年來(lái)出現(xiàn)的主流模型，包括 Llama、DeepSeek、Gemma、Mistral、Qwen、Kimi、GLM等多個(gè)系列，參數(shù)規(guī)模從幾億參數(shù)的小模型，一直延伸到千億乃至萬(wàn)億級(jí)模型。

點(diǎn)擊任意模型即可鏈接到對(duì)應(yīng)位置，比如，這里我們點(diǎn)擊 DeepSeek R1，鏈接就跳轉(zhuǎn)到相應(yīng)的模型卡：

每一張模型卡都會(huì)展示該模型的核心架構(gòu)圖、關(guān)鍵模塊設(shè)計(jì)、參數(shù)規(guī)模、發(fā)布時(shí)間、相關(guān)概念等基本信息，讓讀者能夠在同一套視覺(jué)框架下快速理解模型的結(jié)構(gòu)組成。

不止 DeepSeek R1，像 Gemma、Llama 等一系列主流模型，也都被納入這一圖譜之中。用戶只需點(diǎn)擊對(duì)應(yīng)模型名稱，就可以進(jìn)入該模型的專屬頁(yè)面，查看其完整架構(gòu)示意圖以及關(guān)鍵設(shè)計(jì)細(xì)節(jié)。

對(duì)于研究者而言，「LLM Architecture Gallery」相當(dāng)于提供了一份可快速查閱的大模型架構(gòu)索引，用戶可以在一個(gè)頁(yè)面中瀏覽和對(duì)比不同模型的設(shè)計(jì)思路，模型架構(gòu)的關(guān)鍵創(chuàng)新點(diǎn)，從而更高效地理解技術(shù)演化路徑，也為后續(xù)的研究和模型設(shè)計(jì)提供參考。

正如 AI 研究者 Andrej Karpathy 所評(píng)價(jià)的那樣：「這簡(jiǎn)直就是一個(gè)創(chuàng)意、想法的資源庫(kù)?！?/p>