Meta公司推出了其最新的開放源代碼人工智能模型Llama3.1405B。這一發(fā)布標志著Meta在推動開放AI領域的堅定承諾。Meta的創(chuàng)始人馬克·扎克伯格詳細闡述了開放源代碼對開發(fā)者、Meta以及全球的好處，指出開放源代碼能推動技術進步，讓更多人享受到AI的紅利。

中英文雙語字幕

Llama3.1405B

Meta引入的Llama3.1405B是全球首個開放源代碼前沿級AI模型，其性能和能力堪比業(yè)內最頂尖的封閉源代碼模型。Llama3.1405B不僅在靈活性和可控性上具備優(yōu)勢，還在通用知識、數(shù)學、工具使用和多語言翻譯等方面展現(xiàn)出卓越的能力。Meta希望通過這一模型推動創(chuàng)新，特別是在合成數(shù)據(jù)生成和模型蒸餾方面，為開發(fā)者提供前所未有的機會。

Llama模型的生態(tài)系統(tǒng)建設

Meta不僅僅致力于開發(fā)單一的AI模型，而是打造一個全面的Llama生態(tài)系統(tǒng)。公司正在擴展模型的上下文長度至128K，并增加對八種語言的支持。新版的Llama3.1405B以及升級版的8B和70B模型在多語言支持和長文本總結方面展現(xiàn)出強大的能力。此外，Meta還推出了新的安全工具，如LlamaGuard3和PromptGuard，以幫助開發(fā)者負責任地構建應用程序。

為支持這一生態(tài)系統(tǒng)，Meta與包括AWS、NVIDIA、Databricks、Dell、GoogleCloud等在內的25個合作伙伴攜手合作，這些合作伙伴將在首日提供相關服務。開發(fā)者可以在WhatsApp和meta.ai上測試Llama3.1405B模型，體驗其強大的數(shù)學和編碼能力。

架構與技術創(chuàng)新

Llama3.1405B是Meta迄今為止最大規(guī)模的模型，其訓練過程涉及超過15萬億個tokens，并使用超過16000個H100GPU。為實現(xiàn)如此規(guī)模的訓練，Meta在模型架構上作出多項創(chuàng)新，包括采用標準的解碼器僅模型架構以及迭代后訓練程序等。此外，通過從16位（BF16）到8位（FP8）的量化，Meta顯著降低了計算需求，使得405B模型可以在單個服務器節(jié)點上運行。

開放源代碼的力量與未來展望

開放源代碼使得Llama模型的權重可以下載，開發(fā)者能夠根據(jù)自身需求完全定制模型，進行新數(shù)據(jù)集的訓練或額外的微調。這樣的開放性使得全球開發(fā)者能夠更好地發(fā)揮生成式AI的潛力，并能夠在不與Meta共享數(shù)據(jù)的情況下，在任何環(huán)境中運行模型。

盡管一些人認為封閉模型更具成本效益，但根據(jù)ArtificialAnalysis的測試，Llama模型在行業(yè)中提供了一些最低的每token成本。馬克·扎克伯格指出，開放源代碼確保了更多人能夠享受到AI的好處，防止技術權力集中在少數(shù)人手中，并使技術能更安全地廣泛部署在社會中。

Meta通過Llama3.1405B的發(fā)布，開啟了開放AI的新篇章。通過提供最先進的工具和開放源代碼的支持，Meta正在賦能全球開發(fā)者，推動創(chuàng)新和技術進步。我們期待看到社區(qū)在這些新模型的支持下，開發(fā)出更多有用的新應用和體驗。開放源代碼的力量將繼續(xù)推動AI的發(fā)展，Meta將繼續(xù)在這條道路上前行，致力于為更多人帶來AI的機遇和利益。

▲ 滑動查看往期內容