文：城主

前言

這是Meta官方對Llama發(fā)布半年的一個自我總結(jié)。

有一句評論深感贊同，Llama開源大模型有望成為LLM時代的安卓。

在OpenAI讓人失望的成了CloseAI之后，Llama的發(fā)布給全世界做AI+項目 研發(fā)的人們一記強心針。道理很簡單， 有多少企業(yè)敢把所有身家和未來賭在一個只有API調(diào)用的核心模式上呢，就算這種閉源API再強大，也必須至少有一個后手吧。更不用說費用和數(shù)據(jù)安全的問題。

即使看LLM水平本身，Llama2以及后續(xù)社區(qū)優(yōu)化版本已經(jīng)直追GPT-4，很有點SD社區(qū)大模型和Midjourney模型的味道：即使沒有100%趕上，但也非常接近了；更重要的是，社區(qū)各種Llama魔改版，就類似各種SD模型一樣，在不同的垂直領域特別好用。

如果我們看手機系統(tǒng)，即使蘋果手機系統(tǒng)這么強勢，開放的安卓生態(tài)也早就超過了半壁江山?；蛟S這就是未來的LLM版圖：閉源和開源模型平分天下， 甚至閉3開7。

Meta昨天的Connect大會可圈可點，有AI有XR有智能App。城主看了之后，頗有一種感覺：Meta已熬過了它最艱難的時刻，未來有AI+元宇宙雙概念加持的Meta，或許要開始走出一條高開的曲線了呢。

前不久，Meta AI掌門人，AI三巨頭的Yann LeCun在參議院捍衛(wèi)Llama的開源精神（），實是有些讓人敬佩。無論如何，僅就Llama對世界范圍AI發(fā)展的貢獻，城主認為就值得向Meta脫帽致敬，相信所有做AI+的團隊都有同樣的敬意。

Llama社區(qū)加油！

（在剛結(jié)束的Meta Connect 2023上，Meta GenAI VP 談Llama大模型的視頻）

=以下是原文完整中文版=

英文原文鏈接：

https://ai.meta.com/blog/llama-2-updates-connect-2023/

自我們發(fā)布Llama1以來大約已經(jīng)過去七個月，而Llama2的發(fā)布僅僅過去了幾個月，緊接著是CodeLlama的發(fā)布。簡而言之，社區(qū)的反應令人震驚。我們看到了大量的動力和創(chuàng)新，通過Hugging Face下載的基于Llama的模型超過3000萬次，僅在過去的30天里就有超過1000萬次。就像PyTorch一樣，Llama已經(jīng)發(fā)展成為全世界建設的平臺，我們對此感到非常興奮。

迄今為止的影響

Llama社區(qū)的增長有幾個顯著的發(fā)展：

?云使用：像AWS、Google Cloud和Microsoft Azure這樣的主要平臺已經(jīng)在他們的平臺上接納了Llama模型，而Llama2在云中的存在正在擴大。今天我們宣布AWS成為我們的第一個為Llama2提供管理API的合作伙伴?，F(xiàn)在，所有規(guī)模的組織都可以在Amazon Bedrock上訪問Llama2模型，而無需管理底層的基礎設施。這是一個可訪問性的重大改變。此外，到目前為止，Google Cloud和AWS的終端使用情況令人難以置信，基于Llama2模型的企業(yè)項目啟動超過3500個。

?創(chuàng)新者：創(chuàng)新者和初創(chuàng)公司正在將Llama作為他們生成AI產(chǎn)品創(chuàng)新的基礎。成千上萬的初創(chuàng)公司正在使用或評估Llama2，包括Anyscale、Replicate、Snowflake、LangSmith、Scale AI等等。像DoorDash這樣的創(chuàng)新者正在使用它進行大規(guī)模的實驗，以便在發(fā)布新的LLM驅(qū)動的功能之前。

?眾包優(yōu)化：開源社區(qū)真正接納了我們的模型。到目前為止，社區(qū)已經(jīng)對Hugging Face進行了微調(diào)，并發(fā)布了超過7000個衍生產(chǎn)品。平均來說，在標準基準測試中，這些產(chǎn)品在常見基準測試中的性能提高了近10%，在像TruthQA這樣的基準數(shù)據(jù)集中的改進達到了驚人的46%。

?開發(fā)者社區(qū)：現(xiàn)在在GitHub上有超過7000個基于Llama或提及Llama的項目。新的工具、部署庫、模型評估方法，甚至“微型”版本的Llama正在被開發(fā)，以將Llama帶到邊緣設備和移動平臺。此外，社區(qū)已經(jīng)擴展了Llama以支持更大的上下文窗口，增加了對額外語言的支持，等等。

?硬件支持：硬件社區(qū)已經(jīng)完全接納了Llama作為一個關鍵的模型架構(gòu)。主要的硬件平臺AMD、Intel、Nvidia和Google已經(jīng)通過硬件和軟件優(yōu)化提高了Llama2的性能。

生態(tài)系統(tǒng)充滿活力，參與者遍布從服務器和移動硬件到云平臺、初創(chuàng)公司和企業(yè)的每一層。最近發(fā)布的CodeLlama，這些模型在許多平臺上都能在幾個小時內(nèi)使用，為社區(qū)創(chuàng)造了令人難以置信的速度。

它開始于一個快速發(fā)展的研究項目...
在過去的幾年里，大型語言模型(LLMs)——擁有數(shù)十億參數(shù)的自然語言處理(NLP)系統(tǒng)——已經(jīng)展示出新的能力，如生成創(chuàng)造性的文本、解決數(shù)學定理、預測蛋白質(zhì)結(jié)構(gòu)、回答閱讀理解問題等等。這些項目代表了AI可以為數(shù)十億人提供的顯著潛在利益的明確例子。

原始項目，LLaMA或我們最近稱之為Llama1，是由一個主要專注于形式數(shù)學的團隊在FAIR中開發(fā)的，但同時看到了LLMs的力量，以及如何通過正確的縮放法則和高度策劃的數(shù)據(jù)訓練一個相對較小的模型，可以成為新應用研究的強大基礎。因此，Llama的第一代誕生了，并且自那時起在學術界和全世界引發(fā)了創(chuàng)新。事實上，在幾天內(nèi)，各個學術機構(gòu)的研究人員就能夠調(diào)整出能夠遵循指示或處理額外任務的更好版本的Llama1。從那時起，社區(qū)開始在許多方面和方向上進行創(chuàng)新。

但是我們希望讓更多的人能夠使用這項技術。這就是Llama2的由來。

為什么我們要發(fā)布我們的模型？

正如我們的歷史所顯示的，我們深信開源社區(qū)的力量。我們相信，最先進的AI技術在開放和對所有人可訪問的情況下會更安全、更好地對齊。此外，在高熵區(qū)域，建立橋梁并利用不可避免產(chǎn)生的創(chuàng)新是有利的。這對于PyTorch來說是真實的，其中像穩(wěn)定擴散、GPT 3和GPT 4這樣的突破不斷地顛覆了AI的世界，對于Llama也是如此。對于我們Meta來說，我們可以沿著三個軸總結(jié)價值：

研究：新的技術、性能優(yōu)化、工具和評估方法，包括在安全性方面的工作，使Meta能夠從研究社區(qū)中更快地吸收學習。許多這些社區(qū)也是新興的，公開合作使得取得進展更為容易；

企業(yè)和商業(yè)化：越多的企業(yè)和創(chuàng)業(yè)公司在我們的技術上建立，我們就能更多地了解使用案例、安全模型部署和潛在機會；以及

開發(fā)者生態(tài)系統(tǒng)：LLMs已經(jīng)從根本上改變了AI開發(fā)，每天都有新的工具和方法用于操作、管理和評估模型。擁有一種通用語言使我們能夠快速利用這些技術，加速我們的內(nèi)部堆棧。

但這對于Meta來說并不新鮮。就像PyTorch和其他幾十個公開發(fā)布或開源項目一樣，這種理念深深地根植在我們公司的DNA中。

前進的道路

有一件事是肯定的：生成AI領域發(fā)展迅速，我們都在一起學習這項技術的能力和應用。Meta仍然致力于今天的AI的開放方式。以下是我們在這個旅程中繼續(xù)關注的幾個領域：

多模態(tài)：就像世界并非完全由文本構(gòu)成一樣，AI可以接受新的模態(tài)，以實現(xiàn)更多沉浸式的生成體驗；

安全和責任：生成AI已經(jīng)使負責任的AI世界煥發(fā)新生。我們將更加重視安全和責任，開發(fā)新的工具，建立合作伙伴關系，并利用Llama作為我們的社區(qū)繼續(xù)學習如何安全和負責任地建設的工具；以及

關注社區(qū)：就像PyTorch一樣，我們將這看作是一個有發(fā)言權(quán)的開發(fā)者社區(qū)，我們希望給予他們權(quán)力和推動他們創(chuàng)新的工具。我們的目標是為社區(qū)提供展示工作、貢獻和講述他們故事的新方式。

想了解更多關于Llama家族的信息嗎？

在Meta Connect主題演講（完整）中，我們談了很多關于我們的Llama模型和開放訪問的未來。從我們的會議到動手工作坊，我們很高興與您分享我們的最新發(fā)展。

以下是您可以深入了解和學習更多的一些方式：

a.下載模型并與Llama 2互動。

b.參加Connect Sessions，包括我們關于使用Llama模型的工作坊。

c.訪問ai.meta.com/llama閱讀論文，查看我們的負責任使用指南和可接受使用政策，并了解更多關于支持Llama生態(tài)系統(tǒng)的合作伙伴。

作者：

Joe Spisak 產(chǎn)品總監(jiān)

Sergey Edunov 工程總監(jiān)