莊鈞堂昨天在社交平臺(tái)宣布，自己已從xAI離職。這位主導(dǎo)Grok多代模型預(yù)訓(xùn)練的華人大將，成為xAI并入SpaceX后新一輪離職潮中的最新一員。

他在xAI工作了兩年。期間負(fù)責(zé)Grok從早期版本到后續(xù)迭代的預(yù)訓(xùn)練工作，同時(shí)牽頭X平臺(tái)和Tesla上的語(yǔ)音模型預(yù)訓(xùn)練，以及xAI企業(yè)API模型的開(kāi)發(fā)。官宣離職的兩個(gè)月前，他實(shí)際上已經(jīng)離開(kāi)。

莊鈞堂的履歷跨度不小。本科在清華大學(xué)讀工程物理，輔修法律。碩博階段轉(zhuǎn)到耶魯，碩士學(xué)統(tǒng)計(jì)學(xué)，博士專攻生物醫(yī)學(xué)工程。讀博期間，他的研究方向是自閉癥患者腦連接組的異常連接與診斷關(guān)聯(lián)。

學(xué)術(shù)訓(xùn)練看似與AI無(wú)關(guān)，但他在這段時(shí)期提出的AdaBelief優(yōu)化器，意外擊中了深度學(xué)習(xí)的一個(gè)老問(wèn)題——噪聲梯度的粗糙處理。這個(gè)優(yōu)化器根據(jù)模型對(duì)梯度方向的置信程度自適應(yīng)調(diào)整步長(zhǎng)：梯度方向與預(yù)期偏差大時(shí)邁小步，接近預(yù)期時(shí)邁大步。論文在NeurIPS 2020拿到Spotlight，后被PyTorch、TensorFlow、Google Flax、DeepMind Optax等主流框架收錄。

加入xAI之前，他在OpenAI工作了兩年。是GPT-4技術(shù)報(bào)告的聯(lián)合作者，參與了GPT-4o和DALL-E 3的核心開(kāi)發(fā)，提出GPT-4-Turbo 128k算法，并作為第一貢獻(xiàn)者搭建了OpenAI的Embedding模型。這幾項(xiàng)工作分別對(duì)應(yīng)OpenAI在語(yǔ)言模型、多模態(tài)、圖像生成和向量檢索上的關(guān)鍵節(jié)點(diǎn)。

莊鈞堂離職的同一天，xAI多名員工相繼發(fā)出類似消息。三天前，馬斯克剛宣布xAI不再作為獨(dú)立公司運(yùn)營(yíng)，并入SpaceX，統(tǒng)一更名為"SpaceXAI"。消息發(fā)出后不久，離職潮密集爆發(fā)。

人員流失并非新鮮事。從2024年中開(kāi)始，xAI聯(lián)創(chuàng)陸續(xù)離開(kāi)，SpaceX完成收購(gòu)后進(jìn)入密集期。到今年3月底，11位聯(lián)創(chuàng)全部清零。Fast Company統(tǒng)計(jì)，過(guò)去一年內(nèi)xAI可查證的離職員工已超過(guò)80人。

馬斯克嘗試過(guò)外部引援。今年3月，他把Mistral AI和Thinking Machines Lab聯(lián)創(chuàng)Devendra Chaplot請(qǐng)來(lái)，直接向他匯報(bào)。但Devendra入職僅一個(gè)月便離職。馬斯克后來(lái)承認(rèn)，xAI"沒(méi)有建立在正確的基礎(chǔ)上，正在從頭重建"。

4月，他轉(zhuǎn)向與Cursor合作。Cursor員工開(kāi)始出現(xiàn)在xAI辦公室，由xAI現(xiàn)任研究負(fù)責(zé)人Aman Madaan主持聯(lián)合會(huì)議。這次合作的目的之一，正是解決"留不住人"的困境。

人事動(dòng)蕩的另一邊，Grok產(chǎn)品仍在推進(jìn)。新版增加了連接器功能，支持接入郵件、日歷、Notion等工具，幫助用戶提取郵件、整理日程。馬斯克還親自下場(chǎng)駁斥"Grok將死"的傳聞，表示新模型正在Colossus 2集群上正常訓(xùn)練。

這一表態(tài)也有背景。xAI剛剛把Colossus集群租給了競(jìng)爭(zhēng)對(duì)手Anthropic，加上團(tuán)隊(duì)不再獨(dú)立運(yùn)行，外界難免猜測(cè)資源是否轉(zhuǎn)移。馬斯克的回應(yīng)，算是解開(kāi)了這部分疑云。

從OpenAI到xAI，莊鈞堂的兩次跳槽都踩在大模型競(jìng)賽的關(guān)鍵節(jié)點(diǎn)。他的離開(kāi)，讓xAI的預(yù)訓(xùn)練團(tuán)隊(duì)再失一員經(jīng)驗(yàn)豐富的技術(shù)骨干。而Cursor員工的進(jìn)駐，能否扭轉(zhuǎn)馬斯克"留不住人"的局面，還有待觀察。