本期為TechBeat人工智能社區(qū)第733期線上Talk。

北京時(shí)間12月10日(周三) 20:00，加州大學(xué)圣克魯茲分校博士生朱芮捷的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是：利用Loop語言模型擴(kuò)展Latent Reasoning，屆時(shí)他將介紹新出的Ouro模型。它通過LoopLM架構(gòu)復(fù)用權(quán)重，讓1.4B的小模型也能在數(shù)學(xué)和代碼任務(wù)上硬剛4B甚至12B的傳統(tǒng)大模型。

Talk·信息

主題：利用Loop語言模型擴(kuò)展Latent Reasoning

嘉賓：加州大學(xué)圣克魯茲分校 · 博士生 - 朱芮捷

時(shí)間：北京時(shí)間12月10日(周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

LLM非要越做越大嗎？字節(jié)跳動(dòng)和UCSC新出的Ouro模型給出了反直覺的答案。它通過LoopLM架構(gòu)復(fù)用權(quán)重，讓1.4B的小模型也能在數(shù)學(xué)和代碼任務(wù)上硬剛4B甚至12B的傳統(tǒng)大模型。這種用“深度換空間”的思路，不僅打破了參數(shù)量迷信，也讓端側(cè)部署高性能推理模型成為了可能，LoopLM會(huì)是下一代架構(gòu)的組成部分嗎？

Talk大綱

1. 背景與挑戰(zhàn)：

當(dāng)前的大語言模型主要依賴顯式文本生成（如思維鏈CoT）來進(jìn)行推理，但這種方式將推理能力的培養(yǎng)延后到了后訓(xùn)練階段，未能充分利用海量的預(yù)訓(xùn)練數(shù)據(jù)。

2. Ouro：

一個(gè)將推理能力直接融入預(yù)訓(xùn)練階段的Loop語言模型(LoopLM)家族。其核心創(chuàng)新包括：(1) 在Latent Space中進(jìn)行迭代計(jì)算，(2) 通過熵正則化實(shí)現(xiàn)學(xué)習(xí)化的深度分配，以及(3) 在7.7萬億token上的大規(guī)模訓(xùn)練。

3. 實(shí)驗(yàn)部分：

盡管Ouro模型僅有1.4B和2.6B參數(shù)，卻能在廣泛的基準(zhǔn)測(cè)試中達(dá)到12B參數(shù)最先進(jìn)模型的性能水平。我們的合成數(shù)據(jù)實(shí)驗(yàn)顯示Ouro的優(yōu)勢(shì)并非來自更大的知識(shí)容量，而是源于更強(qiáng)的Knowleage manipulation能力。

4. 總結(jié)&展望：

我們還會(huì)討論LoopLM如何生成與最終輸出更加對(duì)齊的推理軌跡，以及這一方向如何為推理時(shí)代的模型Scaling提供新的可能性。

Talk·預(yù)習(xí)資料

論文鏈接： https://arxiv.org/abs/2510.25741 項(xiàng)目主頁： https://ouro-llm.github.io/

Talk·提問交流

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call和問題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

朱芮捷???????????

加州大學(xué)圣克魯茲分校 · 博士生
???

朱芮捷是加州大學(xué)圣克魯茲分校的博士生，專注于重新定義大規(guī)模語言模型的效率與可擴(kuò)展性。他的研究致力于探索能夠突破標(biāo)準(zhǔn) Transformer 局限性的模型架構(gòu)，特別強(qiáng)調(diào)線性注意力機(jī)制與遞歸式序列建模。他目前正從事可擴(kuò)展?jié)撛谕评砟芰Φ难芯?，目?biāo)是將迭代式思考直接融入模型架構(gòu)，在降低計(jì)算開銷的同時(shí)實(shí)現(xiàn)更高性能。

個(gè)人主頁: https://www.techbeat.net/grzytrkj?id=45992

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團(tuán)隊(duì)專場(chǎng) | 錄播or直播 | 閉門交流

多種方式任你選擇！

推薦講者成功也有獎(jiǎng)勵(lì)哦~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。

我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。

期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>

預(yù)約本期Talk