本期為TechBeat人工智能社區(qū)第725期線上Talk。

北京時(shí)間11月12日(周三) 20:00，麻省理工學(xué)院博士生周偲的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開(kāi)播！

他與大家分享的主題是:擴(kuò)散語(yǔ)言模型新范式 - 生成和推理的基礎(chǔ)理論與方法，屆時(shí)他將分析自回歸模型、離散擴(kuò)散模型、連續(xù)擴(kuò)散模型和循環(huán)Transformer的表達(dá)能力，并提出多個(gè)新的擴(kuò)散語(yǔ)言生成和推理范式，包括任意過(guò)程生成、層次化擴(kuò)散語(yǔ)言模型（HDLM）和協(xié)同進(jìn)化的連續(xù)-離散擴(kuò)散模型（CCDD)。

Talk·信息

主題：擴(kuò)散語(yǔ)言模型新范式 - 生成和推理的基礎(chǔ)理論與方法

嘉賓：麻省理工學(xué)院 · 博士生 - 周偲

時(shí)間：北京時(shí)間11月12日(周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

自回歸大語(yǔ)言模型目前取得了巨大的成功，但面對(duì)復(fù)雜問(wèn)題如數(shù)獨(dú)時(shí)仍很難高效解決。近段時(shí)間來(lái)，擴(kuò)散語(yǔ)言模型獲得了極大關(guān)注，并且在結(jié)構(gòu)化或復(fù)雜問(wèn)題中顯著好于自回歸模型。但是基于掩碼的離散擴(kuò)散模型表達(dá)能力依然有限并有諸多實(shí)際上的不足。我們首先詳盡分析了自回歸模型、離散擴(kuò)散模型、連續(xù)擴(kuò)散模型和循環(huán)Transformer的表達(dá)能力，并提出了多個(gè)新的擴(kuò)散語(yǔ)言生成和推理范式，包括任意過(guò)程生成、層次化擴(kuò)散語(yǔ)言模型（HDLM）和協(xié)同進(jìn)化的連續(xù)-離散擴(kuò)散模型（CCDD）。

Talk大綱

1. 背景：

自回歸模型和基于掩碼的離散擴(kuò)散模型的基本概念與局限性

2. Any process generation：

基于計(jì)算復(fù)雜性理論，提出了任意過(guò)程生成（包括重掩碼、刪除和插入等），并徹底分析了幾種范式的表達(dá)能力。

3. HDLM：

提出了層次化擴(kuò)散語(yǔ)言模型，給出了完整的diffusion ELBO推導(dǎo)和高效實(shí)現(xiàn)，并在理論和實(shí)驗(yàn)中均優(yōu)于傳統(tǒng)的掩碼擴(kuò)散語(yǔ)言模型。

4. CCDD：

詳盡比較了離散擴(kuò)散、連續(xù)擴(kuò)散和循環(huán)Transformer的表達(dá)能力和實(shí)際可訓(xùn)練性，提出了協(xié)同進(jìn)化的連續(xù)-離散擴(kuò)散模型，兼具更強(qiáng)的理論表達(dá)能力和更好的可訓(xùn)練、可采樣性。

Talk·預(yù)習(xí)資料

論文鏈接： https://arxiv.org/pdf/ 2510.06190

論文鏈接： https://arxiv.org/abs/ 2510.08632

論文鏈接： https://arxiv.org/abs/2510.03206

Talk·提問(wèn)交流

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call和問(wèn)題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

周偲???????????

麻省理工學(xué)院 · 博士生
???

周偲是麻省理工學(xué)院的二年級(jí)博士生，隸屬于計(jì)算機(jī)和人工智能實(shí)驗(yàn)室，導(dǎo)師為T(mén)ommi Jaakkola和Stephen Bates。主要研究方向?yàn)闄C(jī)器學(xué)習(xí)，生成模型（包括擴(kuò)散模型和大語(yǔ)言模型）以及科學(xué)應(yīng)用。以第一作者或主要貢獻(xiàn)者身份在國(guó)際人工智能和機(jī)器學(xué)習(xí)頂會(huì)如ICML, NeurIPS, AISTATS, EMNLP等發(fā)表論文十余篇。在博士之前，以最高榮譽(yù)本科畢業(yè)于清華大學(xué)自動(dòng)化系，輔修統(tǒng)計(jì)學(xué)并是通用人工智能實(shí)驗(yàn)班的一員。此外曾于微軟研究院實(shí)習(xí)，在本科期間曾與北京大學(xué)張牧涵老師、清華大學(xué)黃高老師、加州大學(xué)圣地亞哥分校Yusu Wang和Rose Yu老師合作。

個(gè)人主頁(yè): https://www.techbeat.net/grzytrkj?id=45878 https://homepage.zhouc.ai ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團(tuán)隊(duì)專(zhuān)場(chǎng) | 錄播or直播 | 閉門(mén)交流

多種方式任你選擇！

推薦講者成功也有獎(jiǎng)勵(lì)哦~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門(mén)創(chuàng)投，是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。

我們希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。

期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>

預(yù)約本期Talk