機(jī)器之心編輯部

ICLR 2026 獲獎(jiǎng)?wù)撐囊呀?jīng)公布。

今年共有 2 篇論文獲得「杰出論文獎(jiǎng)」（Outstanding Paper），另有 1 篇論文獲得「榮譽(yù)提名」（Honorable Mention）；此外，還有 2 篇 ICLR 2016 論文獲得「時(shí)間檢驗(yàn)獎(jiǎng)」（Test of Time Award）。

作為機(jī)器學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議， ICLR 2026 于 2026 年 4 月 23 日至 27 日在巴西里約熱內(nèi)盧舉行。官方今年收到了有效投稿約 19000 篇，總錄取率約為 28%，該錄取率涵蓋了所有經(jīng)過同行評(píng)審的完整論文投稿，無論其是否撤稿。

以下是獲獎(jiǎng)?wù)撐脑敿?xì)信息。

杰出論文獎(jiǎng)

論文 1：Transformers are Inherently Succinct

這項(xiàng)理論工作提出了一個(gè)新的視角，用以解釋 Transformer 架構(gòu)的強(qiáng)大能力：即與 RNN 等替代模型相比，它能夠以多么簡潔的方式編碼某些概念。盡管存在一些批評(píng)意見，但論文傳達(dá)出的鮮明概念性觀點(diǎn)仍引起了評(píng)審委員會(huì)及其他專家的興趣。

該工作可能會(huì)推動(dòng)后續(xù)圍繞 Transformer 及其他架構(gòu)在概念表示簡潔性方面的更多理論與實(shí)證研究。

• 論文作者：Pascal Bergstr??er、Ryan Cotterell、Anthony Widjaja Lin
• 論文鏈接：https://openreview.net/pdf?id=Yxz92UuPLQ

論文摘要：論文提出以簡潔性作為衡量 Transformer 在描述某一概念時(shí)表達(dá)能力的指標(biāo)。

為此，本文證明 Transformer 具有很強(qiáng)的表達(dá)能力：相比有限自動(dòng)機(jī)和線性時(shí)序邏輯（LTL）公式等形式語言的標(biāo)準(zhǔn)表示方法，Transformer 能夠以顯著更簡潔的方式表示形式語言。

作為這種表達(dá)能力帶來的一個(gè)副產(chǎn)物，研究進(jìn)一步表明，驗(yàn)證 Transformer 的性質(zhì)在理論上是不可處理的，也就是說，該問題是 EXPSPACE-complete（指數(shù)空間完全） 的。

論文 2：LLMs Get Lost In Multi-Turn Conversation

大多數(shù)用于 LLM 訓(xùn)練的數(shù)據(jù)與其實(shí)際部署方式之間存在明顯的不協(xié)調(diào)：訓(xùn)練數(shù)據(jù)主要是文本補(bǔ)全或單輪交互形式，而實(shí)際部署場(chǎng)景本質(zhì)上往往是多輪對(duì)話。如何穩(wěn)健地評(píng)估和訓(xùn)練模型的多輪能力，仍然是一項(xiàng)復(fù)雜挑戰(zhàn)。

這篇論文設(shè)計(jì)了一種可擴(kuò)展的方法來評(píng)估多輪能力，并發(fā)現(xiàn)：在非常常見的多輪交互場(chǎng)景中，尤其是當(dāng)指令存在欠明確、信息不充分的問題時(shí)，LLM 的能力和可靠性會(huì)顯著下降。

該工作展現(xiàn)了出色的實(shí)驗(yàn)設(shè)計(jì)和方法論，其發(fā)現(xiàn)新穎且有趣，尤其聚焦于一個(gè)更貼近真實(shí)使用場(chǎng)景的重要問題。盡管評(píng)審過程中曾討論過其使用模型相對(duì)較舊的問題，但委員會(huì)認(rèn)為，該論文的結(jié)論和方法對(duì)于當(dāng)前最先進(jìn)的模型仍然具有相關(guān)性。

這項(xiàng)工作突出揭示了一個(gè)前沿模型正在努力解決的問題，并提供了一種可行且可擴(kuò)展的診斷方法。

• 論文作者：Philippe Laban, Hiroaki Hayashi, Yingbo Zhou, Jennifer Neville
• 論文鏈接：https://openreview.net/pdf?id=VKGTGGcwl6

論文摘要：大語言模型本質(zhì)上是一種對(duì)話式接口，因此其能力不應(yīng)只體現(xiàn)在理解和完成用戶已經(jīng)充分說明的任務(wù)上，還應(yīng)體現(xiàn)在能夠通過多輪交流，幫助用戶逐步明確、探索和細(xì)化需求。

然而，當(dāng)前大多數(shù) LLM 評(píng)估仍主要集中在單輪、指令完整明確的任務(wù)場(chǎng)景中，而真實(shí)用戶交互中，指令不充分、需求未完全說明的情況十分常見。針對(duì)這一問題，論文通過大規(guī)模模擬實(shí)驗(yàn)，對(duì)比了多個(gè)頂尖開源和閉源 LLM 在單輪與多輪場(chǎng)景下的表現(xiàn)。

實(shí)驗(yàn)結(jié)果顯示，所有被測(cè)試模型在多輪對(duì)話中的表現(xiàn)都明顯低于單輪場(chǎng)景。在六類生成任務(wù)中，模型性能平均下降 39%。進(jìn)一步基于 20 多萬次模擬對(duì)話的分析表明，這種性能退化主要來自兩個(gè)方面：一是模型能力本身出現(xiàn)小幅下降，二是模型可靠性顯著降低。

論文還發(fā)現(xiàn)，LLM 往往會(huì)在對(duì)話早期過早做出假設(shè)，并嘗試生成最終答案；一旦這些早期判斷出現(xiàn)偏差，模型在后續(xù)對(duì)話中容易過度依賴錯(cuò)誤方向，難以及時(shí)糾正。換言之，當(dāng) LLM 在多輪對(duì)話中走錯(cuò)一步時(shí)，往往會(huì)逐漸迷失，并難以恢復(fù)到正確軌道。

除上述兩篇杰出論文獎(jiǎng)?wù)撐耐猓禩he Polar Express: Optimal Matrix Sign Methods and their Application to the Muon Algorithm》 獲得了本屆榮譽(yù)提名（Honorable Mention）。該論文由 Noah Amsel、David Persson、Christopher Musco 和 Robert M. Gower 共同完成。

時(shí)間檢驗(yàn)獎(jiǎng)（Test of Time）

時(shí)間檢驗(yàn)獎(jiǎng)旨在表彰 2016 年 ICLR 上發(fā)表的、對(duì)該領(lǐng)域產(chǎn)生持久影響的論文。2026 年程序委員會(huì)審查了 2016 年 ICLR 上發(fā)表的論文，選出了以下兩篇具有代表性的論文，該論文對(duì)如今的機(jī)器學(xué)習(xí)領(lǐng)域產(chǎn)生了深遠(yuǎn)的影響和作用。

論文 1.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

這篇論文，通常被稱為「DCGAN」，是最早成功展示基于學(xué)習(xí)的生成模型能夠合成多樣化、真實(shí)且復(fù)雜圖像的論文之一，為圖像生成子領(lǐng)域的興起奠定了基礎(chǔ)。

當(dāng)前，圖像生成是機(jī)器學(xué)習(xí)研究中最活躍的領(lǐng)域之一，并且在工業(yè)界產(chǎn)生了許多非常成功的應(yīng)用，雖然技術(shù)已經(jīng)發(fā)生了變化（從 GAN 到擴(kuò)散模型），但 DCGAN 依然經(jīng)得起時(shí)間的考驗(yàn)，是這一重要領(lǐng)域得以發(fā)展的關(guān)鍵一步。

• 論文作者：Alec Radford、Luke Metz、Soumith Chintala
• 論文鏈接：https://arxiv.org/pdf/1511.06434

論文 2.Continuous control with deep reinforcement learning

該論文可以說是那些最具代表性的，從根本上改變其領(lǐng)域發(fā)展軌跡的成果之一。在這篇論文介紹深度確定性策略梯度（DDPG）算法發(fā)表之前，將強(qiáng)化學(xué)習(xí)應(yīng)用于物理系統(tǒng)正面臨著嚴(yán)重瓶頸，工程師們被困于手工制作狀態(tài)特征，或與由離散化復(fù)雜運(yùn)動(dòng)控制引起的維度災(zāi)難作斗爭。

深度確定性策略梯度算法是第一個(gè)成功解決這兩大局限性的算法，通過巧妙地將確定性 Actor-Critic 架構(gòu)與 DQN 的穩(wěn)定化技術(shù)結(jié)合，該算法使神經(jīng)網(wǎng)絡(luò)能夠?qū)⒃紓鞲衅鲾?shù)據(jù)直接轉(zhuǎn)化為精確、連續(xù)的物理動(dòng)作。

最終，DDPG 展示了深度強(qiáng)化學(xué)習(xí)能夠進(jìn)入連續(xù)控制領(lǐng)域，改變了該領(lǐng)域的軌跡，并引發(fā)了一場(chǎng)強(qiáng)化學(xué)習(xí)的革命。

• 論文作者：Timothy P. Lillicrap、Jonathan J. Hunt、Alexander Pritzel、Nicolas Heess、Tom Erez、Yuval Tassa、David Silver、Daan Wierstra
• 論文鏈接：https://arxiv.org/pdf/1509.02971

https://x.com/iclr_conf/status/2047780516682694977

https://x.com/iclr_conf/status/2047287536611963295

https://x.com/iclr_conf/status/2047290363740606703

https://x.com/GoogleResearch/status/2047802189096136781

https://blog.iclr.cc/2026/04/23/announcing-the-iclr-2026-outstanding-papers/

https://blog.iclr.cc/2026/04/22/announcing-the-test-of-time-awards-from-iclr-2016/