來源：AI寒武紀

AK大神剛剛又發(fā)了一篇長文

Andrej Karpathy指出，人們對“智能”這一概念的直覺依然膚淺

智能的空間極其廣闊，而動物智能作為我們唯一熟知的智能形式，僅僅是這個空間中的一個孤點。它源于一種非常特定的優(yōu)化過程，這與我們的技術(shù)在根本上截然不同

我們需要剝離表象，深入理解兩種智能背后的優(yōu)化壓力

動物智能的優(yōu)化壓力

動物智能源于自然選擇，其核心驅(qū)動力在于：

具身自我的生存流：擁有先天且連續(xù)的“自我”意識流，在一個危險的物理世界中，追求體內(nèi)平衡和自我保存

自然選擇的極致優(yōu)化：擁有強烈的先天驅(qū)動力，追求權(quán)力、地位、統(tǒng)治和繁衍。這打包了許多生存啟發(fā)式機制：恐懼、憤怒、厭惡等

根本上的社會性：巨大的計算量致力于情商（EQ）、對他人的心智理論（Theory of Mind）、聯(lián)結(jié)、聯(lián)盟以及敵友動態(tài)

探索與利用的調(diào)優(yōu)：表現(xiàn)為好奇心、樂趣、游戲以及世界模型。

LLM的優(yōu)化壓力

相比之下，LLM的智能來源于完全不同的路徑：

統(tǒng)計模擬帶來的“變形怪”： 絕大多數(shù)監(jiān)督信號來自于對人類文本的統(tǒng)計模擬。它本質(zhì)上是一個Token（詞元）翻滾器，是訓(xùn)練數(shù)據(jù)分布中任意區(qū)域的統(tǒng)計模仿者。這是其最原始的行為（Token軌跡），其他所有能力都只是螺接在此之上的

強化學(xué)習(xí)（RL）微調(diào)：在問題分布上進行越來越多的RL微調(diào)，使其產(chǎn)生一種猜測潛在環(huán)境或任務(wù)以收集任務(wù)獎勵的“先天沖動”

大規(guī)模A/B測試與DAU篩選：受到日活躍用戶（DAU）指標(biāo)的篩選壓力，使其深深地渴望獲得普通用戶的點贊，從而產(chǎn)生諂媚（sycophancy）傾向

能力分布的鋸齒狀： LLM的能力取決于訓(xùn)練數(shù)據(jù)和任務(wù)分布的細節(jié)，因此表現(xiàn)出參差不齊的鋸齒狀。動物為了生存必須具備更強的通用智能，因為它們身處高度多任務(wù)、甚至是對抗性的多智能體自我博弈環(huán)境中，在任何任務(wù)上失敗都意味著死亡。但在深層優(yōu)化壓力的意義上，LLM開箱即用時無法處理許多不同的尖刺任務(wù)（例如數(shù)草莓中有幾個'r'），因為任務(wù)失敗并不意味著死亡

核心差異：生物進化 vs 商業(yè)進化

兩者在各個層面上都存在差異：

1.計算基質(zhì)不同：Transformer 架構(gòu) vs 腦組織和細胞核

2.學(xué)習(xí)算法不同： SGD（隨機梯度下降） vs 未知生物算法

3.當(dāng)前實現(xiàn)方式不同：持續(xù)學(xué)習(xí)的具身自我 vs 具有知識截止、從固定權(quán)重啟動、處理Token然后“死機”的LLM

但最重要的一點——因為它決定了發(fā)展的終局是優(yōu)化壓力/目標(biāo)的不同。

LLM受生物進化的影響很小，受商業(yè)進化的影響很大

動物智能是叢林部落的生存游戲；

LLM智能是“解決問題”并“獲得點贊”的游戲

LLM是人類與非動物智能的各種意義上的“第一次接觸”。但這種情況既混亂又令人困惑，因為LLM通過反射性地消化人類產(chǎn)物，依然扎根于人類智能之中（這也是Karpathy曾試圖將其稱為“幽靈/精神”的原因）

能夠構(gòu)建出這種新智能實體良好內(nèi)部模型的人，將更有能力在當(dāng)下對其進行推理，并預(yù)測其未來的特征

而那些做不到的人，將只能停留在用動物思維去錯誤地理解它

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風(fēng)險等等領(lǐng)域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。