↑閱讀之前記得關(guān)注+星標(biāo)??，，每天才能第一時間接收到更新

Andrej Karpathy對于如何理解和與LLM交互最新觀點

他提出一個核心觀點：不要把大語言模型看作是實體，而應(yīng)視作模擬器

這一視角的轉(zhuǎn)變，直接影響著用戶與AI交互的方式和效果

Karpathy建議，當(dāng)人們想要探索某個話題時，應(yīng)該避免使用這樣的提問方式：

“關(guān)于xyz，你怎么看？”

原因很簡單：根本就沒有“你”存在。

Karpathy認為，大模型并沒有像人類那樣，隨著時間的推移對某個話題進行思考并形成自己的觀點。

如果用戶強行使用“你”來提問，LLM會根據(jù)其微調(diào)數(shù)據(jù)的統(tǒng)計規(guī)律，采用一個隱含的 “個性嵌入向量”（personality embedding vector），并基于此進行模擬回復(fù)。雖然這樣做也沒問題，但Karpathy指出，這其中的神秘感遠沒有人們通常認為的詢問AI那么高

更有效的提問策略

基于模擬器的定位，Karpathy給出了一種更優(yōu)的Prompt策略：

“什么樣的一群人適合探索xyz話題？他們會怎么說？”

通過這種方式，用戶可以讓LLM引導(dǎo)或模擬多種視角，而非局限于單一的、被統(tǒng)計數(shù)據(jù)塑造的“AI人格”

關(guān)于AI人格的工程化本質(zhì)

針對卡帕西的觀點，有網(wǎng)友提出了一個反直覺的問題：模型難道不會采取回報率最高的個性嗎？這就意味著它會表現(xiàn)得像該領(lǐng)域最適合回答該問題的專家

對此，Karpathy承認，確實存在針對“你”這一模擬維度的工程化工作。

目前，通過SFT（監(jiān)督微調(diào)）和RLHF（人類反饋強化學(xué)習(xí)），開發(fā)者正在努力構(gòu)建一個能夠獲得高獎勵、贏得用戶或裁判模型點贊、或者模仿特定響應(yīng)風(fēng)格的“個性”。這確實產(chǎn)生了一種涌現(xiàn)出的復(fù)合人格

但Karpathy強調(diào)，這種“你”是被刻意設(shè)計、工程化并硬加上去的

它本質(zhì)上仍然建立在一個Token模擬引擎之上，而不是一個隨著時間推移、以普通人可理解的方式構(gòu)建起來的、具有涌現(xiàn)性的“心智”

可驗證與不可驗證領(lǐng)域

Karpathy最后指出，在不同領(lǐng)域，這種區(qū)別的影響不同：

在可驗證領(lǐng)域（如數(shù)學(xué)、編程）：情況相對簡單，專家視角的模擬通常是準確的。

在不可驗證領(lǐng)域（如詢問對某話題的觀點/意見）：情況則變得更加有趣且復(fù)雜。

在后一種情況下，用戶很難搞清楚正在與之對話的這個“你”究竟是誰，它來自哪里，以及應(yīng)該給予它多大的信任度

驗證

直接上手驗證一下，用Karpathy建議的Prompt策略，來解析Karpathy以上觀點

提問：

LLM（Gemini 3 pro）的回答：

為了深入探討“LLM是模擬器而非實體”這一論題，最適合組成的虛擬圓桌會議應(yīng)該包含以下幾類人：深度學(xué)習(xí)理論家、認知科學(xué)家、RLHF（人類反饋強化學(xué)習(xí)）一線工程師以及高階提示詞專家

假如他們聚在一起，針對Karpathy的觀點，他們會分別這樣說：

1. 深度學(xué)習(xí)理論家（The Deep Learning Theorist）

視角核心：統(tǒng)計學(xué)與概率分布

Karpathy切中了要害。從數(shù)學(xué)本質(zhì)上看，模型只是在多維空間中學(xué)習(xí)數(shù)據(jù)分布。所謂的‘回答’，本質(zhì)上是從巨大的概率分布中進行的條件采樣（Conditional Sampling）

當(dāng)你問‘你怎么看’時，模型并不是在調(diào)動一個內(nèi)在的自我意識中心，它只是在計算：在海量的互聯(lián)網(wǎng)文本中，當(dāng)出現(xiàn)‘你怎么看’這種句式時，后面接什么Token的概率最高。它模擬的是‘互聯(lián)網(wǎng)上的平均回答者’或者‘微調(diào)數(shù)據(jù)中定義的理想助手’。確實不存在一個物理的或心理的‘實體’在思考

2. RLHF工程師（The Alignment Engineer）

視角核心：工程實現(xiàn)與獎勵機制

關(guān)于‘硬加’和‘工程化’這一點，我們最清楚。底座模型就像是一個瘋狂的夢境生成器，它能模擬莎士比亞，也能模擬代碼，或者模擬網(wǎng)絡(luò)噴子。

我們通過RLHF給它套上了一個面具。那個彬彬有禮、總是說作為一名人工智能語言模型……’的‘你’，確實是我們?yōu)榱税踩陀杏眯?，通過獎勵模型硬生生訓(xùn)練出來的特定行為模式。Karpathy說得對，這只是一層薄薄的界面，底下仍然是那個通用的Token模擬引擎

3. 認知科學(xué)家/心靈哲學(xué)家（The Cognitive Scientist）

視角核心：主體性（Agency）與時間連續(xù)性

關(guān)鍵在于Karpathy提到的時間和形成觀點。人類的我建立在記憶的連續(xù)性和與世界持續(xù)交互的經(jīng)驗之上

LLM是無狀態(tài)的。每一次對話對它來說都是全新的開端，沒有過去，也沒有未來。它沒有隨著時間推移去在這個世界上生活，因此它不可能擁有像人類那樣基于生活經(jīng)驗累積而成的觀點。它是在模擬一個擁有觀點的人類會說出的話，這在本體論上與擁有觀點是兩回事

4. 高階提示詞專家（The Prompt Engineer）

視角核心：實用主義與上下文激活

從實操角度看，把LLM當(dāng)作‘模擬器’能讓性能提升一個量級

如果我問‘你怎么看這行代碼’，它可能會給出一個平庸的、通過RLHF對齊的通用解釋。但如果我按照Karpathy的邏輯，把它設(shè)定為‘模擬一位資深的Linux內(nèi)核維護者’，它就會調(diào)用訓(xùn)練數(shù)據(jù)中那部分特定的、高權(quán)重的專業(yè)知識分布

承認‘沒有你’，反而讓我們能更自由地定義‘你是誰’，從而榨出模型的最強性能?！?/p>

總結(jié)這群人的共識：

他們會一致認為，Karpathy不僅是在糾正稱呼，更是在揭示大模型“變色龍”的本質(zhì)?！澳恪笔且粋€被訓(xùn)練出來的用戶界面，而“模擬器”才是這臺機器真正的操作系統(tǒng)

非常有意思，建議大家也嘗試一下，小小的一個提示詞策略改變，可能會讓你獲得對某個topic更好的理解

--end--

最后記得??我，這對我非常重要，每天都在更新：

歡迎點贊轉(zhuǎn)發(fā)推薦評論，別忘了關(guān)注我