創(chuàng)投筆記

# 大模型與人類大腦的差距 #

杰佛里·辛頓

計(jì)算機(jī)科學(xué)家

在神經(jīng)網(wǎng)絡(luò)的發(fā)展史上，人們長(zhǎng)期認(rèn)為處理序列應(yīng)依靠循環(huán)神經(jīng)網(wǎng)絡(luò)。后來Transformer的出現(xiàn)改變了游戲規(guī)則，它允許模型直接回看完整的所有歷史活動(dòng)狀態(tài)，從而獲得了極其宏大的上下文。

但生物大腦的神經(jīng)元數(shù)量有限，無法像Transformer那樣保留所有歷史激活狀態(tài)。大腦獲得豐富上下文的唯一途徑是在短期連接強(qiáng)度中保存記憶。傳統(tǒng)模型只有快速的神經(jīng)活動(dòng)和緩慢的連接強(qiáng)度這兩個(gè)時(shí)間尺度。

要在生物網(wǎng)絡(luò)中實(shí)現(xiàn)類似Transformer的功能，必須引入第三個(gè)時(shí)間尺度，即“快速權(quán)重”。它疊加在連接強(qiáng)度上，能迅速改變權(quán)重并在短時(shí)間內(nèi)衰減。其承載的信息量比神經(jīng)活動(dòng)高出幾千倍。這才是神經(jīng)網(wǎng)絡(luò)運(yùn)行的真實(shí)上下文，也必然是大腦處理復(fù)雜序列的底層機(jī)制。

我現(xiàn)在認(rèn)為大腦可能并不使用反向傳播。大模型擁有數(shù)萬億樣本但連接數(shù)相對(duì)較少，而大腦擁有一百萬億個(gè)連接，但訓(xùn)練數(shù)據(jù)非常匱乏。

大腦解決的是如何在極少數(shù)據(jù)下利用海量連接進(jìn)行學(xué)習(xí)，而AI則是通過反向傳播將海量信息擠進(jìn)有限的連接中。大腦傾向于將少量信息散布在巨大的連接網(wǎng)絡(luò)中以便日后檢索，這與目前的AI學(xué)習(xí)策略截然不同。

合 作 對(duì) 接

掃碼添加投資人說運(yùn)營(yíng)者微信，備注「商務(wù)合作」詳細(xì)溝通。

超 級(jí) 社 群

【投資人說】正在組建超級(jí)創(chuàng)業(yè)者社群、超級(jí)讀者群、超級(jí)媒體群等，目前總?cè)藬?shù)已超1000人。

關(guān)注【投資人說】微信公眾號(hào)，發(fā)送信息「進(jìn)群」，與各行業(yè)精英直接交流，共同進(jìn)步。

旗 下 媒 體