国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

谷歌創(chuàng)始人布林:當年發(fā)完Transformer論文,我們太不當回事了

0
分享至

  

  來源:機器之心報道

  現(xiàn)在的大學生該選什么專業(yè)?未來一百年的大學會是什么樣子?業(yè)界 AI 如此強勢,學界還能做什么?谷歌在過去二十多年里做對了什么,又有哪些遺憾?

  在斯坦福大學工程學院百年慶典的收官活動上,谷歌聯(lián)合創(chuàng)始人謝爾蓋?布林重返母校,與校長 Jonathan Levin 以及工程學院院長 Jennifer Widom 展開了一場對談。

  布林于 1993 年進入斯坦福工程學院,攻讀計算機科學研究生。讀研期間,他結(jié)識了拉里?佩奇。兩人共同開發(fā)了一種搜索算法,并于 1998 年創(chuàng)辦了谷歌。

  回顧谷歌的來時路,布林坦言 8 年前提出 Transformer 時,他們沒有予以足夠的重視,而且因為擔心聊天機器人說蠢話而害怕將其展示給世人。但他同時認為,他們這些年也做了很多正確的事情,比如投資研發(fā) TPU 并建立規(guī)模龐大的數(shù)據(jù)中心。

  對于未來,布林也表達了一些自己的看法,比如認為大學未來可能不應該再限制于某個地理位置,學界未來應該投身更具探索性質(zhì)的研究,材料等科研方向可能被低估了……

  以下是這場對話內(nèi)容的摘錄。

  Google 早期做對了什么?

  學術基因、敢碰難題

  校長:Google 已經(jīng)是一家市值 4 萬億美元的公司,業(yè)務范圍極其廣泛。你們這些年肯定做了很多正確的決定。有沒有什么是你們在創(chuàng)建 Google 初期就做對的事情?

  布林:我覺得早期的話,Larry 一直非常有雄心。他現(xiàn)在也是。對你提出的每個計劃,他幾乎都會說「這不夠有野心」。我們確實很早就有了非常宏大的使命宣言 —— 整合全球信息。我認為這是創(chuàng)辦公司的一個很好的理念基礎。

  另外,我們創(chuàng)建了一家相當學術化的公司。我和 Larry 都是從博士項目出來的,當時很多創(chuàng)業(yè)公司是大學生創(chuàng)辦的。我確實認為這會稍微改變你思考問題的方式。我們從早期就非常重視基礎研發(fā)投入。

  校長:我覺得有充分的理由說 Google 是過去 25 年全球最具創(chuàng)新力的公司。無論是產(chǎn)品創(chuàng)新,還是很多重大決策,比如收購 YouTube 發(fā)展視頻業(yè)務、收購 DoubleClick 做廣告、還有 Waymo。技術創(chuàng)新從一開始就很突出,現(xiàn)在做芯片也是。大公司保持高度創(chuàng)新是很難的,每個人都在這方面掙扎,但你們做到了。很多人認為你個人在這方面有很大影響。你是怎么思考培育創(chuàng)新文化的?

  布林:部分原因就是敢于嘗試。因為我們有學術根基,可能更傾向于嘗試困難的事情。

  進入過去十年左右,困難的事情變得越來越有價值。以 AI 為例,它所需的計算量、所需的高深數(shù)學,這些都是技術上深奧且具有挑戰(zhàn)性的問題。命運的安排使得這些在當今世界變得重要。

  曾經(jīng)有一段時間,你可以做 pets.com,任何東西都可以加個.com。技術深度要求不高,懂點網(wǎng)絡就行?,F(xiàn)在我們招的人比我當時要合格得多。我當時算是偏數(shù)學的計算機專業(yè),因為本科同時學了數(shù)學和計算機,這在我那屆比較少見。但現(xiàn)在我們從斯坦福和其他頂級項目招的人,數(shù)學和計算機都很強,還有很多物理學家,因為物理學家必須做高深數(shù)學,而且他們的很多工作受限于計算能力,所以他們也需要計算技能。我覺得我們只是運氣好,在那個方向上稍微早一點就確定了方向。

  Transformer 論文發(fā)了

  我們卻沒當回事

  校長: 談談 AI 吧。每個人都在關注它。你回到 Google 從事這方面的工作。你們在很多方面都處于前沿,競爭非常激烈。投入 AI 基礎設施的資本達到數(shù)千億美元,單個公司層面都是這樣。你怎么看當前 AI 領域的格局?

  布林:我們確實在某些方面搞砸了 —— 我們投資不足,大約八年前發(fā)布 Transformer 論文時沒有足夠重視。我們沒有太當回事,沒有投資擴展計算規(guī)模。而且我們太害怕把它展示給用戶,因為聊天機器人會說蠢話。OpenAI 抓住了機會,他們做得很好。這是非常聰明的洞察,而且是我們的人比如 Ilya 去那里做的這些事。

  但我確實認為我們?nèi)匀皇芤嬗谀嵌温L的歷史。我們在神經(jīng)網(wǎng)絡的研發(fā)上有很長的積累,可以追溯到 Google Brain。這也有點運氣成分。雇到 Jeff Dean 不是運氣 —— 能得到他我們很幸運 —— 但我們當時就有「深度技術很重要」的心態(tài),所以我們雇了他。我們從 DEC(迪吉多)挖了很多人,因為他們當時有頂級研究實驗室。Jeff 對神經(jīng)網(wǎng)絡很有熱情,源于他大學時的實驗。他 16 歲時就在做治療第三世界疾病和研究神經(jīng)網(wǎng)絡之類的瘋狂事情。他建立了整個團隊。

  當時在我負責的 Google X 部門,我讓他做他想做的。他說「我們能區(qū)分貓和狗了」,我說「好吧,酷」。但你要信任你的技術人員。很快他們就開發(fā)出各種算法和神經(jīng)網(wǎng)絡,用于我們的一些搜索功能。然后有人提出了 Transformer,我們能做的事情越來越多。

  所以我們有基礎,有研發(fā)積累。確實有幾年投資不足,沒有足夠重視。但我們當時也開發(fā)了芯片,TPU 大概有 12 年歷史了。最初我們用 GPU,可能是最早使用 GPU 的公司之一,然后用 FPGA,然后開發(fā)自己的芯片,現(xiàn)在已經(jīng)迭代了無數(shù)代。對深度技術的信任、獲取更多計算能力、開發(fā)算法 —— 同時我們長期以來一直是計算的大投資者,數(shù)據(jù)中心規(guī)模很大。除了亞馬遜 AWS,很少有公司有那種規(guī)模的數(shù)據(jù)中心、自己的半導體、深度學習算法等所有這些堆棧組件,能夠在現(xiàn)代 AI 前沿競爭。

  AI 會寫代碼了

  還要學計算機嗎?

  校長:我們這里大約有 250 名學生,很多是本科生,相當多的人還沒選專業(yè),因為斯坦福給本科生很大的靈活性。幾年前我們可以預測大量學生會選計算機科學作為專業(yè)。你是否建議他們繼續(xù)選計算機科學?

  布林:我選計算機科學是因為我對它有熱情,所以對我來說是很自然的選擇。你可以說我也很幸運,因為我正好在一個如此具有變革性的領域。我不會因為 AI 現(xiàn)在編程能力還不錯就不選計算機科學。AI 在很多事情上都相當不錯。編程之所以受關注是因為它有很大的市場價值,所以很多人追求它。而且更好的編程能帶來更好的 AI,所以像我們這樣的公司非常重視它。我們大量使用它來編程,甚至用于算法創(chuàng)意。

  所以我不會因為 AI 擅長編程就轉(zhuǎn)去學比較文學。說實話,AI 在比較文學方面可能更強。我無意冒犯比較文學專業(yè)的學生,但當 AI 寫代碼時,有時候會犯相當嚴重的錯誤。而在比較文學論文里寫錯一句話不會有那么嚴重的后果。所以 AI 做一些創(chuàng)意性的事情其實更容易。

  未來一百年

  大學還會是現(xiàn)在這個樣子嗎?

  校長:今年是工程學院的百年紀念。如果你是院長,要啟動學院的第二個百年,你會怎么思考?

  布林:我想我會重新思考大學意味著什么。我知道這聽起來有點煩人 —— 這是 Larry 會說的那種話,我會對他很惱火。但我們有這個地理上集中的東西,有建筑,有豪華的報告廳。但現(xiàn)實是,現(xiàn)在信息傳播非???。很多大學已經(jīng)上線了開放課程,任何人都可以上網(wǎng)學習,可以和 AI 聊天。

  那么擁有一所大學意味著什么?如果你想最大化影響力,限制在地理位置可能不會那么有效。當然,灣區(qū)是個特殊的地方。但我不知道在未來一個世紀,工程學院和大學的概念是否還會和以前一樣。人們到處移動,遠程工作,跨地域協(xié)作。這有點矛盾,因為我們正試圖讓人們回到辦公室,我確實認為他們在一起工作效果更好,但那是在特定規(guī)模下。如果你有一百人在那邊,他們不一定要和另外一百人在同一個地方。

  我越來越看到一些個人創(chuàng)造新事物,不管有沒有學位。雖然我們雇了很多學術明星,但我們也雇了大量沒有學士學位的人,他們就是在某個奇怪的角落自己摸索出來的。我不認為我能神奇地給你新配方,但我覺得這種形式不太可能是未來一百年的模式。

  大公司基礎研究這么強

  學術界還能做什么?

  學生提問 1:Google 很大程度上源自您在學術界完成的 PageRank 研究。而在今天,越來越多的創(chuàng)新由工業(yè)界主導,您是否仍然認為「從學術到產(chǎn)業(yè)」的這條路徑依然重要?如果重要,又該如何去強化它?

  布林:說實話,我可能只能回答一句:我也不太確定。

  我讀研究生的時候,一個新想法從被提出,到真正具有商業(yè)價值,往往要經(jīng)歷幾十年的時間。在這樣的時間尺度下,學術研究是非常合理的:你有足夠的自由,可以慢慢思考、申請經(jīng)費、反復試驗,一個問題可以研究二三十年,最后才慢慢「滲透」到產(chǎn)業(yè)里,可能是被大公司吸收,也可能變成一家創(chuàng)業(yè)公司。

  但如果這個時間被大幅壓縮呢?如果一個想法從出現(xiàn)到落地只需要幾年,甚至更短,那這條路徑是否還同樣成立?我覺得這是一個值得重新思考的問題。

  當然,有些事情仍然是有意義的。即便是在 AI 領域,我們也會持續(xù)關注斯坦福等高校的研究,偶爾招聘一些研究人員,或者展開合作。但很多情況下,你很難說這些工作一定 “必須” 在學術界先醞釀很長時間 —— 比如某種新的 attention 機制,可能在大學里實驗兩年,隨后就被帶進了工業(yè)界。但問題是,工業(yè)界本身也在做同樣的事情。所以在這些方面,學術界的 “先行期” 未必有特別不可替代的優(yōu)勢。

  也許在更激進、更底層的創(chuàng)新上,情況會不一樣。比如全新的模型架構、全新的計算范式。這類方向,工業(yè)界雖然一旦決定投入就能擴展得非常快,但最初的探索,可能仍然更適合在學術環(huán)境中進行。

  量子計算就是一個例子。這個想法在上世紀八十年代左右被提出,之后很長時間都停留在理論和實驗室階段。現(xiàn)在,一方面有很多公司在推進量子計算的工程化,另一方面,大學實驗室仍在嘗試各種完全不同的實現(xiàn)路徑。這類方向正好處在學術和產(chǎn)業(yè)的邊界上。

  如果你提出了一種完全不同于主流路線的新方法 —— 比如既不是我們在做的超導量子比特,也不是很多初創(chuàng)公司在嘗試的離子阱方案 —— 那它可能確實需要在大學里慢慢發(fā)酵幾年。這類問題非常困難,也很冒險,放在學術環(huán)境中是合理的。但一旦你真的確信它是可行且有前景的,最終你大概率還是會把它推進到商業(yè)化階段,以某種形式進入產(chǎn)業(yè)。所以,我很難給你一個明確、非黑即白的答案。

  因為現(xiàn)在的頭部科技公司,確實也在做大量基礎研究,而且在 AI 領域,我們已經(jīng)開始看到這些長期投入的回報。這意味著,學術與產(chǎn)業(yè)之間的分工比例正在發(fā)生變化。

  但我仍然相信,有些研究 —— 那種需要十年甚至更久、以純探索為主的研究 —— 產(chǎn)業(yè)界往往是不愿意承擔的,因為它們的時間跨度實在太長,不符合「上市時間」的邏輯。而這些,可能仍然是學術界不可替代的價值所在。

  Google Glass 的教訓

  別以為自己是下一個喬布斯

  學生提問 2: 隨著 AI 以前所未有的速度加速,像我這樣年輕有抱負的創(chuàng)業(yè)者應該采取什么心態(tài)來避免重蹈覆轍?

  布林:避免重蹈覆轍的心態(tài)?當你有很酷的新穿戴設備想法時,在做涉及跳傘和飛艇的炫酷特技之前,一定要把它完全打磨好。這是一個建議。

  其實我喜歡我們當年在 Google Glass 上做的事情,但那是一個以前犯錯的例子。我試圖在它足夠成熟之前過快商業(yè)化,在成本效益和消費者體驗方面都沒準備好。我有點操之過急,以為自己是下一個喬布斯,可以搞定這個東西。

  我想說的是,每個人都以為自己是下一個喬布斯,我肯定犯過這個錯誤。但他是一個非常獨特的人。所以我建議確保你的想法在足夠長的時間里得到充分發(fā)展,然后才進入那個必須不斷奔跑的階段 —— 外部期望增加,開支增加,你必須在某個時間交付。你可能沒有足夠的時間做完所有需要做的事情。你會陷入一種期望滾雪球的狀態(tài),沒有給自己足夠的時間來處理。這是我會盡量避免的錯誤。

  AI 的下一個前沿方向是什么?

  學生提問 3:我們看到很多 AI 公司通過擴展數(shù)據(jù)和計算來改進大語言模型。一旦數(shù)據(jù)和計算都用盡了,你認為下一個方向是什么?會是新的架構,transformer 的替代品?還是更好的學習方法,比監(jiān)督學習或強化學習更好的東西?

  布林:你提到的這些方向 —— 新架構、新訓練方法 —— 在我看來,其實早就已經(jīng)比單純擴算力、擴數(shù)據(jù)更重要了。

  只是因為擴算力太顯眼了:建數(shù)據(jù)中心、買芯片,再加上 OpenAI、Anthropic 關于 scaling law 的那些論文,很容易讓人覺得一切進步都來自 scaling。但如果你仔細對比,會發(fā)現(xiàn)過去十年里,算法層面的進步,其實跑得比算力提升還快。

  我讀研時見過一張關于 N-body 問題的圖 —— 就是引力系統(tǒng)里大量粒子相互作用的計算。從上世紀五十年代到九十年代,算力遵循摩爾定律暴漲,但真正讓問題可解的,是算法改進,而且算法的進步幅度遠遠超過了算力增長。所以我認為,像我們這樣的公司當然不會放棄站在算力前沿,但那更像是甜點。真正的主菜,還是算法上的突破。

  院長:我也補充一句。對算力不夠這件事,我們在大學里其實早就非常熟悉了。高校根本不可能擁有和工業(yè)界同量級的算力,差距非常明顯。但這反而逼著我們?nèi)プ隽硪活悇?chuàng)新:在算力受限的情況下,如何把事情做好,如何用更少的資源做更多的事。這些研究我們已經(jīng)做了很久,而且會持續(xù)做下去。

  什么技術被嚴重低估了?

  學生提問 4:你們認為哪種新興技術的長期影響被嚴重低估了?

  布林:顯然我不能回答 AI—— 很難說它被低估,即便從某種意義上講它可能仍然被低估,但它已經(jīng)不算是「新興」了。

  很多人會提到量子計算,討論它最終能帶來什么。我個人也很支持量子計算相關的研究,但要說這是我最有把握的答案,其實也不是。這里面的不確定性太多了。

  從計算理論上說,我們甚至都還不知道 P 是否不等于 NP。整個計算領域里,還有大量最基礎的問題沒有答案。而且量子算法通常只對非常特定、結(jié)構性很強的問題有效。所以這一方向我很看好,但要精準回答被低估,其實不太容易。

  如果一定要說的話,我可能會把目光投向材料科學 —— 無論是 AI 還是量子計算,在材料領域的應用潛力都巨大。

  如果我們能創(chuàng)造出性能全面提升的新材料,可能帶來的變化幾乎是無限的。

  校長:我其實也在想材料科學這個方向,而且正因為你提到了被低估這個詞?,F(xiàn)在關于技術創(chuàng)新機會的討論非常熱烈,像聚變能源、量子計算這些方向,其實已經(jīng)得到了相當多的關注,很難說它們被忽視了。AI 更不用說。但材料科學在我看來,確實是一個被低估的方向。此外,還有生物與健康領域 —— 尤其是分子科學層面的機會非常多,正在發(fā)生一場不小的革命,只是它們目前得到的關注度,明顯不如 AI。

  院長:我正好想說同樣的事情。我能明顯感覺到「聚光燈」在不同領域之間移動,而現(xiàn)在,聚光燈幾乎全部打在了 AI 上。但在此之前,它曾經(jīng)照在生物領域,而這束光不應該熄滅。合成生物學里正在發(fā)生很多非常令人興奮的事情。所以我覺得,我們需要把這束聚光燈稍微拉寬一點。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
馮忠華看望高祀仁、黃華華、朱小丹、林樹森、張廣寧等老同志

馮忠華看望高祀仁、黃華華、朱小丹、林樹森、張廣寧等老同志

新京報政事兒
2025-12-27 21:39:39
俄羅斯戰(zhàn)略專家:只有日本知道,中國綜合國力強大到了什么程度

俄羅斯戰(zhàn)略專家:只有日本知道,中國綜合國力強大到了什么程度

農(nóng)夫史記
2025-12-27 20:04:36
重要決策,記者:快船正權衡在交易截止日前進行拆隊還是引援

重要決策,記者:快船正權衡在交易截止日前進行拆隊還是引援

懂球帝
2025-12-27 13:49:28
7歲女兒交給老師畫的第一張全家福,畫里爸爸沒有臉,老師果斷報警

7歲女兒交給老師畫的第一張全家福,畫里爸爸沒有臉,老師果斷報警

罪案洞察者
2025-12-02 11:25:59
一邊喊中國“真朋友”,一邊抱特朗普大腿,普京盟友翻臉比翻書快

一邊喊中國“真朋友”,一邊抱特朗普大腿,普京盟友翻臉比翻書快

胡麒牧博士
2025-12-27 20:10:13
濟南地鐵三線齊發(fā),市委書記等領導與市民代表共乘地鐵調(diào)研

濟南地鐵三線齊發(fā),市委書記等領導與市民代表共乘地鐵調(diào)研

澎湃新聞
2025-12-27 20:28:27
黃正問父親黃永勝:誰是你最好的上級?他說了三個名字沒有林彪

黃正問父親黃永勝:誰是你最好的上級?他說了三個名字沒有林彪

冰雅憶史
2025-12-26 10:18:01
斯普利特談楊瀚森:需要保持耐心,我清楚整個中國都在關注他

斯普利特談楊瀚森:需要保持耐心,我清楚整個中國都在關注他

懂球帝
2025-12-27 15:39:03
40歲拒絕過戶學區(qū)房給侄子,丈夫大罵,看到一張紙條他閉嘴了

40歲拒絕過戶學區(qū)房給侄子,丈夫大罵,看到一張紙條他閉嘴了

木子言故事
2025-12-27 10:08:18
回頭看10年前南博的龐萊臣名畫展,格外諷刺

回頭看10年前南博的龐萊臣名畫展,格外諷刺

亮見
2025-12-25 15:05:31
房山的房價,徹底瘋了!

房山的房價,徹底瘋了!

童童聊娛樂啊
2025-12-27 15:06:16
A股:剛剛,中央兩部門發(fā)布,信號很明確,下周將迎更大級別變盤

A股:剛剛,中央兩部門發(fā)布,信號很明確,下周將迎更大級別變盤

阿纂看事
2025-12-27 17:14:43
勇士隊已詢價小波特!美媒曬5換2交易方案:打包賣庫明加+首輪簽

勇士隊已詢價小波特!美媒曬5換2交易方案:打包賣庫明加+首輪簽

鍋子籃球
2025-12-27 14:47:17
廣東宏遠沖擊7連勝!全力擊敗山西,胡明軒復出,央視直播

廣東宏遠沖擊7連勝!全力擊敗山西,胡明軒復出,央視直播

體壇瞎白話
2025-12-27 17:00:13
年營收300萬,28個員工,最后利潤8萬塊:這就是最真實小老板!

年營收300萬,28個員工,最后利潤8萬塊:這就是最真實小老板!

熊林老師
2025-11-17 18:00:03
1976年毛主席逝世后,派誰空降上海?葉劍英擲地有聲:我提議一人

1976年毛主席逝世后,派誰空降上海?葉劍英擲地有聲:我提議一人

春秋硯
2025-12-20 08:55:09
Shams:湖人后衛(wèi)里夫斯左腿腓腸肌二級拉傷,將在四周后復查

Shams:湖人后衛(wèi)里夫斯左腿腓腸肌二級拉傷,將在四周后復查

懂球帝
2025-12-27 10:26:34
超級大冷,王欣瑜6-2、6-3橫掃世界第2,第5次擊敗前10,笑容超美

超級大冷,王欣瑜6-2、6-3橫掃世界第2,第5次擊敗前10,笑容超美

郝小小看體育
2025-12-27 13:30:30
全球第一,清華高考狀元要IPO

全球第一,清華高考狀元要IPO

投資家
2025-12-27 21:20:58
哭窮炫富,“知三當三”,裝了10年的吉克雋逸,還是“自食惡果”

哭窮炫富,“知三當三”,裝了10年的吉克雋逸,還是“自食惡果”

顧史
2025-12-12 14:59:24
2025-12-27 22:20:49
人工智能學家 incentive-icons
人工智能學家
人工智能領域權威媒體
4423文章數(shù) 37357關注度
往期回顧 全部

科技要聞

小米也漲價了!業(yè)界稱終端再不漲明年必虧

頭條要聞

美媒:特朗普顯然觸及了中國的紅線 中方怒了

頭條要聞

美媒:特朗普顯然觸及了中國的紅線 中方怒了

體育要聞

NBA教練圈的布朗尼,花了22年證明自己

娛樂要聞

張昊唯逃稅涉黃風波落幕:法院認定朋友造謠

財經(jīng)要聞

注意,開始拉物價了!

汽車要聞

好音響比大屏更重要?車企開始“聽”用戶的

態(tài)度原創(chuàng)

時尚
本地
親子
手機
公開課

穿好雪地靴的4個訣竅,還挺有效!

本地新聞

云游安徽|踏訪池州,讀懂山水間的萬年史書

親子要聞

寶藍爸爸扮演“廚師”開了一家披薩店,太好玩了,快來看看吧!

手機要聞

雷軍親自官宣:小米17 Ultra堪稱“顏值天花板”的小米影像旗艦手機

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版