CUDA全名叫Compute Unified Device Architecture，說(shuō)白了就是一套讓程序員更好用英偉達(dá)GPU的編程工具。在講CUDA之前，我得先說(shuō)說(shuō)什么是“編程模型”。其實(shí)很簡(jiǎn)單，就是給程序員定的一套規(guī)則，按著這套規(guī)則寫(xiě)程序，就能更高效地用硬件干活。不同的場(chǎng)景、不同的硬件條件、不同的任務(wù)環(huán)境下，不同的編程模型的效果是不同的。

我們來(lái)舉個(gè)餐館的例子來(lái)形象化解釋不同的編程模型。如何運(yùn)營(yíng)一個(gè)餐館就可以分成不同的模式。在傳統(tǒng)餐館中，運(yùn)營(yíng)模式通常是：服務(wù)員接單→交給后廚→廚師按順序做菜→上菜。這就像程序里的順序執(zhí)行，一步一步來(lái)，很清晰，但當(dāng)任務(wù)量大時(shí)，例如飯點(diǎn)高峰期，就容易因?yàn)槟骋徊襟E的延遲而導(dǎo)致整體效率下降。這種餐館模式就像程序設(shè)計(jì)中的順序編程模型。在順序編程中，程序按照嚴(yán)格的步驟依次執(zhí)行，上一任務(wù)完成后下一任務(wù)才能開(kāi)始。這種方式邏輯直觀、適合小規(guī)模的任務(wù)，但當(dāng)面對(duì)大規(guī)?；蚋叨葟?fù)雜的任務(wù)時(shí)，效率會(huì)顯得不足。

另外一種餐館的模式叫做多廚房并行模式。在面對(duì)大型活動(dòng)，例如音樂(lè)節(jié)、體育賽事、公司年會(huì)時(shí)，傳統(tǒng)餐館的模式顯然不夠用。這時(shí)，管理團(tuán)隊(duì)通常會(huì)采用多廚房并行模式。每個(gè)廚房負(fù)責(zé)處理訂單中的某一部分，比如涼菜由廚房A負(fù)責(zé)，熱菜由廚房B負(fù)責(zé)，甜點(diǎn)由廚房C負(fù)責(zé)。各個(gè)廚房彼此獨(dú)立，可以同時(shí)處理訂單的不同部分，最終將所有完成的菜品匯總到中央?yún)^(qū)域，再統(tǒng)一交給顧客。這種方法充分利用了多個(gè)廚房的并行性，在整體上顯著縮短了服務(wù)時(shí)間。這種多廚房協(xié)同模式，就類(lèi)似于程序設(shè)計(jì)中的并行編程模型。

英偉達(dá)的GPU硬件采用的就是這種并行編程模型。因?yàn)橛ミ_(dá)的GPU里有大量的流處理器（Streaming Processor, SP），每個(gè)都能獨(dú)立工作，就像有很多個(gè)小廚房。而且GPU主要處理的是圖像渲染、科學(xué)計(jì)算這些容易并行的任務(wù)。所以并行編程模型特別適合GPU，CUDA就是專(zhuān)門(mén)為這個(gè)設(shè)計(jì)的。CUDA不僅是一套編程規(guī)則，它還把復(fù)雜的底層操作給包裝起來(lái)了。以前用GPU，程序員得自己管顯存、調(diào)度線程，特別麻煩。有了CUDA，這些復(fù)雜的事情系統(tǒng)自動(dòng)幫你搞定，你只需要專(zhuān)心想“我要做什么”，而不用操心“怎么做”。

做個(gè)類(lèi)比。就像一臺(tái)高端相機(jī)，硬件很牛，但要用好它，你得懂光圈、快門(mén)、ISO這些專(zhuān)業(yè)知識(shí)，知道各種專(zhuān)業(yè)參數(shù)怎么調(diào)，門(mén)檻太高。所以廠商搞了“智能場(chǎng)景模式”——比如運(yùn)動(dòng)模式、夜景模式等等，普通人一鍵就能拍出好照片。CUDA就是GPU的“智能場(chǎng)景模式”。它提供了豐富的工具，讓開(kāi)發(fā)者無(wú)需專(zhuān)門(mén)研究GPU架構(gòu)，也能高效完成自己的編程任務(wù)。而且，CUDA支持流行的編程語(yǔ)言，例如C、C++、Python、MATLAB等，讓科學(xué)家和工程師不用成為硬件專(zhuān)家，就能用上GPU的強(qiáng)大計(jì)算能力。

有個(gè)很形象的比方可以形容CUDA：理解CUDA的方式就是，你擁有一張視頻游戲顯卡，但它上面配備了一個(gè)開(kāi)關(guān)，CUDA就是這個(gè)開(kāi)關(guān)，你只需要輕撥一下，就可以實(shí)現(xiàn)你想要的功能。然而，CUDA雖然強(qiáng)大，但代價(jià)也是巨大的。G80是英偉達(dá)第一款支持CUDA的GPU。為了開(kāi)發(fā)這款芯片，英偉達(dá)花了整整4年時(shí)間，成本高達(dá)4.75億美元，占了那4年總研發(fā)預(yù)算的三分之一。要知道，以前每代GeForce芯片開(kāi)發(fā)周期才1年。

這還只是“一個(gè)”支持CUDA的GPU。當(dāng)時(shí)英偉達(dá)內(nèi)部爭(zhēng)論激烈：是不是所有GPU都要支持CUDA？最初的計(jì)劃是只在高端科學(xué)和技術(shù)工作站顯卡上支持CUDA，但黃仁勛堅(jiān)持要在全產(chǎn)品線推廣，包括游戲用的GeForce系列。黃仁勛告訴CUDA團(tuán)隊(duì)：“我們應(yīng)該把這項(xiàng)技術(shù)推向所有領(lǐng)域，讓它成為基礎(chǔ)性技術(shù)。”因?yàn)樗幸粋€(gè)想法：使用CUDA的人越多，這項(xiàng)技術(shù)成為標(biāo)準(zhǔn)的速度就越快，就越有可能找到新的應(yīng)用。

這項(xiàng)決策雖然戰(zhàn)略意義深遠(yuǎn)，但卻在短期內(nèi)帶來(lái)了高昂的代價(jià)。為了讓所有顯卡支持CUDA，英偉達(dá)不得不承擔(dān)巨大的成本壓力。在2008至2010年間，英偉達(dá)的毛利率從45.6%降至35.4%。再加上2008年的全球金融危機(jī)，英偉達(dá)面臨了巨大的商業(yè)沖擊，其股價(jià)在短短一年多時(shí)間內(nèi)暴跌了80%。

投資者們開(kāi)始抱怨英偉達(dá)持續(xù)投資CUDA并無(wú)財(cái)務(wù)意義。有人批評(píng)說(shuō)：“英偉達(dá)在這個(gè)新的芯片架構(gòu)上投入了大量資金，耗費(fèi)了數(shù)十億美元，卻瞄準(zhǔn)了學(xué)術(shù)和科學(xué)計(jì)算這一偏門(mén)領(lǐng)域，而當(dāng)時(shí)這并非一個(gè)大市場(chǎng)——遠(yuǎn)不及他們投入的數(shù)十億美元?！?/p>

例如，當(dāng)時(shí)英偉達(dá)費(fèi)盡心思地尋找那些真正需要這種強(qiáng)大性能的用戶。馬薩諸塞州全科醫(yī)院的研究人員曾致信英偉達(dá)，建議為他們的乳腺X光掃描儀進(jìn)行升級(jí)。黃仁勛邀請(qǐng)這家醫(yī)院參與CUDA的初步測(cè)試，在一個(gè)試點(diǎn)項(xiàng)目中投入了數(shù)百萬(wàn)美元，但最終僅售出兩塊顯卡。更糟糕的是，CUDA軟件下載量持續(xù)下滑，至2012年降至最低點(diǎn)，新安裝量?jī)H10萬(wàn)次出頭。

2013年初，很多投資分析師認(rèn)為，如果英偉達(dá)停止在CUDA上燒錢(qián)，股價(jià)才會(huì)漲，甚至有人開(kāi)始質(zhì)疑黃仁勛繼續(xù)當(dāng)CEO是否合適。

英偉達(dá)的顯卡就像是一把錘子，原來(lái)是用來(lái)敲釘子。然而，英偉達(dá)并不滿足自己的錘子只能敲釘子，他們希望這把錘子能夠在更多領(lǐng)域發(fā)揮作用。為此，他們對(duì)這把錘子進(jìn)行了全面改造，不僅讓它的結(jié)構(gòu)更加靈活，還為這個(gè)錘子開(kāi)發(fā)了一套使用方法，幫助使用者更高效地操控這把錘子。

但是，他們拿著這把錘子到處向人推銷(xiāo)，卻發(fā)現(xiàn)沒(méi)人對(duì)這把錘子感興趣。直到有一天他們來(lái)到了一家門(mén)口，門(mén)牌上寫(xiě)著六個(gè)字：深度神經(jīng)網(wǎng)絡(luò)。