院士的話

如何實(shí)現(xiàn)低能耗人工智能計(jì)算?

人工智能的發(fā)展歷程中，一個(gè)重要的推動(dòng)因素是對(duì)人類神經(jīng)系統(tǒng)的研究。通過(guò)對(duì)視覺(jué)皮層、聽(tīng)覺(jué)系統(tǒng)以及其他神經(jīng)系統(tǒng)的深入研究，科學(xué)家們得以理解和模擬大腦處理信息的方式，這些研究成果為構(gòu)建更先進(jìn)的人工智能算法提供了理論基礎(chǔ)。然而，盡管人工智能在許多方面已經(jīng)取得了顯著的進(jìn)步，但在能耗效率上卻遠(yuǎn)遜于人腦。相關(guān)研究表明，完成特定任務(wù)的人工智能計(jì)算系統(tǒng)的能耗大約是人腦處理相同任務(wù)能耗的數(shù)千倍。這種巨大的能源消耗不僅限制了人工智能的應(yīng)用范圍，也對(duì)環(huán)境產(chǎn)生了負(fù)面影響。

因此，發(fā)展低能耗的人工智能成為了科研人員的緊迫任務(wù)。未來(lái)，人工智能的發(fā)展借鑒生物神經(jīng)系統(tǒng)高效節(jié)能的信息處理方式，通過(guò)模仿大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和突觸傳遞機(jī)制，開(kāi)發(fā)出能夠像人腦一樣在極低能耗下運(yùn)行的人工智能系統(tǒng)。這樣的類腦技術(shù)將有可能帶來(lái)一場(chǎng)人工智能的革命。發(fā)展低能耗人工智能計(jì)算不僅是解決當(dāng)前算力瓶頸和環(huán)境問(wèn)題的關(guān)鍵，也將推動(dòng)人工智能走向千行百業(yè)，真正改變我們的生活和社會(huì)。

錢德沛

中國(guó)科學(xué)院院士，北京航空航天大學(xué)教授

01

何為人工智能？

人工智能（ArtifcialIntelligence，AI）是一門(mén)研究如何使計(jì)算機(jī)能夠模擬和執(zhí)行人類智能任務(wù)的科學(xué)和技術(shù)領(lǐng)域。它致力于開(kāi)發(fā)能夠感知、理解、學(xué)習(xí)、推理、決策和與人類進(jìn)行交互的智能系統(tǒng)。1956年8月在美國(guó)的達(dá)特茅斯夏季人工智能研究計(jì)劃中首次提出并確立了人工智能這一研究領(lǐng)域。因此1956年被普遍認(rèn)為是人工智能元年，但人工智能真正為大眾普遍關(guān)注是在2010年前后，當(dāng)神經(jīng)網(wǎng)絡(luò)終于被明確證明是非常有效的機(jī)器學(xué)習(xí)架構(gòu)時(shí)。研究人員通過(guò)學(xué)習(xí)人類視覺(jué)神經(jīng)系統(tǒng)，發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)能夠解決機(jī)器視覺(jué)問(wèn)題；通過(guò)學(xué)習(xí)人類大腦的獎(jiǎng)勵(lì)機(jī)制，發(fā)現(xiàn)了強(qiáng)化學(xué)習(xí)的方法從而大幅提升機(jī)器學(xué)習(xí)效率。要進(jìn)一步了解人工智能，就要了解機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)這些術(shù)語(yǔ)。

從視覺(jué)神經(jīng)網(wǎng)絡(luò)到機(jī)器視覺(jué)

人類一直渴望機(jī)器能像人一樣擁有智能。機(jī)器“看懂這個(gè)世界”即機(jī)器視覺(jué)，就是計(jì)算機(jī)接收到視覺(jué)信息如圖片、視頻、文字并能夠進(jìn)行識(shí)別、分類、分析的智能處理過(guò)程。哈佛大學(xué)的大衛(wèi)·休伯爾和托斯坦·維厄瑟爾是兩位神經(jīng)生物學(xué)家，他們因在貓的視覺(jué)系統(tǒng)的研究成果獲得了1981年的諾貝爾生理學(xué)或醫(yī)學(xué)獎(jiǎng)。他們發(fā)現(xiàn)視覺(jué)信號(hào)是通過(guò)幾層神經(jīng)元傳遞后呈現(xiàn)的結(jié)果。在初級(jí)視覺(jué)皮層中，每個(gè)神經(jīng)元僅連接到視野的一小部分區(qū)域，這些神經(jīng)元被稱為簡(jiǎn)單細(xì)胞。在下一層，即視覺(jué)皮層中，其他單元集成了上一層激活的信息，使得視覺(jué)對(duì)象即使在視野中稍微移動(dòng)，視覺(jué)系統(tǒng)也能保持圖像的呈現(xiàn)，這些單元被稱為復(fù)雜細(xì)胞。這種由簡(jiǎn)單探測(cè)器（簡(jiǎn)單細(xì)胞）被“總結(jié)”來(lái)創(chuàng)建更復(fù)雜探測(cè)器（復(fù)雜細(xì)胞）的機(jī)制遍布整個(gè)人類視覺(jué)系統(tǒng)。最終這種結(jié)構(gòu)和機(jī)制成為卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

▲卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

（引自：Yann LeCun論文：Gradient-based learning applied to document recognition）

卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)如圖所示，它是計(jì)算機(jī)視覺(jué)最經(jīng)典的架構(gòu)，它模擬人類視覺(jué)神經(jīng)元的感受野，將輸入的圖像分割為像素點(diǎn)矩陣，通過(guò)卷積運(yùn)算和滑動(dòng)窗口完成輸入信息的特征學(xué)習(xí)，具有非常高的視覺(jué)識(shí)別、分類和檢測(cè)性能，被廣泛應(yīng)用于自動(dòng)駕駛、人臉識(shí)別、自助超市等場(chǎng)景。

02

人工智能大模型高能耗的挑戰(zhàn)

全球綠色可持續(xù)發(fā)展目標(biāo)

今年聯(lián)合國(guó)氣候大會(huì)指出，全球碳排放量自2019年以來(lái)持續(xù)上升，盡管全球在減少溫室氣體排放方面取得了一些進(jìn)展，但仍不足以實(shí)現(xiàn)巴黎協(xié)定的溫度目標(biāo)。2015年簽署《巴黎協(xié)定》時(shí)，預(yù)計(jì)到2030年的溫室氣體排放量將增加16%，而如今預(yù)計(jì)的增加幅度為3%。然而，到2030年溫室氣體排放仍需分別下降28%和42%，才能達(dá)到《巴黎協(xié)定》的氣溫上升2°C 和1.5°C的限制。能源是溫室氣體排放的主要來(lái)源，目前占全球二氧化碳排放量的86%。報(bào)告呼吁所有國(guó)家加速低碳經(jīng)濟(jì)發(fā)展的轉(zhuǎn)型，擁有更大能力和排放責(zé)任的國(guó)家需要采取更具雄心的行動(dòng)。

大模型高能耗的挑戰(zhàn)

人工智能模型的訓(xùn)練和推理是實(shí)現(xiàn)人工智能應(yīng)用的關(guān)鍵環(huán)節(jié)。訓(xùn)練的過(guò)程可以類比為人類的學(xué)習(xí)過(guò)程，需要花費(fèi)時(shí)間和精力來(lái)理解和掌握知識(shí)；推理可以類比為人類的決策過(guò)程，是利用已有的知識(shí)進(jìn)行判斷和決策。

人工智能模型訓(xùn)練能耗巨大。根據(jù)斯坦福人工智能研究所（HAI）發(fā)布的《2023年人工智能指數(shù)報(bào)告》，OpenAI的GPT-3完成訓(xùn)練耗電量高達(dá)1287兆瓦時(shí)（1 兆瓦時(shí)=1000千瓦時(shí)），大約相當(dāng)于120個(gè)美國(guó)家庭1年的用電量。而這僅僅是訓(xùn)練人工智能模型的電力消耗。

▲全球承諾排放量示意圖

（引自《Emissions?Gap?Report?2023》）

03

如何應(yīng)對(duì)人工智能的高能耗問(wèn)題

低能耗人工智能是指在保證性能的同時(shí)，降低人工智能計(jì)算平臺(tái)的功耗。隨著人工智能技術(shù)的廣泛應(yīng)用，越來(lái)越多的設(shè)備開(kāi)始搭載人工智能算法，而這也使得這些設(shè)備的電量消耗不斷增加。因此，如何降低人工智能的能耗，延長(zhǎng)設(shè)備的續(xù)航時(shí)間，成為了當(dāng)前亟待解決的問(wèn)題。

更高效的數(shù)據(jù)

數(shù)據(jù)被視為AI系統(tǒng)的基石，是機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練和學(xué)習(xí)的“燃料”，現(xiàn)階段先進(jìn)的大模型進(jìn)行參數(shù)訓(xùn)練時(shí)，常采用依賴于海量數(shù)據(jù)的粗獷式計(jì)算方式，造成大量計(jì)算資源和存儲(chǔ)空間浪費(fèi)。相比于“數(shù)海戰(zhàn)術(shù)”，足量的優(yōu)質(zhì)數(shù)據(jù)更能為AI系統(tǒng)提供全面的、準(zhǔn)確的訓(xùn)練信息，使算法在面對(duì)未知的情況時(shí)能夠做出準(zhǔn)確且具有魯棒性的決策。為了適應(yīng)AI算法的小樣本訓(xùn)練和學(xué)習(xí)，可以通過(guò)數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、特征工程等對(duì)原始數(shù)據(jù)進(jìn)行有效改造，將數(shù)據(jù)轉(zhuǎn)化為高價(jià)值資源，為低能耗AI的開(kāi)發(fā)及優(yōu)化提供有力支持。

▲數(shù)據(jù)優(yōu)化示意圖

優(yōu)化算法

在人工智能領(lǐng)域，算法是人工智能技術(shù)的核心，也是能耗的重要組成部分。隨著“百模大戰(zhàn)”競(jìng)爭(zhēng)的不斷加劇，頂級(jí)的NLP模型參數(shù)已經(jīng)高達(dá)上千億，訓(xùn)練使用的高性能加速卡增長(zhǎng)到了約4000張，所帶來(lái)的功耗和成本需求更是驚人。因此，在不降低模型性能的前提下，針對(duì)特定應(yīng)用場(chǎng)景，需要根據(jù)數(shù)據(jù)特性和任務(wù)需求，探索算法創(chuàng)新和超參調(diào)優(yōu)，減少模型的復(fù)雜度和計(jì)算量，進(jìn)行精細(xì)的優(yōu)化和設(shè)計(jì)。好的算法可以更好地匹配訓(xùn)練數(shù)據(jù)，有效挖掘特征信息，更好的理解數(shù)據(jù)的本質(zhì)和規(guī)律，顯著縮短模型訓(xùn)練的時(shí)間。模型在推理部署前進(jìn)行量化和壓縮，使模型在運(yùn)行時(shí)更加高效和穩(wěn)定，進(jìn)一步降低能源消耗。

硬件提升

算力是模型算法利用數(shù)據(jù)進(jìn)行訓(xùn)練和推理的硬件底座，如深度學(xué)習(xí)算法的計(jì) 算任務(wù)通常具有海量數(shù)據(jù)、復(fù)雜計(jì)算、高度并行等特性，需要計(jì)算單元和存儲(chǔ)單元高效協(xié)同工作，快速完成大規(guī)模數(shù)據(jù)的并發(fā)計(jì)算和模型的參數(shù)優(yōu)化。相比于中央處理器，圖形處理器有更多的計(jì)算單元和線程以及更大的內(nèi)存和帶寬，適合人工智能模型的訓(xùn)練和推理。如美國(guó)英偉達(dá)公司的A100GPU是2020年5月正式發(fā)布的，采用7納米制程技術(shù)，在AI算力方面比前代產(chǎn)品V100有顯著提升；2022年3月正式發(fā)布H100 GPU，采用4納米制程技術(shù)，并且在AI算力和高帶寬內(nèi)存等方面比前代產(chǎn)品有顯著提升。如圖7所示的性能對(duì)比。另一種專門(mén)用于加速神經(jīng)網(wǎng)絡(luò)推理階段的定制ASIC，如Google的張量處理單元，Google在2021 年5月發(fā)布了第四代張量處理單元TPUv4i。這是用于加速機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)。

▲Nvidia的GPU?A100和H100性能對(duì)比圖

（引自Datasheet?of?NVIDIA?H100?Tensor?Core?GPU）

04

總結(jié)

智能計(jì)算將逐步成為主流計(jì)算方式，低能耗是人工智能走進(jìn)千行百業(yè)、千家萬(wàn)戶的必然途徑。解決人工智能產(chǎn)業(yè)的高耗能問(wèn)題，將促進(jìn)全社會(huì)數(shù)智化轉(zhuǎn)型，助力實(shí)現(xiàn)高質(zhì)量發(fā)展、碳達(dá)峰與碳中和的發(fā)展目標(biāo)。智能計(jì)算將逐步成為主流計(jì)算方式，低能耗是人工智能走進(jìn)千行百業(yè)、千家萬(wàn)戶的必然途徑。解決人工智能產(chǎn)業(yè)的高耗能問(wèn)題，將促進(jìn)全社會(huì)數(shù)智化轉(zhuǎn)型，助力實(shí)現(xiàn)高質(zhì)量發(fā)展、碳達(dá)峰與碳中和的發(fā)展目標(biāo)。

下期小編還會(huì)給大家?guī)?lái)其他前沿科技的解讀內(nèi)容，歡迎讀者朋友們持續(xù)關(guān)注我們！

圖文內(nèi)容來(lái)源于：

《面向未來(lái)的科技——2023重大科學(xué)問(wèn)題、工程技術(shù)難題和產(chǎn)業(yè)技術(shù)問(wèn)題解讀》

微信號(hào)｜大美科學(xué)

07-05熱文

06-26熱文