點(diǎn)擊下方“JavaEdge”，選擇“設(shè)為星標(biāo)”

第一時(shí)間關(guān)注技術(shù)干貨！

免責(zé)聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因?yàn)槭郎蠜]有同樣的成長環(huán)境，也沒有同樣的認(rèn)知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點(diǎn)，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實(shí)踐中尋找適合自己的大道」

1 不可能三角

在 Transformer 模型訓(xùn)練中存在一個(gè)“不可能三角”，即訓(xùn)練速度、模型性能（效果）和計(jì)算成本這三個(gè)要素難以同時(shí)達(dá)到最優(yōu)。就如同經(jīng)濟(jì)學(xué)中的蒙代爾三角 ，通常只能三者取其二。例如，在機(jī)器學(xué)習(xí)模型訓(xùn)練場景下，需在效率、質(zhì)量和成本之間進(jìn)行權(quán)衡。

具體到 Transformer 訓(xùn)練中，其關(guān)鍵的自注意力機(jī)制計(jì)算復(fù)雜度高、內(nèi)存占用大，導(dǎo)致訓(xùn)練時(shí)間延長、資源消耗增多，這使得在同一有限資源條件下，無法同時(shí)兼顧模型大小與準(zhǔn)確性等諸多因素，使模型同時(shí)滿足快速、高效且高性能。

2 通俗解釋

訓(xùn)練大型模型時(shí)，我們很難做到同時(shí)“速度快、效果好、花錢少”。如追求模型性能卓越（如高準(zhǔn)確率）：

• 往往需要增加模型規(guī)模（參數(shù)量），這將導(dǎo)致訓(xùn)練速度減慢，且需配備更多 GPU，成本隨之上升

• 若減少模型規(guī)模以實(shí)現(xiàn)快速訓(xùn)練、降低成本，模型性能可能會相應(yīng)下滑

好比購物時(shí)，很難找到一個(gè)同時(shí)具備高質(zhì)量、低價(jià)格、快速配送的商品，通常只能選其中兩項(xiàng)。訓(xùn)練模型時(shí)也是如此，要在訓(xùn)練速度、模型精準(zhǔn)度、成本控制這三者中做出取舍，只能保留兩個(gè)，犧牲一個(gè)。

3 具體 Transformer 模型

以 BERT、GPT 等經(jīng)典 Transformer 模型為例，展現(xiàn)了訓(xùn)練時(shí)資源消耗和性能表現(xiàn)的權(quán)衡。像 GPT-3 這樣的大型模型，雖在性能上表現(xiàn)出色，卻需要海量計(jì)算資源支持，訓(xùn)練成本極為高昂；而相較之下，小型模型雖在訓(xùn)練速度、成本上占優(yōu)，但性能卻不如大型模型。

4 通俗解釋4.1 裝修房子

有三個(gè)目標(biāo)：

1. 速度快（訓(xùn)練效率高）：安排10個(gè)工人同時(shí)作業(yè)，一周就可完工。

2. 質(zhì)量好（模型性能強(qiáng)）：選用進(jìn)口豪華材料，聘請國內(nèi)頂尖設(shè)計(jì)師。

3. 花錢少（計(jì)算成本低）：裝修預(yù)算有限，只能承擔(dān)普通水平裝修費(fèi)用。

然而，最多只能同時(shí)滿足其中兩個(gè)目標(biāo)：

• 想要又快又好 → 必然要增加預(yù)算（比如租用大量高端 GPU）；

• 想要又好又省 → 勢必會拖慢進(jìn)度（比如使用小顯卡慢慢訓(xùn)練）；

• 想要又快又省 → 裝修質(zhì)量可能難以保證（比如簡化模型結(jié)構(gòu)，效果就會打折）。

1. 模型性能（質(zhì)量）若想讓模型達(dá)到較高表現(xiàn)水平（如 GPT-4 的智能水準(zhǔn)），通常需滿足：

• 具備更大的參數(shù)量（可達(dá)千億級別）；

• 使用海量的訓(xùn)練數(shù)據(jù)（可能達(dá) TB 級文本）；

• 進(jìn)行長周期的訓(xùn)練（或需數(shù)月計(jì)算時(shí)長）。

訓(xùn)練速度（效率）要想盡快完成訓(xùn)練任務(wù)，常采取以下措施：

• 減少模型參數(shù)（但這會犧牲模型性能表現(xiàn)）；

• 采用多 GPU 并行計(jì)算方式（不過這會使成本增加）；

• 降低訓(xùn)練精度（例如用 FP16 代替 FP32，但可能對穩(wěn)定性產(chǎn)生影響）。

計(jì)算成本（錢）若要降低開支成本，往往面臨以下情況：

• 只能使用少量 GPU 進(jìn)行訓(xùn)練 → 導(dǎo)致訓(xùn)練速度變慢；

• 對模型規(guī)模進(jìn)行壓縮 → 模型性能表現(xiàn)會下滑；

• 縮短訓(xùn)練時(shí)長 → 模型可能無法充分學(xué)習(xí)。

• GPT-4：堪稱性能極致的代表（處于三角的性能頂點(diǎn)），其訓(xùn)練動(dòng)用了上萬塊 GPU，耗電量巨大堪比一個(gè)小城鎮(zhèn)的用電量，整體成本數(shù)以億美元計(jì)。

• 手機(jī)端小模型：則在省錢、省電方面占據(jù)優(yōu)勢（對應(yīng)成本、效率兩頂點(diǎn)），但在回答質(zhì)量等諸多性能指標(biāo)上與大型模型存在明顯差距。

• 快速微調(diào)模型：是一種注重利用少量數(shù)據(jù)快速調(diào)整模型的方式（側(cè)重于保持速度與成本優(yōu)勢），然而其通用能力相較于大型基礎(chǔ)模型則弱了不少。

這個(gè)“不可能三角”從根本上體現(xiàn)了資源分配的權(quán)衡抉擇問題，涉及到計(jì)算資源（成本）、時(shí)間資源（速度）、智能資源（效果）三者的相互制約關(guān)系。工程師們需憑借自身智慧，在現(xiàn)有技術(shù)條件框架下，針對不同應(yīng)用場景去探尋最佳平衡點(diǎn)。例如，ChatGPT 側(cè)重優(yōu)先保障效果與速度，通過商業(yè)變現(xiàn)途徑來應(yīng)對成本問題。

參考：

• https://arxiv.org/pdf/2204.06130

本文已收錄在Github Java-Interview-Tutorial，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W+技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實(shí)戰(zhàn)專家

• 主導(dǎo)交易系統(tǒng)億級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實(shí)踐者

• 以技術(shù)驅(qū)動(dòng)創(chuàng)新，我們的征途是改變世界！

• 實(shí)戰(zhàn)干貨：編程嚴(yán)選網(wǎng)

關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

編程嚴(yán)選網(wǎng)：http://www.javaedge.cn/ 專注分享軟件開發(fā)全場景最佳實(shí)踐，點(diǎn)擊文末【閱讀原文】即可直達(dá)~ 【編程嚴(yán)選】星球