作者 | Patrick Farry

譯者 | 劉雅夢(mèng)

在最近的博客文章中，優(yōu)步（Uber 的限流系統(tǒng)）和 OpenAI（超越限流：擴(kuò)展對(duì) Codex 和 Sora 的訪(fǎng)問(wèn)）都討論了他們對(duì)限流方法的轉(zhuǎn)變：從基于計(jì)數(shù)器的、每個(gè)服務(wù)的限流轉(zhuǎn)向適應(yīng)性、基于策略的系統(tǒng)。兩家公司都開(kāi)發(fā)了專(zhuān)有的限流平臺(tái)，并在基礎(chǔ)設(shè)施層實(shí)施。這些系統(tǒng)具有軟控制功能，通過(guò)向客戶(hù)端施加壓力而不是使用硬停止來(lái)管理流量——無(wú)論是通過(guò)概率性丟棄還是基于信用的瀑布流——確保系統(tǒng)彈性而不犧牲用戶(hù)動(dòng)力。

以前，優(yōu)步工程師為每個(gè)服務(wù)實(shí)施限流，通常使用由 Redis 支持的 令牌桶。這導(dǎo)致了操作效率低下，例如額外的延遲，以及部署時(shí)需要調(diào)整閾值。不一致的配置增加了維護(hù)風(fēng)險(xiǎn)，并導(dǎo)致保護(hù)不均衡，一些較小的服務(wù)沒(méi)有任何限制。此外，可觀(guān)測(cè)性是分散的，使得很難準(zhǔn)確指出由限流引起的問(wèn)題。

優(yōu)步用新的全球限流器（GRL）替換了這些遺留限流器。GRL 架構(gòu)由一個(gè)三層反饋循環(huán)組成：優(yōu)步服務(wù)網(wǎng)格數(shù)據(jù)平面中的限流客戶(hù)端在本地執(zhí)行決策，區(qū)域聚合器收集指標(biāo)，區(qū)域控制器計(jì)算全局限制并將其推送回客戶(hù)端。

GRL 還用一個(gè)降低可配置流量百分比（例如 10%）的系統(tǒng)取代了硬停止桶。這個(gè)策略作為一個(gè)軟限制，對(duì)調(diào)用者服務(wù)施加壓力，允許它們繼續(xù)運(yùn)行，而不會(huì)因配額耗盡而關(guān)閉。

OpenAI 以類(lèi)似的架構(gòu)實(shí)施了其新的限流器；然而，主要驅(qū)動(dòng)力是 Codex 和 Sora 應(yīng)用程序的用戶(hù)體驗(yàn)，而不是運(yùn)維彈性。隨著越來(lái)越多的采用，OpenAI 看到了一個(gè)一致的模式：用戶(hù)發(fā)現(xiàn)這些工具具有很大的價(jià)值，但被限流中斷。雖然這些界限確保了公平的訪(fǎng)問(wèn)和系統(tǒng)的穩(wěn)定性，但它們經(jīng)常讓參與的用戶(hù)感到沮喪。OpenAI 尋求一種方法，通過(guò)即時(shí)基于使用量的計(jì)費(fèi)，在不阻礙探索的情況下保持動(dòng)力。

工程團(tuán)隊(duì)設(shè)計(jì)了一種綜合方法，允許用戶(hù)在一定限額內(nèi)訪(fǎng)問(wèn)系統(tǒng)，超過(guò)限額后系統(tǒng)將從信用余額中扣除。團(tuán)隊(duì)將這個(gè)決策過(guò)程描述為“瀑布式”：

這個(gè)模型反映了用戶(hù)對(duì)產(chǎn)品的實(shí)際體驗(yàn)。限流、免費(fèi)層、信用、促銷(xiāo)和企業(yè)權(quán)益都只是同一個(gè)決策堆棧中的層。從用戶(hù)的角度來(lái)看，他們不會(huì)“切換系統(tǒng)”——他們只是繼續(xù)使用 Codex 和 Sora。這就是為什么信用感覺(jué)不可見(jiàn)：它們只是瀑布中的另一個(gè)元素。

為確保這種過(guò)渡是無(wú)縫的，OpenAI 構(gòu)建了一個(gè)專(zhuān)用的實(shí)時(shí)訪(fǎng)問(wèn)引擎，將使用跟蹤、限流窗口和信用余額整合到單一評(píng)估路徑中。與傳統(tǒng)的異步計(jì)費(fèi)系統(tǒng)不同，這些系統(tǒng)因延遲而受到影響，這個(gè)引擎同步地做出可證明正確的決策：每個(gè)請(qǐng)求在立即檢查信用余額之前，都會(huì)識(shí)別出限流層的可用容量。

為保持低延遲，系統(tǒng)通過(guò)一個(gè)流處理器異步結(jié)算信用借記，使用穩(wěn)定的 冪等鍵 防止雙重收費(fèi)。這種架構(gòu)依賴(lài)于三個(gè)緊密耦合的數(shù)據(jù)流——產(chǎn)品使用事件、貨幣化事件和余額更新——確保每筆交易都是可審計(jì)和可對(duì)賬的，而不會(huì)中斷用戶(hù)的創(chuàng)作流程。

優(yōu)步和 OpenAI 都報(bào)告說(shuō)，這些架構(gòu)轉(zhuǎn)變成功地實(shí)現(xiàn)了他們各自的操作和產(chǎn)品目標(biāo)。在優(yōu)步，全球限流器的實(shí)施已經(jīng)擴(kuò)展到每秒處理超過(guò) 8000 萬(wàn)個(gè)請(qǐng)求，覆蓋 1100 個(gè)服務(wù)，顯著降低了尾部延遲，消除了外部 Redis 依賴(lài)。該系統(tǒng)在生產(chǎn)中證明了其有效性，吸收了 15 倍的流量激增而沒(méi)有退化，并在 DDoS 攻擊到達(dá)內(nèi)部系統(tǒng)之前減輕了它們。

同樣，OpenAI 已經(jīng)將信用系統(tǒng)集成到 Codex 和 Sora 的訪(fǎng)問(wèn)路徑中，用連續(xù)的瀑布模型替換了硬停止。平臺(tái)提供實(shí)時(shí)、準(zhǔn)確的計(jì)費(fèi)，同時(shí)保持交互式 AI 應(yīng)用程序所需的低延遲性能。對(duì)于這兩家公司來(lái)說(shuō)，轉(zhuǎn)向內(nèi)部、基礎(chǔ)設(shè)施級(jí)別的平臺(tái)已經(jīng)用自動(dòng)化、適應(yīng)性控制取代了手動(dòng)配置，允許他們各自的集群在最小的人為干預(yù)下處理大規(guī)模問(wèn)題。

https://www.infoq.com/news/2026/02/uber-openai-rate-limiting/

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。