點擊下方“JavaEdge”，選擇“設(shè)為星標”

第一時間關(guān)注技術(shù)干貨！

本文已收錄在Github，關(guān)注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構(gòu)師 | 全網(wǎng)30W技術(shù)追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導交易系統(tǒng)百萬級流量調(diào)優(yōu) & 車聯(lián)網(wǎng)平臺架構(gòu)

• AIGC應(yīng)用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術(shù)驅(qū)動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴選網(wǎng)

Vercel 正式發(fā)布了面向生產(chǎn)環(huán)境的 AI Gateway。這個服務(wù)提供了一個統(tǒng)一的 API 接口，開發(fā)者可以通過它調(diào)用各種大語言模型和生成式模型，從而簡化集成和管理過程。

AI Gateway 讓應(yīng)用能夠通過同一個端點向多個模型提供商發(fā)送推理請求。它支持“自帶密鑰”認證，開發(fā)者可以直接使用自己在 OpenAI、Anthropic 或 Google 等平臺申請的 API key，而無需額外支付代幣溢價。網(wǎng)關(guān)還提供穩(wěn)定的請求路由，延遲低于 20 毫秒，確保無論底層使用哪個提供商，推理時間都保持一致。

系統(tǒng)的核心功能之一是故障轉(zhuǎn)移機制。如果某個模型提供商出現(xiàn)宕機，網(wǎng)關(guān)會自動把請求切換到可用的其他模型，減少服務(wù)中斷。同時它支持高并發(fā)請求，速率限制也面向生產(chǎn)級流量進行了設(shè)計。

平臺還內(nèi)置了可觀測性功能。開發(fā)者可以查看每個請求的詳細日志、性能指標和成本數(shù)據(jù)，用來分析使用模式、監(jiān)控響應(yīng)時間，并了解不同模型提供商之間的費用分布。通過 AI SDK 集成時，只需要在配置中指定模型標識即可發(fā)起請求。

Vercel 表示，AI Gateway 已經(jīng)在內(nèi)部用于支撐 v0.app，這項服務(wù)已經(jīng)為數(shù)百萬用戶提供過支持。隨著此次發(fā)布，Vercel 將這一基礎(chǔ)設(shè)施正式開放給外部開發(fā)者，并針對生產(chǎn)環(huán)境做了優(yōu)化。

一個類似的服務(wù)是 OpenRouter，它同樣為不同的 AI 模型提供商提供統(tǒng)一接口。OpenRouter 更強調(diào)模型發(fā)現(xiàn)和跨廠商的價格透明，而 Vercel 的 AI Gateway 則側(cè)重低延遲路由、內(nèi)置的故障轉(zhuǎn)移機制，以及與其現(xiàn)有開發(fā)工具和托管環(huán)境的集成。兩者的共同目標都是簡化多模型接入，但在開發(fā)體驗和基礎(chǔ)設(shè)施可靠性上各有側(cè)重。

在 X 和 Reddit 上，開發(fā)者的反饋既有對其簡潔性和靈活性的好評，也有對免費額度限制和部分模型接入的吐槽。

eToro 的技術(shù)負責人 Filipe Sommer 評論道：

太棒了！能否多解釋下故障轉(zhuǎn)移機制？在博客和文檔里沒找到太多說明。是不是說，比如 Gemini 模型不可用時，會自動切換到其他模型？ ”

AI 專家 Himanshu Kumar 則表示：

在保證速度和可靠性的前提下，讓 AI 接入更加普惠 —— 這是一次重要的進步，有望推動新一波 AI 應(yīng)用的出現(xiàn)。 ”

開發(fā)者 Melvin Arias 提出了一個實際問題：

它的定價和 OpenRouter 相比怎么樣？ ”

Vercel 將 AI Gateway 的正式發(fā)布定位為其 AI 應(yīng)用開發(fā)工具生態(tài)中的重要組成部分，重點在于路由、穩(wěn)定性和監(jiān)控，而不是提供自研模型。

編程嚴選網(wǎng)：http://www.javaedge.cn/ 專注分享AI時代下軟件開發(fā)全場景最新最佳實踐~