4月21日至22日，以“奔赴AGI 重塑未來”為主題的2026中國生成式AI大會（北京站）圓滿舉行。

這場大會集結73位產(chǎn)學研投嘉賓，通過1場開幕式、3場專題論壇、6場技術研討會，全景式解析AI產(chǎn)業(yè)的產(chǎn)業(yè)脈絡、創(chuàng)新范式、Token經(jīng)濟與中國機會。

議題跨度很大，從大語言模型、多模態(tài)模型、世界模型、智能體、AI眼鏡等前沿模型與應用，到數(shù)據(jù)、芯片、存儲、通信、云服務等基礎設施。

在這場信息密度超高的大會上，清程極智的聯(lián)合創(chuàng)始人師天麾帶來了題為《AI Ping：構建Agent時代的高質量Token流通網(wǎng)絡》的主題演講。

師天麾指出，Token行業(yè)雖火，但用戶在選擇服務商時卻面臨諸多“暗坑”：同一模型在不同服務商的效果可能天差地別。由于緩存命中率不透明，表面便宜的服務商實際用起來反而更貴。此外，各服務商的服務質量普遍下滑，中小客戶毫無保障。當開發(fā)者和企業(yè)熱衷于調用大模型API時，卻往往忽略了服務商背后的技術黑盒。

要讓Token流通網(wǎng)絡變得高質量、高性價比，光有模型遠遠不夠，還需要“公平的評測”與“智能路由”?；趯?0多家服務商、600多個模型服務的7×24小時真實用戶視角端到端評測，清程極智正式推出AI Ping平臺——一個面向大模型使用者的全面、客觀、真實的評測與智能路由平臺。

它具備兩大核心能力：多維度服務指標的透明匯總，以及基于實時評測數(shù)據(jù)的動態(tài)智能路由。

以下是演講實錄：

一、Agent時代的高質量Token流通，從打破黑盒開始

各位領導、嘉賓和開發(fā)者們，大家上午好。我是清程極智的聯(lián)合創(chuàng)始人、產(chǎn)品副總裁師天麾。很榮幸今天能為大家?guī)矸窒恚篈I Ping——構建Agent時代的高質量Token流通網(wǎng)絡。

Token相信無需我過多介紹了，其應用熱度持續(xù)攀升，尤其是在“小龍蝦”走紅之后。如今，越來越多的人使用Token來輔助編寫代碼、撰寫文案、生成圖片與視頻。用戶的Token通常來源于模型原廠、第三方MaaS服務商或云服務商。

根據(jù)我們的調研，用戶在選擇從哪家服務商買Token時，主要考慮以下指標：模型效果、Token價格、服務性能和穩(wěn)定性。

實際上，購買Token存在很多坑。舉幾個簡單例子：對于同一模型，若在不同服務商處購買且價格相同，可能出現(xiàn)以下情況：第一，不同服務商提供的同一模型，其實際效果不盡相同；第二，盡管價格相同，最終使用成本卻明顯不同；第三，各服務商的服務質量可能存在巨大差異。

二、“暗坑”實測：從隱形降級到又貴又慢，Token行業(yè)亂在哪？

Token業(yè)務相較于傳統(tǒng)云服務尚屬新興領域，但其發(fā)展速度極快，由此引發(fā)一個問題：Token行業(yè)目前相當混亂。在此僅列舉兩個可公開討論的案例。

案例一：針對同一模型，部分服務商提供的模型能力明顯偏弱。此前有客戶計劃采購一個新模型，我們接入了多家服務商進行評測，發(fā)現(xiàn)某些服務商的模型能力存在顯著問題。經(jīng)詢問，對方承認使用了INT4量化。從報價表上看不出任何異常——模型名稱、輸出長度、上下文長度等參數(shù)均與官方完全一致，價格也極具競爭力。然而客戶實際使用后，發(fā)現(xiàn)模型效果非常差。

案例二：同一模型的兩家服務商，一家報價較高，另一家較低。但實際使用后發(fā)現(xiàn)，報價較高的那家總成本反而更低，其根本原因在于緩存命中率不同。然而服務商并不會提前告知客戶這一信息，面對幾十家服務商，客戶也無法逐一測試。

AI Ping團隊對國內三十多家服務商的數(shù)百個模型服務進行了測試，這些服務商涵蓋模型廠商、互聯(lián)網(wǎng)大廠、云上市公司以及MaaS廠商。以下簡要展示部分匿名數(shù)據(jù)。

在模型接口支持方面，目前市面上主流接口有數(shù)種，其中使用最多的是OpenAI和Anthropic接口。各服務商對OpenAI接口的支持普遍較好，但在編程場景中廣泛使用的Anthropic接口，各家支持程度差異明顯，這會對客戶的使用產(chǎn)生顯著影響。

一般而言，隨著行業(yè)發(fā)展，服務質量應逐步提升。然而在服務質量方面，我們觀察到近期各家服務商的服務質量相比去年底明顯下降。除大客戶外，各服務商并不為中小客戶提供質量保證。例如，一次請求正常情況下應在三到五秒內返回首Token，但實際上三十秒、一百秒甚至幾百秒才返回的情況非常普遍。我們將此類服務質量異?，F(xiàn)象稱為“慢響應”。數(shù)據(jù)顯示，部分服務質量較差的廠商，其20%的請求存在明顯的性能問題；而服務質量較高的廠商可將該比例控制在2%以內。

緩存命中率是一項對總成本影響顯著的指標。各家服務商因技術路徑不同，緩存命中率差異較大。在當前Token消耗量較大的場景（如大語言模型應用、編程輔助等）中，理想情況下緩存命中率可達80%至90%。命中緩存時，其價格僅為原輸入價格的10%至20%，極為低廉。

部分優(yōu)質服務商的緩存命中率可超過80%，在本展示中名列前茅；而一些較差的服務商，其緩存機制幾乎形同虛設。由此便會出現(xiàn)這樣一種情況：某家服務商提供的折扣力度較大，表面價格便宜，但實際使用后總成本反而更高。然而，緩存命中率這一關鍵指標并未出現(xiàn)在服務商的報價單中，客戶也無從得知，更不可能逐一測試數(shù)十家服務商的命中率。

此外，在接入服務商的過程中還存在一些常見問題。

在過去一年中，基于對數(shù)十家服務商的數(shù)百個大模型API服務的評測，以及用戶對AI Ping的大量使用，我們積累了大量評測數(shù)據(jù)。今年年初，我們與華清普智AI孵化器共同撰寫了《大模型API服務行業(yè)分析報告》。該報告包含了去年的評測數(shù)據(jù)，感興趣的朋友可在我們官網(wǎng)下載完整報告。

我們認為，通過調用大模型API服務獲取Token的這種形式非常適合中國。原因是，在供給側，中國擁有世界上最繁榮的開源大模型生態(tài)，DeepSeek、千問、GLM、Kimi、MiniMax等眾多優(yōu)秀的大模型廠商將其模型開源。正是基于這些開源模型，許多云廠商得以部署并對外提供API服務，供開發(fā)者和AI企業(yè)使用。

同時，中國AI算力近年來呈現(xiàn)爆發(fā)式增長，為部署大模型并提供API服務提供了充足的算力基礎。在需求側，大模型API服務具備低成本、低門檻等優(yōu)勢，因此通過該服務使用AI的用戶日益增多，涵蓋企業(yè)、個人開發(fā)者、科研人員以及普通消費者（例如使用大模型輔助編程、文案創(chuàng)作等）。由此可見，Token在中國呈現(xiàn)需求旺盛、蓬勃發(fā)展的態(tài)勢。

可以用幾個關鍵詞來概括中國Token行業(yè)的現(xiàn)狀：

首先是“火”，即大模型應用的熱度持續(xù)高漲。行業(yè)的火爆也引發(fā)了一系列問題，最直接的表現(xiàn)是Token供不應求，直觀上就是又貴又慢。與此同時，由于Token服務是一個黑盒，除非服務商百分百坦誠相告，或者客戶自身具備極強的評測能力，否則客戶根本無法知曉服務商實際提供了何種質量的服務，比如是否使用了量化模型甚至更小的模型以次充好?？傮w而言，整個行業(yè)發(fā)展迅速，但同時也較為混亂。

那么，在使用Token時，該如何選擇一家合適的服務商呢？

首先，在供給側，中國擁有大量的大模型API服務商。對于同一個大模型服務而言，各服務商之間的指標可能存在巨大差異，其中服務性能指標的差異尤為顯著。我們曾進行過測試，在那些大型服務商（如大型互聯(lián)網(wǎng)云廠商、電信運營商）中，當提供相同的模型服務且價格相近時，各家的大模型服務性能可能相差五倍甚至更多。當然，并非性能越高就一定越好，也并非價格越低就一定越好。服務商各具特色，符合用戶需求的服務才是好服務。

那么，用戶到底需要什么樣的服務？在需求側，用戶的需求也各不相同。企業(yè)要求服務穩(wěn)定、性能有保證；個人開發(fā)者可能對性能要求不那么高，不嚴重影響使用即可，但希望價格盡量便宜；科研人員通常需要服務商提供盡可能多的模型，以便進行對比實驗。服務商的大模型服務各具特色，不同用戶的需求也各不相同，那么如何實現(xiàn)供需匹配？或者說，面對眾多服務商，對于同一個模型，用戶究竟該選擇哪一家？

三、當模型性能相差五倍，開發(fā)者該如何選擇？

總結以上這些痛點，我們團隊始終在思考：開發(fā)者到底需要什么樣的大模型API產(chǎn)品？為了簡化用戶的選型流程，降低AI應用的開發(fā)門檻和成本，我們規(guī)劃了以下路徑。

第一步，需要一個統(tǒng)一平臺，匯聚大量模型，用戶可以查看和使用不同模型。有了這些模型之后，該如何選擇？不能憑感覺隨意決定。第二步，以數(shù)據(jù)評測為驅動，為用戶的選擇提供科學標尺，用數(shù)據(jù)說話。第三步，基于評測數(shù)據(jù)提供進一步的服務，智能路由可以幫助用戶選擇模型和服務商，省去用戶自行選型的繁瑣過程。終極目標是提供統(tǒng)一接口，用戶直接發(fā)送請求，平臺根據(jù)用戶需求匹配最合適的模型與服務商，用戶直接獲得AI生成結果。

四、AI Ping：用透明評測與智能路由打破黑盒，成本直降37%，吞吐提升90%

基于前述觀察和行業(yè)痛點，我們?yōu)槭袌鐾瞥隽?strong>AI Ping——一個面向大模型使用者的全面、客觀、真實的信息匯總、AI評測及API服務智能路由平臺。

AI Ping平臺具備三大核心優(yōu)勢。第一是信息匯總，AI Ping目前已接入30家服務商和600多個大模型API服務，用戶可以非常方便地選擇、對比和使用不同的大模型及服務商。第二，AI Ping對這些大模型API服務進行7×24小時不間斷評測，真實反映各項服務指標的長期表現(xiàn)。第三，AI Ping通過智能路由，根據(jù)用戶需求動態(tài)調用最合適的大模型API服務。

目前，AI Ping已全面聚合主流的大模型及服務商。在模型方面，AI Ping已接入600多個大模型服務，涵蓋文本、圖片、視頻等多種模態(tài)，以及開源與閉源模型，主流模型在AI Ping上基本均可找到。同時，平臺還接入了30多家服務商，不僅包括大家熟知的頭部云廠商，也囊括了一些知名度相對較低、但擁有高質量與高性價比服務的服務商。

在接入這些服務商的大模型API服務后，AI Ping對它們進行了科學的長期評測。我們的評測具有以下特點。

首先，我們從真實用戶視角出發(fā)，對這些大模型API服務進行端到端測試。許多服務商在宣傳時會強調自己擁有龐大的算力集群和強大的并發(fā)性能，但用戶對此并不十分在意，因為這些資源并非為單一用戶服務。用戶真正關心的是自己實際獲得了怎樣的端到端服務質量。AI Ping以用戶身份進行端到端評測，這樣的評測結果對用戶而言更具參考價值。

其次，針對同一模型的不同服務商，我們在同一輪測試中使用相同的輸入prompt和參數(shù)，并在同一時間段內進行測試，以保證公平性。同時，為避免緩存帶來的影響，不同輪次測試之間的輸入prompt會動態(tài)變化。此外，我們并非進行一次性跑分測試，而是7×24小時持續(xù)監(jiān)測，并采用北京、上海、深圳、成都等多地服務器進行分布式測試。

為了驗證評測的準確性，我們還與提供后臺監(jiān)控數(shù)據(jù)的互聯(lián)網(wǎng)云廠商進行了交叉驗證。一些服務商也反饋認為我們的評測結果準確，并據(jù)此督促自己的Infra團隊提升性能，這些都能說明我們的評測具有較高的準確性。

在我們的網(wǎng)站首頁，會展示多個熱門模型下各服務商的吞吐-延遲坐標圖。該坐標圖匯總了近7天的數(shù)據(jù)，并每日更新。圖中每個點代表一個服務商的延遲與吞吐性能：橫軸為吞吐，越靠右側表示吞吐越高；縱軸為延遲，越靠上側表示延遲越低。位于圖中右上區(qū)域的，即是該模型下低延遲、高吞吐的服務商。

在每個模型的詳情頁面下方，我們還會匯總各個服務商在七天內評測指標隨時間變化的波動圖。數(shù)據(jù)每六小時更新一次，用戶可以非常清晰地觀察到不同服務商在不同時間段的服務指標表現(xiàn)。

針對用戶關心的大模型服務指標，AI Ping進行了全面匯總。對于上下文長度、最大輸入輸出長度、價格等基本指標，服務商通常會提供，但有時存在誤差，AI Ping對此類指標進行了全面評測并加以匯總。而對于延遲、吞吐、可靠性、模型精度等指標，服務商基本不予提供，AI Ping同樣進行了全面評測和匯總。

在每個模型的詳情界面，用戶可以看到類似示例表格的服務指標信息匯總，內容涵蓋上述各項指標，清晰展示各服務商的大模型API服務信息與評測數(shù)據(jù)。

同時，AI Ping還提供了篩選與排序功能，以滿足用戶的特定需求。例如，用戶可以篩選指定價格范圍內的所有服務商，并將其按照輸出吞吐從高到低排序。借助這些評測信息，用戶能夠方便地選擇合適的模型與服務商。

那么，如何進一步幫助用戶省去繁瑣的選型步驟？這就要依靠AI Ping的智能路由功能。

如果固定選擇一家服務商，很難長期獲得最高性價比的服務，因為任何一家服務商的服務質量都會隨時間變化。它當前可能滿足用戶對延遲、吞吐等指標的要求，但過一段時間就可能不再滿足。同時，請求失敗、長時間排隊、未知錯誤等情況也會影響用戶獲得的服務質量。因此，AI Ping為用戶提供了服務路由功能，幫助用戶將請求發(fā)送給當前最能滿足其需求的、性價比最高的服務商。

AI Ping根據(jù)服務商的實時評測和指標收集進行建模，并通過路由算法，將每一條請求動態(tài)分配給穩(wěn)定、高性能、高性價比的服務商，從而減少服務波動和請求失敗，提升用戶體驗。在智能路由這一環(huán)節(jié)，我們投入了大量的工程工作，克服了諸多難題。數(shù)十家供應商、數(shù)百個API服務，接口不一致、錯誤表現(xiàn)不一致、未知錯誤五花八門，但這些最終都在智能路由層被屏蔽掉。我們希望將復雜的工程問題交由AI Ping解決，把穩(wěn)定可靠的體驗、低門檻的使用方式以及高性價比的服務，真正帶給AI Ping的用戶。

使用智能路由的方法也十分簡便。在AI Ping網(wǎng)站的每個模型詳情界面中，用戶可以描述自己對大模型服務指標的具體需求，并選擇相應的服務路由策略。例如，要求服務延遲在3秒以內、吞吐達到40TPS以上，同時選擇成本優(yōu)先的路由策略。網(wǎng)頁會自動生成一段描述該指標需求及路由策略的代碼，用戶將代碼拷貝到自己的項目中并調用AI Ping，即可便捷地使用AI Ping的服務路由功能。

以上是AI Ping智能路由在高可用性和高性價比方面的效果展示。在性價比方面，AI Ping提供了多種路由策略供用戶選擇，包括默認策略、成本優(yōu)先策略和性能優(yōu)先策略，我們最為推薦的是默認策略。使用服務路由后，相較于直接調用模型原廠的大模型API服務，用戶平均成本降低37%以上，吞吐量提升90%以上，延遲降低20%以上。

以上是我們對中國Token行業(yè)現(xiàn)狀的觀察以及對AI Ping產(chǎn)品的介紹。歡迎大家今后在使用AI、使用Token時，來AI Ping查閱評測結果并使用路由功能。也請大家關注清程極智公眾號，及時了解AI Ping及其他清程極智產(chǎn)品的最新進展。謝謝大家！