編者按：　　

日均140萬(wàn)億次的Token調(diào)用量，見(jiàn)證AI應(yīng)用的井噴式爆發(fā)，也勾勒出中國(guó)詞元經(jīng)濟(jì)的強(qiáng)勁脈動(dòng)。

什么是“詞元”？詞元經(jīng)濟(jì)是什么？它正如何改變我們的工作和生活？南都大數(shù)據(jù)研究院推出“詞元崛起”系列報(bào)道，從科普解碼到趨勢(shì)剖析，從落地實(shí)踐到風(fēng)險(xiǎn)預(yù)警，更聚焦廣東如何憑算力底座與生態(tài)優(yōu)勢(shì)搶占先機(jī)，拆解詞元經(jīng)濟(jì)的底層邏輯，探尋其發(fā)展中的機(jī)遇與挑戰(zhàn)，與您一同讀懂這一重塑未來(lái)的新經(jīng)濟(jì)力量。

第一期，一文讀懂AI處理信息的基本單位“詞元”。

超140萬(wàn)億——這是到今年3月，我國(guó)的日均Token調(diào)用量。而我們讓AI翻譯的每一句話，寫的每一份周報(bào)，修的每一張圖片，乃至向AI的每一次吐槽，都在為這個(gè)天文數(shù)字“添磚加瓦”。

國(guó)家數(shù)據(jù)局局長(zhǎng)劉烈宏指出，詞元不僅是智能時(shí)代的價(jià)值錨點(diǎn)，更是連接技術(shù)供給與商業(yè)需求的“結(jié)算單位”。Token(詞元)到底是什么？它和AI有什么關(guān)系？又為什么被看作智能社會(huì)的重要基礎(chǔ)資源與核心生產(chǎn)要素？南都大數(shù)據(jù)研究院帶你讀懂。

　　AI世界的最小“信息塊”　　

首先需要區(qū)分的是，Token在不同領(lǐng)域被賦予了不同的使命，由此衍生出不一樣的叫法。在區(qū)塊鏈領(lǐng)域，Token常被譯為“代幣、通證”，強(qiáng)調(diào)其價(jià)值載體、流通憑證的屬性；在網(wǎng)絡(luò)安全領(lǐng)域，Token則常被譯為“令牌、記號(hào)、標(biāo)記”，指用于驗(yàn)證身份、傳遞權(quán)限的標(biāo)識(shí)符號(hào)。

最近爆火的“詞元”，是人工智能領(lǐng)域名詞Token的中文名。根據(jù)由全國(guó)數(shù)據(jù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)歸口的《數(shù)據(jù)基礎(chǔ)術(shù)語(yǔ)》國(guó)家標(biāo)準(zhǔn)(征求意見(jiàn)稿)，詞元(Token)的定義是：人工智能領(lǐng)域智能設(shè)備中信息存儲(chǔ)、處理和交換的具有一定語(yǔ)義的基本符號(hào)表達(dá)。在大模型中作為模型處理和交換信息的最小單位，具有可計(jì)量、可定價(jià)、可交易的特征。

如何理解這一定義？我們要先理解AI如何“讀懂”人類的話。

語(yǔ)言文字對(duì)于人類而言，本身攜帶意義，但對(duì)于大模型來(lái)說(shuō)，文字只是符號(hào)，要讓大模型處理語(yǔ)言，就必須先把這些文字符號(hào)轉(zhuǎn)成數(shù)字編號(hào)。詞元就是這個(gè)過(guò)程中最關(guān)鍵的基礎(chǔ)單位。

當(dāng)我們向AI輸入一段指令，大模型通過(guò)分詞器(Tokenizer)將字句拆分為小塊，也就是詞元(Token)，再賦予對(duì)應(yīng)的數(shù)字編號(hào)(Token ID)，AI模型內(nèi)部就可以根據(jù)訓(xùn)練數(shù)據(jù)集和設(shè)計(jì)算法，分析理解Token的含義、Token之間的關(guān)系，進(jìn)而推測(cè)我們想要表達(dá)的意思。然后，AI會(huì)生成一串新的Token，再經(jīng)由分詞器還原回人類能夠理解的語(yǔ)言進(jìn)行輸出。

比如，當(dāng)我們問(wèn)AI“Token的中文名是什么”時(shí)，大模型可能會(huì)先將它拆分為“Token/的/中文名/是/什么”5個(gè)詞元，再根據(jù)它們分別對(duì)應(yīng)的數(shù)字編號(hào)進(jìn)一步推理計(jì)算，最后給出我們“詞元”的回答。

同理，我們輸入的圖像、音視頻等多模態(tài)，在AI大模型眼里也和文字沒(méi)有差別，它們都要經(jīng)由分詞器變成數(shù)字，都遵循著“把輸入的信息切成小塊→給每個(gè)詞元編號(hào)→進(jìn)行計(jì)算(模型推理)→生成新編號(hào)→再還原成信息輸出”的流程。簡(jiǎn)而言之，技術(shù)上，詞元就是將人類自然語(yǔ)言進(jìn)行切分，變成讓AI能夠理解處理的“語(yǔ)言”的最小單元。

這也就不難理解，為什么“養(yǎng)龍蝦”開(kāi)始風(fēng)靡后，Token消耗量呈幾何級(jí)數(shù)增長(zhǎng)。因?yàn)閷?duì)于AI Agent(智能體)而言，“整理文檔”“收發(fā)郵件”等看似簡(jiǎn)單的任務(wù)，往往都需要拆分成多個(gè)指令，調(diào)用數(shù)十次乃至上百次大模型推理，而每一次交互背后都要生成與消耗大量Token。

值得一提的是，雖然Token的中文譯名是“詞元”，但它并不單純與字詞(Word)一一對(duì)應(yīng)，Token既可能是人類語(yǔ)言意義上的短語(yǔ)、單詞，也可能是詞根、詞綴、子詞或單個(gè)字、標(biāo)點(diǎn)符號(hào)，又或者是圖像塊、語(yǔ)音片段，我們不能把Token簡(jiǎn)單換算成“多少個(gè)字”或者“多少個(gè)詞”。

語(yǔ)言、上下文、大模型分詞算法和訓(xùn)練語(yǔ)料的不同，可能都會(huì)對(duì)具體的“拆法”帶來(lái)區(qū)別，導(dǎo)致算出來(lái)的Token數(shù)相差幾倍。比如，“人工智能”一詞可能整體被視為一個(gè)Token，但如果分詞器詞表中沒(méi)有“人工智能”這個(gè)整體詞，也可能會(huì)被拆成“人工”“智能”兩個(gè)Token；而“artificial intelligence”這個(gè)英文短語(yǔ)，則可能被不同的大模型切分為2到4個(gè)Token。

一般而言，算法會(huì)優(yōu)先將高頻出現(xiàn)的字符組合保留為一個(gè)整體，以提高效率。例如，一個(gè)2字常用詞“中國(guó)”可能只占1個(gè)Token，而一個(gè)罕見(jiàn)單字卻可能需要兩個(gè)Token。另?yè)?jù)Open AI官網(wǎng)，1個(gè)Token約對(duì)應(yīng)4個(gè)英文字符或0.75個(gè)英文單詞，而非英文文本通常比英文文本消耗更多Token?！　?/p>

衡量AI算力成本的“計(jì)價(jià)器”　　

每一次AI服務(wù)調(diào)用都對(duì)應(yīng)明確的詞元消耗，處理的詞元越多，就需要進(jìn)行更多的計(jì)算，消耗更多算力成本，正是詞元這種“可計(jì)量、可定價(jià)、可交易”的特征，使得大多數(shù)AI付費(fèi)服務(wù)的費(fèi)用，能夠按照消耗Token數(shù)量進(jìn)行計(jì)算。

也就是說(shuō)，詞元不僅是大模型處理信息的最小單位，更是AI算力成本計(jì)費(fèi)的統(tǒng)一度量衡，是連接技術(shù)供給與商業(yè)需求的結(jié)算單位。詞元之于AI，如同“度”之于電力，“流量(GB)”之于互聯(lián)網(wǎng)，詞元消耗量越大，意味著AI服務(wù)被使用越頻繁、產(chǎn)業(yè)商業(yè)化程度越高。對(duì)于普通用戶而言，了解Token計(jì)費(fèi)規(guī)則，可以讓你的“數(shù)字員工”“AI搭子”成本更可控。

目前，大多數(shù)大模型API的計(jì)費(fèi)方式是：總費(fèi)用=輸入Token數(shù)×輸入單價(jià)+輸出Token數(shù)×輸出單價(jià)。

不同模型的價(jià)格不同。一般來(lái)說(shuō)，模型越強(qiáng)大、能力越強(qiáng)，Token單價(jià)越貴。以O(shè)pen AI的GPT-5.4為例，其標(biāo)準(zhǔn)版每百萬(wàn)Token的輸入價(jià)格是經(jīng)濟(jì)版nano的12.5倍，輸出價(jià)格則為12倍。同一個(gè)模型輸入和輸出的Token單價(jià)也存在差異，一般輸出價(jià)格更貴，這主要是由于輸出需要更多算力資源。

當(dāng)然，不同公司的大模型服務(wù)定價(jià)策略實(shí)際更為復(fù)雜，除了模型的類型、能力外，還會(huì)受到模型的成本、受眾以及公司的定位與商業(yè)模式等多重影響。

就每百萬(wàn)Token輸出價(jià)格來(lái)看，目前，中國(guó)模型普遍在0.42到3.6美元之間，性價(jià)比較高；而Open AI的GPT-5.4是15美元，Google的Gemini 3.1 Pro則根據(jù)提示詞(prompt)長(zhǎng)度不同分為12美元和18美元兩個(gè)價(jià)格，Anthropic于近日發(fā)布的最新模型Claude Opus 4.7則定價(jià)為25美元?！　　　?/p>

　　驅(qū)動(dòng)智能社會(huì)運(yùn)轉(zhuǎn)的“基礎(chǔ)資源”　　

回到根本，詞元不會(huì)憑空產(chǎn)生，它是由高性能的GPU在消耗大量電能、完成數(shù)千億次推理運(yùn)算后產(chǎn)生的數(shù)字資產(chǎn)。每一個(gè)詞元的生成，都對(duì)應(yīng)著算力運(yùn)轉(zhuǎn)和電力消耗，而這背后的物理存在形式，正是數(shù)據(jù)中心。

由此可見(jiàn)，詞元正是串聯(lián)起數(shù)據(jù)、算法(智力)、算力三大核心要素的關(guān)鍵樞紐，不應(yīng)僅被簡(jiǎn)單看作AI算力成本的計(jì)費(fèi)單位。當(dāng)下，圍繞詞元的生產(chǎn)、交換、分配與消費(fèi)，一套新的價(jià)值體系正在加速演進(jìn)形成，并成為人工智能產(chǎn)業(yè)發(fā)展的重要路徑。

在英偉達(dá)GTC大會(huì)的演講中，英偉達(dá)CEO黃仁勛提出，AI行業(yè)競(jìng)爭(zhēng)已從“大模型時(shí)代”發(fā)展到“詞元產(chǎn)能”時(shí)代，未來(lái)的數(shù)據(jù)中心將不再是存儲(chǔ)文件的倉(cāng)庫(kù)，而是“生產(chǎn)Token的工廠”，每瓦特電力的Token吞吐量(能效)會(huì)成為決定其競(jìng)爭(zhēng)力與營(yíng)收的核心指標(biāo)。而詞元?jiǎng)t是AI時(shí)代的“新大宗商品”“硬通貨”，未來(lái)將根據(jù)速度和智能程度分層定價(jià)，為推理場(chǎng)景打開(kāi)更廣闊的商業(yè)化空間。

以數(shù)字化為核心的新基建正在成為全球各國(guó)爭(zhēng)相布局的戰(zhàn)略高地。2026年，我國(guó)政府工作報(bào)告首次明確提出“打造智能經(jīng)濟(jì)新形態(tài)”，并將“超大規(guī)模智算集群、算電協(xié)同等新基建工程”納入重點(diǎn)任務(wù)。而電力與算力的協(xié)同效率，正是詞元生產(chǎn)、調(diào)用、分發(fā)的核心成本錨點(diǎn)。

可以說(shuō)，如同水、電一樣，詞元正成為驅(qū)動(dòng)智能時(shí)代社會(huì)運(yùn)轉(zhuǎn)的重要基礎(chǔ)資源、核心生產(chǎn)要素，推動(dòng)AI服務(wù)實(shí)現(xiàn)可精確計(jì)量、可持續(xù)調(diào)度、大規(guī)模交易，與我們的生活工作、企業(yè)的長(zhǎng)遠(yuǎn)發(fā)展，乃至一個(gè)國(guó)家的競(jìng)爭(zhēng)力都息息相關(guān)?！?/p>

出品：南都大數(shù)據(jù)研究院

文字：南都研究員 唐靜怡

制圖：何欣

資料來(lái)源：國(guó)家數(shù)據(jù)局、中國(guó)科學(xué)院、科普中國(guó)網(wǎng)、艾媒咨詢、公開(kāi)媒體報(bào)道等