最近，隨著龍蝦OpenClaw的爆火，token也成了高頻詞。“養(yǎng)龍蝦”并不是免費(fèi)的，OpenClaw需要接入大模型，平時(shí)各種操作都要消耗token。

網(wǎng)上有一個(gè)很有趣的梗：“用自己的腦子思考不會(huì)消耗token?！?/p>

那么token究竟是什么？OpenAI的官網(wǎng)給出了一個(gè)比較容易理解的解釋：

Tokens are the building blocks of text that OpenAI models process. They can be as short as a single character or as long as a full word, depending on the language and context.

簡(jiǎn)單來(lái)講，token就是大語(yǔ)言模型處理文本的最小單位。我們可以把大語(yǔ)言模型想象成一個(gè)正在閱讀的人，但這個(gè)人不是逐字閱讀，而是把文本切成小塊，每一個(gè)這樣的小塊就是一個(gè)token。

根據(jù)語(yǔ)言和文本的不同，一個(gè)token可能代表一個(gè)字符，也可能代表一整個(gè)單詞。對(duì)于英語(yǔ)來(lái)說(shuō)，一個(gè)token大約相當(dāng)于4個(gè)字符，100個(gè)token約等于75個(gè)單詞。

對(duì)于中文來(lái)說(shuō)，一個(gè)token約等于1.67個(gè)中文字符。

Token應(yīng)該怎樣翻譯呢？有人把它翻譯成“令牌”，還有人翻譯成“字符量”，但以上表述給人的感覺都沒有特別貼切，無(wú)法傳達(dá)出token的本質(zhì)含義。

人民日?qǐng)?bào)1月發(fā)布的一篇科普文章中，token被翻譯成“詞元”：

“詞元”可以比較準(zhǔn)確地體現(xiàn)出token所代表的文本數(shù)據(jù)內(nèi)容和類型。首先，token代表的是一個(gè)有意義的語(yǔ)言片段，這一語(yǔ)言片段不能用“字”或者“字符”來(lái)表示，用“詞”來(lái)表示剛剛好；而漢語(yǔ)中的“元”字可以表示“最小、基本”的含義，比如“元件”指的是構(gòu)成電子設(shè)備的最小、最基本的功能單元。“詞元”就代表著大模型處理語(yǔ)言的基本單位。

這個(gè)翻譯也很直觀，即使你不懂技術(shù)，看到這個(gè)詞也能大致猜到它指的是語(yǔ)言的最小單位。

Token這個(gè)詞除了用在人工智能語(yǔ)境里面，它在其他專業(yè)領(lǐng)域也有出現(xiàn)，我們需要學(xué)會(huì)區(qū)分。

在信息安全領(lǐng)域，token指的是“身份驗(yàn)證令牌”。用戶輸入用戶名和密碼后，服務(wù)器會(huì)生成一個(gè)加密的token返回給客戶端，后續(xù)請(qǐng)求只需攜帶這個(gè)token即可證明身份，無(wú)需重復(fù)輸入密碼。

我們?cè)谟镁W(wǎng)銀的時(shí)候，有些銀行會(huì)要求你使用“動(dòng)態(tài)口令牌”，英文對(duì)應(yīng)的說(shuō)法是hardware tokens：

在加密貨幣中，token指的是區(qū)塊鏈平臺(tái)上發(fā)行的代表某種資產(chǎn)或權(quán)益的數(shù)字化憑證。比如NFT（非同質(zhì)化代幣）英文全稱是Non-Fungible Token。

另外，token還可以指“代幣，專用輔幣”，比如我們坐地鐵用的一次性小圓片對(duì)應(yīng)的說(shuō)法就是subway/metro tokens：

單詞的含義雖然很多，不過(guò)都是從一個(gè)核心意思衍生出來(lái)的：能代表某物的東西。它可以代表你的身份（安全令牌），代表你的資產(chǎn)（代幣），還可以代表文本的片段（詞元）。

只要理解了這條主線，單詞在不同語(yǔ)境下的意思就不難理解。

來(lái)源：英文悅讀

跟著China Daily

精讀英語(yǔ)新聞

“無(wú)痛”學(xué)英語(yǔ)，每天20分鐘就夠！