“養龍蝦”帶火的token，該如何翻譯？

最近，隨著龍蝦OpenClaw的爆火，token也成了高頻詞。“養龍蝦”并不是免費的，OpenClaw需要接入大模型，平時各種操作都要消耗token。

網上有一個很有趣的梗：“用自己的腦子思考不會消耗token?！?/p>

那么token究竟是什么？OpenAI的官網給出了一個比較容易理解的解釋：

Tokens are the building blocks of text that OpenAI models process. They can be as short as a single character or as long as a full word, depending on the language and context.

簡單來講，token就是大語言模型處理文本的最小單位。我們可以把大語言模型想象成一個正在閱讀的人，但這個人不是逐字閱讀，而是把文本切成小塊，每一個這樣的小塊就是一個token。

根據語言和文本的不同，一個token可能代表一個字符，也可能代表一整個單詞。對于英語來說，一個token大約相當于4個字符，100個token約等于75個單詞。

對于中文來說，一個token約等于1.67個中文字符。

Token應該怎樣翻譯呢？有人把它翻譯成“令牌”，還有人翻譯成“字符量”，但以上表述給人的感覺都沒有特別貼切，無法傳達出token的本質含義。

人民日報1月發布的一篇科普文章中，token被翻譯成“詞元”：

“詞元”可以比較準確地體現出token所代表的文本數據內容和類型。首先，token代表的是一個有意義的語言片段，這一語言片段不能用“字”或者“字符”來表示，用“詞”來表示剛剛好；而漢語中的“元”字可以表示“最小、基本”的含義，比如“元件”指的是構成電子設備的最小、最基本的功能單元。“詞元”就代表著大模型處理語言的基本單位。

這個翻譯也很直觀，即使你不懂技術，看到這個詞也能大致猜到它指的是語言的最小單位。

Token這個詞除了用在人工智能語境里面，它在其他專業領域也有出現，我們需要學會區分。

在信息安全領域，token指的是“身份驗證令牌”。用戶輸入用戶名和密碼后，服務器會生成一個加密的token返回給客戶端，后續請求只需攜帶這個token即可證明身份，無需重復輸入密碼。

我們在用網銀的時候，有些銀行會要求你使用“動態口令牌”，英文對應的說法是hardware tokens：

在加密貨幣中，token指的是區塊鏈平臺上發行的代表某種資產或權益的數字化憑證。比如NFT（非同質化代幣）英文全稱是Non-Fungible Token。

另外，token還可以指“代幣，專用輔幣”，比如我們坐地鐵用的一次性小圓片對應的說法就是subway/metro tokens：

單詞的含義雖然很多，不過都是從一個核心意思衍生出來的：能代表某物的東西。它可以代表你的身份（安全令牌），代表你的資產（代幣），還可以代表文本的片段（詞元）。

只要理解了這條主線，單詞在不同語境下的意思就不難理解。

來源：英文悅讀

跟著China Daily

精讀英語新聞

“無痛”學英語，每天20分鐘就夠！