最近,隨著龍蝦OpenClaw的爆火,token也成了高頻詞。“養龍蝦”并不是免費的,OpenClaw需要接入大模型,平時各種操作都要消耗token。
網上有一個很有趣的梗:“用自己的腦子思考不會消耗token。”
![]()
那么token究竟是什么?OpenAI的官網給出了一個比較容易理解的解釋:
Tokens are the building blocks of text that OpenAI models process. They can be as short as a single character or as long as a full word, depending on the language and context.
![]()
簡單來講,token就是大語言模型處理文本的最小單位。我們可以把大語言模型想象成一個正在閱讀的人,但這個人不是逐字閱讀,而是把文本切成小塊,每一個這樣的小塊就是一個token。
根據語言和文本的不同,一個token可能代表一個字符,也可能代表一整個單詞。對于英語來說,一個token大約相當于4個字符,100個token約等于75個單詞。
對于中文來說,一個token約等于1.67個中文字符。
Token應該怎樣翻譯呢?有人把它翻譯成“令牌”,還有人翻譯成“字符量”,但以上表述給人的感覺都沒有特別貼切,無法傳達出token的本質含義。
人民日報1月發布的一篇科普文章中,token被翻譯成“詞元”:
![]()
“詞元”可以比較準確地體現出token所代表的文本數據內容和類型。首先,token代表的是一個有意義的語言片段,這一語言片段不能用“字”或者“字符”來表示,用“詞”來表示剛剛好;而漢語中的“元”字可以表示“最小、基本”的含義,比如“元件”指的是構成電子設備的最小、最基本的功能單元。“詞元”就代表著大模型處理語言的基本單位。
這個翻譯也很直觀,即使你不懂技術,看到這個詞也能大致猜到它指的是語言的最小單位。
Token這個詞除了用在人工智能語境里面,它在其他專業領域也有出現,我們需要學會區分。
在信息安全領域,token指的是“身份驗證令牌”。用戶輸入用戶名和密碼后,服務器會生成一個加密的token返回給客戶端,后續請求只需攜帶這個token即可證明身份,無需重復輸入密碼。
我們在用網銀的時候,有些銀行會要求你使用“動態口令牌”,英文對應的說法是hardware tokens:
![]()
在加密貨幣中,token指的是區塊鏈平臺上發行的代表某種資產或權益的數字化憑證。比如NFT(非同質化代幣)英文全稱是Non-Fungible Token。
另外,token還可以指“代幣,專用輔幣”,比如我們坐地鐵用的一次性小圓片對應的說法就是subway/metro tokens:
![]()
單詞的含義雖然很多,不過都是從一個核心意思衍生出來的:能代表某物的東西。它可以代表你的身份(安全令牌),代表你的資產(代幣),還可以代表文本的片段(詞元)。
只要理解了這條主線,單詞在不同語境下的意思就不難理解。
來源:英文悅讀
跟著China Daily
精讀英語新聞
“無痛”學英語,每天20分鐘就夠!
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.