“Token”这个词在不同的领域有不同的含义。结合当前人工智能时代的背景,它常指代的是大语言模型中的“词元”。此外,在计算机安全、区块链等领域也有其特定含义。
1. 人工智能领域:词元(Token)
在人工智能(AI)和大模型领域,Token 被官方正式定名为“词元”。它是大模型处理、理解和生成自然语言信息的小基础单元。
- 通俗理解:人类依靠汉字、单词理解语言,而 AI 无法直接识别原生文字。Token 就像是将人类语言标准化切割后的“规整积木”,AI 通过解析、运算和重组这些“积木”来完成对话、翻译和创作。
- 计量规则:Token 不等于字数或单词数。它由分词器(Tokenizer)根据语义和词频智能拆分。例如,中文的高频词(如“人工智能”)通常整体合并为 1 个 Token,而英文的低频长词(如“unfortunately”)会被拆分为多个 Token。通用参考标准为:1 个 Token 约等于 1.5 至 2 个常用中文汉字。
- 核心作用:
2. 其他领域的 Token
除了 AI 领域,Token 在计算机科学的其他分支中也扮演着重要角色,通常指代“符号”、“标记”或“小处理单元”:
- 信息安全与访问控制:Token 是一种数字标识符或凭证。用户登录系统后,服务器会发放一个 Token,后续操作只需携带该 Token 即可验证身份,无需反复输入密码。
- 区块链与数字资产:Token 指代基于分布式账本技术发行的数字资产或权益凭证,如加密货币、数字藏品、链上会员权益等。
- 编译原理:在程序语言处理中,Token 是编译器从源代码字符流中识别出的小有意义的语法单位(如关键字、运算符等)。