本地 天下 发现自贡 文化 健康 教育 商圈
搜索

“词元”是个词吗?

2026-03-27 19:03 天府新视界

0

分享

Token的中文名叫什么?

不是“代币”,不是“令牌”,更不是“偷啃”。在3月22日至23日举行的中国发展高层论坛2026年年会上,国家数据局局长刘烈宏表示,Token“词元”不仅是智能时代的价值锚点,更是连接技术供给与商业需求的“结算单位”,为商业模式的落地提供了可量化的可能。这也从官方角度为Token给出了翻译:词元。

什么是Token?为什么统一Token的中文翻译很重要?

在计算机科学和人工智能领域,由于计算机无法像人一样一次性理解整个句子,需要先把文本切分成一个个小块,这些小块就是Token。因此,Token是模型处理信息的最小计量单位,无论是用户的提问,还是AI生成的一段代码,最终都要被拆解成Token来完成运算。

自从以ChatGPT为代表的生成式人工智能大火之后,网络上关于Token的中文译名层出不穷。明明是同一个东西,却由于翻译的差别,平白多出十几个分身。基于混乱的中文译名现状,以及Token在人工智能领域的基础性意义,为它确定一个统一的中文译名,能够避免翻译差异造成的概念混乱,促进学术研究与技术应用领域的交流与进步,也能在一定程度上降低科技概念的理解门槛,让普通人更容易理解人工智能的运行逻辑。

Token翻译成“词元”好不好?

将“词元”两个字拆开来看,“词”代表语言单位,“元”则有基础、起始的意思,表达最小不可分割之意。Token翻译为“词元”,通过意译的方式,准确传递出Token“构成文本的最基本单元”这一核心概念。比较来看,的确比此前的“代币”“令牌”更精准。

早在100多年前,严复就在翻译《天演论》时提出了“信、达、雅”的翻译标准,强调译文要忠实原文、通顺明白、选词得体。以此为标准来检验“词元”的翻译,在准确性、简洁性与本土化审美的维度上,都有值得肯定的地方,即便不了解人工智能的人,在看到这两个字时,也能够对其含义产生合理联想。

而“词元”作为一个科技术语的翻译,还比较好地照顾到了“系统性”要求。科技术语往往不是一个个孤立的概念,它们相互之间存在着一个概念网络。将Token翻译为“词元”,能够与“语素”“义项”“语法”等既有术语形成呼应。而如果采用“令牌”“代币”等译法,则会割裂这种联系,成为学习者必须单独记忆的新词,或既有词汇的新意义。

图片
图片由AI生成

那么,在未来中文语境下的实际使用场景中,“词元”能够取代Token吗?

无论音译还是意译,译名能否长存,不仅仅是语言问题,更是社会化过程。在Token之前,我们既经历了手机、电脑、基因、激光等中文译名完美融入生活的过程,也曾在鲁棒性、缺省、宏等概念面前摸不着头脑。这当中,有的意译如基因,既是对原词“Gene”的音译,又天然带有“基本因子”的意味,与生物学内涵高度契合;也有意译如激光,“激”取自“受激辐射”,“光”点明本质,既传达了科学内涵,又符合汉语的构词习惯。

要让“词元”真正进入生活,首先就要建立概念认同。从日常的新闻报道、学术探讨,到相关领域教材的编订、词典的更新,都是新术语、新概念的传播途径,只有当各个环节逐渐接受“词元”,并且主动使用“词元”,把“词元”作为理解人工智能基本运行逻辑的概念时,这个词才算真正在中文语境中扎下了根。

与此同时,也不应将Token和“词元”的关联就此锁死,应该给后人的智慧留有空间。词汇与概念,最终都要落实到实际使用中,而这其实是一个很难人为干预的领域。诸如“激光”最终取代“镭射”、“互联网”取代“因特网”的案例都表明,对于新概念、新事物的翻译,有一个沉淀与调整的过程。相比于盖章认证,更重要的是在日常和专业使用中的约定俗成。在类似人工智能这样的专业领域,只有经过检验、足够好用的中文译名,在中文语境下,才能真正实现对外文名的取代与超越。

撰文/成博

编辑:余凤

责任编辑:陈翠

编审:喻佳

相关新闻

Copyright © 2006-2024 WWW.ZGM.CN 自贡网 All Rights Reserved. 自贡日报社 主办

地址:四川省自贡市汇川路1240号自贡报业大楼 电话:0813-8220769 8220773 邮箱:webmaster@zgm.cn

互联网新闻信息服务许可证编号:51120190016 蜀ICP备11013724号 川公网安备51030002000105号

信息网络传播视听节目许可证编号:1-23-3-2-0008

涉本网站网络内容从业人员违法违规行为举报电话:0813-8220769 网络内容从业人员违法违规行为举报

涉未成年人投诉举报电话:0813-8220770 电子邮箱:wcn@zgm.cn | 涉互联网算法推荐专项举报渠道

中国互联网举报中心举报电话: 12377 | 涉本网站违法和不良信息举报电话:0813-8220770 | 涉企举报专区

食品安全投诉举报电话:0813-2988060 电子邮箱:zgsscjgjyjk@163.com