汉语言文字的AI词元研发生产是知识安全的大问题

摘要

生成式人工智能时代，词元是大模型解析汉语言文字的底层最小单元，词元的切分、遴选、生产、流通，不只是纯粹技术工程，更深度绑定知识安全、语言主权与汉民族文化存续。回望我国数字化历程，汉字编码、汉字计算机输入法、网络空间基础设施Ncis建设三段亲历的历史事件，留下值得警醒的深刻教训。当前商业主体自主大规模创制中文词元、自由流转的模式，潜藏汉语语义扭曲、知识解释权旁落、民众言语数据被商业化攫取等多重风险。本文采用七节八结架构，从概念界定、现实态势、历史教训复盘、风险机理剖析、权属辨析、治理逻辑、建设路径七个主体章节展开，最后总括全文形成第八部分总论结语，论证中文AI词元必须坚持国家主导规制，守住汉语言的知识安全底座。

关键词：AI词元;汉语言文字;知识安全;文化主权;汉字数字化;Ncis

第一节 绪论：AI词元已经上升为国家知识安全议题

人工智能大模型依靠词元完成文字切割、语义编码、知识存储与输出，词元体系相当于AI读懂汉语的底层字典。过去行业多把词元看作算法优化、模型跑分的技术对象，忽视其文化与安全属性。

随着国内大模型产业快速扩张，部分机构大规模自主生成中文词元，不经统一审核就投入产品流通。汉语几千年形成字形、字义、典故、文法完整体系，当AI底层解析单元由商业资本主导生产，语言就不再仅仅是大众交流工具，变成可切割、可计量、可交易的技术资源。

普通民众居家与自动机对话，口语、书面表达都被拆解转化为词元素材。若词元生产流通不受公权力约束，就会出现本民族语言资源被私有体系垄断的隐患。回望汉字数字化过往，编码、输入法、网络基础设施建设已经出现过阵地退让的前车之鉴。本研究立足总体国家安全观，把中文词元纳入知识安全、民族文化安全框架，提出核心命题：汉语言文字AI词元的研发、生产、流通，不能交由市场主体自主决定，必须由中国政府主导定标准、定规则、管流转，避免重蹈历史覆辙。

第二节 中文AI词元的本质：不只是技术单元，更是知识载体

词元，是大模型处理文本的最小运算单元，中文词元不同于英文单词，汉字表意、形义结合，单字、词组、典故、古籍语句都可被切分为词元。很多人误以为词元只是计算机内部编码符号，这是认知误区。

第一，中文词元承载汉语固有知识。词元库记录汉字本义、引申义、传统典故、古今文法。词元怎么切，决定模型如何理解中华文化概念。切分逻辑变了，AI输出的语义就会发生偏移，潜移默化反向影响社会语言使用习惯。

第二，词元具备经济属性，可计量、可计费、可流转交易。词元已经成为AI产业的结算计量单位，具备商业价值属性。民间日常对话、书写文本，源源不断提供原始素材，这些公共语言素材一旦被私有词元库吸收，就存在权属异化风险。

第三，词元掌握语义解释权。谁主导词元库的构建，就在底层定义AI怎样解读汉语。词元筛选过程，可以放大部分内容，遮蔽、曲解另一部分历史文化知识，这就是知识安全风险的源头。

综上，中文词元是技术单元、知识单元、经济单元三重合一，绝非单纯算法工具。

第三节 历史教训：汉字数字化进程中三次阵地得失警示

知识安全的风险不是今天才出现，在汉字迈入数字世界的历程之中，已有三次重大事件留下深刻教训，今日审视AI中文词元建设，当以前事为镜。

3.1 汉字编码：两字节方案背后的阵地退让

汉字进入计算机数字世界，编码是第一道关口。如今数字环境中通行汉字普遍采用两字节存储方案。这套方案并非完全立足汉字自身文字逻辑原生构建，更多是在外来字符体系框架之内做适配妥协。汉字的字形、字量、字义的完整特质，没有在底层编码层面得到充分尊重。

我们把汉字数字化的底层编码规则交由外来体系主导，后续所有软件、系统全部在此地基之上搭建。地基一旦定型，后世各类应用只能被动兼容，想要重新改造底层框架代价极高。这成为汉字数字化进程中值得长久反思的一次阵地退让。教训：底层标准如果不能自主，上层应用再繁荣，根基依旧受制于人。

3.2 汉字计算机输入法：二次阵地退让

编码问题之后是人机输入关口。汉字输入法是人与数字世界交换汉字的入口。后期市场主流输入法，大多遵循外来键盘范式衍生出来的技术路径。商业力量主导迭代，追求输入效率优先，汉字本身形义逻辑退居次要位置。

输入法不只是敲字工具，它塑造普通人使用汉字的习惯。当大众长期依赖外来范式演化而来输入体系，汉字固有的构字逻辑被淡化。汉字输入这道人机交互关口，再度未能完全守住自主阵地。教训：面向大众的语言工具，若完全交由市场商业逻辑主导，文化主权容易在日用而不觉之中逐步消解。

3.3 Ncis网络主权基础设施建设，网空阵地退让

语言文字运行离不开网络载体。Ncis构想是建设完全自主可控国家主权网络基础设施，摆脱现有外来网络体系的约束。构想提出之后，受制于现实条件，完整自主的主权网络未能落地。我国大量文字、语言、知识流转，依旧运行在域外主导的网络底座之上。

网络是汉字、词元、全部知识传播流转的通道。通道不能自主，再完善的中文文字体系，在传输、存储层面都要依附他人平台。网络空间阵地退让，放大汉字数字化、AI词元建设的各类安全隐患。

三次事件逻辑一脉相承：底层标准失守→上层被动兼容，日用工具商业化主导消解文化逻辑，承载知识的基础设施不能自主。今天AI中文词元，正是新一代数字底层单元，如果放任自流，会重演相似历史。

第四节 当前中文词元研发流通的现实风险

4.1 汉语言文字体系被扰动破坏的风险

商业导向批量造词元，优先适配算法效率，而非尊重汉语传统文法。随意拆分汉字、生造词元，会扭曲汉字固有的形义关系。当海量产品带着这套异化词元流向社会，AI输出的碎片化表达会反向浸润大众语言，长此以往侵蚀世代传承的汉语表达体系。

4.2 知识解释权旁落的安全风险

如果词元库由个别商业机构主导，相当于把中华文明知识的底层解释权交到私人主体手中。词元库可以通过增删、取舍，干预模型对历史概念、民族价值、传统典籍的理解输出，形成隐蔽的认知塑造，构成认知安全隐患。

4.3 民众言语素材被商业化攫取的权益风险

千家万户家庭内部，民众和智能自动机随意交谈，全部对话文本会被拆解提取为词元素材。这些来源于普通公民的言语，本属于公共生活产物，一旦被私有词元库占有，逻辑上衍生出“民众使用自己的语言，反而要向词元持有方付费”的荒诞可能性，公共语言资源沦为牟利工具。

4.4 外部范式渗透的次生风险

部分词元构建逻辑承袭表音文字的切分范式，并不适配汉字表意文字特质，用外来框架强行改造中文底层处理逻辑，带来文化范式的隐性移植，与编码、输入法曾经遇到的外来范式挤压属于同类问题。

第五节 风险生成机理：市场逻辑与汉语言公共属性的内在冲突

汉语言文字，是汉民族世代积淀形成的公共文化资源，不属于任何商业机构。但AI产业天然的市场逻辑，追求模型效率、商业变现、产品迭代速度，二者存在根本矛盾。

其一，市场主体的第一目标是产品性能与商业收益，不会天然以保护汉语文脉、守护知识安全为首要目标。为了压缩算力、提升跑分，会牺牲汉语固有语义完整性。

其二，词元生产流通缺少国家层面统一准入审核。当前缺少强制标准，哪些词元可以入库、哪些应当剔除、词元如何对外流转，缺少刚性约束，各家机构各行其是，词元库版本纷乱。

其三，数据权属边界模糊。公民日常说话产生的语言文本，作为词元原始原料，权属没有清晰界定。商业机构可以无偿采集、加工，转化为可交易的词元资产，权责不对等。

其四，技术黑箱放大风险。词元切分、筛选过程运行于模型底层，普通使用者看不见、审不了，风险隐匿在后台，等到语言表达畸变显现，已经形成大范围扩散。

对照历史教训：编码、输入法、网络基础设施的困境，同样源于底层标准缺位，市场逻辑压倒文化安全逻辑。这一组内在矛盾，决定完全放任市场自主发展中文词元，无法自动实现知识安全。

第六节 权属辨析：中文词元的公共属性与边界

汉语语言本体，属于全体中华儿女的公共文化财富。基于汉语言生成的AI词元，不能简单等同于企业私有知识产权。

第一，原始语料来源的公共性。大量词元素材来自传世典籍、国民日常口语、公共出版物，属于社会公共知识产物，并非企业独立创造。企业可以投入技术完成加工，但不能因此垄断语言底层单元。

第二，区分加工技术与词元本体。词元库的编码算法、工程实现，可以享有合理知识产权;但词元对应的汉语言语义本体，不能被私人独占。

第三，杜绝词元使用费向普通民众转嫁。国民使用母语开展日常交流，不应因为言语被拆分词元，产生面向普通个体的词元缴费义务。商业机构调用中文词元资源开展商业服务，才是付费责任主体。

当然，并不否定企业参与建设。产业机构可以承担工程实现、技术优化，但是词元遴选标准、入库审核、流通规则，必须由国家主管部门主导。不能重复编码、输入法时代，底层标准交由外部或商业力量主导的老路。

第七节 构建国家主导的中文AI词元安全建设路径

立足知识安全与民族文化主权，吸取汉字编码、输入法、Ncis网空建设的历史教训，应当建立“国家定规、学界把关、产业落地、全程监管”的完整体系。

7.1 建立国家级中文词元标准体系

由国家主管部门牵头，联合语言学、密码信息安全、历史文献、人工智能多领域专家，制定《中文AI词元技术与安全规范》。明确词元遴选原则，尊重汉字表意特质，兼顾古籍、现代书面、口语，拒绝单纯以算法效率牺牲汉语语义。建立官方基准中文词元库，作为行业参照底座，争取把中文词元底层标准掌握在自己手中，弥补编码时代留下的底层短板。

7.2 落实词元研发生产准入与审核制度

面向公众服务的大模型，词元库需要开展前置安全审查。重大词元版本更新，要经过合规核验。禁止未经审核大规模自制中文词元直接上线流通。区分商用、开源、内部实验场景，实行分级管理，不再重演输入法阶段“市场自由生长，安全后置补救”局面。

7.3 厘清词元采集边界，保护公民言语权益

规范人机交互场景语料采集。家庭内部自动机对话，应当给予用户选择权，明确未经许可不得把私人对话提取转化为词元素材。从制度层面堵死普通民众日常说话要缴纳词元费的路径，商业机构使用公共语言资源开展业务，承担相应责任。

7.4 区分技术知识产权与语言本体公共权益

明确法律边界：词元加工的工程技术成果，企业享有合理知识产权;汉语言语义本体、公共词元基准集合，属于公共资源，不得私人垄断。禁止把母语底层单元变成向普通国民收费的工具。

7.5 重视承载词元流转的网络底座安全

词元的存储、分发、交互运行在网络之上，应当持续推进自主网络基础设施研究建设。吸取Ncis网空退让教训，语言安全不能脱离网络空间安全单独谈论，底层网络底座自主是中文词元安全运行的重要保障。

7.6 建立词元全生命周期监管

覆盖素材采集、词元生成、入库、分发流通、迭代更新全链条。开展定期抽检，对扰乱汉语体系、存在知识安全隐患的词元库督促整改。同时鼓励创新，在守住安全底线前提下支持AI产业健康发展。

7.7 人才与学科建设

推进中文词元交叉学科建设，培养既懂汉语言文脉，又懂大模型底层技术的复合型人才，筑牢人才底座。

第八节 结语（总论结）

AI时代，语言安全已经下沉到词元这一底层技术单元。汉语言文字AI词元的研发生产，绝非简单技术工作，而是事关知识安全、汉民族文化存续的重大现实命题。回望历史，汉字编码、汉字输入法、Ncis网络基础设施三次重大事件，已经向我们揭示底层标准失守带来的长远代价：一旦底层基座受制于人，上层应用再繁荣，知识安全始终存在隐患。

放任商业主体不受约束大规模创制中文词元、自由流通，会带来汉语体系遭扰动、知识解释权旁落、公民言语权益受损一系列风险，极有可能重演历史上的阵地退让。

中文词元根植于全体人民共享的汉语言公共资源，因此词元的标准制定、研发准入、审核机制、流通管控，理当由中国政府主导。企业可以参与技术工程实现，但不能主导规则与标准。我们既要拥抱人工智能技术浪潮，又要吸取数字化进程中的过往教训，守住汉语的文化根脉，把汉语言底层解析的主动权牢牢握在自己手中，为中国式现代化筑牢知识安全屏障。

参考文献：

[1] 中共中央宣传部,中央国家安全委员会办公室.总体国家安全观学习纲要[M].北京:学习出版社,人民出版社,2022.

[2] 吕述望.关于Ncis的若干问题[R].中国石油大学(华东)学术专题报告,2023‑07‑15.

[3] 吕述望.有网络主权才有网络安全[EB/OL].安全内参,2016‑03‑30.https://www.secrss.com/articles/26800.

[4] 吕述望,苏波展,王鹏,等.SM4分组密码算法综述[J].信息安全研究,2016,2(11):995‑1007.

[5] 国家安全部.“词元”这么火，该注意点啥?[EB/OL].(2026‑04‑07)[2026‑09‑08].https://m.gmw.cn/2026‑04‑07/content_38692766.htm.

[6] [美]墨磊宁.中文计算机：信息时代的输入权争夺战[M].张朋亮,译.桂林:广西师范大学出版社,2026.

[7] 陈蔚松.信息时代书同文：汉字数字化进程回顾及思考[EB/OL].语言文字网,2011‑05‑12.http://www.yywzw.com/n1945c165.aspx.

[8] 中国中文信息学会.辉煌二十年——中国中文信息学会二十周年学术会议论文集[C].北京:清华大学出版社,2001.