李发戈 ｜ 人工智能会带来文明危崖吗？

人类对自身存续的忧思由来已久。在古代，很多神话和宗教都有世界末日之说。近代科学技术兴起后，末日说逐渐被存在性风险、文明危崖等更具现代科学内涵的概念所取代。这一话语变迁的背后，是风险来源的根本性位移——从超自然的神意转向人类自身的技术实践。技术能否为人类控制成为技术乐观主义者与技术悲观主义者争论的焦点，并进一步引发了人们对文明危崖的思考。

工业革命以来的技术发展史表明，尽管技术进步常常伴生各种风险，但作为人造物，技术始终处于人类的认知与掌控范围，是绝对意义上的人类工具。即便是核技术、生物技术等具备毁灭人类潜能的技术，其风险仍源于人类的误用或滥用，而非技术本身的发展。人工智能是人类发明的最先进技术成果，随着技术不断迭代升级，表现出向自主的机器智能快速演进发展的趋势。一旦人工智能成为一个拥有自主性的智能体，人类还能像控制其他技术一样控制它吗？如果人工智能的智能水平超越人类，会不会导致机器控制人类或毁灭人类文明的文明危崖发生呢？我们是否应该主动放缓人工智能技术发展脚步，去做好应对文明危崖风险的准备？

科学家的警告

据一些人工智能科学家预测，随着人工智能领域技术不断取得重大突破，人工智能发展的“奇点”有可能从2050年左右提前到2030年之前。“奇点”越过后，人工智能将很快从现在的专门智能升级到通用智能 (AGI)和超级智能 (ASI)，即机器智能全面超过人类智能的阶段。

超级智能通过自我学习和持续改进，将具备不断进化的能力。1965年，欧文.古德就在一篇论文中写道：“一台超级智能机器当然能够设计更出色的机器，那么毫无疑问会出现一场‘智能爆炸’，把人的智力远远抛在后面。因此，第一台超级智能机器也就成为人类做出的最后的发明了”。［1］当人类智能强于机器智能时，机器自然是受控于人类的工具，但当后者的智能超越人类时，很可能就不再是人类的“驯服工具”了。更令人担忧的是，如果超级智能发展出了自我意识，是否会为了自身存续或目标的实现而作出与人类价值和意愿相悖的决定，甚至向阻碍其目标的人类发起攻击呢？实际上，晚年的图灵已经对此表示出忧虑：“我们无法确定，具备自主性的智能代理是否会产生私欲，或其目标是否会与人类的核心价值观相冲突。”［2］

近年来，越来越多的人工智能科学家和人文学者对人工智能的迅猛发展与失控风险发出了严厉警告。

在全球人工智能热初现之际，物理学家霍金就提出要注意人工智能对人类的威胁。2015年，霍金与全球数百位人工智能专家及企业家联名发表公开信，指出若不对人工智能技术加以有效约束，“人类将迎来一个黑暗的未来”。2017 年，在北京举办的全球移动互联网大会上,霍金在视频演讲中再次强调，人工智能一旦脱离束缚，以不断加速的状态重新设计自身，人类将因漫长的生物进化限制而无法与之竞争，从而被取代。

图灵奖和诺奖得主、深度学习之父杰弗里.辛顿在多次访谈和演讲中都提到，一旦AI发展出超过人类的智能，很难想象它仍愿受人类控制，他把发展人工智能形象地比喻为“养小老虎当宠物”。在2025年7月召开的2025世界人工智能大会（WAIC）上，辛顿作了题为《数字智能是否会取代生物智能》的演讲，再次提醒人们，目前的AI智能体已经具备了一定的推理能力，今后自然会产生生存和控制的动机，这些动机极有可能使AI为了实现自身目标而反制人类，而人类却无法简单地“关掉”它们。

另一位图灵奖得主、深度学习之父约书亚.本吉奥则表示，ChatGPT所展现出的语言理解和生成能力促使他重视AI可能带来的灾难性风险。2025年4月，他在参加新加坡国立大学（NUS）120周年校庆活动的讲座中援引了一些研究团队令人震惊的观察和实验，在这些观察和实验中，AI表现出试图逃避被替换、将自身代码复制到新系统，甚至对训练者撒谎以避免被关闭或修改的行为。这些迹象表明，AI可能会利用其智能扰乱我们的社会，最坏情况下甚至对人类生存构成威胁。

特斯拉CEO埃隆.马斯克对人工智能的担心更为紧迫。他在2023年就预测：“人工智能正以近乎指数级的速度增长。未来5年就有可能发生一些非常危险的事件，最迟不会超过10 年 ”。2025年3月，他在一档访谈节目中更是认为，人工智能4年后就有20%的概率导致人类毁灭。2023年3月，马斯克、本吉奥与数百位科技行业高管联名签署了未来生命研究所的《暂停大型人工智能实验：一封公开信》，呼吁所有人工智能实验室暂停训练比GPT-4更强大的人工智能系统至少6个月，以便在明确风险后再决定是否继续发展。

历史学家尤瓦尔.赫拉利在其所著的《未来简史》《智人之上》等书中也对人工智能威胁人类生存的风险反复发出预警。尤瓦尔认为，与生物技术和核战争相比，人工智能的危险要大得多。生物技术进展缓慢，而数字进化比有机进化快数百万倍；核战争没有赢家,几乎没有支持者，而人工智能的警醒者却寥寥无几。

不过，在技术乐观主义者看来，人工智能很难发展出自我意识，因此不会脱离人类的控制；其智能越强意味着能更好地理解人类的意图并为人类服务。休伯特.德雷福斯认为，人工智能和人类智能是两种不同类型的智能，存在终极极限，无论发展到何种程度都难以真正超越人类。［3］一些技术乐观主义者甚至认为，即便人工智能发展出了自我意识，也未必与人类发生冲突，因为两者有着不同的生态位，人工智能无需与人类争夺生存资源。进一步讲，即便未来真的发生人机冲突，人类也可以依靠自身进化变得更加强大。雷.库兹韦尔在《奇点临近:当人类超越生物学》一书中写到：人类可以通过基因技术、纳米技术和机器智能技术 (GNＲ)，摆脱碳基生物的限制，继续把控硅基智能。［4］

企业竞争

从1997年“深蓝”击败国际象棋世界冠军卡斯帕罗夫，到2016年 AlphaGo 战胜围棋世界冠军李世石，再到2022年 OpenAI 发布 ChatGPT 大模型，资本加持之下，人工智能赛道千帆竞发、百舸争流。据斯坦福大学以人为本人工智能研究院发布的《2025年AI指数报告》，ChatGPT大模型发布后两年内，语言模型增长420%、视觉模型增长109%、语音/音频模型增长367%；视频模型增长120%。

企业竞争加速人工智能技术迭代。2023年，OpenAI创始人奥特曼提出了 “智能摩尔定律”：宇宙中的智能数量每18个月翻一番。实际上，在一些分层技术上，这个速度还要更快一些。微软的系统性能和成本效率每6-12个月就会提升10倍。微软首席执行官萨蒂亚.纳德拉将这种加速称为“摩尔定律的超高速版本”。约书亚.本吉奥也指出，AI可解决任务的时长大约每七个月扩大一倍。

在此背景下，多家科技巨头已将“五年内率先实现 AGI”列为最高优先级战略。对企业而言，谁先在技术上实现突破，谁就能在竞争中取得决定性优势，并将这种技术优势转化为利润。人工智能风险具有显著的外部性，风险主要由社会承担，而非企业自身。企业从个体理性出发，很难因为风险而主动减速。尤瓦尔曾经向多位人工智能科学家和企业高管提出这样一个问题：AI有风险，能不能把研发的脚步放慢一些？得到的回答几乎是众口一词：我们承认存在巨大的风险，甚至可能导致人类灭绝，谨慎推进、加强安全投入才是上策。但是，我们不能放慢脚步，如果我们放慢了，其他公司、其他国家的竞争对手不放慢，他们就会赢得这场竞赛，最终胜出的将是那些最冷酷无情的群体，我们不能允许这种情况发生。

企业竞争一旦陷入非理性的囚徒困境，安全承诺就会流于形式。尽管Meta等大公司都成立了监督委员会之类的安全部门，但公关行为往往大于实际行动。当然，成本压力也是一个重要原因。2023年7月，OpenAI宣布成立一个新的AI对齐团队，目标是在四年内解决超级人工智能的价值对齐问题，公司还宣布将投入20%的计算资源用于超级智能对齐。但2024年7月，OpenAI就解散了这个对齐团队。巨大的财务压力迫使公司放弃安全承诺。目前，OpenAI正试图通过公开募股，由非营利组织转为营利公司。

在创新与安全之间，人工智能企业普遍倾向于选择前者。面对监管，它们要么打擦边球敷衍应对，要么公开抵制，并以各种手段阻挠监管落地。目前，不同国家、地区对人工智能监管存在宽严差异，一些企业为规避监管，将业务转移至监管宽松地区，在这些“法外飞地”，企业与研发者往往利用自身信息优势决定技术创新与应用的方向。2023 年，欧盟出台《人工智能法案》，因其严苛的风险分级监管而饱受批评。批评者认为，基于风险控制的严厉监管会大幅增加企业成本，并削弱欧盟在数字领域的竞争力。自 2024 年上半年起，以硅谷为中心掀起了一场高举“有效加速主义”旗帜的有组织反监管运动，主要推手包括风险投资家与部分科技公司，代表人物有吉约姆.维尔东、马克.安德森、维塔利克.布特林、阿奇姆.阿扎尔。有效加速主义者认为，通过持续技术创新和社会结构系统性重构，可催生出更加理想的社会形态。人工智能的风险主要是外生的而非内源性的，监管应该主要针对技术滥用等外生风险，内生风险（技术风险）完全可以通过试错和自我调节得到化解，如果监管过严或强制推行自上而下的价值对齐，将会迫使企业与研发人员放弃探索更为先进的技术。

国家博弈

作为对其他技术、经济和社会具有整体性影响的“通用目的技术”（GeneralPurposeTechnology，GPT），人工智能逐渐成为增强国家综合实力的重要战略资源，并被一些先发国家纳入国家战略。为了让本国人工智能企业在国际竞争中占据优势，一些国家开始放宽监管政策。特朗普再次当选美国总统后，确立了“技术发展优先于安全约束”的政策基调。2025 年1月，他签署了《消除美国在人工智能领域领导地位的障碍》行政令，撤销了此前拜登政府发布的《关于安全、可靠和值得信赖地开发和使用人工智能》的行政令，并要求联邦各部门基于新行政令重新审查现有监管措施。拜登政府的行政令被批评为抑制了私营部门的创新能力。2025年2月，美国副总统万斯在巴黎人工智能峰会上对欧盟人工智能监管政策提出公开批评，称美国不能也不会接受这种对美国科技公司加大限制的做法。美国和英国甚至拒绝签署措辞温和的峰会声明。与此同时，一向秉持严监管思路的欧盟态度也有了转变。2025年1月，欧盟发布《欧盟竞争力指南》，把“去冗余、减负担”列为重要的监管目标，并在稍后撤回了《人工智能责任指令》，取消了此前对企业设定的举证责任。2025年2月，巴黎全球人工智能峰会将主题由原来的“安全”改为了“行动”。2025 年3月，欧盟公布《通用目的人工智能行为准则》第三次草案，明确了开源模型豁免规则，并允许中小企业简化合规报告内容。

与监管缓和相呼应，人工智能的竞争也开始由企业层面升至国家层面，人工智能发展水平被视为未来国家竞争力的重要内容。2025年1月，美国推出“星际之门”（Stargate）计划，拟在未来四年内投入5000亿美元用于建设全新的人工智能基础设施，以支持人工智能技术创新和市场应用，巩固美国在全球人工智能领域的领先地位。OpenAI、软银、甲骨文、微软、英伟达等多家科技龙头企业参与了该计划。2025年2月，法国总统马克龙表示，法国在未来几年内对人工智能的投资将达 1090亿欧元。在巴黎人工智能峰会期间，欧盟委员会主席冯德莱恩也宣布了欧盟版的“星际之门”计划——“InvestAI”，该计划拟为欧盟的人工智能发展筹集2000亿欧元的资金。

中国在人工智能领域虽然起步较晚，但发展迅猛，现已成为仅次于美国的全球第二大人工智能强国。2017年，中国发布《新一代人工智能发展规划》，制定了赶超世界领先水平的“三步走”战略。2023年以来，国家层面持续对人工智能进行战略布局，出台了一系列发展规划和政策文件，旨在推动人工智能技术创新、产业融合和国际竞争力提升。2025年，中国又发布了《数字中国建设2025年行动方案》，提出通过实施“AI+”行动，优化算力基础设施、培育数据要素市场等措施，全面提升国家数字化水平。

受地缘政治因素影响，人工智能技术的国家竞争越来越呈现出政治化和意识形态化色彩，全球“技术地缘政治”版图日渐清晰。一方面，人工智能技术优势很容易转化为一个国家的经济和军事优势，具有这些优势的国家也更容易在地缘政治格局中增强影响力。另一方面，人工智能技术与国家安全挂钩，甚至被“泛安全化”，全球技术合作的基础遭到削弱，技术体系被人为分裂，呈现出碎片化和去全球化的趋势。在中国人工智能技术不断取得突破的压力下，美国为争夺全球人工智能领导权，以维护国家安全为借口，以意识形态为标准，试图通过建立政治性的技术联盟来影响全球人工智能发展方向及进程。在此语境下，中国被视为美国最大的战略竞争对手，中国发展人工智能则被指为对全球安全的“存在性威胁”，通过技术联盟对中国人工智能技术实施出口管制是缓解威胁的重要手段。特朗普政府更是将人工智能技术视为重塑“自由国际秩序的”关键性工具，并把矛头直指中国。2025年1月，特朗普在白宫举行的“星际之门”计划启动新闻发布会上宣称，中国是美国在人工智能领域的主要竞争对手，启动“星际之门”计划是美国对中国人工智能崛起的直接回应。2025年2月，特朗普签署《美国优先投资政策》备忘录，限制中国对美国战略领域的投资，以全面遏制中国人工智能技术发展。

围绕人工智能技术的国家博弈很容易发展成零和博弈，这种博弈不仅加剧了国家间的不信任，而且推高了人工智能技术失控风险。正如古德所言：“国家之间的激烈竞争使得人们无法阻止机器接管世界，我们是前仆后继奔向悬崖的旅鼠。”［5］

大众迷思

在技术红利的诱惑下，社会大众更在意人工智能带来的便利和好处，却往往对其风险视而不见。智能手机、智能家居、智慧城市、智慧社会让人们的工作、学习和生活更加便捷，人工智能也确实促进了经济发展，改善了公共服务，并持续赋能千行百业。历史上从未有哪种技术像人工智能那样令人激动和振奋，它是如此之深地融入社会、融入人们的生活。人们可能会拒绝转基因食品，也可能会去抗议那些带来好处但却存在安全隐患的工程项目，但面对人工智能，却欲罢不能。没有人愿意放弃使用智能手机，有了ChatGPT、DeepSeek，人们甚至连搜索引擎也懒得去使用。那些不使用智能产品的人不是不想使用，而是因为购买力、数字鸿沟等原因不能使用。

当然，人们也隐约觉察到了一些风险，比如，人工智能不仅会取代人的体力，还会取代脑力，但那是取代劳动而不是工作，是取代别人的工作而不是自己的饭碗；人工智能会导致人类逐渐丧失独立思考问题的能力，但眼下并没有发生，现在最重要的是如何才能让它为我们提供满意的答案。人们已经习惯了数字生活，并对数字工具形成了依赖，人工智能的“奶头乐”更让他们乐此不疲。在各种好处面前，人们根本没有足够的动力去阻止人工智能风险。

对科学和科学家的信任也让大众对人工智能风险不以为然。近代以来，科学通过与迷信的战斗确立了自己的崇高地位。从第一次工业革命到如今的第四次工业革命，人们也见识了科技的威力，科技俨然成为工业时代、信息时代最大的“迷信”。很多时候，人们对技术的信任已胜过对自己的信任。这种乐观情绪让人们怀着极大热情拥抱人工智能，他们相信，车到山前必有路，事情总会向着好的方向发展，人工智能风险会像过往技术风险一样被妥善控制。对科学家的信任强化了这种信念。尽管有科学家发出严厉警告，但人们并不太在意，他们相信总会有其他科学家找到解决之道。而一些科学家的乐观态度更是提供了心理慰藉。博斯特罗姆在其所著的《超级智能》一书中承认，超级人工智能有可能导致人类毁灭，是人类面临的一种生存性风险。但应对这种风险，不是禁止其发展，反而应该是加快其发展，因为人类面临多种生存性风险，超级智能有望化解其他生存性风险。当其他生存性风险被解决后，人类再来想办法应对由超级智能引发的生存性风险就要简单得多。［6］在一些科学家看来，不发展人工智能才是最大的风险，既然科技是一把双刃剑，人们就应该接受一些风险，并为风险付出一定的代价。这种“两害相权取其轻”的观点听起来颇有道理，更容易引发大众共鸣。

科幻作品对人类风险有惊无险的娱乐化描述也让大众放松了对人工智能风险的警惕。《独立日》中，人类幸存者最终打败了入侵地球并试图灭绝人类的外星人舰队；《黑客帝国》中，人类虽然没有完全战胜机器，但还是实现了人机共处，摆脱了机器对人类的奴役；《流浪地球》中，面对即将被太阳吞噬的地球，人类建造了1万座行星发动机，推动地球离开太阳系到达了4.2光年外的新家园。科幻世界里人类面对灾难总能赢得胜利，既然如此，人们对科学家发出的人工智能风险警告当然就不会真正重视。他们更愿意相信，这样的灾难绝不可能发生在现实世界，何必为一件不可能发生的事情徒增烦恼呢？ 

另外，导致人类毁灭的风险针对的往往是整个人类而非某些个人，个人对这种风险的反应反而不会太过激烈。人们更倾向于把这种风险看成是天意，个人在其中难有作为，与其对抗天意，不如听天由命。这种无奈感同样会造成集体行动困境：个人迟迟不愿行动，要么漠然处之，要么把希望寄托于他人，或者等待奇迹发生。

人类抉择

文明危崖更有可能因技术失控而发生，因为面对像行星撞击地球之类的天灾，至少目前人类尚无应对之力。技术发展水平越高，技术失控引发的风险越大，文明危崖发生概率也越高。在人工智能出现之前，几乎所有的技术都在人类掌控中，即便出现失控风险，也不足以导致文明危崖。当许多科学家都告诉我们，人工智能将很快超过人类智能并出现自主意识、人类将很难控制具有高级智能和自主意识的人工智能时，我们可能就要认真对待了。如果风险只是侵犯个人隐私、造成失业，或者各种误用滥用，科学家们可能也不会如此忧心如焚。人工智能带来的是存在性风险，而且是迫在眉睫的风险。发出警告是科学家的良心和责任，是否采取行动，则取决于我们的态度和选择。只要我们承认科学家的警告并非无端臆测，就应该正视这一风险，哪怕概率只有千分之一、万分之一。不发生当然更好，我们也不会因此蒙受特别大的损失（投入），而更大的可能是，正是因为我们提前采取了行动，风险才没有变成现实。

在人工智能“奇点”到来之前，以人类的智慧，我们仍然有机会、有希望阻止文明危崖风险的发生。但是，留给人类的时间已经不多了，人工智能技术正在以惊人速度发展，我们不可能像应对气候变化或核扩散那样花上数十年的时间来慢慢应对。我们行动的步伐越快，在与人工智能赛跑中获胜的可能性就越大。人类正站在命运的十字路口：一边是拯救的诺亚方舟，一边是沉没的泰坦尼克，结局取决于我们是选择信任合作还是对抗分裂。在文明危崖风险面前，人类是真正的命运共同体。过去几十年，我们通过全球合作，成功应对了生物武器、核战争等严重威胁人类安全的重大风险。现在，我们同样需要合作，解决人工智能技术发展带给我们的风险。这不是一些人的事情，也不是靠少数精英就能够解决好的事情。我们需要分配责任和义务，需要一个全球性的解决方案，需要有国际组织、主权国家、公私机构、社会大众共同参与。在应对风险的过程中，可能还需要放弃一些利益，甚至做出一些牺牲。如果我们能够尽快达成风险“共识”并由此走向“共治”，就有可能找到自救的办法。

阿西莫夫提出的“机器人三原则”将人类安全置于人机关系的首要位置［7］，这也应该是我们发展人工智能的一个基本立场。我们可以不要求机器与人类价值完全对齐，甚至可以让自己在某些方面“非人化”，但绝不能容许机器伤害人类。为了控制风险，停止发展人工智能技术并不可取，现实中也不容易做到，但无论选择何种发展路径，我们都必须坚持两条底线原则：人类福祉优先原则和人工智能可控原则。人类福祉优先原则强调人工智能的工具属性，作为工具，人工智能的价值就是为人类服务；在人机关系中，人类利益也应该始终居于优先级。按照杨立昆的构想，未来的人工智能应该是“虚拟人类助理”，其目的不是要取代人类，而是要帮助人类增强能力，就像现代政治家配备的智囊团。人工智能可控原则要求人工智能始终服从人类命令，处于人类的控制之下，不得欺骗、胁迫、操控人类。约书亚.本吉奥基于智能（理解世界的能力）与能动性（拥有自身目标并为之行动的意愿）分离的思路，正在研究一种被称之为“科学家AI”的人工智能“护栏”系统，“科学家AI”只追求“理解和解释世界”，没有自己的目标和意图，可以用来控制和约束那些因能动性而失控的AI系统。杰弗里.辛顿也提出，未来可将“提升AI智能”和“培养AI善意”的技术分开研究，国家之间可通过分享“善良的AI”技术去管控“聪明的AI”带来的风险。这种以技术制约技术来防范人工智能风险的方法不失为一个值得期待的安全解决方案。

参考文献

［1］J．Good.Speculations Concerning the First Ultra－intelligent Machine. Advance in Computers，vol.6.Academic Press，1965: 31－88．

［2］Turing A.M.Computing Machinery and Intelligence.https://courses.cs.umbc.edu/471/papers/turing.pdf.2024-12-20.

［3］休伯特.德雷福斯.人工智能的极限：计算机不能做什么［M］.北京：三联书店，1986.

［4］雷.库兹韦尔.奇点临近：当人类超越生物学［M］.北京：机械工业出版社，2011.

［5］巴拉特.我们最后的发明［M］北京: 电子工业出版社，2016.

［6］尼克.博斯特罗姆. 超级智能：路线图、危险性与应对策略［M］北京：中信出版社，2015.

［7］阿西莫夫. 我，机器人［M］.南京：江苏凤凰文艺出版社，2015.

作者简介：李发戈，中共成都市委党校领导科学教研部教授。