一个哲学家，在硅谷引起风暴

关于AI，存在着两个世界。一个是“未来时态”的世界，或者说想象中的世界。人们乐于沉浸在对终极技术的幻想里。另一个世界处于“进行时”。在旧金山、北京、伦敦，人工智能产业每日都在上演更新。

两个世界相互交织，但它们不是一一对应的两个集合，对未来的想象前进一步，现实有可能会撤退，也可能会加速。

在这两个世界中，有一个重要的人物，就是尼克·博斯特罗姆（NickBostrom）。他曾是牛津大学“人类未来研究所”的创办者与所长，是目前论文被引用数量最多的哲学学者之一。

尼克·博斯特罗姆

博斯特罗姆关心人的存在性风险、数字心智的道德地位等议题。有人认为，其作品奠定了当代人类未来议题的基础性框架。他本人也提及，当下人们在探讨未来时经常使用的概念，最初均出自他的笔下。

在南风窗的采访中，他拒绝将自己形容为任何主义者，但他种下的思想种子还是长成了宗教般的信仰，从英国小镇牛津飞到美国硅谷上空，并在那里引起了巨大的风暴。

对齐

“世界正在加速，超级智能的诞生很可能已为期不远，我想说，我们已经正式进入了‘早就跟你说过的’时代，而大多数人仍然忙于其他事情。”

2025年6月，博斯特罗姆更新了他的个人主页。和往常一样，他认为超级人工智能的到来是既定但令人担忧的事，可惜世人总是被各种各样的“琐事”占据，而对人类的存在性风险视而不见。

博斯特罗姆在大多数照片中神情严肃，他有一张长脸，脑顶的头发几乎掉光了，因此看起来有一个明亮又宽敞的额头——古老的中国人将之视作聪慧的象征。而在他眼里，人类确实“浑浑噩噩”，时常与蝼蚁无异，忙着建造蚁穴，却对自己为什么要这么做、最终是否值得这么做几乎毫无概念。

就像电影《不要抬头》中莱昂纳多饰演的那位天文学教授，博斯特罗姆研究、思考、著书，想要提醒人类一场威胁我们生死存亡的危机近在眼前。在许多方面，超级AI和一颗注定要撞上地球的小行星没有什么区别——我们不知道它距离我们具体有多远，但是它已经在来的路上了。

《超级智能》应该是最能反映博斯特罗姆核心关切的著作，他认为，AI的进步可能会带来超级智能的出现，这是一个巨大的机会，同时也是存在性风险的来源。

什么是存在性风险？博斯特罗姆把它定义为“一种可能导致自地球起源的智能生命被消灭，或其潜能被永久性、剧烈削弱的不良结果”。顾名思义，它是一种危及人类本身存在的风险，受到迫害的可能是生命本身，也可能是人类存在的价值。

博斯特罗姆对AI风险的兴趣始于上个世纪，直到《超级智能》发表的2014年，它依旧不是一个大众话题，很容易被视作“脑洞大开”的科幻作品。

但显然博斯特罗姆是严肃的，即便没有读过《超级智能》的人，或许都对他的这句话并不陌生：“在智能爆发的前景之下，我们人类就像拿着炸弹玩的孩子。玩具的威力和我们的行为的成熟度是如此不匹配……尽管我们把炸弹放到耳边能够听到微弱的滴答声……”

《未来之地：超级智能时代人类的目的和意义》

好在博斯特罗姆不是那种提出问题然后徒留人烦扰的哲学家，他致力于提出问题并解决问题。他的学术背景十分复杂，涵盖了物理学、计算神经科学与哲学。在早期的博斯特罗姆身上，能看到这样一种意志：为了解决人类面临的威胁，他在这条由自己开辟的荆棘路上尽己所能地走得更远，以便更多有能力者可以便捷地加入。

博斯特罗姆主张从长远的角度对AI进行风险控制，比起限制AI的发展，不如提前控制AI的目标，在发展AI的过程中将人类的价值观载入，保证它的目的与人类目的一致。后来，人们把这个做法叫作“对齐”（alignment）。

硅谷

对齐是一项难度极高的工作，它的复杂不仅体现在技术上，还有哲学层面。比如，人们怎么把价值用语言或编程的方式告知AI？如何保证人的表达不被误解或过度扩展？

甚至，在对齐这件事上，人类可能只有一次机会，一旦AI越过“奇点”，一切就无法重来。博斯特罗姆写道，“一旦不友好的超级智能出现，它就会阻止我们将其替换或者改变其偏好设置”，这样一来，“我们的命运就因此被锁定了”。

博斯特罗姆认为，比起其他全球性事务，解决存在性风险在道德上具有优先级别。他的思想很快引起了人们的关注，尤其是美国硅谷的一批精英人士。在《超级智能》一书的推介名单中，有举世闻名的前世界首富比尔·盖茨、正当红的科技明星埃隆·马斯克，还有一位当时并不十分知名的硅谷投资人，叫作山姆·奥特曼。

山姆·奥特曼

《超级智能》出版后的第二年，也就是2015年，奥特曼、马斯克联合其他人成立了一家名为OpenAI的小公司。诞生之初，它是一家非营利性公司，其创始人相信，没有经济义务的约束，他们可以更专注于让AI对人类产生积极影响，“以最有可能造福全人类的方式推动数字智能的发展”。

马斯克与奥特曼曾提及，他们成立OpenAI，部分是出于对“通用人工智能安全及其可能带来的存在性风险”的担忧。

为了阻止人类受到伤害，必须先把善良的AI制造出来——这一幕在人类历史上并不陌生，二战期间为了对抗轴心国，奥本海默怀着沉重但“不得不”的心情制造了原子弹。

某种程度上可以说，有关AI风险的思想，间接加速了AI的发展。无论博斯特罗姆是否愿意看到这一幕，但事态就是这样朝着不可预料的方向发展了。

河水不会停止流动，思想与现实两个世界像两条并行的线，绵延向前。

最开始成立的那几年，OpenAI只是一家靠理念与愿景刷存在感的公司，当时AI界的明星公司是谷歌旗下的DeepMind。2016年，DeepMind发布阿尔法狗并打败韩国围棋棋手李世石，在被视作“智力成就象征”的最强围棋场上，人类首次黯然失色。2018年，马斯克提出掌权OpenAI但未果，随即离开，由于缺乏资金，OpenAI转变为一家有限盈利公司，并接受了微软的投资；同年，OpenAI开始尝试使用大语言模型。

与此同时，在博斯特罗姆创立的人类未来研究所，走出越来越多受硅谷追捧的哲学红人。他们带去了长期主义、有效利他主义的思潮，尽管侧重各有不同，但他们的思考方式与博斯特罗姆一脉相承：要把有限的资源放在最能对全人类产生效益的地方。

这些红人著书立说，发起公益项目，频繁接受媒体采访，悦纳企业家慷慨解囊。其中有代表性的人物就是威廉·麦卡斯基尔。

在他身上，人们能看到眼下硅谷最青睐的“公共知识分子”是什么样的：年轻帅气、名校出身、才华横溢并关心全人类的命运，有一副菩萨心肠——就像《时代》杂志所述：“威廉·麦卡斯基尔站在一家杂货店的货架前，为该买哪种早餐麦片而苦恼。如果他坚持一年改买更便宜的品牌，是否就能省下足够的钱去挽救一个人的生命？”

有效利他主义主张多做善事，它属于功利主义思维，在功利的框架下，尽可能多做善事意味着要先赚更多钱，然后再把它们捐掉。比起去贫困地区当一名医生，大学毕业生更应该从事金融或咨询行业，因为这样可以拥有更多收入、帮更多的人。

这只是有效利他主义的一个方面，有效利他主义是一种广泛的道德哲学。在AI发展上，有效利他主义者主张安全优先，因为莽撞有可能会摧毁人类。

天花板

不难想象，有效利他主义对硅谷富豪们有着天然的吸引力，他们赚取巨额财富的动机被赋予了正当性，并且获得了超越绝大多数人的价值。不过在AI公司内部，有效利他主义悄然引发了一场分裂。

2023年11月，当时已名声大噪的OpenAI发生了一场令全世界议论纷纷的“宫斗”——CEO奥特曼突然被董事会罢免，又在几日后回归。

OpenAI董事会将罢免奥特曼的原因归结为“缺乏坦诚”。但外界普遍认为这只是一个幌子，背后更可能的原因，是董事会内部在安全与速度、非营利与商业等发展路线上出现了分歧。

部分人将这次权力斗争的矛头指向了有效利他主义。在罢免奥特曼一事上投了赞成票的董事会成员海伦·托纳与塔莎·麦考利，都与有效利他主义组织有过密切关系；另一位投了赞成票的董事，也就是OpenAI首席科学家伊利亚·苏茨凯弗，虽然不以有效利他主义者的身份被广泛认知，但他旗帜鲜明地主张应当采取更加谨慎的方式发展AI。

奥特曼曾对《超级智能》一书表达过高度赞许，他认同AI风险值得警惕，但并非所有人都把应对存在性风险视作头号任务。在一家现代化的公司实体里，他从各方面看起来都更像一个理智、可靠的“正常人”，在OpenAI的艰难时刻转变思路，用部分盈利模式换取企业生存，保留希望的火种。

事态在短短几天内发酵，当时OpenAI共有约770名员工，超过700人联名写信声援奥特曼。不久后，奥特曼重新回归OpenAI担任CEO，并组建了几乎全新的董事会。

思想到底能在物质世界中起到什么样的作用？它是引领了现实，还是最终只能屈服于现实？《华尔街日报》评价：“OpenAI的动荡显示了这一哲学的影响力，而山姆·奥特曼的强势回归则揭示了哲学影响力的天花板。”

似是为了回应公众对AI安全的担忧，OpenAI在当时宣布，未来四年内将投入20%的算力资源用于一个名为“超级对齐”的项目，苏茨凯弗担任该项目的领导者。然而，2024年5月，“超级项目”的两位负责人相继离开OpenAI，“超级对齐”就此解散。

宫斗事件后，有效利他主义的势头迅速倾颓。同一时期，硅谷发生的另一件事加速了这个趋势，有效利他主义运动最大的资助人之一、加密货币企业家萨姆·班克曼-弗里德（SamBankman-Fried）因欺诈罪被定罪，身败名裂。人们恍然发现，这些满口慈善的硅谷明星，有可能只是一群沽名钓誉之辈。

萨姆·班克曼-弗里德

另一头，有效利他主义思想的重要阵地——博斯特罗姆创建的人类未来研究所，于2024年4月宣布关闭。

博斯特罗姆告诉南风窗，如果没有他，AI的发展依旧会走上今日的轨迹。对于过去发生的种种，他没有感到失望，反而认为眼下AI行业的关键领袖人物对AI安全有着极为深度的思考。“我们或许算是幸运的，”他说，“我猜测如果把人类历史倒回几十年前重演100次，这些关键位置上的人可能远没有现在这般清醒。”

或许，他的部分使命已经完成。无论是AI安全研究、存在性风险，还是有效利他主义，都已经得到广泛传播，思想的种子已经播下。如今，人们每次关于AI的重大行动都绕不过这样的诘问：如何保证AI不威胁人类的生存？

博斯特罗姆开始转向思考其他问题。他认为，人们已经充分认识到了AI的危险，却对它的反面知之甚浅——假如AI完全如人们预料般那样友好、善良，解决了地球上现存的所有问题，那会发生什么？

未必不是又一次全人类的灭灯时刻。

重新思考美好人生的定义

南风窗：你撰写《超级智能》时，多数人尚未意识到AI可能对人类文明构成的生存威胁。你的思想具有超前性。这种对生存风险的担忧是何时以及为何形成的？

博斯特罗姆：这要追溯到很久以前。1990年，17岁的我开始在当地图书馆提交馆际互借申请，索取关于神经网络的书籍或论文。那时我身边没有任何人对这个话题感兴趣。到了90年代后半段，才有少数人开始在互联网邮件上讨论相关内容。我在2008年左右着手创作《超级智能》，但即便该书在2014年出版时，这些议题仍属边缘，多数人视其为科幻或空想。但在我看来，AI终将成功是显而易见的，这将是人类需要实现的最后一项发明，其潜在收益与风险都极为巨大。我写这本书是为了让人们更清晰地思考这些问题，希望能推动可扩展的AI对齐方法研究，为最终到来的机器智能时代做好准备。

南风窗：能否阐述你所说的“深度乌托邦”？从《超级智能》到《深度乌托邦》，是否意味着你对人类未来变得更乐观？

博斯特罗姆：《超级智能》主要分析可能出错的情况，而《深度乌托邦》则探讨一切顺利时的景象。但这种焦点差异并不反映我乐观程度的变化。就像硬币的两面：第一本书描述正面，第二本描述反面——而我们仍不知道硬币将如何落地。最初我聚焦风险是因为当时这方面被严重忽视。这些年来，人们的认知已发生重大转变，现在有数百人从事AI安全与对齐研究，包括许多顶尖AI实验室。但关于人类处境积极发展的讨论在我看来非常肤浅，因此我尝试描绘这种可能性。我认为这将引向一个与当前人类状态根本不同的“深度乌托邦”，届时我们需要彻底重新思考美好人生的定义。

南风窗：在《深度乌托邦》中，你构想了一个技术已解决重大挑战的“已解决世界”。你认为这样的未来能实现社会阶层间的公平吗？

博斯特罗姆：《深度乌托邦》并非预测性著作，也基本不涉及政治或社会组织问题——当然这些很重要。本书更关注的是：当有朝一日我们成功消除当前制约人类存在的诸多现实（及生物）限制时，哪些价值观能让人类或后人类生活充满意义。当AI和机器人能完美替代人类完成所有工作，人类将面临经济冗余。但更重要的是，绝大多数工具性努力（不仅是经济动机驱动的）也将失去意义，我称之为“深度冗余”状态。此外在技术成熟阶段，人类生物属性和思维将完全可塑。当更广阔的存在模式空间开启时，我们该如何重塑自身的身心状态？

南风窗：在你的预测中，未来哪些价值维度会变得更加重要，哪些会逐渐弱化？

博斯特罗姆：当前，许多人的自我价值感建立在通过技能和工作做出积极贡献的能力上——无论是对自身、家庭还是整个社会。但在一个“已解决的世界”里，我们可能不再有这样的贡献机会：因为最严重的问题早已被解决，而剩余问题也将由AI更高效地处理。因此，“实用性”的价值焦点将逐渐消退。取而代之的可能是对游戏、审美体验、精神追求、崇拜或冥想、爱与友谊、对人与思想及传统的尊崇、精致品味的培养、选择性自我约束、仪式、文化参与和共同创造，以及纯粹感官享受的重视。

首图来源于豆包AI，关键词：人工智能