神译局是 36 氪旗下的一个编译团队。它关注多个领域，包括科技、商业、职场、生活等。并且重点对国外的新技术、新观点、新风向进行介绍。
编者按：这是一篇关于后 AGI 时代的设想。倘若 AGI 得以实现，AI 将会在所有领域超越人类。此思想实验认为，未来每个人都能拥有较好的生活，但阶层将会严重固化，部分人会比大多数人掌握多得多的权力，社会将会陷入停滞，人类也将不再有任何抱负。文章系编译而来，仅为一家之言，需用批判性眼光进行审视。
很多人说过“后 AGI 时代，钱将不再重要”。这话让我感觉很怪异，并且很有可能是完全错误的。
劳动指的是人类的脑力和体力活动，其目的是创造有价值的东西。资本品是像工厂、数据中心和软件这样人类创造出来的工具，这些工具被用于商品和服务的生产。我用“资本”来指代资本品的存量以及支付方式（比如金钱），要是我想把资本品排除在外，就会直接使用“金钱”。
AI 的关键经济效应体现在使资本成为劳动的普遍替代品。人类需要工作的场景在逐渐减少，原因是能够用资本（例如运行软件的数据中心）来替代人类的脑力劳动。
我会阐述这一现象所带来的后果，接着得出最终的结论：AI 取代劳动力意味着以下这些情况：
1、在现实世界购买结果的能力会大幅提高
人类在现实世界中行使权力的能力会大幅降低，尤其是在没有金钱的情形下。原因包含以下这些：
3、激进的平等化措施不太可能实现
总体来看，这显示出变革性 AI 有一个被忽略的坏处。社会或许从此会处于一种停滞不前的状态，并且当前的权力不平等状况可能会被进一步扩大且变得更加稳固。
如果 AI 的能力足够强大，这种风险并非源于对物质享受的担忧。政府能够借助 AI 所创造的财富来推行全民基本收入（UBI）。即便假定 AI 创造的财富仅仅由美国独占，且美国政府对美国之外的地方毫不关心，但若假设 AI 带来了极为巨大的财富增长，那么美国少数对此予以关注的富有阶层所可能创造出的财富，也完全能够终结物质贫困。比如，若将美国那些亿万富翁财富的 1% 转移给外国人，他们的财富需增长 16 倍，就能为地球上的每个人提供 50 万美元。在经济每隔几个月就翻一番的奇点情形下，这种情况或许很快就会出现。当然，如果 AI 的爆发不像奇点那样极端，或者在 AI 崛起的期间，状况对全球大部分人口不利（这种可能性是真实存在的），那么即便在物质享受方面也可能会出现问题。
这些场景让我最为触动的是，在阶层固化如同一潭死水的社会里，既不存在活力，也缺乏生机。我们应当尽量避免将人类的雄心壮志扼杀。
这种状态可能会增加 AI 灾难发生的可能性，且这种增加是缓慢渐进出现的。因为权力机构关心人类福祉的动力有所减少。
默认的解决方案
假设在目前人类能获得报酬的大部分任务中，人的脑力劳动和体力劳动不再具有明显的市场价值，因为人工智能能够更优、更快、更廉价地完成这些任务（编者注：目前这些假设不成立）。我们将其称为仅为劳动力替代型 AI。
由此产生的失业问题，有两个层面的标准解决方案：
政府会采取某类全民基本收入保障（UBI）。我们很快能够达成超级智能，倘若超级智能可以实现，那么我们就会生活在一个处于后稀缺时代的技术乐园之中，所有的事情都将成为可能。
首先要注意，金钱不会消失，这是有前提的，即要有一个 AI 系统负责所有的经济规划。价格的一个主要作用是传递信息。如果存在很多行为人在彼此进行交易，那么价格的存在就应该被当作默认假设，即便人类看不到它或者不能直接与它交互。另外，不管奇点有多么奇异，资源的丰富程度都是有限的，所以仍然需要对资源进行分配。
目前，金钱很难买到人才
钱能够买到许多东西：例如，资本品通常能够直接进行购买，并且需要大量的资金（或者其他的流动资产、可以用来签订合约的非流动资产，又或者特殊的政府权力）才可以获得。然而，依靠投入大量的钱来将其转化为能够与顶尖人才相媲美的劳动力却是出人意料地困难。
例如，可以对比蓝色起源与 SpaceX 。蓝色起源的成立时间比 SpaceX 早两年，分别是 2000 年和 2002 年。在大部分时间里，蓝色起源的资金更为充裕。甚至到现在，这两家公司的员工数量几乎是持平的，分别为 11,000 和 13,000 。但很明显，SpaceX 以绝对的优势超越了蓝色起源。在 2000 年，杰夫·贝索斯拥有 47 亿美元。然而，你几乎找不到任何办法能够阻止他输给 SpaceX，尽管 SpaceX 的资金更少，但它具备文化凝聚力以及卓越的人才。
比如，在一个世纪之前，莱特兄弟仅仅依靠自行车修理店的资源，就战胜了资金非常雄厚的塞缪尔·兰利团队。
看风投人与创始人的互动，或者看买家与初创企业的互动。在这两种情形下，投资者拥有巨额金融资本，他们愿意为劳动价值支付极高的价格，所赌的是少数创业者的劳动能够击败巨额资本。
如果要将钱转化为成果，那么你所面临的最为重大的问题便是招到适宜的人才。这会引发以下几个问题：
判断一个人是否为人才通常较为困难，只有当你自己在同一领域具有相当的天赋时才可能较容易判断。因此，若你想寻觅人才，往往容易错失。人才是稀缺的，有资历的人才更是极为稀少——并且由于上述原因，许多人无法指望其他类型的人才。即便你能够找到顶尖人才，能够打动这些人的往往并非金钱。
那些有钱人会持续进行基础设施建设，目的是能更轻易地将金钱转化为成果。我亲眼看到量化金融公司在很大程度上已经成功地磨灭了英国顶尖 STEM 毕业生的所有雄心壮志，并且用金融市场上微薄的收益将其替代。财神爷的要求必须得到满足！
一旦AI取代劳动力，这些问题就会消失。
首先，你或许无法判断谁是 AI“人才”。其次，即便 AI 评估生态体系也很难准确判断 AI“人才”，因为评估本身是很困难的。再者，给予 Claude-3.5-Sonnet 良好口碑的非正式机制说不定比任何基准测试都更有优势，原因是随着 AI 能力不断提升，后者越来越难以判断哪些人工智能才是真正的最佳。但真正的区别在于 AI 能够克隆。目前，一位取得突破的明星研究员会受到巨额资本的热烈追捧，这样一来，掌控金钱的人就能看到他们的才华（能够判断一篇论文的社会反响，但通常无法直接判定这个人是否是人才）。然而，AI 明星研究员是可以被克隆的。每个人——或者说，至少每一位有足够资金投入到 GPU 上的人——都能够拥有自己的 AI 明星研究员。你无需从各类独特的人类中挑选出他们未被证实的才能，更让人厌烦的是他们的能力无法即刻被克隆。因此，一旦拥有能取代劳动力的 AI，资金就更易找到顶尖人才。
当然，人才价格会大幅下降。因为 AI 比同等的人类劳动力便宜，目前看不是这样的，比如 OpenAI o3 的成本高得离谱。并且 AI 可以克隆，这会导致竞争更加激烈。
用钱买人的最后一大瓶颈在于，许多顶尖人才都有着自身独特的癖好，这类人难以被金钱所收买。顶尖的艺术家有着他们所迷恋的艺术观；顶尖的数学家对优雅和美极为执着；顶尖的创业者对自己的事业持有坚定的信念，并且可能无论怎样都无法成为一名优秀的员工。人类的天赋和表现与一门学科或一项使命形成了神圣的纽带，这令人惊讶。这个世界上的愤世嫉俗者、野心家以及罗马帝国都喜欢淡化这一事实，然而他们却发现自己的午餐被雄心勃勃的实习生、SpaceXes 和基督徒给吃掉了。相比之下，AI 则很容易被收买。天才的 AI 数学家和人类数学家有所不同，它们愿意把自身有限的时间用在证明枯燥代码的正确性方面。
首先，很明显的一点是，AI 完成任务的能力会很强。其次，这种能力最终会超越人类员工的能力。最后，AI 完成任务的能力会比任何人类员工都要更强大。
这意味着，一旦我们拥有了能够取代劳动力的 AI。那么，金钱在现实世界中购买成果的能力将会大幅提升。
大多数人的权力/影响力均源自他们的劳动
AI 取代了劳动力，也剥夺了几乎所有人的权力和影响力。其中最明显的一点是，若你是普通人，你拥有钱的原因是有人付给你钱，让你运用脑力和/或体力去解决他们的问题。
可是！我们不是假设有 UBI 了吗？！问题解决了，对吧？
为什么国家会那么有善心？
只有关心人类福祉的国家才会推行 UBI。国家关心人类福祉可能有诸多原因。
过去的几个世纪里，各国政府对于人类的关切发生了极为巨大的转变。为何会这样呢？我们可以对其中的原因进行分析，同时也思考一下这种情况能够持续多久。
国家关心自由、繁荣与教育的动力也存在着。
AI 对第二点能起到很大的帮助作用。AI 对第一点所产生的影响较为复杂。在此，我希望着重探讨第三点，因为我认为这一点未被充分重视。
工业革命以来，国家利益与人民利益达到了前所未有的一致。强国若要在经济上具备竞争力，就需要有高效的市场，需要有能培养出熟练工人的优质教育体系，还需要有能创造需求的繁荣中产阶级。国家需要接纳各种人才。这种需求促使了科学、技术、艺术和媒体的发展，进而带来了全球软实力和文化影响力的提升。国家之间存在竞争，这种竞争通常会促使朝着某些方向发展。封建制度的成功之处在于，上层阶级剥削文盲农民，并且把榨取的很大一部分租金用于与邻近国家进行战争。
有了取代劳动的 AI 之后，国家的动力（即强化竞争力和/或自身权力所应采取的行动）就不再与人类利益保持一致了。在封建时代，国家的动因是尽可能压榨农民，但又不让他们饿死，与现在相比，相关动因可能会稍好一些。而 AI 出现后，人类会从“可开采的资源”转变为“无关紧要的存在”。国家有动力将资源分配给 AI 比分配给人类更多一些。因为 AI 能让国家保持竞争优势。所以国家会少给人类分配一些资源。
人类对国家的影响力会大幅降低。例如，如今若某个重要行业发生罢工，国家必须予以重视，因为其权力在一定程度上需依赖某些人群的支持。而且，过去人们能够宣称“投资我们，十年后国家将更强大”。但要是维持经济运转和军事强大的所有工作都能由 AI 包办，那么国家就没有理由去关注人类的任何需求了。
亚当·斯密曾写道，我们所期望的晚餐并非源于屠夫、酿酒师或面包师的恩赐。如今，古典自由主义者能够自信地宣扬，历史的走向确实是朝着自由与富足的方向发展，并且这一进程并非源于国家的仁慈。然而，在取代劳动的 AI 出现之后，这一切将不再成立。倘若历史的轨迹保持不变，那只能是因为国家（或 AI 富豪）的仁慈。如果是这种情况，我们最好在还具有影响力的时候将这种仁慈锁定下来，并且要找到它能够经受住时间考验的足够理由。
再无非凡成就？
在这个世界里，有许多改变是由既没钱又没权的人推动的。他们取得了极为出色的成功，最终也拥有了钱和权。这是可以理解的，因为那些已经有钱有权的人，很少会有推动重大变革的热情，因为他们恰恰是现状中最大的受益者。
你对收入不公或任何特定群体取得非凡成就有看法，我希望你能认同我的观点。某人取得非凡成就并改变世界，这对于我们避免停滞不前以及总体上建立一个有趣的世界是至关重要的。
我们思考一下，思考一下替代劳动的 AI 对那些通过劳动取得非凡成就的各种途径会产生怎样的影响。
创业正日益成为马特·克利福德所说的“实现抱负的理想方式”，尤其对于那些有技术才能却对政治不感兴趣的年轻人而言，创业成为了他们的首选。如今，创业变得更加容易了。AI 工具使得小团队即便不招聘更多的人，也能够提高效率。同时，AI 也降低了学习新技能进入新领域的门槛。然而，取代劳动力的 AI 使得创业的可行性变得难以确定。在一些较为狭窄的赛道中，AI 或许依然主要充当工具。创业者能够在大多数人类劳动被自动化之后持续相当长的一段时间而获得成功，这是因为创业者拥有主动权，方向需由他们来确定。然而，极为强大的 AI 似乎也有让人类的创业精神变得不再适用的可能。比方说，风投基金或许可以直接把资金转化为数百个由 AI 运营的初创企业，而无需再寻找人类创业者来替它们管理 AI。
硬核科学。AI 在有明确激励信号的领域进步极为迅速，所以人类在硬科学领域取得成就的时代可能在短短几年内就会终结。
知识分子方面，凯恩斯从事经济学的技术性工作，弗里德曼也从事经济学的技术性工作，哈耶克同样从事经济学的技术性工作。他们的巨大影响力源于他们所形成并兜售的世界观，尤其是哈耶克。所以，这些人比主宰数理经济学的保罗·萨缪尔森等人更具影响力。而约翰·斯图尔特·密尔靠建立框架产生影响，约翰·罗尔斯靠建立世界观产生影响，亨利·乔治靠建立哲学产生影响。这些人与硬科学家存在关键区别，他们的工作成果不仅要聚焦于技术的正确性，还需有道德判断。即便 AI 极具说服力且非常正确，但 AI 在该领域的工作方式如何适应人类文化选择以及思想传播方式，仍存在一定的不确定性。而对于人类知识分子而言，情况似乎不太乐观。我怀疑，知识分子的意识形态之所以如此强大，很大程度上是因为它源自天才。天才是很罕见的。倘若 AI 创造的意识形态泛滥，那就可能意味着任何个人意识形态，包括人类的意识形态，都不再会拥有那么大的光环了。具有世界历史意义的知识分子或许会走向灭绝。
选择政治所受的影响或许是较小的之一。我猜测大多数人都期望由人类来承担这项工作，并且政客能够制定可做之事的规则。然而，AI 生成的虚拟形象具有魅力，而且至少在西方，大家普遍对政客感到厌恶，这可能会带来意想不到的惊喜。目前还难以确定在位的这些人是否会受到青睐。AI 可能会降低政治竞选在很多地方的成本，降低进入的资源门槛。如果小玩家玩不起的 AI 比更便宜的 AI 优势大很多，那么天平就会倾向拥有更多资源的玩家。我认为 AI 对模因化格局的直接影响比间接影响小。
还有，主战场并非真正的从政，因为有上百万拥有政治天赋的人在竞争总统或总理的职位。相反，倘若你具备政治技能，去政府之外这种情况不那么普遍的地方，效果反而会更好（比如看看山姆·阿尔特曼）。接着，只需等待超级能干的 AI 员工的到来，这些员工会降低对人类在具体专业领域能力的需求，并且会提高在组织内部赢得政治博弈的回报。
自拿破仑之后，军事成功不再是通往大国地位和颠覆现状的直接途径，这在很大程度上已成为现实，而这一变化从某种角度看是好的。科技的进步提升了建立一支最先进军队所需要的最低工业基础，这对现有的强国更为有利。看起来，人工智能（AI）将被最强大的国家所掌控。若人工智能使对大国的政变变得更为容易，这便是一个例外情况。未来人工智能军队的控制可能在两个方面出现变化。其一，会比以往更加集中化，原因是军事行动不再需要大量人员参与；其二，会比以往更加可控，因为权限能够通过代码来实施，而不再依赖人类的社会规范。这两种因素的指向各不相同，所以目前无法确定它们对政变易发性的综合影响究竟是什么样的。如果革命性的战术与廉价无人机相结合，那么“无人机拿破仑”就有可能战胜现有的军队，这是另一个潜在的例外。不过，值得注意的是，这两种情况似乎都不太可能对现状产生积极的颠覆性挑战。
总体而言，足够强大的劳动力替代型 AI 会对人类的各种成功几率带来不利影响。在这些影响中，对政治的影响或许是最弱的。不过，目前的 AI 确实对创业有着促进作用。
这些意味着，一旦我们拥有了能够取代劳动力的 AI，那么在现实世界里，要是没有钱，想要掌控权力就会变得困难很多。
强制平等不太可能实现
《不平等社会》（The Great Leveler）是一本关于不平等历史的佳作，依作者之见，此书经受住了质疑。其结论表明，过去不平等现象的大幅减少完全是由一些事件推动的，比如全面战争、暴力革命、国家崩溃以及大瘟疫。从历史角度来看，通过有意识的政治选择来平衡收入差距是极为困难的，几乎不可能实现。
想象一下，AI 取代劳动力的时代已经来临。全民基本收入法案获得了通过，这样就不会有人挨饿。各国以及各公司都在纷纷利用 AI。这一切都需要大量的资本，所以每个人都需要赢得资本持有者的喜爱。顶级的 AI 公司拥有着国家级的权力。财富的再分配不太可能成为政治议程中的首要事项。
一种可能的例外是，存在某种新的政治运动或意识形态，它迅速获得了大量的支持。并且在一定程度上，它受到了 AI 空前的影响而被推动，例如：人们再也找不到工作，从而能够将所有时间投入到政治活动中；或者出现了某种新的由 AI 驱动的协调机制。
因此，未来即便会是一个极为辉煌且超人类主义的乌托邦，在刚开始的时候，人人平等也不太可能实现。依据前面的论点，他们在以后也不太可能极大地改变其相对地位。
需要考虑国家之间的平等。有些国家从人工智能中获得的益处远远超过其他国家。在当下的政治制度里，许多平等举措（像 UBI 这样的）很难推广到非公民身上。即便像美国这样，在世界历史上被认为是最自由、最具人道主义精神的大国，也面临着这样的情况。通常情况下，世界秩序或许看上去（甚至比现今更像是）以出生国为基础的全球种姓制度，移民的可能性会更少（因为允许移民的主要缘由是其巨大的经济利益，而这种利益仅在人类从事具有经济价值的工作时才会存在）。
需要考虑各国之间的平等事宜。某些国家从 AI 获得的益处会远远超过其他国家。像普遍基本收入（UBI）这类平衡差距的举措，在当下的政治体系中很难推广至非公民身上，即便美国也无法做到。因此，在默认的情形下，全球秩序或许会更趋近于一个全球性的依据出生地划分的种姓制度。同时，移民的可能性会降低，因为移民的主要驱动力在于能够带来巨大的经济利益，而这种利益只有当人类从事具有经济意义的工作时才能够实现。
默认的结果是什么？
如果接受本文开头的假设和上述分析，则后人工智能时代：
这意味着，当替代劳动力的 AI 到来之际，拥有大量资本的人将具备永久性的优势。相较于现今的富人，他们会拥有更多的权力，这种权力不一定体现在对人的掌控上，但至少在物质和智力成就方面会拥有更多的权力。新兴势力恐怕难以战胜他们，因为如今的资本能够轻易地转化为超人类表现的劳动。
这个世界上掌握权力的机构将不再有动力去关心人们。因为之前是为了维持或增强权力，而将来所有真正的权力都将来自 AI。政治机构或许会将价值观紧紧锁定在自由人文主义上。并且，如果人人都拥有普遍基本收入（UBI）或类似的保障，且经济仍保留人本的部分，那么人民的购买力也可能会被牢牢锁定。
这个世界在最理想的情况下会与挪威较为相近。它会更加不平等，同时也更富裕且更缺乏活力。大量由非人类劳动资源（如石油、AI）带来的利益会流向每一个人，尽管确实部分人会比其他人更富有，但人人都将拥有极高的生活水平，在理想情况下甚至还能永生。在这样的世界中，人类仅有的抱负，便是在自身的圈子及阶层开展局部的社会和政治游戏。若你没有大量的资本（即便有资本，或许也未必能行），那么你就无法再对更广泛的世界产生影响。请铭记：人工智能在各个领域都是更优秀的诗人、艺术家、哲学家；除了你所认识的人之外，还有谁会在意你做了什么呢？在封建社会中，当回答“这个人为何那么有权势？”这个问题时，往往会涉及一段长久的家族史，或许会提及某位曾在沙场血战的远古祖先。同样，将来的任何重要人物也会因自己祖先在前 AGI 时代所做的某些事而世袭，比如“呃，我叔曾是 OpenAI 的技术人员”。未来的孩子们将处于父母的阴影之下，社会流动性将彻底消逝。为此你应感觉到一种存在主义的恐惧，即便你承认情况原本有可能会糟糕得多。
在更糟的情形下，那些 AI 万亿富翁会拥有近乎无限且无法控制的权力。他们凭借在替代劳动力的 AI 到来时所拥有的资本，形成了一个永久性的贵族阶层。不同阶层之间的权力差距之大，可能会让现代人感到恐惧，就如同现代人觉得封建社会的阶层差异很荒诞那样。但别担忧。就如同封建社会即便不存在说服力极为强大的 AI，下层阶级依旧大多接纳了世界秩序那般，未来的下层阶级也会是这样的情况。
在最糟糕的情形下，人类或许会走向灭绝。其原因在于，在长时间里，优化的趋向会逐渐偏向于 AI 攫取权力，而非为了人类的繁荣。因为这正是权力和金钱所具有的动力。
结论
如果你看完这篇文章，然后决定去量化金融公司工作，那我会觉得难过。如果你正准备在 AI 领域大显身手，看完本文后跑去 Anthropic（知名的 AI 初创企业）工作，以便积累一些无风险的个人资本，我不能责怪你，但还是会有一点难过。
当然，上述情况会增加中期（约 2 - 10 年）个人理财的风险，您需要考虑这一点。然而，现在是做些有雄心的事情的好时机。罗宾·汉森（Robin Hanson）将现在称作“梦幻时光”，这是源于原住民神话中的一个概念，即未来世界秩序及其价值观仍在变动，还未固定不变。
当然，上述情况会增加中期（约 2 到 10 年）个人财务的风险，这一点你应该予以考虑。不过，也可以说现在是开展大事业的绝佳时机。Robin Hanson 称现在为“梦幻时代”，即一个未来世界秩序和价值观尚未确定的时期。
以往的社会动荡，像各个阶段的工业化以及互联网等，对人类实现雄心壮志是很有利的。随着 AI 的来临，我们或许会迎来人类施展抱负的最后一次机会，并且是最伟大的一次机会，在此之后就不会再有这样的机会了。那么，你的反应怎么能不是“把握当下”呢？
我们还应努力让这个世界保持活力。
理性主义对后 AGI 未来的思考带有较强的解决方案主义倾向。具体表现为：试图去解决道德问题，去解决人工智能相关的问题，去找出能够覆盖宇宙的最佳结构，仿佛这样做就完成了对后 AGI 未来的思考。（实际上，领军人物的观点远没有这么简单；例如，可参见 Paul Christiano 在 23:30 的论述——但实际的文化氛围确实更倾向于这种简单化的稻草人观点。）
理性主义对后 AGI 时代的思考带有很强的解决主义倾向。它的一种错误观点是：要解决道德问题，要解决人工智能问题，要找到建构宇宙的最优结构，仿佛做到这些就一切都解决了。
我认为，社会及其发展是不断变化且动态的。个人能够对其进行增添或改变，这样会使社会更加健康。这意味着保持成功雄心的潜力以及由此产生的颠覆依然存在。
我认为，从社会及其发展的健康角度来看，社会不断变迁且保持活力是更有利的。个体具备对社会做出贡献或改变的能力应当被保留。这也就意味着要让抱负以及因抱负而产生的变革拥有实现的机会。
我们怎样做到这一点呢？我不清楚。但我觉得，你不能把 AI 的到来视为人类被淘汰的不可改变的情况。至少在一段时期内，这堵墙会出现裂痕——要是用显微镜而非天文望远镜去观察，你会发觉这道缝隙大很多。然而，随着 AI 逐渐靠近人类的表现，最终我们也得提升自己，才能跟得上它们的步伐。
译者：boxi。
