9月14日，《经济学人》对Inflection 创始人 Mustafa Suleyman 以及《人类简史》作者 Yuval Noah Harari 进行了一次专访，主编Zanny Minton-Beddoes围绕 AI 与Mustafa以及 Yuval讨论了未来的社会与经济格局、监管、风险以及技术的不确定性： 

• 未来5年的模型大小，会是GPT-4的1000倍；
• 人类历史是智慧的产物，AI涌现出来的机会；
• AI 带来的三层潜在风险：就业、财富以及政治；
• AI 的奥本海默时刻？对技术的监管与防范；
• 面对新的技术和创新人类会后悔么？

以下为完整内容，enjoy ✌️

一、未来5年的模型大小会是GPT-4的1000倍

Zanny Minton-Beddoes

Mustafa ，先从你开始，你正在构建这个未来，给我们描绘一下未来会是什么样子，我会给你一个具体的时间框架，在你的书中提到，认为在 3～5 年内 AI 可能会在各种领域具有人类水平的能力是可行的，那么让我们以 5 年时间，2028 年为例，世界会是什么样子？我将如何与 AI 互动？我们都会在做什么，不会做什么？

Mustafa Suleyman

让我们回顾一下过去的 10 年，以了解我们所处的轨迹以及我认为现在每个人都能看到的生成 AI 革命的令人难以置信的动力。在过去的 10 年里，我们在分类信息方面做得非常出色。我们可以理解信息，分类它，标记它，组织它，这种分类对于启用下一波非常关键，因为现在我们可以阅读图像的内容，我们可以很好地理解文本。我们可以对音频进行分类并将其转录成文本。机器现在可以对这些思想的概念表示有一个相当好的了解。

接下来的阶段就是我们现在所看到的生成 AI 革命。现在我们可以生成新的图像、新的视频、新的音频，当然还有新的语言。

在过去 1 年左右，随着 ChatGPT 和其他 AI 模型的崛起，看到这些新语言模型的合理性、准确性以及非常精致的表现实在令人难以置信。在接下来的 5 年里，前沿模型公司，那些在训练最大的 AI 模型方面处于前沿的公司，将会训练比今天在 GPT-4 中看到的模型大 1000 倍的模型。每增加一个数量级的计算（即使用 10 倍的计算量），我们都会看到全新的能力涌现。

我们预测，新的能力将在未来 5 年内涌现，即能够跨越多个时间范围进行计划。模型不仅能够一次性生成新的文本，还能够在一段时间内生成一系列行动。我认为这将是未来 5 年内我们将看到的 AI 的特点。具有人工能力的 AI 不仅可以说话，还可以做事情。

Zanny Minton-Beddoes

在实践中，这到底意味着什么呢？用你的想象力告诉我，在2028 年，我的生活会是什么样子？我将如何与它们互动？我将做什么？有什么不同？所以我实际上。

Mustafa Suleyman

我提出了一个现代图灵测试，试图评估正是为了这一点，对吧？上一个图灵测试只是评估机器能说什么，假设它所说的代表了它的智能。

现在我们正在接近这一时刻，这些 AI 模型已经相当不错，可以说它们已经通过了图灵测试，或者也许它们将在未来几年内通过。真正的问题是，我们如何衡量它们能做什么？所以我提出了一个测试，它涉及到它们接受10万美元的投资，并在三个月的时间内尝试创建一个新产品，研究市场，看看消费者可能喜欢什么，生成一些新的图像，制定如何制造该产品的蓝图，联系制造商，谈判价格，发货，最后收取收入。

我认为在 5 年的时间内，很可能会有一种具有人工能力的智能，能够自主完成其中的大部分任务。它不能完成整个过程。沿途有许多棘手的步骤，但它将能够打电话给其他人类进行谈判。它将能够呼叫其他 AI 以建立正确的供应链顺序，例如，调用。当然，它将学会使用API，即应用程序编程接口，用于其他网站、其他知识库或其他信息存储。所以世界是你的橡壳，你可以想象将其应用到我们经济的许多不同领域。

Zanny Minton-Beddoes

不怎么使用智能手机的 Yuval ，听到这个，你感到恐慌吗？你同意这个观点吗？你认为在未来 5 年内会发生这种事情吗？

Yuval Noah Harari

我会非常认真地对待这个。我不知道，我不是来自利益相关方行业，所以我不能评论这是否可能发生。但当我作为一位历史学家听到这个时，对我来说，我们刚刚听到的，这是人类历史的终结，不是历史的终结，是人类主导的历史的终结，将继续由其他人控制。因为我们刚刚听到的基本上是 Mustafa 告诉我们， 5 年内将会有一种技术可以独立做决策，可以独立创造新的想法。

这是历史上第一次我们面对这样的事情。历史上的每一项技术，从石头刀到核弹，它都不能做出决策。比如，投下广岛的原子弹的决策不是由原子弹做出的，而是由杜鲁门总统做出的。同样，历史上的每一项技术，它只能复制我们的想法。比如收音机或印刷机，它可以复制并传播一些人类写的音乐、诗歌或小说。现在我们有了一种技术，它可以创造全新的想法，并且它可以做到远远超出人类能力的规模。

二、人类历史是智慧的产物，AI涌现出来的机会

Zanny Minton-Beddoes

AI可以创造新的想法，并且在重要领域内，在 5 年内我们将能够付诸实践。这是一个深刻的转变。在我们讨论这可能是人类历史的终结的各种方式之前，让我们首先短暂地谈一下可能的积极方面。因为有很多，而且它们非常重要。我认为你提到了，这项技术有潜力帮助我们解决非常困难的问题，并创造出巨大的积极成果。那么，在我们深入讨论潜在的风险和不利因素之前，我们能不能先从那方面开始？机会究竟是什么？

Yuval Noah Harari

我并不是说人类毁灭或者什么的。有很多积极的可能性。只是控制权正在从人类转移到一种外来的智能，一种非人类智能。

Zanny Minton-Beddoes

我也会谈到这个，因为有一个问题，权力有多大，但让我们先从潜在的积极方面开始，机会是什么？

Mustafa Suleyman

我们在人类历史上创造的一切都是我们智慧的产物。我们的能力在某种抽象的层面上是做出预测，然后干预这些预测以改变世界的走向，这是我们产生公司、产品和改变我们这个世纪的所有价值的方式。我是说，如果你想一想，仅仅一个世纪前，一公斤谷物的生产劳动力要比今天多 50 倍。这种效率，这是农业领域你所看到的轨迹，很可能是智能领域也会出现的轨迹。

我们周围的一切都是智慧的产物。而我们用这些新工具接触到的一切很可能会产生比以往任何时候都更多的价值。我认为重要的是说，这些不是默认情况下就是自主工具。这些能力不会自然地从我们试图工程化的模型中涌现出来。

我们面临的挑战是对我们想要从模型中涌现的那些能力，对我们想要构建到模型中的那些能力以及我们设置的约束要非常明确和精确。非常重要的是不要将我们自己的约束投射到这些模型中，不要投射可能的意图、可能的代理性或可能的自主性。在接下来的几十年中，对我们来说治理挑战非常重要，以确保我们始终能够对这一发展轨迹的发展施加我们的约束。

Zanny Minton-Beddoes

将出现的能力将意味着，例如，人类健康有可能发生根本性的改善，加速创新过程，科学发现的方式发生戏剧性变化，无论是气候变化还是我们面临的许多重大挑战，都可以更容易地解决。

Mustafa Suleyman

每个人都会在口袋里拥有一个个人智能，一个智能而有能力的助手，一个不断为你优先处理信息的研究助手，为你提供你需要在任何给定时刻采取行动的正确综合知识精华。毫无疑问，这将使我们所有人都更聪明、更有能力。

Zanny Minton-Beddoes

这部分听起来对你来说吸引人吗， Yuval ？

Yuval Noah Harari

当然。我是说，如果没有积极的潜力，我们就不会坐在这里。没有人会开发它。没有人会投资它。它太有吸引力了。积极的潜力在一切方面都是如此巨大，从更好的医疗保健，更高的生活水平，解决气候变化等等。

这就是为什么它如此诱人。这就是为什么我们愿意承担巨大的风险。我只是担心，最后交易可能不值得。我特别要评论的是，再次，我认为智能的概念被高估了。它同时也是地球上最具破坏性的实体，在某些方面也是地球上最愚蠢的实体，唯一一个将生态系统的生存置于危险中的实体。

Zanny Minton-Beddoes

你认为我们正在用更多的破坏性风险来交换更多的智能吗？

Yuval Noah Harari

我们仍然有机会。还有几年。我不知道有多少，5年、 10 年、 30 年。我们仍然有机会。我们仍然是塑造这个方向的驾驶座上的人。没有技术是决定性的。这是我们从历史中再次学到的教训。你可以用同样的技术以不同的方式，你可以决定如何发展它，所以我们仍然有机会，这就是为什么我们必须非常仔细地考虑我们正在发展什么。

三、AI 带来的三层潜在风险：就业、财富以及政治

Zanny Minton-Beddoes

这个问题是 Mustafa 在这本书中一直在做的事情。我现在想讨论一下最常讨论的风险。我正在努力想出我应该按糟糕程度的顺序来进行，所以我从相对于人类灭绝来说可能不那么糟糕的问题开始，这个问题是关于工作的， AI 是否会摧毁一切工作，因为 AI 在一切方面都比人类更出色。

我从历史的角度看，我觉得这以前从来没有发生过，分工论的谬误确实是一个谬论。但是告诉我你对此的看法。你认为有工作的风险吗？

Mustafa Suleyman

这取决于时间框架。在 10～20 年的时间内。我直觉上认为，你说得对，迄今为止的证据并不支持这一点，工作不会真正受到重大威胁。有足够的需求。将会有大量的工作。

在 30～50 年的时间范围内，很难推测。我是说，至少可以说，两年前，我们认为这些模型永远不能表现出同情心，我们说我们人类总是会保留善良、理解和彼此关心作为一种特殊的技能。四年前，我们说， AI 永远不会有创造力。现在人类将永远是创造性的，发明新事物，做出新的思想之间的惊人飞跃是不言而喻的。

现在这两种能力，这些模型都做得非常出色，所以我认为在一段时间内， AI 会增强我们的能力。他们让我们更快、更高效、更准确、更有创造力、更有同情心，等等。

在很多年的时间里，很难说有哪些技能是人类物种永久的保留，考虑到这些模型显然非常有能力。这就是遏制挑战的真正问题所在。我们必须做出决策。我们必须作为一个物种决定在 30 年的时间内什么是可接受的，什么是不可接受的。这意味着政治和治理。

Yuval Noah Harari

就工作而言，我同意，像没有工作的情景，这是不太可能的情景，至少在未来几十年内是这样。但我们必须更仔细地看待时间和空间。从时间上看，过渡期是危险的。我的意思是，一些工作会消失，一些工作会出现。人们必须进行过渡。只要记住，希特勒之所以在德国掌权，是因为三年内失业率达到了25%。

由于 AI 对工作市场造成的动荡，一些工作会消失，一些新工作会产生。这可能会引发巨大的社会和政治动荡。然后更大的问题是空间问题，工作的消失和新工作将在世界的不同地方创建。

因此，我们可能会看到这样的情况，即在加利福尼亚州、德克萨斯州或中国，需要更多的计算机工程师和瑜伽教练等等工作，而整个国家失去了经济基础。所以，不仅仅是地球上工作的总数，还有在不同国家之间的分配。

Mustafa Suleyman

让我们也尽量记住，工作不是目标，工作不是我们期望的最终状态。我们创造文明不是为了实现充分就业。我们创造文明是为了减少每个人的苦难。追求丰富是一个真实存在的问题。我们必须用更少的资源生产更多的产品。没有办法摆脱这样的事实，即在未来一个世纪，人口增长注定会激增，关于我们所处的人口统计、地理和气候轨迹，有许多实际的现实会推动我们需要生产正是这些工具的这些方面的实际情况。

我认为这应该是一个愿景。许多人做的工作都是令人疲倦和累人的，他们找不到工作中的乐趣，找不到自己的身份，这太可怕了。所以我认为我们必须关注这个奖励，即这些模型将产生的价值，然后考虑再分配。最后，过渡才是问题所在。我们必须通过征税来管理这个过渡，但只是。

Yuval Noah Harari

在重新分配方面，我认为困难的地方在于，我认为这些技术将创造巨大的新财富。我不太确定政府是否能够以公平的方式在全球范围内重新分配这些财富。我只是认为美国政府不会增加加利福尼亚或得克萨斯州公司的税收，然后将这些钱用来帮助巴基斯坦或危地马拉的失业纺织工人重新培训，以适应新的就业市场。

Zanny Minton-Beddoes

那实际上把我们带到了第二个潜在风险，即 AI 对整个政治体系的风险。Yuval 在你的一篇文章中，你提醒我们，自由民主实际上是工业革命的产物，今天的政治体系实际上是经济体系的产物。因此，我认为有一个非常好的问题，如果经济体系被从根本上改变，那么我们所知道的自由民主是否会幸存下来？

Yuval Noah Harari

此外，这不仅仅是工业革命，还有19世纪和20世纪的新信息技术。在19世纪之前，我不知道有没有任何一个例子，可以证明在历史上曾经有一个大规模的民主。我的意思是，你可以找到一些小规模的例子，比如狩猎采集部落或古代雅典这样的城邦国家，但我不知道有没有一个我知道的例子，可以证明成百万人分布在一个大领土上，一个整个国家，能够建立和维持一个民主制度。为什么？因为民主是一种对话。

在过去，没有信息技术和通信技术能够在整个国家范围内进行数百万人之间的对话。只有当报纸首次出现，然后是电报、无线电和电视等新信息技术时，这才成为可能。因此，现代自由民主正是建立在特定的信息技术之上的。一旦信息技术发生变化，自由民主是否能够幸存下来，这是一个悬而未决的问题。现在最大的危险是与我们所面临的相反情况相反。在中世纪，数百万人之间的对话是不可能的，因为他们根本无法交流。

但在21世纪，另一些东西可能会使对话变得不可能。如果人与人之间的信任再次瓦解，如果 AI ，如果你上网，这现在是我们在国家层面上进行对话的主要方式，而在线空间被非人类实体淹没，它们可能伪装成人类。你和某人交谈，你不知道这是否甚至是人类。你看到了一些东西，你看到了一个视频，你听到了一个音频，你不知道这是真的，这是假的吗？这是人吗？这不是人吗？我的意思是，在这种情况下，除非我们有一些防护措施，否则对话将会崩溃。

Zanny Minton-Beddoes

当你说 AI 风险会入侵操作系统时，你是指这个吗？

Yuval Noah Harari

这是其中一种情况，如果机器人可以冒充人类，基本上就像金融系统中发生的情况一样。人们发明了货币，可以伪造货币，制造假币。拯救金融系统免于崩溃的唯一方法是对伪造货币实施非常严格的监管。因为制造假币的技术一直存在，但大家都知道，如果允许伪造货币传播，货币的信任就会崩溃。现在我们在政治对话中也面临类似的情况，现在可以创建虚假的人物。如果我们不禁止这种行为，那么信任就会崩溃。

Zanny Minton-Beddoes

我们将会讨论是否继续禁止。

Mustafa Suleyman

使人们能够自由传播的权利已经成为过去 30 年的故事。数亿人现在可以创建播客和博客，他们可以自由在 Twitter 和互联网上传播他们的思想。总体而言，我认为这是一种非常积极的发展。你不再必须获得顶级报纸的权限或获得成为那种机构的必要技能。当时许多人担心这将摧毁我们对大型新闻媒体和机构的信誉和信任。

我认为我们已经非常成功地适应了这一变化。是的，会有很多动荡和不稳定。但是在每一波新的浪潮中，我们都在提高识别真相、摒弃胡言乱语的能力。接下来的浪潮中将出现技术和治理机制，我们可以讨论一下，以解决诸如机器人模仿之类的问题。

我是完全赞同的，我认为我们应该禁止数字人物的冒充，且不应该让其在 Twitter 上发布各种胡言乱语，他对现实世界非常熟悉，所以我认为有技术机制可以防止这类问题发生。这就是为什么我们正在讨论它们。

Yuval Noah Harari

有机制，我们只需要运用它们。我想说两件事。首先，给更多的人发声是一件非常好的事情，但是机器人没有言论自由。因此，禁止机器人，或者说它们不应该享有言论自由。

这非常重要。过去 30 年有一些很棒的发展，但是我非常担心，当你看看像美国、英国、某种程度上像以色列这样的国家时，你会被事实打动，我们拥有有史以来最先进的信息技术，但我们再也无法互相交流，我的印象，也许你对美国政治或其他民主国家的政治印象不同。

我的印象是信任正在崩溃，对话正在崩溃，人们无法再就谁赢得了上次选举达成一致意见。在民主制度中，最基本的事实，即上次谁赢得了选举？我们以前有很大分歧，但我觉得现在不同了，对话真的正在崩溃。我不确定为什么，但真的很令人不安，与此同时，我们拥有有史以来最强大的信息技术，人们不能再互相交流。

Zanny Minton-Beddoes

实际上，我们进行了一项研究，你可能已经看过了，我们进行了一项关于 AI 可能对选举和政治体系短期影响的大型封面专题报道。我们的结论实际上是，在短期内， AI 可能影响相对有限，因为已经存在的信任程度已经很低。

所以这是一个双刃剑的答案，因为情况已经相当糟糕。但是你们都说在我们详细讨论之前，需要进行监管。执行监管的机构是国家和国家政府。然而， Mustafa ，在你的书中，你担心国家的权力潜在地受到侵蚀。你能详细解释一下这一点吗，作为我逐渐上升的风险的第三部分？

Mustafa Suleyman

挑战在于，恰在我们需要国家来对我们负责的时刻，国家正在承受信任不足、巨大分化以及政治进程崩溃的压力。再加上，最新的模型是由私营公司和开源社区开发的。重要的是要认识到不仅仅是最大的 AI 开发者。这些技术在开源代码中广泛可用，人们可以免费从互联网上下载。

它们可能落后于最先进的大模型约 1 年或 1 年半的时间。因此，我们面临着双重挑战，即在现有机制有点有问题的情况下，如何使中央权力负责，并如何解决互联网上的大规模传播问题？这是一个非常大的挑战。我们开始看到公司自发组织的倡议，他们同意积极签署自我监督的协议，包括审计和不会探索的功能等等。

现在，我认为这只能部分安抚人们，或者甚至可能一点也不安抚人们。但事实是，我认为这是正确的第一步，因为我们还没有展示出 AI 可能会带来大规模危害。我认为这是通用技术浪潮中的一个首次机会，我们开始采取谨慎原则。我强烈主张这一点。

我认为我们应该采用“不造成伤害”的原则。这可能意味着我们必须放弃一些好处，一些成果可能暂时无法实现，我们可能会失去一些几年内可能获得的收益，回顾历史后，我们可能会认为，哦，我们本可以更快一些。我认为这是正确的权衡。这是一个谨慎的时刻。事情发展得非常快，直到我们看到这一浪潮如何展开一段时间后，我们才能完美地平衡风险和收益。因此，我喜欢我们公司 Inflection AI 和其他大型开发者正试图采取更谨慎的方法。

四、AI 的奥本海默时刻？对技术的监管与防范

Zanny Minton-Beddoes

你们两位都广泛讨论了这项技术带来的挑战。现在，在这个领域的从业者中，有一种关于灭绝级别风险的游戏，人们正在大谈特谈。实际上，我不知道，事实上我应该问你们，在你们现在的工作中，百分之多少的时间专注于风险，因为你们正在推广你们的书。但是，现在人们对此非常关注，这是很好的事情。

我们早早地开始思考这个问题。我认为这使我们进入了我们对话中最重要的部分，那就是我们要做什么？Mustafa ，你列出了一个10点计划，这是一种行动，不仅仅是像你和我一样进行评论的人会做的事情。所以告诉我们，作为人类、政府和社会，我们需要采取哪些措施，以确保我们实现这项技术的好处，但将风险降至最低？

Mustafa Suleyman

有一些非常实际的事情。例如，对这些模型进行红队测试，即对它们进行对抗性测试，试图让它们承受尽可能多的压力，以迫使它们生成有关如何生成生物或化学武器、如何制造炸弹等方面的建议。这已经相当重要。

我们可以看到它们的弱点。过去 1 年发布这些模型的一部分，使每个人都有机会看到它们不仅仅是多么强大，还有它们的弱点。这是令人安心的。我们需要在公开场合进行这些测试。这就是为什么我非常喜欢目前的开源社区，因为真正的开发者可以使用这些模型并看到产生有时我们担心它们会非常具有操纵性和说服力的能力实际上有多么困难。所以第一件事就是公开测试。第二件事是，我们必须共享最佳实践。

因此，存在一种竞争张力，因为安全性将成为一项资产。如果我拥有更安全的模型，我将向我的消费者提供更好的产品。但当然，如果我发现模型中的漏洞或弱点，那么我应该分享，就像我们在技术的许多领域，不仅仅是软件安全领域，而是在飞行航空领域，黑匣子记录仪，例如，如果发生重大事故，不仅记录了飞机上的所有遥测数据，还记录了机组人员在驾驶舱内的一切对话。

如果发生重大安全事故，那么这些信息将与世界各地的竞争对手共享，这是伟大的。尽管从表面上看，飞机是一种非常奇怪的交通工具，如果向外星人描述在40000英尺的天空中飞行，这是一种非常奇怪的事情。所以我认为我们可以借鉴这个先例。

我还同意，现在可能是时候明确声明我们不应允许这些工具用于竞选。我是说，我们还不能信任它们。我们还不能信任它们稳定可靠。我们不能允许人们使用它们来伪造数字人物。显然，我们已经谈论过这个问题。因此，有一些能力我们可以开始从谈判桌上拿掉。另一个是自主性。现在，我认为自主性是一组非常危险的方法。它令人兴奋，它代表了一种可能性，可能会非常不可思议，但我们还没有掌握风险和局限性。

同样地，训练 AI 来更新和改进自己的代码。这种递归自我改进的概念，即关闭循环，使 AI 负责定义自己的目标，获取更多资源，并根据某个目标更新自己的代码，这些都是相当危险的能力。

就像我们有KYC（了解你的客户），或者像我们许可核技术的开发商以及涉及供应链的所有组件一样。如果一些大型技术提供商希望尝试这些能力，那么他们应该期望进行彻底的审计，应该期望他们获得许可，并且应该有独立的监督。

Zanny Minton-Beddoes

那么，如何完成这个任务呢？在我看来，有几个挑战。首先是相对较少的领先模型与众多开源模型之间的差异，你们有一个领先模型，然后有更多人可以访问的开源模型。我感觉后者的能力略逊于前者，但它们一直在不断增长。如果真的有相当大规模的开源能力，那么有什么阻止愤怒的十几岁的小镇居民开发可能会关闭当地医院的能力呢？在你的监管框架中，如何防范这种情况？

Mustafa Suleyman

挑战的一部分是这些模型变得越来越小、越来越高效。我们从技术发展的历史上知道，对我们有用和有价值的任何东西都会变得更便宜、更容易使用，然后广泛传播。因此，在20、30、40年的时间里，这项技术的命运必然是传播。我们必须面对这个现实。这并不矛盾，是因为传播似乎是不可避免的，但遏制中央权力是一个同等的挑战。

因此，对此没有简单的答案。我是说，除了监视互联网，很明显，在 30 年后，就像你说的，车库里的业余爱好者将能够进行实验。如果看一下合成生物学的发展轨迹，我们现在拥有台式合成器。这是一种能够合成新的合成化合物的能力。它的成本约为20000美元，它基本上使你能够创造比我们在对付新冠病毒时更易传播或更致命的分子。

你基本上可以进行实验。挑战在于没有监督。你可以从货架上买到它，你不需要太多的培训，可能今天的生物学本科生就足以进行实验。现在，当然，它们会变得更小、更容易使用，并广泛传播。因此，我在我的书中真的试图弘扬这样一个观点，即这是未来几十年的最重要的遏制挑战。

Zanny Minton-Beddoes

你使用了遏制这个词，这很有趣，因为我相信对你来说，遏制这个词立刻会让人联想到乔治·肯南和战后冷战时期的动态。而现在我们处于一个地缘政治世界，无论你是否称之为新冷战，都是美国和中国之间紧张的世界。在这种大国之间的紧张关系下，是否可以做到这种遏制，正是像你提到的冷战时期的军备控制条约的思维范式？我们如何在国际层面做到这一点？

Yuval Noah Harari

我认为这是最大的问题，如果问题是人类与地球上这些新的智能外星代理之间的共同威胁，那么是的，我认为我们可以遏制它们的方式。但如果人类在内部分裂，处于军备竞赛中，那么遏制这种外星智能几乎是不可能的。有一点，我更倾向于将其视为外星入侵，就像有人来告诉我们，有一支来自外星的飞船队，来自什么星球，携带着超级智能生物。

他们将在 5 年内抵达并接管地球。也许他们会友好。也许他们会解决癌症和气候变化问题。但我们不确定。这就是我们面临的情况，除了外星人不是来自外星球的飞船。他们来自实验室。

Mustafa Suleyman

对技术的性质进行完全的描述。外星人默认具有代理能力。这将是我们可以应用的工具，有狭义设置。

Yuval Noah Harari

是的，但假设它们有，它们可能具有代理能力。我们可以试图阻止它们具有代理能力，但我们知道它们将非常聪明，至少有可能具有代理能力。这是一种非常令人恐惧的组合，我们以前从未遇到过的东西。再次强调，原子弹没有代理能力的潜力，印刷机也没有代理能力的潜力。这种东西，除非我们遏制它，遏制的问题非常困难，因为潜在地它们可能会比我们更聪明。

如何防止比你更聪明的东西发展出它具有的代理能力？我不是说这是不可能的。我只是说这非常困难。我认为我们最好的方法不是考虑某种刚性的监管，你应该做这个，不应该做那个，而是开发新的机构，活的机构，能够理解非常快速的发展并即时做出反应。目前的问题是，唯一真正了解正在发生的事情的机构是开发技术的机构，政府，大多数政府似乎对正在发生的事情毫无头绪。

还有大学。我的意思是，私营部门的人才数量和经济资源远远高于大学。所以，我明白私营部门有像 Mustafa 这样的参与者，他们非常认真地考虑监管和遏制。

但我们必须有一个外部实体参与其中。为此，我们需要开发新的机构，这些机构将拥有人力资源、经济和技术资源，还将拥有公众的信任，因为没有公众的信任，这将不会起作用。我们能够创建这样的新机构吗？我不知道。

Zanny Minton-Beddoes

我认为 Yuval 提出了一个重要的观点，正如我们开始这次对话时，你正在描述未来 5 年的情况，你说 AI 将无处不在，我们都将拥有自己的 AI ，但它们将具有行动的能力，不仅仅是处理信息，它们现在拥有的创造力和行动能力。

但已经从这些生成式 AI 模型中看到了去年、前年、前年和前年的能力，它们已经能够以你和其他技术专家没有预料到的速度发展，你没有预料到它们会在围棋上获胜等等，令人震惊的是它们已经以不可预测的速度发展。

因此，如果将这一点与能力增加相结合，那么我认为 Yuval 提出的关切是合理的，即它们的创造者无法完全预测它们将拥有什么能力。它们可能不是完全自主的，但它们将在某些方面向自主发展，那么如何防止这种情况，或者如何防止，你知道，红队测试，这是你的短语，它意味着你不断检查发生了什么，当你看到发生了什么时，你进行微调。

Mustafa Suleyman

在预先压力测试并不是所有事情都可以做的情况下，确实存在一个非常现实的问题。所以 Yuval 所提出的问题是非常合理的，这也是我长期以来一直呼吁采用预防原则的原因。我们应该从桌上拿走一些能力，将其分类为高风险。

坦白地说，欧盟 AI 法案，它已经草案已经有三年半了，作为一个基于风险的框架，非常明智，适用于每个应用领域，无论是医疗保健、自动驾驶还是面部识别。如果超过了某个阈值，它基本上将某些能力从桌上拿下来。我之前列举了一些，例如自主性显然是一个潜在的高风险能力。

递归自我改进也是同样的故事。所以现在是采取预防原则的时刻，不是因为恐惧蒙蔽了眼睛，而只是因为这是一种合乎逻辑和明智的方法。我认为另一个非常合理的模型是采用类似于IPCC的方法，达成国际共识，建立一个调查权力，以确定我们在能力方面的现实基础。这一过程已经非常有价值。不要理睬谈判和政策制定，只是证据观察，我们到底在哪里？你不需要相信我。

你不需要相信我，你应该相信独立的专家小组，如果他们是一个值得信任、真正公正的参与者，我个人会授权他们访问我公司的一切。毫无疑问，我们将授权完全的访问。我知道许多其他公司也会这样做。

Yuval Noah Harari

再次强调，人们倾向于将 AI 创造出致命病毒的情景，埃博拉加上 Covid ，杀死所有人。让我们走更经济学的方向，像你提出的， AI 创造金钱，赚钱有什么问题？这是一件美好的事情。所以假设你有一个 AI ，它比大多数人类、大多数政治家，也许是大多数银行家都更了解金融体系。

让我们回想一下 2007 年、2008 年的金融危机。它始于什么？关于他们称之为 CDO、CDS。这正是一些天才数学家发明的东西。除了少数在华尔街的天才数学家，没有人理解它们。这就是为什么没有人对它们进行监管的原因。几乎没有人看到金融危机正在发生。发生了什么？这种种的启示来自于这个不会出现在好莱坞科幻电影中的世界末日情景。

AI 发明了一种没有人能够理解的新的金融工具。它超出了人类理解的能力。它的数学如此复杂，数据如此丰富，没有人能够理解。它赚了数十亿美元，数百亿美元，然后它毁掉了世界经济，没有人明白到底发生了什么。像总理、总统、财政部长这些人都不明白发生了什么。再次强调，这并不是不可思议的。我指的是我们在2007年8年看到了与人类数学家相同的情况。

Zanny Minton-Beddoes

我认为这个问题，你可以轻易地描述出让人想跳下附近悬崖的情景。但实际上，我对 Mustafa 首先提出的观点的另一个回应是，回到地缘政治。如果另一方不会放弃某些能力，那么一个国家放弃某些能力是否明智？这将引发一种政治经济问题，沿着这条路你会发现？

Mustafa Suleyman

这是我们在西方集体建立我们的价值观并支持它们的时刻。我们不能因为他们在这么做，所以我们应该冒相同的风险，从而导致一个竞相降低标准的局面。如果我们采取这种方法，到处都会走捷径，最终我们会为此付出代价。这不是对“他们会去做”的回应。

我们确实在致命自主武器领域看到了这一点。联合国已经就监管致命自主武器进行了20多年的谈判，他们几乎没有就致命自主武器的定义达成一致，更不用说达成共识了。所以这并不太好。但我们必须接受这是不可避免的轨迹。从我们自己的角度来看，我们必须决定在社会上对于自由行动的 AI 、面部监视、面部识别以及一般的自主系统，我们愿意容忍什么。

迄今为止，我们采取了相当谨慎的态度，我们不会到处飞无人机。技术上完全可以自主飞无人机绕过伦敦。我们没有实施这个计划，对吧？即使自主驾驶汽车在某种程度上有害，但它们实际上运行得相当不错。所以监管过程也是文化过程，是我们在任何给定时刻认为在社会和政治上是可以接受的水平。我认为适当程度的谨慎是我们所看到的。

Yuval Noah Harari

在很多领域，我们需要一个愿意合作的联盟。如果世界上的一些行动者不愿加入，那么在我们的利益中，仍然有这样的法规是个好主意。所以，这就像禁止模仿人的机器人。所以有些国家可能不同意，但那无关紧要。为了保护我们的社会，仍然有这样的法规是一个非常好的主意。

五、面对新的技术和创新：人类会后悔么？

Zanny Minton-Beddoes

你们两位都在引发警钟，但你们都积极参与创建这个未来，你为什么要继续下去？

Mustafa Suleyman

我个人相信，在我们所创造的 AI 中，可以实现好处最大化，同时将风险最小化。我们的部分I，即个人智能，是当今世界上最安全的部分之一，它不会像两年前那样产生种族主义、有毒的偏见屏幕，它不会受到任何越狱、提示黑客、对抗性红队的影响，这些都不起作用。

我们已经把安全作为我们产品设计的绝对首要任务，所以我的目标一直是尽我所能以最好的方式展示前进的道路，这是在多年来不可避免的过程中不断发展。

这真的正在发生。新的浪潮即将到来。我认为我的贡献是尽我所能地展示出一个真正遵循我们可能想到的最佳安全约束的个人智能的表现。

Zanny Minton-Beddoes

现在，当你回顾人类历史，同时展望未来，这是一种技术和创新速度，人类会后悔的吗？还是应该继续下去？

Yuval Noah Harari

也许会。我不能预测未来。我想说的是，我们在发展 AI 方面投入了如此多的资源，而我们还没有见证任何事情，就像在有机生命的演化中，这就像 AI 的阿米巴，而不是需要数百万年才能发展成暴龙，也许需要 20 年才能发展成TRX。

但要记住的一件事是，我们自己的思想也有巨大的发展空间，与人类一样，我们还没有看到人类的全部潜力。如果我们在 AI 方面投资了每一美元和每一分钟，我们再投资一美元和一分钟来发展我们自己的意识、我们自己的思想，我认为我们会没事的，但我没有看到这种情况发生。