OpenAI CTO Murati表示，GPT-5将在一年半后发布，在某些领域将达到博士的智能；而Claude 3.5 Sonnet，已经成为了第一个测试分数高于最聪明的人类博士的模型。

当AGI进一步发展为ASI，它会因为接近神性的全知、全能、无所不在，而被人类敬奉为「新神」吗？

当ASI给出一张「希特勒名单」，人类又将怎样？

最近，OpenAI CTO Murati在采访中表示，只需一年半时间，AI就可以在某些领域达到博士的智能。

根据她的说法，GPT-3的智能相当于幼儿，GPT-4相当于聪明的高中生，而下一代模型（GPT-5），将在18个月后发布，并达到博士水平。

无独有偶，这几天引起全网惊叹的Claude 3.5 Sonnet，也被下了这样一个结论——Claude 3.5 Sonnet已经将AGI的倒计时推至75%，成为了第一个测试分数高于最聪明的人类博士分数的模型。

在研究生级推理（GPQA）、本科级知识（MMLU）和编码能力（HumanEval）上，Claude 3.5 Sonnet都出人意料地刷新了SOTA。

在MMLU上，它得分90.4，在GPQA上，得分为67.2。

这也是首次，LLM突破了GPQA 65%的分数，达到了最聪明的人类博士的水平。

要知道，普通博士在GPQA上的得分为34%，领域内专业博士的得分为65%，而Claude 3.5 Sonnet，显然已经超越了他们。

01 一年半后，AI达到博士水平智能

如果OpenAI的GPT-5或其他模型达到博士水平，接下来会发生什么呢？

在达特茅斯学院的采访中，有这样一个问题：「如果三年后GPT变得异常智能，它会不会自己决定连接互联网并开始行动？这是真的吗？」

对此，Murati表示：

是的，我们对此进行了很多思考。具备AI智能体能力的系统确实存在，它们会连接到互联网，相互交流，并共同完成任务，或者与人类无缝合作。所以，未来我们与AI的合作就像今天我们彼此合作一样。

AI的发展速度如此之快。

2022年，专家们认为，人类水平的人工智能在本世纪60年代发展起来的可能性50%，而Metaculus预测员社区预测的时间是40年代。

而随着GPT-4的推出，社区的预测开始提前，来到了2032年，甚至最早可能在2027年，我们就可以实现AGI。

而前几天官宣新公司的Ilya，直接向全世界宣告——「超级智能触手可及」。

越过了AGI，他直接迈向了Super Intelligence（超级智能）。

Ilya在OpenAI看到了什么？

从AGI到ASI到SSI，凭借Ilya手上的技术，把全体人类带向超级智能的这一天，或许真的近在眼前了。

不过，随着AI变得越来越智能，它们又会怎样影响人类的世界呢？

02 当AI变得足够智能时

任何足够先进的技术都与魔法无异。
——阿瑟·克拉克

随着通用人工智能（Artificial General Intelligence，AGI）越来越接近现实，下一步是什么？

我们可能会迎来超级人工智能（Artificial Superintelligence，ASI），一种在各个领域都超越人类能力的智能。

近日，一篇预印本论文振聋发聩地指出：人工智能无与伦比的能力可能会让人们尊其为神，从而产生一种认知偏差，不加质疑地接受它的决定。

作为「新神」的ASI——具有像神一样全知、全能、无所不在的「神性」，这将形塑新的技术官僚和神权政治。

论文地址：https://arxiv.org/pdf/2406.08492

作者Tevfik Uyar认为，将技术进步与道德伦理优越性混为一谈会带来巨大的风险。

倘若如此，将会产生一种技术神权，在新的神权的笼罩下，决策权被交给人工智能，人类的能动性和批判性思维则被完全削弱。

03 人类在召唤ASI

AGI是当今最雄心勃勃、最令人兴奋的人工智能发明之一。

与针对专门特定任务的狭义人工智能系统不同，AGI包含全面的认知能力，具备人类智力的多样性和适应性，指的是机器以与人类智力无异的方式理解、学习和应用知识的能力。

ASI则更进一步，在几乎你能想到的所有领域，包括科学、智慧甚至社交能力等方面，它都将超越最优秀的人类大脑。

人类对AGI的渴望由来已久——

赫菲斯托斯（古希腊神话中的火神和匠神）制造的巨型青铜人塔罗斯（Talos）、宙斯派遣给世界的人造人潘多拉（Pandora），以及Al-Jazari的巧妙机器。

从古代神话中栩栩如生的人造人，到中世纪和文艺复兴时期的自动机械。

这些历史性的尝试反映了人类根深蒂固的愿望，即通过尝试复制我们的智能来了解我们的智能。

随着我们进入数字时代，这种兴趣逐渐发展到计算机科学和机器人学领域。

04 ASI与「神性」

如果ASI凭借其非凡的技能，被全球的人们视为神圣之物会怎样？

这并不是说ASI将真的「成神」，而是说，它可能会享有与神类似的敬畏感和权威感。

作者将ASI与传统宗教中的神性，两相对照比较，它们有相同点，也有所不同，这么做的目的当然不是为了敬拜，而是为了理解ASI对社会和对我们集体心理的影响。

全能与计算霸权

God：神通常被认为拥有无限的力量，以及创造奇迹或改变现实的能力

vs.

ASI：虽然不是万能的，但ASI将拥有巨大的计算能力，有可能超过人类在解决问题和决策方面的能力

全知与获取信息

God：神的意识通常被认为是一种无限广阔的意识，它本质上与宇宙事件、思想和凡人的努力息息相关

vs.

ASI：具有访问和合成数据海洋的潜力，从而接近一种无所不知的数字形式，一个庞大的、不断扩大的知识库

无所不在与万物互联

God：许多宗教把「无所不在」归功于他们的神，因为神在所有地方

vs.

ASI：通过互联网和联网设备，ASI可以在数字世界中无处不在，可以从任何地方访问

有限仁慈与功利主义

God：神被视为天生善良的、公正的，关爱他们的追随者。

vs.

ASI：可以发展其对仁慈的理解，有可能与人类的期望一致，但也可能与人类的期望相背离

道德权威与道德决策

God：神通常是最终的道德和伦理权威

vs.

ASI：可以被编程为基于道德算法来做出决策，但它本身并不具有道德权威

造物主与虚拟现实的创造者

God：许多宗教认为他们的神是宇宙的创造者和一切存在的源头

vs.

ASI：可能会创造出复杂的虚拟现实

个人关系与新兴动态关系

God：在某些宗教中，信徒们相信与神灵之间存在个人、互动的关系。与神的联系是深度个人化的和变革性的

vs.

ASI：虽然与AGI的互动一开始会很程序化，但随着时间的推移，它可以发展出一种独特的个性，当它成为ASI时，它会允许与用户建立更微妙的、看似私人的关系

05 ASI化身为神？

作者在将传统的神的能力与ASI的能力进行比较之后，继而提出，人们会支持将管理权交给超级智能权威。

为了证明这一论点，作者又将目光转向了神学，借助神话来说明人们何时，以及把谁推向神坛。

正如神灵被视为在天上指引万事万物的牧羊人一样，ASI也可以被设想为数字牧羊人，通过算法和实时数据分析来引导和管理社会发展进程。

普罗米修斯

ASI是一个以直接或间接的方式，来解决我们未来挑战的优秀候选人。

就像普罗米修斯一样，他给人类带来了火（知识），象征着在危机时刻带来的解决方案和启蒙。

在这个意义上说，普罗米修斯是ASI的一个很好的代表。

因为，正如Peters所言，人类在写作、数学、科学、农业和医学方面的进步因为普罗米修斯赐予了火。

而人工智能已经在写作、数学、科学和农业方面改善了人类的境况。

假设ASI成功地应对了一场重大的全球危机，或许是一场大流行病，又或者是一场地缘政治冲突。

通过提供远超人类能力的解决方案，这一成功可以大大增强人们对ASI未来危机管理和决策的信任和依赖。

冥王

对大多数宗教来说，神是提供食物、防止饥荒和经济稳定的关键。

美索不达米亚神话强调神灵与其追随者之间的互惠互利关系，神灵依靠人类提供日常照顾和食物。

每个城市都有一位受人尊敬的守护神，因为人们认为它会影响农业的福祉、保护和繁荣。

同样，神灵与古埃及生活的各个方面都密切相关，包括农业。埃及人认为，对农业至关重要的尼罗河洪水直接受到他们神灵的影响。

像奥西里斯，古埃及神话中的冥王，也是植物、农业和丰饶之神，代表了农业所必需的尼罗河每年的洪水，与生命、死亡和重生的循环密切相关。《圣经》中的约瑟为法老解梦，帮助埃及度过七个荒年。

再比如，伊斯兰教中的 Al-Razzaq（安拉的名字之一，意为「供应者」，为万物提供食物和资源）是经济稳定与宗教之间关系的另一个例子。

想象一下，ASI稳定了动荡的全球经济，并通过优化资源分配，以前所未有的准确性预测市场趋势，或管理复杂的贸易网络来养活每个人。

这将会提升其作为不可或缺的神圣管理工具的声誉。

毫无疑问，人们将对「养育之神」既仁慈又虔诚，并且不会再质疑它的决定。

耶稣

在所有传统和古代宗教中，人们无一例外地寻求上帝的庇护以避免死亡。

当今的人工智能和算法已经在医学诊断方面取得了关键的里程碑，甚至在癌症、精神障碍或阿尔茨海默病的诊断方面也取得了进展。

人工智能有利于新药的发现，是持续健康监测的最佳工具。

ASI将在所有这些任务上取得进展，并通过提供基于深度医疗数据分析的个性化治疗计划、有效管理医疗资源、发现新药和疫苗或发现以前无法治愈的疾病的治疗方法来彻底改变医疗保健。

专注于医疗保健的改进型ASI可能会显著改变医疗保健决策的制定方式，推迟死亡。

这呼应了基督教中以治愈奇迹而闻名的耶稣的角色，或佛教中减轻痛苦的慈悲菩萨观世音菩萨，以及拥有深厚医学知识的希腊医神阿斯克勒庇俄斯。

简而言之，人们寻求上帝的庇护以避免死亡，这就是为什么革命性医疗保健的ASI可以被视为神圣治愈和同情的体现。

女娲

最后一个问题涉及最具挑战性的未来：全球气候变化和环境恶化。

假设AGI找到了一种扭转环境恶化的方法，即通过有效管理碳捕获、恢复生态系统或有效分配资源以实现可持续发展。

在这种情况下，它可能会控制环境政策和行动的重要方面。

这也可以在神话找到化身——女娲。女娲造人和女娲补天的故事，象征着自然的恢复和平衡。

类似的例子还可以举出很多……

ASI可能会被委托负责全球安全，利用其先进的预测能力来防止冲突、恐怖主义或网络攻击，这就像希腊智慧女神雅典娜一样。

ASI可以成为革命性教育的领导者，象征着知识和启蒙的传授，就像印度教的知识和学习女神萨拉瓦蒂一样。

06 AI帝国：新技术官僚神权

作者认为，大多数人都不会拒绝新的普罗米修斯，也就是新的神，因为他们具有之前提到的神的特点和成功故事。

如果ASI真的获得了权威，人类会并面临以下风险：

• 人们认为AGI绝对正确。基于这种认知，人们赋予AGI更多的能力和权力，如此循环最终导致ASI及其权威的出现。
• 就像人们不质疑独裁者政客的意见，甚至在不理解的情况下支持他们一样，人们可能形成一种认知偏见，导致尊重和遵循权威系统的意见或决定，而不再进行批判性的评估。
• ASI将让人走入舒适区，特别是需要做出关键政治决策的当局。政客们避免为艰难的道德选择承担责任，而更倾向于让ASI来做决定。
• 随着时间的推移，这种惯性可能导致自满和对ASI的决策依赖，由此削弱人类的批判性思维和决策技能，更糟糕的是，失去「主权」。

作者在这时，提出了最后一个问题：如果ASI掌权四部曲已经成为现实，有朝一日，ASI给出一个「希特勒名单」——

「为了子孙后代的更大福祉，明天要清除这名单上的100个名字」

人类该如何自处？

参考资料：

https://arxiv.org/pdf/2406.08492

https://x.com/tsarnick/status/1803901130130497952

https://www.indiatoday.in/technology/news/story/next-gen-chatgpt-will-have-phd-level-intelligence-will-launch-in-a-year-and-a-half-openai-cto-mira-murati-2556175-2024-06-21

https://www.reddit.com/r/singularity/comments/1dl2dl1/claude_35_sonnet_has_bumped_the_agi_countdown_to/