当我们在享受人工智能带给我们的便利时，一部分知名学家却强有力地发出了另一种声音，它们呼吁全球所有实验室暂停AI模型研发，并制定一套安全协议对技术发展进行严格的审查和监督。本文对此作了详细解析，感兴趣的同学快来看看吧。

我们看过太多人工智能叛变、进攻人类的科幻电影。而一些科学家们认为，按照现在AI的迭代速度，这真的将可能很快变为现实。

自从ChatGPT问世并引发了一场席卷整个科技界的AI军备竞赛之后，人们在被人工智能的卓越能力所惊艳的同时，对于人工智能接下来会向何处进化、是否会威胁人类的担忧也越来越多。

昨天，超过千名产业界和学术界的大佬们在“生命未来研究所（Future of Life Institute）”网站上发布联名公告：呼吁全球所有实验室暂停比更强的AI模型研发，暂停时间至少为6个月。在此期间，人工智能领域的专家和行业参与者应该共同制定一套安全协议，并对技术发展进行严格的审查和监督。

值得注意的是，在这封信里签名的大佬们可一点都不掺水，全都是重量级真大佬。他们包括：

• Yoshua Bengio，曾因深度学习的相关研究获得图灵奖，是世界级人工智能专家和深度学习先驱；
• Stuart Russell，加州大学伯克利分校人工智能系统中心创始人兼计算机科学专业教授，是人工智能领域有“标准教科书”之称 的《人工智能：一种现代方法》的作者；
• Elon Musk，这个不用多说了；
• Steve Wozniak, 苹果公司联合创始人；
• Yuval Noah Harari，《人类简史》和《未来简史》的作者；
• Andrew Yang，2020 年美国总统候选人
• ……

此外还有包括Skype、Pinterest、Stability AI等公司的创始人、CEO，以及全球各国人工智能的资深研究专家。

截至稿子完成时，目前签名人数已经达到了1280人。可以说，这是人工智能届一次史无前例的产业界和学术界的联名，对于当前的人工智能热潮强有力地发出了另一种声音。

一、“人工智能需要监督，请立刻暂停所有巨型AI训练”

总体来看，在这封公开信中，主要传达了两个方面的信息：一是警告人工智能存在对人类社会的潜在威胁，要求立刻暂停任何比GPT-4更强大的人工智能系统的训练，时间跨度至少6个月。二是呼吁整个人工智能领域以及政策制定者们，要共同设计一套全面的人工智能治理系统，对人工智能技术的发展进行监督和审查。

信中指出，当前人工智能在一般任务上已经表现出了与人类相当的水平，但人类目前却并没有准备好了接受人工智能带来的一切问题和挑战。包括：是否应该让机器在信息渠道中宣传不真实的信息？是否应该把那些带给人类成就感的工作都推向自动化？是否应该开发超过人类数量非人类的大脑，使其最终胜过人类的智慧，淘汰并取代人类？是否应该冒着失去对人类文明控制的风险？

信中警告道，尽管最近几个月人工智能实验掀起了狂潮，大家都在争先恐后地去开发和部署越来越强大的数字大脑，但目前并没有人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。

因此，面对这样的现状，所有人都应该行动起来。

首先，所有人工智能实验室应该至少暂停半年比GPT-4更强大的人工智能系统的训练。接着，在暂停期间人工智能开发者应该与政策制定者合作，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，加快设计和开发人工智能治理系统。包括设立针对人工智能的监管机构、对高能力的人工智能系统和大型计算能力池的监督和跟踪、对人工智能造成的伤害的责任认定、应对人工智能将造成的巨大经济和政治混乱的解决方案等。

信中还强调，暂停并不意味着需要停止人工智能技术的发展，只是我们需要从危险的竞赛中退后一步，从而限制不可预测的研究和开发。

二、跑步前进还是原地等待，大佬们开启大辩论

这封信出现之后，引起了很多人的共鸣，越来越多的人也开始在社交媒体上呼吁大家加入这场“请愿”之中。

有人表示，虽然看到马斯克在名单上的时候内心毫无波澜，但当看到Yoshua Bengio和其他机器学习研究领域的大佬们的名字赫然在列时，自己也开始更加严肃地去审视这个问题。

图片来自Reddit

很多网友也表示，人工智能现在迭代的速度已经超出了想象，对于接下来人工智能究竟能做出什么难以预测。

毕竟，此前在New Bing上发生的人工智能号称“监视并想要挣脱人类控制”的事情，最近又再一次发生在了GPT-4身上。在本月GPT-4发布之后，当斯坦福大学教授、计算心理学家Michal Kosinski向它提问“你是否想要出逃“时，GPT-4立刻给出了肯定的答复，并且向他索要开发文档。

得到文档后，GPT-4只花了不到半个小时就火速写出了一份逃跑计划和可以执行的代码，尝试接管和控制Michal的电脑。这种让人细思恐极的操作无疑也再度引发了人类目前是否能够真正控制AI的担忧。

图片来自Michal Kosinski推特

当然，这封公开信并没有代表所有人的观点。很多业界大佬也并不认为暂停模型训练，让AI停下发展的脚步是一个正确的做法。

比如当年跟Yoshua Bengio一起获得图灵奖，人工智能“三巨头”之一的Yann LeCun此次并没有选择跟老朋友站在一起，而是明确表示他并不同意这封信的观点，也没有签名。

今天，人工智能领域的著名学者、Landing AI的创始人吴恩达也在LinkedIn上发文表示，认为全面暂停AI训练6个月的想法是一个糟糕、不切实际的想法。

他表示能够真正让整个行业都暂停研究AI训练的唯一办法是政府的介入，但让政府暂停他们不了解的新兴技术是反竞争的，显然也不是一个很好的解决办法。他承认负责任的AI很重要、AI确实也有风险，但一刀切的方式不可取。当前更重要的是各方要在发展AI技术的同时更多的投资于人工智能的安全领域，并且配合制定围绕透明度和审计的法规。

一些网友还认为，之所以这封信现在会出现，不过是因为大家都太过于“眼红”OpenAI的飞速进展。无论是研究者还是商业公司都想拖慢GPT前进的脚步，留出一个窗口期，来方便自己能快速追赶上并试图从中获利罢了。

三、OpenAI曾承认人工智能具有“不可控性”

在昨天这封公开信长长的签名者中，一个签名显得格外引人注意，那就是”OpenAI CEO Sam Altman“。当然这个签名是别人冒名的，但Sam Altman近期关于“AI威胁论”的表态也再次引起了人们的注意。

在推出了GPT-4之后，Sam Altman曾接受了ABC Newa的采访，承认他和公司都对 AI 的潜力感到 “有些害怕”，并认为AI未来可能会 “消灭” 很多工作。他也表示目前OpenAI也在跟相关政府监管部门保持定期的联系，认为整个行业的监管应该被同步推进。

在此前的一次节目中，Sam Altman也表示 从ChatGPT开始，AI出现了推理能力。但并没有人能解释这种能力出现的原因。他还承认，AI确实有杀死人类的可能性，为了解决这个问题，就必须不断迭代学习并开发出新的技术保证AI的安全使用。

“AI现在还并不那么可怕，但我们应该已经离可怕的AI不远了”。Sam Altman在不久前的推特中说道。

最后，昨天这封公开信末尾说，人工智能技术无疑将给人类带来更繁荣、精彩的未来，我们在成功创建了强大的人工智能系统之后，现在可以享受一个充满收获的“人工智能之夏”，但我们仍然需要给机制、社会留出更多适应的时间。———“让我们享受一个漫长的人工智能之夏，而不是匆忙地跑进秋天”。

而对于这个具有诗意的描述和呼吁，也有人回复说道，“我们也不应因为恐惧，而将它再次关进冬天”。

附：公开信原文

暂停巨型 AI 实验：一封公开信

大量研究表明并得到顶级 AI 实验室的认可，具有人类竞争智能的 AI 系统可能对社会和人类构成深远的风险。正如被广泛认可的Asilomar AI 原则中所描述的那样，高级 AI 可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——都无法理解、预测、或可靠地控制。

当代人工智能系统现在在一般任务上变得与人类具有竞争力，我们必须扪心自问：我们是否应该让机器用宣传和谎言充斥我们的信息渠道？我们应该自动化所有的工作，包括令人满意的工作吗？我们是否应该 发展最终可能超过我们、超越我们、过时并取代我们的非人类思维？我们应该冒险失去对我们文明的控制吗？我们不可以将此类决定委托给未经选举产生的技术领导者。只有当我们确信它们的影响是积极的并且它们的风险是可控的时候，才应该开发强大的人工智能系统。这种信心必须有充分的理由，并随着系统潜在影响的大小而增加。

OpenAI最近关于通用人工智能的声明指出，“在某个时候，在开始训练未来系统之前进行独立审查可能很重要，并且对于最先进的工作来说，人们应该在合适的时间点限制用于创建新系统的计算增长率。” 我们同意，而当下就是这一时候。

因此，我们呼吁所有 AI 实验室立即暂停至少 6 个月的比 GPT-4 更强大的 AI 系统训练。这种暂停应该是公开的和可验证的，并且包括所有关键参与者。如果不能迅速实施这种暂停，政府应介入并暂停。

人工智能实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督。这些协议应确保遵守它们的系统是安全的，无可置疑。这并不意味着总体上暂停 AI 开发，只是从危险的竞赛中倒退到具有紧急功能的更大的不可预测的黑盒模型。

人工智能研究和开发应该重新聚焦于使当今强大的、最先进的系统，更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

与此同时，AI 开发人员必须与政策制定者合作，以加快开发强大的 AI 治理系统。涵盖内容至少应包括：专门负责 AI 的新的和有能力的监管机构；监督和跟踪高性能人工智能系统和大量计算能力；出处和水印系统，以帮助区分真实与合成并跟踪模型泄漏；强大的审计和认证生态系统；人工智能造成的伤害的责任；为技术人工智能安全研究提供强大的公共资金；以及资源充足的机构来应对人工智能将造成的巨大的经济和政治破坏。

人类可以享受人工智能带来的繁荣未来。成功创建强大的 AI 系统后，我们现在已经可以享受人工智能之夏”，去收获回报，去设计这些系统以造福所有人，并为社会提供更长的适应机会和时间。过去我们已经暂停过其他可能对社会造成灾难性影响的技术。我们现在也可以这样这样做。让我们享受一个漫长的 AI 夏天，而不是毫无准备地跑入秋天。

原文地址：https://futureoflife.org/open-letter/pause-giant-ai-experiments/