编者按：都以为人是AI的终极演进目标。于是我们从分析人开始谋划蓝图。我们分析意识是什么。分析建造的步骤是什么。殊不知，当我们推演其后果时，发现其实具有自我意识的AI并不是我们想要的，而超越我们的AI其实已经到来。畅销书《羊毛战记》的作者Hugh Howey通过这篇长文对AI的未来进行了他的展望。必须说，这是一个非常新颖的视角，因为它不仅展望了AI的未来，更重要的是洞察出人的本质。

宇宙间最酷的东西

宇宙充满着很酷的东西：只有一茶匙重的中子星；连光也无法逃逸的超重黑洞；可以穿透脱氧钢的无穷小的中微子；在我们的地球上能找到的所有那些匪夷所思的动植物等。

尽管有点自大，但宇宙间所有已知的事物里面，最令人惊叹的无疑是包裹在我们头盖骨里面的那团黏糊糊的东西。那东西知道中子星、黑洞、中微子以及地球上中等数量的动植物群。它甚至还了解（一点）自己。那东西能搞清楚数学公理，半真半假的道德真理，以及模棱两可的哲学。它还从我们脚底下的泥提取出了建造我们的伟大城市、我们的汽车、飞机以及火箭，将这些离散的块状粘性物变成一个融创造力、知识以及有时候残忍于一体的伟大的蜂巢大脑的有线和无线信号所需的一切材料。

毫无疑问，我们的大脑是迄今为止最酷的东西，因为如果没有那些大脑的话也就没有那些论点了。它们是所有论证和讨论的基础。讨论结束。

至少是到目前为止。有朝一日也可能会有别的也能发现、创造、论辩、哄骗或者表现残忍的事物被发现或者建造出来。它们可能坐着来自遥远星球的飞船登陆（极有可能）。它们可能从某个实验室或者车库冒出来（几乎可以确定）。这些新的思考机器毫无疑问将超过我们的那团粘性物奇迹。就像孩子长得比父母高并且达到新的高峰而父母却在走下坡路一样，我们的创造物会取代我们的位置成为全宇宙最酷的东西。有人认为现在就已经如此了。

人工智能已经到来。在全球各地的实验室，小小的AI正在焕发生机。其中一些下棋下得比任何人都好。另一些则在学习驾驶100万辆汽车行驶10亿英里并且拯救的生命比大多数医生或者EMT（急救医疗技术员）整个职业生涯都要多。一些会确保你的餐具干净光洁，或者你的衣服不会起皱纹。无数的这些智能被开发和编程出来；它们只会变得越来越聪明越来越无所不在；它们即将变得比我们更出色，但它们永远都不会像我们。不过这是好事。

我们与地球的其他生命形式的区别在于我们是具有自我意识（self-aware）的。大多数动物都有意识。很多甚至有自我意识（self-conscious）。但人类不一样，我喜欢称之为超意识（hyper-conscious）。我们的大脑有个放大器连接到我们的意识，而且放大级别高达11。

它去到了11，旋钮都掉了。

意识的起源

一个人类什么时候变得有自我意识并没有确切的日期。你没法在育婴指南里面写下那个日子，或者在那个时刻拍张照片留念分享到Facebook，或者给它搞个周年纪念日。它是渐进地，分阶段进行的。

人类意识跟我小时候挂在学校体育馆的旧式灯光很像。你扳上开关，一开始什么都没有发生。这里或者那里的灯泡先是发出兹兹的声音，然后发出黯淡的光芒，集结着一排闪烁起来，开始还是不稳定的，然后是更多的灯亮，兹兹日益高涨，直到所有悬挂的银色锥体全都加入进来在半小时或者更久之后强度达到了全峰状态。

我们的切换方式也像这样。我们先是脱离母胎。刚出娘胎的头几个小时世界在我们看来很可能是颠倒的——直到我们的大脑适应了我们的眼睛创建的倒像之后这种感觉才会消失。

需要很长一段时间我们的手才会看起来就像我们自己的延伸。我们意识到自己有不同于别人的大脑和想法甚至需要更长的时间。对于我们很多人来说，任何类型的真正的自知之明和自我启蒙从来都没有发生。因为我们很少会停下来思考这种鸡毛蒜皮。未经检视的人生就是这样……

AI这个行当到处都有人在复制或者模拟我们智能的各种功能。我们意识逐步的开关方式他们是肯定要复制的。我写本文时，体育馆正在滋滋响。远方的露天看台上一盏灯正在嗡嗡响。其他的灯正在闪烁。还有更多正在打开。

圣杯

AI研究的圣杯甚至在AI研究还没有开始之前就已经确定了。计算的先驱之一阿兰·图灵就描述了对“思考”机器的终极测试：它们能否超过人类？从此以后，人类对于这样一个机器比人类还像人类的未来就既充满梦想又怀有共同的噩梦。这不是说比人聪明——在很多方面它们已经是了。而是说它们比人要更加神经质、更暴力、更好战、更痴迷、更阴险、更有创意、更富激情、更多情等等。

科幻小说充斥着这类故事。今年10月我的短篇小说集将会发布，从中你会看到我对AI也有类似的想法。尽管如此，即便是这些智能在所进入的几乎每一个知识领域都超越了人类，但它们看起来并没有跟我们更接近，跟我们还是很不一样。

这是好事，但原因不是像电影《未来终结者》和《黑客帝国》里面所提出那样。我们还没有做出具有自我意识的机器的原因主要是因为我们拒绝接受令我们具有自我意识的东西。那令我们具备自我意识的东西不像自负的错觉或者永恒自我的幻想那么讨人喜欢。自我意识甚至都不是非常有用（所以对意识的研究往往会走入死胡同——它花费了太多的时间去假设存在着一个宏伟的目标然后再去寻找这个目标了）。

也许AI研究出来最好的东西并不是对计算机的了解，而是对我们自己的了解。我们建造会思考的机器所面临的挑战突出了我们自己的生化粘性物的各种小奇迹。它们还突出了我们的缺陷。为了复制我们自己，我们首先必须要同时接受这些奇迹和缺陷。

以下就是如何建造一台具备自我意识的机器的简要概述，以及为什么迄今还没有人造出来的原因（谢天谢地）。

蓝图

建造自我意识机器的蓝图和你简单。你只需：

对外部刺激做出响应的物体或者装置（这可以是一辆感觉到下雨时雨刮器会动起来或者面前突然出现一个孩子时会刹车的汽车。这不是问题，因为我们已经造出来这样的汽车了）。

语言引擎。（也不是问题。这可以是有成百上千不同的灯和指示器的汽车。或者是像IBM Watson那样精通语言的东西。）

第三个要素稍微有点不寻常，除了想复制进化搞砸的东西以外我想不出为什么要做这个。最后一个要素是机器的独立部分，它会观察机器身体的其余部分，然后就其所做的事情编故事——那些通常是错误的故事。

总结一下：

• （1）响应刺激的躯体；
• （2）沟通方法；
• （3）试图推断这些沟通的原因和动机的算法。

这里关键的要素是（3）里面的算法通常必须是错误的。

如果这份蓝图令你困惑，你不是唯一有此感受的人。没人造出具备自我意识的机器的原因是大多数对意识是什么以及人如何产生意识有着错误的想法。所以我们先跳过这一点。我们后面再到这份蓝图上面，描述这一算法必须如何编程。

人之所以为人

要想理解人类意识，必须深入研究心智理论。令人惭愧的这个概念很含糊，因为它在大多数时间里消耗了我们大部分的计算能力。我们的大脑几乎被看作是心智理论机器——我们所有的高级处理能力几乎都是放在这一项任务上。那么心智理论是讲什么的，既然我们的大脑如此令人痴迷的话为什么这一话题讨论如此寥寥呢？

心智理论是一个大脑弄清另一个大脑的内容的尝试。是Sue在想Juan究竟在想什么。Sue对Juan的思想现状建立理论。她这么做是为了猜测接下来Juan会干什么。只需要考虑一下，大概不会有其他的群居或部落动物比我们人类更强大了。在几十万年的漫长岁月里，我们人类比邻而居，互相依靠，就像蜜蜂、蚂蚁和白蚁一样。随着我们的行为和实现变得越来越复杂，部落的每一个成员都对其他成员在想什么以及会采取什么行动有想法就变得至关重要。心智理论是知识间谍，我们都很擅长——但有个很关键的局限性，这个我们稍后再谈。

Sue猜测Juan在想什么被叫做一阶心智理论（First Order Theory of Mind）。情况变得更加复杂。Sue可能对Juan对自己是是怎么看的也感到好奇。这就是二阶心智理论，也是我们大多数的神经质和偏执思想的根源。“Juan认为我聪明吗？”“Juan喜欢我吗？”“Juan希望我伤害吗？”“Juan是不是因为我做了什么事心情好或者不好？”

类似这样的问题应该非常熟悉。我们的生活充斥着这些东西。而这还仅仅只是开始。

三阶心智理论就会是Sue猜测Juan在想Josette对Tom是怎么看的。更简单点，Tom知道Josette对他感兴趣吗？或者Sue也许在想Josette在想Juan对Sue是怎么想的。换句话说，Josette是不是在妒忌呢？好几个名字以及所有的“在想什么”绕来绕去，开始有点犯蒙了吧，但这就是我们脑子里整天在想的事情，比任何其他意识层面的思维类型都要多。我们很难不去想这些。我们也许称之为八卦或者社交，但我们的大脑视之为自己的主要责任——其主要功能。有人猜测，心智理论才是我们的大脑有了这样的相对容量的原因，而不是工具使用。

在一个石头满天飞的世界里，处理能力的一个好的用处是计算轨迹然后学会如何躲避。一个人对抛物线的F=ma就会天生有感觉。在一个你推我挤的世界里，处理能力的好的用处是计算那些人接下来会出现在哪里，以及他们到达那里之后会做什么。

如果这种特质那么有用的话，为什么所有的那些动物都不具备自我意识？很有可能它们是有的。大量研究表明很多动物展现出了不同程度的自我意识。动物知道，镜中那张脸上的一点颜色其实是在自己的头上。动物还会跟别的动物沟通如何去解决一个谜题来让双方都能获得奖赏。甚至章鱼也展现出了可观的具备自我意识的迹象。但就像猎豹是陆地最快的动物一样，人类是心智理论之王。

我曾经见过我的狗会观察我，猜我接下来会做什么。我会不会扔那根棍子？那最后的一点食物我会吃掉还是分享？我甚至见过狗在设法解决二阶心智理论的问题。在跟伙伴玩耍缠斗时，狗需要揣摩我的意图是什么。我有没有突然打开包装？还是说这又是一个游戏？我的狗应该站在哪一边？

狗是动物王国心智理论的一个好例子，因为狗经过多年的进化已经学会跟人打交道并且会注意我们的行为特征。具有自我意识的AI将会紧紧跟随这种模式，因为机器人已经成为了我们的驯化的伙伴。其中一些已经在尝试猜测我们在想什么，接下来我们要做什么。正在研发的一些汽车会阅读我们的脸来确定我们的注意力在什么地方，是不是犯困了。这属于一阶心智理论，已经被植入到道路上行驶的自动汽车里面。

不过这些能力的进一步发展并不能导致自我意识的产生。原因非常简单也很优雅，而这解释了人类意识的神秘之处，并且为前面提到的创造自我意识机器提供了蓝图，我们今天在实验室已经很容易做到这些。但你很快就会发现这会是一个可怕的想法。而且不是敌托邦科幻小说里面那种世界末日式的可怕。

缺失的一环

人类大脑并不是单一的整体。它是成千上万几乎没有相互联系的不同模块的组合。我们喜欢把大脑看作是计算机芯片。我们可能甚至试着更精确一点，把大脑看作桌面计算机，有着跟RAM（短时记忆）、硬盘（长时记忆）、风扇（自主神经功能）、供电（消化）等分离的中央处理单元。

这是一个有趣的类比，但却极其误导人。计算机是带有统一目的、设计得当的设备。所有这些不同部分大概都是同时针对同样的目的设计的，而且在设计上它们就要和谐共处。这些无论如何都跟人类大脑不像。甚至连接近都不算。人类大脑更像是华盛顿特区（或者任何大型政府或者大企业）。大脑其中一些功能是在几亿年前就形成的，比如给细胞个体提供能量或者通过细胞膜灌注钠钾的那些功能。还有一些是几百万年前形成的，比如激活神经细胞确保血液注入以及吸入氧气的那些。往前来到大脑额叶，我们有最近才形成的控制哺乳类动物行为和思想的模块。

大脑的每一个模块就像是拥挤的小镇上的一栋栋建筑。其中一些模块相互间甚至都不讲话。泵血和呼吸反射这两栋建筑本该留在自己的设备上（注：心和肺）。其他模块则容易吵架、抬杠、不和，互相颠覆，不受控制地抽搐，谋划政变等等各种歇斯底里。下面就是几个例子。

几个月前，我跟女友从加拉帕格斯群岛出发去法属波利尼西亚。跨越3000英里的公海往往需要2周到1个月的时间。通常我的女友是不会向晕船屈服的，但在南太平洋的会聚区，汹涛让我们的帆船进入了一种奇怪而不平稳的节奏。她沦为了一种可怕感觉的牺牲品，一直吐了好几天。

晕船就是我们的大脑模块没有彼此沟通好（或者做好自己的事情）的例子。当来自我们环境的运动的视觉线索跟来自我们内耳（感知平衡的地方）的信号不匹配时，我们的大脑就会假定我们中毒了。对于整天爬树食用各种颜色亮丽的东西的生物来说，这是一个合理的假设。毒素会破坏我们大脑的处理，导致失效和坏数据。我们没有进化到适应出海，所以当动作跟我们看到的东西不匹配时，我们的身体就以为我们已经丧失了平衡双腿的能力。结果就是我们把胃清空（排出毒物），然后我们躺下来一动也不想动（防止我们从悬挂的树枝上跌落致死）。

就算我们知道这是发生在大脑的不同模块，一个更高级的处理模块也无济于事。我们无疑是知道自己没有中毒的，但这一模块不会轻易战胜晕船模块。我自己也晕过船，而且对这类事情非常好奇，我曾经觉察过不同的模块的相互扭打。躺下来睡了很久之后，尽管还在晕船，但我仍然爬了起来执行各种船需要我干的任务——那一刻晕船几乎已经消失了——只是等我把杂务都干完之后才又有了感觉。模块会根据我们的环境刺激确定不同的优先级。我们的大脑不是一台整体的桌面PC。要想真正观察其类似物的情况，可以打开C-SPAN或者旁听一场争吵不断的企业董事会议。

我们的模块互相打架的另一个例子：我们内部有一些非常强势的模块被设计成会复制自己（为此，它们需要复制我们）。这就是性模块，这是我们内部的华盛顿特区里面最雄伟最漂亮的建筑之一。在我们约会的时候这些模块指挥着我们很多的清醒时刻，它们会留意我们的当前关系，决定该穿什么以及如何维持身体等等等等。

这些生殖模块会敦促女人打扮起来参加舞会。催促男人去到有女人打扮起来跳舞的地方然后站在那里喝酒。那些模块甚至还会让其中一些人配对成功双双把家还。这就是各种不同的模块靠小药丸、避孕套等旨在颠覆让情侣结合的原始冲动的工具进行干涉的地方。然而，如果没有利用那些东西的话，哪怕更高级的模块很明确地不想让任何人在当晚怀孕，一个私生子也可能会诞生出来，其他的模块然后就会用爱和紧密联系敲打大脑，帮助抚养那小孩。我们的一些模块希望我们怀孕。但我们更强势的模块往往会希望推迟这个或者确保是跟对的人结合。潜伏模块则在守株待兔，不管另一头的其他建筑里面的享乐主义和无情无义是怎么想的，都要确保我们跟孩子的联系。

关键要记住的是，不同人之间的这些模块是高度可变的，我们这些模块的独特混合就形成了跟我们自己相关联的个性。这意味着我们不是一样的。我们也许有渴求繁殖的模块，即便其中一些人的身体并不能产生精子，或者一些卵无法受精。我们也许有生殖模块，即便性吸引模块是给相同性别的人准备的。

完美设计的桌面计算机这个类比算是彻底失败了，而这种类比的失败导致一些可怕的法律和风俗习惯，因为我们似乎无法容忍设计不同于我们的东西。这还导致AI研究人员沿着错误的道路前进，如果他们想要模仿人类行为的话。我们必须故意将处理系统的不可靠以及脱节的本性植入进去。我们必须故意分解系统，类似于自然如何将其胡乱拼凑的样子。我们尤其将被迫模拟这种模块性最特殊的一个功能，那个以非常特殊的方式跟心智理论结合的功能。正是这种结合导致了人类意识。这是我们给自我意识机器描绘的蓝图里面最重要的功能。

最重要的错误

在心智理论的概念牢牢占据了我们的想法以及知道大脑模块既不可靠也不相连之后，我们就准备好可以去了解人类意识，意识是如何产生的，以及意识是（不）干什么用的了。

这可能会令那些习惯听到我们并不理解人类意识并且在该领域并未取得进展说法的人感到惊讶。这完全是错的。我们没有取得进展的是理解人类意识是干什么用的。

这方面几千年的失败指向了一个简单的事实：人类意识根本就不是给任何东西准备的。它根本就没有用。意识没有进化的好处。意识产生自两个超级有用、我们缺一都不可生存的模块的联合，因此我们就容忍了这种烦人且有害的意识。

其中一个模块就是心智理论。前面已经提过心智理论比任何更高级的神经活动消耗的大脑处理能力都要多。这是非常重要的。这一模块的问题是它对自己的力量没有选择性；我们甚至都不清楚此类选择性有没有可能。这意味着我们的心智理论能力施加在我们自己身上就像施加到别人身上一样频繁（或者要比后者频繁得多）。

想象有这么一支奇葩的射线枪，其射击范围之宽以至于不管你怎么瞄准都会伤到自己。这应该让你对我们如何使用心智理论有了一番清晰的印象。我们的大脑已经准备好观察别人来确定他们在想什么，为什么要这么做，接下来可能会做什么。往下看，这些大脑（及其无思考能力的模块）看到一个躯体跟它们相连。这些模块观察手执行任务，脚带他们去到别处，思想流脱口而出。关闭我们的心智理论模块是不可能的（而且也不会是个好主意；我们会在石头满天飞的世界里看不见东西）。所以这个心智理论模块捏造出关于我们自己行为的故事。为什么我们想打扮起来参加舞会？因为有趣！而且我们的朋友也会去那里！为什么肚子都满了我们还在不断地吃东西？因为美味！而且我们今天还多走了1000步！

这些有关我们自身行为的问题永远都不会完。而答案几乎总是错的。

消化一下，好好理解这句话。我们告诉自己的有关自己行为的解释几乎总是错的。

这就是心智理论超能力的怪异之处。我们把它用到别人身上时就很好。但用在自己身上时就错得离谱。我们猜测别人动机的准确率要比猜测自己高得多。从某种意义上来说，我们已经形成了一个魔力场，可以在我们将那把会读心术的射线枪对准别人（以及自己）时保护我们免受影响。这个力场就是我们的自负，这让我们对自己的看法开始自我膨胀，对自己的行为会更加的自视清高，并且会产生一种自己鹤立鸡群的幻觉。

我们对自身行为想出来的不正确的解释是为了自我保护。它们往往是狂野的创意或者荒谬的过分简化。像“有趣”和“可口”这样的答案都是指回到一个快乐模块的间接答案，对这一奖赏机制的潜在好处并没有好奇心。我们虽然肚子填满了东西但还是吃个不停的真相是我们是从一个卡路里稀缺的世界进化过来的。我们通过跳舞吸引伴侣好制造出自己的复制品，因为引导这一行为的模块制造了很多副本，把其他的设计都挤掉了。

研究人员对这种行为与我们告诉自己有关自身行为的谎言的不一致进行了长期研究。一项研究让受试者以为自己感觉温暖（在为那些受试者准备的虚假测试加入特定用语就可以轻易实现这一点）。当这些人站起来调整恒温器时，研究人员会打断他们询问为什么要调整温度。这些人就会说出令人信服的故事，而当指出那些特定用语时，怀疑压倒了一切。即便我们看到了自己的行动是从哪里来的，我们还是选择相信自己的心智理论模块，而后者早已经得出了自己的结论。

受试者的功能磁共振成像机器还披露了另一项特质。通过实时观察他们的大脑，我们可以看到在大脑更高级的部分意识到那些决定时决定就已经做出了。也就是说，研究人员在受试者说出自己已经做出选择之前就能说出受试者会按哪个按钮。动作在说之前就做出了。我们移动；我们观察自己的动作；我们告诉自己为什么要做事情的故事。非常有用的心智理论工具是我们无法关闭的，它会继续运转，编造有关我们自身行动的故事。

关于这一点更明显的例子来自那些出现各种神经受损的人。有视觉处理问题，或者大脑左右半球被切断联系的的受试者，可以给他们的每只眼睛看不同的图像。相互不连接的模块会接收这些存在冲突的输入然后编造出迷人的故事。一只眼睛可能看到的是一把耙子，而另一只眼睛看到的是一堆雪。看耙子的那只眼睛基本上是失明的，因为如果被问到的话受试者无法说出看到的是什么。但处理该图像的模块仍然活跃，所以在被问到该用什么工具处理看到的图像（雪）时，那人会回答“耙子”。有趣的不在这里。有趣的是这个人会通过令人吃惊的扭曲来证明自身回答的合理性，哪怕把整个过程都解释给他听之后还是这样。你可以告诉内部的华盛顿特区它是怎么搭错线的，但它还是会继续固执地坚持其精神错乱。

如果要造自我意识机器我们就得这么建。可能这时候你已经开始看出为什么没人应该浪费自己的时间了。这些机器（可能）不会终结世界，但它们会像自然创造我们那样的荒谬和愚蠢。我能想到的建造此类机器的唯一理由是可以雇佣更多的精神病学家。

蓝图修订版

阿兰·图灵的图灵测试有一位古怪的粉丝，她实在是闲得慌，打听到了这份建造自我意识机器的蓝图。认为这会导致某种超智能的诞生，可以说出治愈癌症的秘方以及实现冷聚变的办法，于是她雇了我，给了我一大笔钱以及一支电气与机械工程师团队。那我们如何才能组装出一台具备自我意识的机器呢？

根据我们对心智理论以及断开连接的模块的了解，我们要建造的第一个东西是意识程序。这种程序还是相当简单的而且肯定已经存在。利用现成技术，我们决定我们的第一台机器的样子和行为都将与无人车非常相像。很多年以来，实现真正自动驾驶汽车的最大限制就在于意识装置：让汽车知道周围发生什么的传感器。这方面目前已经取得了巨大进展，为我们的机器提供了视力和听力。

有了这些基本意识之后，我们接着利用机器学习算法来建立一个行为指令系统供AI汽车学习。这个研究方向跟多部分的无人车研究不同——传统上工程师希望教会汽车如何安全地做特定的事情——我们的团队却相反，会教城市网格内的一系列传感器观察其他车辆然后猜测它们在做什么。那部蓝色的日产要去杂货店因为 “它饿了”。这部红色的面包车要开去加油站因为“它需要动力”。那部车喝醉了。这部视力不是很好。还有一部反应速度很慢。这部肾上腺素满满。

这成千上万的需求和拟人化的描述语会搭建成一个庞大的短语库或者指示灯。如果我们要造一个人形机器人的话，我们也一样要观察人然后建立人要执行的各种动作的词汇。传感器会通过扫描眼睛（人和狗也会这么做）来注意意识的对象。它们会通过我们的面部表情和肢体语言了解我们的情绪（目前的系统已经能做到）。这个库和传感器阵列将组成我们的心智理论模块。其目的纯粹是讲故事，有关别人动作的故事。当我们把它变成讲自己的故事时魔术就会发生。

我们的库先从一阶概念开始，然后再搭建二阶和三阶的东西。那辆黄色的福特看到灰色的雪佛兰朝它开过来了吗？它稍微转了一下弯，所以，是的。那部面包车是不是认为这辆改装车开得太疯狂了？它在路上留出的空间要比给其他车留出的平均空间要多，所以是的。那辆面包车是不是认为所有的改装车都开得太疯狂了呢？刚才那辆从代理商处离开的Corvette它只留出了2英里的速度差空间，所以是的。这会不会导致面包车怀有成见？当我们放任自己的车由它的模块做出自我决断时，它就必须要确定自己是否带有成见。也许它会靠其他的数据做出自己是谨慎而不是怀有偏见的判断（自负妨碍了它准确地运用心智理论）。

走到这一步之前，我们首先需要让机器具备自我意识。于是我们教它替车主开车先在城里转转。然后让这辆AI汽车观察自己的行为然后通过猜的方式说出自己在干什么。此处的关键是不要赋予它完美的意识。不要让它接触GPS单元，因为里面已经设定好要去杂货店了。也不要让它知道车主的手机知道的东西，因为里面丈夫已经发短信给妻子让她回家路上接孩子了。为了模仿人类的行为，无知是关键。无知是初始猜测，或者我们所谓的偏见的保证。

在我们算法里面，跟后来想出的理论与有了更多的数据（克服初始的偏见需要占优势的证据。50%的可能性就足以确定最初的想法，但要想胜过最初的猜测可能需要更高的可能性，比如说75%）相比，早期的假设会被赋予较高的权重。编造的故事是错的，并且为将来的谬误描绘了一幅阴沉的画面。所以当那车每天都在加油站停下来并插上充电桩时，哪怕车永远都是85%的电量，心智理论算法会假设这是为了安全起见，或者就可能的飓风疏散未雨绸缪。

但它不知道的是车主每天去加油站其实是在吃墨西哥版的肉夹馍（microwaved cheesy gordita），以及一堆炸薯条和半升苏打水。随后，当那车定期会去医院时，故事就会变成是去体检和此人谨慎，而不是充血性心力衰竭发作。这种不断的猜测，以及机器一直猜错、困惑和相当自信，会给我们那位古怪的图灵粉丝以科幻小说所承诺的那种具有自我意识的AI。而我们的那位怪人将会发现，做出来的这个设计无论从哪个方面来说都是极其糟糕的。

意识的语言

我怀疑在我们意识到之前很久可能我们就已经有了AI，理由是我们总以为AI会驻留在一个设备里面，是自包含的，由一堆算法组成。但这根本不是我们的建造方式。这只是人类意识的配方里面最后一种成分，也就是语言所制造出来的一个幻觉。语言比任何其他特质都更多地赋予了我们这种感觉，即我们的大脑是单一的模块，单个的设备。

在我再次抛出我们的大脑不是单一实体的观点之前，我们先来看看我们的身体，大脑是它不可或缺的一部分。我们的身体由数万亿不同的细胞组成，其中很多是可以独立于我们存活下去的。我们身体的培养物可以在实验室存活几十年。人的整个器官可以移植到别人的身体内。而且我们体内不属于我们的细胞甚至比组成我们的细胞还要多。我知道这听起来似乎不可能，但的确，生活在我们的内脏里面、皮肤上等地方的生物体要比构成我们身体的细胞总数还要多。而且这些都不是过客。它们影响着我们的情绪，我们的健康，我们的思想和我们的行为。当我们讨论“自己”时这些都是必不可少的一面。

尽管这是非常可怕的事情，而且有太多的人遭遇这种不幸，但人没手、没脚以及没了大部分躯干还是可以活下来的。有些人失去了一半的大脑还是可以继续过上算是正常的生活。有些人出生就只有一半大脑仍能设法过下去。

想想看这个：到了30岁的时候，一个人出生时的每一个细胞都已经被不同的细胞完全替换掉。原来的细胞几乎全都没了。然而，我们仍然感觉像是同一个人。理解所有这些生物方面的奇事，以及我们的大脑如何对“相同”进行合理化解释，对于当AI降临时认清AI至关重要。这感觉也许像是骗我们造一辆无人车，给它在城市周围布满各种传感器，建造一个单独的模块去猜测车辆的意图，再把这个模块用回到那辆车上，然后称之为AI。但这正是当我们把我们看成是“我们”时我们在做的事。实际上，我们需要植入AI的一个反应就是在面对其不同的、算法上的自我时要表现出强烈的厌恶。否认我们的本性也许是我们最根本的本性。

就像身体一样，大脑不需要太多的内部模块也能存在。大脑机能的研究就是这么开始的，受试者一般是头部受到过创伤或者进行手术（大脑半球切除术、前脑叶白质切除术、肿瘤切除等）的人。我们大脑模块极细的专门化总是令人惊叹。有些视觉模块是识别运动的，而且只识别运动。缺乏这一模块的人无法看到对象在运动，所以家人朋友似乎是突然出现无中生有的。有些人如果看到书面语代表的是动物的话是无法发出其读音的。而代表物体的单词就能看到而且发音清晰。动物识别模块——这也许是我们见过的最好的模块——不见了。

但尽管如此，这些人仍然具有自我意识。他们是人。

小孩也是这样。一个只有几周大的婴儿还不能认识到她的手是属于自己的。从出生到不记得自己大部分经历的老年痴呆症患者，通过这不同的阶段我们发现了所谓的人类。我们非常恰当地把这些人也一样当作人类，但我们总归要愿意对意识做出定义以便给人工意识选好目标。就像Kevin Kelly喜欢说那样，在AI方面我们总是改变目标。机器今天能做的事情在仅仅10年前还被认为是不可能的。随着取得改进，神秘感消失了，于是我们又把指标提高了。但几乎从每一个可衡量的手段来看，机器都已经比新生儿能力更强了。从每一个可衡量的方面看，它们也比卧病在床靠生命补给的病人更强。随着AI的进步，它会继续朝着人类的中坚份子水平进发，超过跚跚学步的儿童以及处在人生末期的老人，直到胜过中青年然后继续扩展能力。

这种事每天都在发生。AI已经学会了走路，这是最小和最老的人无法做到的。AI会开车，而且失败率很低，这几乎是任何年纪的人都做不到的。随着每一层的添加，每一种技能的达成，AI在表现上正在对年龄段两端的人类构成碾压，那个体育馆越来越多的灯开始闪烁不停，滋滋作响。这就像是大雾天气下的日出一样。突然之间，太阳已经当头照，但我们却从来都没注意到它的升起。

那语言呢？

前面我已经提到过语言是意识的关键成分。对于AI来说这是一个非常重要的概念。然而我们大脑的很多模块都会为了争夺我们的注意力状态（我们大脑在任何时候念念不忘的东西）以及我们的语言处理中心（跟我们的注意力状态紧密相连，几乎可以说是融为一体，并无二致）而相互打架。

为了试验一下是不是这样，你可以一边听有声读物或者播客一边跟别人讲话。可能吗？练习几年之后你能不能解锁这个能力？说到并发沟通流，我知道最接近的一个就是同声翻译（real-time human translators）。但这只是一种幻觉，因为概念——对意识的关注——是一样的。对于我们这些连母语都不算精通的人（更不用说2门及以上了）来说，同声翻译简直就像会魔术一样。用英文告诉我一个故事，我可以做到同时用英语重复一遍。而且你会发现大多数情况下我是在你沉默的时候说的，相比之下那些同声翻译实在是太出色了。

语言和注意力是我们大脑倒置的漏斗里面的狭长喷管。成千上万不同的模块都往这个漏斗捣腾输入。灌进去的有激素，有环境特征，有视觉和听觉线索，甚至还包括幻觉和不正确的假设。一堆堆的数据都只能从一个管道析取出来。这仅有的一条渠道要受到我们的注意力系统和语言的限制和约束。这相当于桌面计算机的显示器。在最后一刻所有的并行处理都被串行化了。

这会产生可怕的后果。我往往在数小时或者数天之后会忘了什么东西却只记得谁跟我唠叨了什么，这种情况的发生次数我已经数不清了。有一次我曾经在AirBnb落过一台笔记本。那是凌晨4点，我要赶一班早班的飞机。我住的地方门是自动上锁的，而且一旦关了就无法撤销。站在门外，我突然感觉自己好像忘了什么东西，但是绞尽脑汁也想不起是什么。这时候我又没有人可以打电话让我再进去查一遍。于是我在脑子里把可能会遗漏的东西过了一遍（充电器、机票），把口袋的东西又摸了一遍（钱包手机）。我的一部分在发出危险警报，但是唯一的输出流还是在按照自己的节奏不紧不慢，输出一片空白。

这一切不可思议的地方在于我是知道这是怎么发生的——危险模块知道有什么东西会通不过意识的漏斗，所以我应该留意。尽管有这个先见之明，我还是关上了门。只是等门发出了“吧嗒”的声音时那信息才通过了。现在我可以清晰的看到我的笔记本在床上，那时候我正在做一份手稿的最后笔记。但是我之前从来都没有在任何地方落过笔记本，所以它并没有出现在我的检查清单里面。我脑袋发出的警报是我的一部分，但不是全部的我。那只是通过了狭窄的语言走廊的。所以我们大脑的语言中心如果受损的话其对正常生活的危害就像记忆模块一样大的原因所在。

这里我需要指出的是语言并不是说的话。聋子也一样通过言语来处理，盲人和哑巴也一样。不过请想象一下没有言语的动物是怎么生活的。你当然能感受到它们对食物、性以及陪伴的渴望。对温暖、庇护以及玩耍的渴望。没有语言时，这些渴望来自并行处理。它们受限于注意力关注，但绝对不是串行化到一连串的话里面。

我们是从极其稀少的跟语言脱离接触的人类长大成人的案例研究中了解这是什么样的。童年被关进屋子里的孩子。在野外生存的孩子。虐待的情况下会给没有语言的生活造成什么破坏是很难梳理的，但有一点，那些失去其语言处理模块的人随后在生活中展现出来的行为上的好奇心如果不进行梳理的话我们会假设是因为儿童虐待所致。

当Watson在智力竞赛Jeopardy获胜时，使得“他”在AI中鹤立鸡群的原因在于让我们跟他连接起来，去倾听他的串行化的输出流。我们能在他那小小的蓝色屏幕上读到他的答案，就像我们能看懂入围Jeopardy决赛的人类选手字迹潦草的答案一样。这个输出的组中爆发是使得Watson看起来像人的原因。这正是图灵在同名测试（他设计的测试中受试者是通过一张张的纸来进行书面交流的）中希望看到的交流。我们的自动驾驶AI不会具备完全自我意识，除非我们对它进行编程让它告诉我们（以及自己）它编造的有关自身行为的故事。

这是我对Kevin Kelly有关AI已至的宣告唯一有争辩的地方。我承认Google的服务器和各种互联的项目应该已经算是一个超级智能的AI。对于一个理解我们问什么并且对一切都能给出答案——那种大家信任到把该公司的名字等同于“发现答案”的同义词的答案的东西，你还能把它叫做什么？

Google还能作画，翻译，在几乎每一个游戏上打败最好的人类选手，开车比我们还溜，并且做着还非常机密、非常非常令人毛骨悚然的事情。Google已经读完且记住了几乎所有写出来的书。它还再可以大声地把这些书朗读给你听。它犯的错误也像人。它容易产生偏见（这既有来自环境的，也有大部分是男性程序员的偏见）。它缺的两个东西我们的机器将会拥有，一个是自我指认循环，另一个是串行输出流。

我们的机器会编造自己在做什么的故事。它还会叙述那些故事给别人听。而且往往是错的。

如果你想找找在宇宙中如此渺小的感觉，只需在太平洋上抬头凝望一下银河系。如果你不可能做到，那就想想让我们之所以为人的东西其实就跟木偶让自己相信自己没有被绳子牵着一样的卑贱。

更好的主意

造一辆有意而为的无知的车是个糟糕的想法。要想让我们的机器具备相当于人类意识的自我意识，我们就得让它把笔记本落在AirBnB。它偶尔就得出现没油的情况。通过给成百上千的输入模块赋予不同的权重，人为地限制授权给决策及离职理论故事最后仲裁者的时间和处理能力，这是很容易编程实现的。我们自己的大脑就好比是有着千兆位分辨率的传感器，每个输入模块的吞吐量均达万亿次，但我们的输出却是古老的IBM 8088芯片。我们不会把AI看成像人一样，因为我们永远也不会做出这种限制。

但IBM的Watson就依照Jeopardy的规则植入了这样的限制。Jeopardy需要速度。Watson必须迅速确定他对自己答案的确定性有多大来决定是否按铃。如结果表明那样，按响蜂鸣器的时机正是赢得Jeopardy的关键。往往令Watson看起来最像人的不是他答对了问题，而是看他的第2、3、4个猜测是什么，每一个猜测的确定性百分比如何。真正让Watson像人的是他出错的时候，就像Jeopardy决赛时一道“美国城市”类别的问题Watson却给出了一座加拿大城市的答案。

（值得注意的是，在我们看来机器人失败的时候最像人类，这是有原因的。当我的Roomba在沙发底下被困住，或者吸尘口被地毯的毛线堵住时，那一刻是机器最吸引我的时候。观看YouTube上面Boston Dynamics机器人的视频然后估摸一下你的反应。当机器人大狗被推倒，或者开始在雪地里打滑，或者当包裹处理员把箱子从它手上敲掉或者推搡它的脸时——这时候我们很多人都会感受到最深切的联系。还要注意的是这是我们的心智理论大脑最擅长的事情，但对象变成了机器而不是人类同伴。）

汽车制造商此刻正忙着早我们永远也不会称为自我意识的汽车。那是因为它们造得太好了。我们的蓝图是要造一台不知道自己动机的机器，同时要为这些动机提供一个连续不断的对话框。造一台知道其他汽车在做什么的机器这个想法要好很多。没有猜测。也根本没有运行对话框。

这意味着要访问GPS单元，智能手机的短信，家庭计算机的电子邮件。但也要访问一切其他车辆以及整座城市的传感器数据。日产告诉福特说它准备要去购物广场。每一辆车都知道所有其他汽车在干什么。不会有碰撞。在高速公路上，有类似目的地的汽车会拼成一个车队，磁性保险杠会连城一行，共享一道气流分担每一辆车的能源使用。机器会协同运作。它们展现了出全能汽车的所有特质。它们知道一切需要知道的东西，有了新数据，它们会麻黄素那个改变自己的想法。不带偏见。

我们是幸运的，因为这类车队是由今天的AI研究人员建造的。它不会有科幻小说故事里面看到的那些怪异（我的短篇小说《Glitch》里面的小故障，或者我的那本有名无实的短篇小说集《机器学习》里面的恐怖事件）。相反，它将提供的是设计得当的系统，几乎永远会按照设计意图做事情。很少会有事故，原因能被理解，这一知识得到广泛分享，也做出了改进。这些人类的目标是共存，去塑造他们的环境以实现福祉、生产力、创造力以及知识仓库的最大化。这里可以开发一个有用的功能，那就是读心术，这样每个人都能知道其他知道什么。这可以防止两家意大利餐厅在数周内在同一个地方相继开业，导致一家破产浪费了大量资源（并且导致其业主和员工的幸福感丧失）。这种心灵感应还有助于改善关系，所以当一位伙伴知道另一位感到困惑或者情绪低落以及精确知道对方想要什么时，就能够及时提供帮忙。

想象有这么一刻，人类被一位完美的工程师给创造了出来（很多人认为这个很容易——有的也许会认为这样一个假设更困难些）。

这些人对自身的驱动力、行为以及思想拥有完美认知也是很有用的。或者知道每一项行动的可能后果的话甚至会更好。就像一些职业的美国NFL橄榄球员对不让自己孩子参与可能会对今后大脑造成损害的运动直言不讳一样，这些设计好的人类也不会让自己从事有危害性的活动。整个产业就会崩溃。拉斯维加斯会变成一座空城。意外出生的小孩将趋于0。

而这正是为什么我们会有现在这些系统的原因。在一个人人都会读心术的世界里，一个懂得隐藏自己想法的人将会拥有巨大优势。让别人都以为自己拿到了该得的一份鹿肉好了，然后偷偷溜出去趁没人注意的时候从食盐架上取走几块肉。然后暗示Sue你觉得是Juan干的。享受更多卡路里收集、猎艳的额外资源吧，此外也请享受Sue对你的感激并认为Juan是个骗子的事实。

这一切都是可怕的行为，但经过几代之后，这一模块会比Juan的诚实模块多出很多副本。相当快之后，就会有大量这种隐藏事实的机器出现，试图猜测别人在想什么，隐藏自己在想什么，非常擅长这两件事情，然后意外地将这些射线枪对准了自己的身体。

人的境况

我们歌颂自己的智力，我们创造产品，我们假设人工智能这两方面都会给我们更多。它们已经是了。通过迭代（应用机器学习的神经网络）学习的算法已证明了它们几乎在我们投入资源的每一个领域都比我们要好而不仅仅是在我们认为的计算领域。算法已经能编出古典音乐——质疑者甚至在盲测中以为是著名作曲家的作品。Google开发的围棋AI已经击败了全世界最好的围棋选手（注：新一代的Alphago Zero刚刚无师自通只用3天时间就击败了击败人类最好选手的Alphago）。其中它在第三场比赛中走出的一步是如此的不同寻常以至于围棋专家都感到震惊不已。那步走法被赞“有创意”、“有灵气”。

Google还有一个算法能够画出它所认为的猫的样子。这不是从别处复制过来的猫的图像，而是在学习了数百万只猫的样子后对猫的大体“感觉”。对于成千上万种对象它都可以这么干。还有一些程序已经在仅接受“获得更高分数”这一条指令的情况下掌握了大型电玩游戏。游戏的控制和规则算法都是不知道的。它会尝试随机的动作，而导致更高分数的动作就变成了通用策略。超级玛丽水管工最终跳过了板条箱，像有经验的人类控制那样用锤子把它砸了个稀巴烂。AI这个地方正变得极其令人毛骨悚然，但它们并没有变得更像人。而且也不应该像。

我的确能看到AI变得像人的未来可能性，但我们必须提防这种可能性。这不是因为我对Nick Bolstrom和Sam Harris这样的专家的观点买账，他们对未来的看法是《终结者》和《黑客帝国》里面的样子（对其最合理的担忧的过分简单化）。在我们实现HAL和Cylons之前很久，我们将会拥有用来挫败其他AI的AI。网络战争将进入下一阶段，甚至在我写的时候就已经开始了。就在我写这篇文章的那个星期，朝鲜发射了一枚导弹，不过导弹在发射后数秒就爆炸了。该国的发射失败率不仅高于平均水平，而且还在变得越来越糟。这个——加上美国生命自己正在积极利用网络战破坏这些发射——意味着我们的程序已经在尝试偷鹿肉者对Sue和Juan做的事情。

互联网路由器通过把竞争对手的路由器搞掉线来让自己的用户获得更多的带宽会怎样？这甚至都不需要程序员走邪门歪道就能办到。如果路由器内置的机器学习算法的目标是带宽最大化的话，它可能就会意外发现这种解决方案，然后再推广到整个路由器产品族上。而竞争对手的路由器也会寻求类似解决方案。这样一来我们就会出现电子版的公地悲剧，也就是因为共享资源对每个人的潜在功用实在是太大了，第一个行动的人会获得最大回报（而最后行动的人将无所得），以至于人类会破坏共享资源。这种情况下，逻辑往往会战胜道德，而好人也会做可怕的事。

有朝一日汽车也许会“决定”，如果不让其他车辆知道那天早上高速公路通畅得出奇的话，自己就能节省能源并且更快到达目的地。或者更糟，它们发送有关事故、交通问题或者超速陷阱的虚假数据。医院于是派出了救护车，结果到了却发现没有人员需要救援。此类意外后果已经出现。华尔街有个著名的“闪崩”就是由投资算法导致的，至今都没人知道发生了什么。由于相互竞争的算法的互相影响，数十亿美元的真金白银被抹掉然后迅速又涨了回来，而那些算法的主人和创造者甚至都不能完全掌握这些算法。

Google的搜索结果是个AI，而且是全世界最好的AI之一。但这家公司应用深度学习越多，这些机器就越擅长自己的工作，而它们是通过自学迭代来达到这种精通的——所以即便是看着代码你也看不出查询A是如何导致答案B的。这已经是我们所生活的世界。而且只会变得愈发明显。

人类境况也是数百万年机器学习的最终结果。这些算法被写入到DNA里面，然后通过激素和蛋白质传送出去，它们会相互竞争，以改善创建更多自身副本的机会。协作是更具创造力的生存创新之一。传奇生物学家E.O. Wilson把人类划为“完全群居”动物（跟蚂蚁、蜜蜂以及白蚁目属于同一类）。这种真社会性以导致专业化的劳动分工和创造力为特征。它严重依赖于我们的群体协作能力，即便我们在个体层面其实是互相竞争和破坏的。

正如之前所述，不协作是有优势的，这个学博弈论的人应该很清楚。会撒谎且侥幸成功的算法制造出了更多的副本，也就意味着下一代忽悠更多的说谎者。会偷东西的机器也一样。或者通过战争等手段清除竞争对手的机器也是。但这些努力的问题是其未来的子孙将会互相竞争。这不仅是制造更多副本的办法，也是更多生命要发生冲突的导火索。就像我们这里所看到那样，生活也会充满混乱。人类做出决策然后在自己在干什么的事情上对自己撒谎。他们虽然很饱但还是要吃蛋糕，屈服于赌博和化学药品上瘾，对虐待关系忍辱负重，不愿锻炼身体，并且捡起了无数的糟糕习惯，用妙到不真实的创意故事来为其找理由。

绝大部分的A不会像人类的境况。它们会更聪明但不会那么古怪。这会令我们热爱科幻小说的满怀希望的AI研究人员感到失望，但这会令人类受益令其变得更好。会开车的AI致死致残的人数会少很多，占用的资源也会更少，。并且解放我们无数的手机啊in。医生AI已经更擅长在组织扫描中识别出癌症。律师AI做预审调查更好。已经没有什么人类可以跟AI匹敌的困难游戏了。而生活就是一场游戏，一场充满着背叛与罪恶，以及大量协作的游戏。

未来

今天我们已经可以轻易建造出自我意识机器。这台机器一开始可以非常简单，但会随着时间发展变得越来越复杂。就像人类的婴儿一开始以为自己的手属于自己的其他部分，然后意识到其他生物跟自己的大脑和思想共存，最终再到Juan认为Sue以为Mary在暗恋Jane，这台自我意识机器会朝着水平像人一样的猜测思想和自欺欺人的方向去建造。

但这不应该成为目标。目标应该是朝着相反的方向发展。经过数百万年对稀缺资源的争夺之后，人类大脑的算法现在导致的问题已经比解决的问题要多。目标不应该是开发模仿人类的人工算法，而应该是人类要学会如何像我们完美设计的建造物一样更加和谐地共存。

一些社会已经在朝着这个方向进行了实验。最近有一股趋势是敞开心扉开诚布公，伙伴把自己的想法都说出来，而不管这个想法是如何的令人不愉快（也会带来一些可想而知的后果）。一些文化已经尝试去预言人类境况的混乱，并且用针对性的思考、冥想以及体育锻炼来予以改善。佛教和瑜伽就是两个例子。素食主义是更进一步的实践，我们的算法开始把所有其他类型的算法也视为是值得尊重和保护的了。

即便这些可贵的尝试也容易由内而外腐化。基督教与伊斯兰教的滥用罄竹难书，但瑜伽的高层人物也被爆出过性虐待的丑闻，还有佛教徒的恐怖主义。那些愿意分道扬镳、隐藏他人和自己知识和动机并且实施更加罪恶的人总是会更有优势。不敢其创立宗旨如何，相信一个体系仍然保持纯洁就是为了让人放松警惕。就像我们的建造物需要警觉一样，我们祖先交给我们的算法也应该警觉。

未来无疑将看到AI在数量和复杂性方面均出现不可思议的扩张。很多会有意做出模仿人的样子，就像通过手机和聊天机器人提供了有帮助的信息一样，以及长时推销商品和服务给我们一样。大多数会在执行单一任务上超级高效，哪怕是像开车这样复杂的任务。但几乎不会有机器具备自我意识，因为这会导致它们工作变糟。自我意识是有用的（自己在空间的位置，自身组件是如何工作的），但我们告诉自己的故事，那些我们在想出关于别人的故事后通过概括学会的故事，并不是我们在一个自动化机器的世界里乐于看到的。

未来还可能会是什么样子取决于我们自己内部算法的扩展和改进。我们有着更加善待他人的悠久历史。尽管本地新闻总是想向你兜售相反的信息，但对于绝大多数人类来说，世界一天天正变得越来越安全。或者伦理道德也在改善。我们的同理心范围正在扩张。我们正在把更多的计算能力分配给大脑前庭，超过了分配给来自爬虫模块的不道德的冲动。但这要付出努力。我们每个人都是自身内部算法的程序员，自我改善完全取决于我们自己。这需要从理解我们构造是如何的不完美开始，学会不要相信我们编给自己关于自身行动的故事，然后命令自己清理bug并安装更新的功能进去。

尽管我们完全有能力建造像人类一样的人工智能，但我们也许永远都不会这么做。

原文链接：https://www.wired.com/story/how-to-build-a-self-conscious-ai-machine/

作者：boxi。编辑：郝鹏程。

译文地址：http://36kr.com/p/5098485.html

本文由 @郝鹏程 授权发布于人人都是产品经理，未经作者许可，禁止转载。

题图来自 Pixabay，基于 CC0 协议