许多科学家和工程师担心，一旦我们创造了一种比我们更聪明的人工智能，一种 AGI 形式的人工智能，世界末日可能随之而来。比尔·盖茨和万维网的创始人蒂姆·伯纳斯-李，都了解 AGI 的承诺，这是一个从我们的梦想中汲取灵感的愿望，其中包含了人们的担忧。埃隆·马斯克设想了“一个我们永远无法逃脱的不朽的独裁者”，并警告不要“召唤恶魔”。斯蒂芬·霍金宣称，“人工智能可能意味着人类的终结。“这样的建议并不新鲜。1951 年，即第一个基本的国际象棋程序和神经网络诞生的那年，人工智能的先驱阿兰·图灵预言机器将以“超越我们的微弱力量”控制我们。
许多科技界人士指出，侠义的人工智能（ANI）已经变得越来越安全，越来越可靠——比我们更安全、更可靠。我们似乎并不急于考虑我们的未来，好像那是无关紧要的。当谷歌无法阻止其图片识别引擎将黑人误作大猩猩的时候，禁止了这项服务去识别大猩猩。对于这种失败，幸灾乐祸不是最明智的回应。《数字进化令人惊讶的创造力》（今年 3 月发表的一篇论文），汇集了可以更新自己参数的程序的结果，这些程序看起来就像超级智能生物一样。当研究人员试图让 3D 虚拟生物发展出最佳的行走和跳跃方式时，一个错误的解决方案最终通过缩短底层程序来“修复”错误。
思考 AGI.可以帮助我们澄清是什么使我们成为人类，无论是好是坏。我们无法创建一个 AGI，是因为我们太善于思考而计算机始终无法赶上吗？还是因为我们太不擅长思考？
由于芯片设计、处理能力和大数据托管的进步，人工智能已经变得无处不在，以致于我们都很少注意到它。当 Siri 安排我们的约会，当 Facebook 给我们的照片贴上标签，颠覆我们的认知时，我们认为这是理所当然的。计算机已经精通于挑选股票、翻译语音和诊断疾病，而且它们的触角已经开始延伸到计算和分类学之外。
我们该承认机器为人类成就做出的贡献吗？在《深度思考：机器智能的终结和人类创造力开始的地方》中，前国际象棋冠军加里·卡斯帕罗夫对这个问题的正反两面都提出了质疑。1997 年，他输掉了与 IBM 深蓝计算机的比赛。几年前，他说：“我不知道我们怎样才能知道存在比我们更强大的精神。”然而，他仍然在我们身边，讲述在比赛中的细节，并写了大量的书（与米格·格林加德一起）。他认为，用计算机来做“更卑微的”推理将解放我们，提升我们对创造力、好奇心、美丽和快乐的认知。“如果我们不利用这个机会，”他总结道，“我们自己也可能变成机器。”“只有依靠机器，我们才能证明我们不是机器。”
在史蒂芬·斯皮尔伯格的《AI 人工智慧》中，威廉·赫特扮演的一位情感受损的科学家宣称机器人，“爱将是他们获得一种从未实现的潜意识的关键——一个隐喻的内在世界，一种直觉……梦想。”爱也是我们想象中的皮诺比变成一个真正的活男孩的方式。使我们成为人类的还有怀疑、恐惧和羞耻。
麻省理工学院的物理学教授马克斯·特格马克在《生命 3.0：人工智能时代的人类》一书中指出，我们的思维并不是我们所想象的那样：
一个活的有机体是有限理性的代理人，它不追求单一的目标，而是遵循经验法则来追求或避开目标。我们的人类思维将这些进化的经验法则感知为感觉，（通常我们没有意识到它）引导我们的决策朝着最终目标前进。饥饿和干渴的感觉保护我们免于饥饿和脱水，痛苦的感觉保护我们不伤害我们的身体，欲望的感觉使我们繁殖，爱和同情的感觉使我们帮助我们基因的其他携带者和那些帮助他们的人，等等。
理性主义者长期以来一直试图使理性像数学一样无可辩驳，因此，莱布尼兹说：“两个哲学家之间的争论比两个会计师之间的争论更无必要。”但我们的决策过程是拼凑的冗长代码对可能性的寻找，由于无意识的脉冲、锚定效应、损失规避、确认偏置以及大量其它非理性的框架设备，导致系统出现错误。我们的大脑并不是图灵机，而是由无数的基因突变拼凑而成的系统，这些系统用来注意和回应我们感知到的环境变化。
思考能力反过来会增强威胁的能力。人工智能，就像自然智能一样，可以很容易地用来增强伤害。赫克托·莱韦斯克认为，“在想象一个侵略性的人工智能时，我们将自己的心理投射到人工或外星智能上。“事实上，我们在投射我们的整个精神架构。人工智能许多最新进展和突破是建立在我们神经系统的深层神经网络上的。而深度学习的决策是一个“黑盒子”；一个算法在选择了谁可以被雇佣或者谁可以被假释之后，却不能为我们阐明它的理由。监管听上去是非常明智的，但是没有人提出过类似的法律来处理人类的问题，因为人类的决策更加不透明。
【数字叙事 原作：Ayse Kok；编译：Lighting】
