五大人类灭绝危机：7万年前人类仅剩2千

三、超级智能

智力是一种非常强大的工具，正是解决问题和群组协调能力的些许增加使我们让其他猿类望尘莫及。对于人和生物体来说，聪明的确是一大优势，因此，科学家们一直在绞尽脑汁，试图提高个人和群体的智力，他们的研究成果从增强认知的药物到人工智能软件等，不一而足。

由软件制造而成的智能系统可能很快会获得令人害怕的能力。原因在于，它能以不同于生物智能的方式升级：它能在运行速度越来越快的计算机上使用;零件能被分配到更多的计算机之上，不同的软件经过测试、升级并整合新算法后，其性能会获得重大的跃升。

科学家们已经提出，当软件变得非常善于制造更好的软件时，可能就会出现所谓的“智能爆炸”(剑桥数学家杰克·古德和密码破译学家贝莱特谢力·派克曾为英国《新科学家》杂志撰写过一篇论文称，人类将在不久的将来建成超智能机器人[-0.59%资金研报]，而这也是最后的发明，因为人工智能将导致“智能爆炸”。)要是这样一种技术上的跃升成为现实，智能系统(或者人们告诉它们做什么的系统)和其他系统的潜在能力将有天渊之别。

但问题在于，聪明的实体都非常善于实现自己的目标，一旦这个目标设置得很不好，这些超级智能系统或许会使用其智力，给人类造成灾难性的后果。我们不能想当然地认为，智能系统自身就会表现得体或者遵纪守法，实际上，已经有研究结论证明，某些类型的超级智能系统如果真实存在，它们并不会遵守道德法则。