难以预知的危机

萨力多胺（一种安眠药，曾引起西欧几千名婴儿出生缺陷）婴儿、切尔诺贝利核泄漏事故、印度博帕尔美国联合碳化物公司的化工厂毒气泄漏事件、挑战者号航天飞机失事、英国石油公司原油泄漏等，在这些悲剧性的事件中，技术难辞其咎。还有一些事件是有意使用有害技术用于破坏性的目的，比如奥斯维辛集中营毒气室、德累斯顿大轰炸、广岛和长崎原子弹爆炸、美军在越南战争中使用橙色脱叶剂、东京地铁站沙林毒气袭击，以及巡航导弹和生物武器扩散带来的危险。

正在开发的很多技术也带来许多新风险。关键信息系统失灵或网络攻击可以造成严重金融危机或持续停电。今后有可能发现许多正在使用的纳米材料的消费品是致癌产品。学生们服用了多种药物以增加学习竞争力，但是可能因为混合使用引起脑部损伤。一个心存愤恨的少年可能会用价值275美元的3D打印机造出塑料枪支伤害自己的父亲。一个精神病人或恐怖分子可能在自家实验室炮制出特制病原体，引发一场世界范围的流行瘟疫。自主武器系统会伤害平民，引发新的战争。受到不断上涨的潮水威胁的岛国可能采用新技术改变该国气候，造成邻国遭受旱灾。

在2009年出版的《道德机器：教会机器人分辨对错》中，我和另一位作者科林·艾伦（Colin Allen）做过类似的预测，即没有人类直接监督的情况下，计算机采取了行动引起了灾难性的后果。我们模拟了计算机引起的灾难如何展开的场景。这个场景是根据当前以及近期计算机技术发展基础上设想的一系列可信的事件。在各种力量综合作用下，这些事件引起了油价飙升、电网故障、国土安全警报以及不必要的人员死亡等。

2010年5月6日下午2：45发生了现实版的由计算机引起的事件。道琼斯指数暴跌，几分钟后恢复上涨。这次事件被命名为“闪电暴跌”，这是道琼斯指数历史上一天之内最大的跌幅（下跌9%，998.5点）。计算机高度自动化买入卖出是最重要的原因。在暴跌当时，高频交易至少占所有交易的60%。

有一些研究表明，现在基本上半数的交易都是由计算机自动进行的，当行情变化跨过用户设定的数值时，计算机会以数字算法自动买入和卖出。但60%这一比例还是夸大了高频交易中计算机化市场活动的整体重要性，高频交易一般有两种交易形式——几分钟进行一次买入和卖出，或是不到一秒就进行一次买卖。

“闪电暴跌”导致一些投资者身无分文而另一些人获利丰厚，损害了人们对于股票交易运作的信心。为了防止闪电暴跌再次发生，人们在股票交易市场引入了熔断机制，一旦有不正当交易发生则开始启动。但是，2012年8月1日，在熔断机制切断交易之前，一家从事计算机交易的“骑士”公司开发的“流氓”算法已经买入和卖出了148家公司的上百万只股票。最大的受害者其实是骑士公司和他们的客户，他们在不到一个小时内损失4.4亿美元。这一系列的事件让小投资者确信，计算机已经控制了金融市场，投资游戏已成定局。

金融市场对于计算机的依赖不仅仅是高频交易系统。计算机在2008年房地产市场崩溃中也发挥了作用。计算机帮助好的和坏的债务产品组合在一起构成复杂的金融衍生品。一旦房地产市场崩溃，人们很难对银行持有的衍生品进行评估。即使是银行巨头也无法确定其承受力。

有意思的是，计算机在金融衍生品危机中并没有发生故障，反而是作为关键的基础设施支撑着存在问题的银行体系。计算机的存在使得造成危机的金融衍生品市场得以成功运行，同时也加剧了危机的影响。下一章，我们将进一步探讨依赖无法充分预测其行为和影响的复杂系统所导致的内在危险。

一些分析者注意到了计算机在房地产崩溃危机中所起的作用，但是他们的注意力更多放在批评那些贪婪的银行家，以及揭发莫多夫（Bernie Madoff）等骗子之流的违法行径。人们将“闪电崩溃”和“流氓”算法归罪于人类的错误。

从我们当前掌握的信息出发，很难知晓所有潜在的危险。有意使用技术追求破坏性和非法目标的坏人应为大部分的风险负责。这些风险涉及的范围包括个人的悲剧、公共卫生危机，能够提高人类能力的技术所带来的社会和伦理影响，隐私、财产以及自由丧失，关键基础设施崩溃以及反乌托邦社会等。

前沿技术的倡导者因追求研究成果的热情掩盖了潜在的风险。他们夸口说只要在摄像头的帮助下，以及将机械假肢装入神经系统，失明者将重见光明，跛足者能健步前行；高科技武器装备的军队定能战无不胜；破解人类基因就能对遗传性疾病进行个性化治疗；无人驾驶车辆能减少交通事故发生，在开车上班路上时能解放双手发短信；如果我们每日清晨饮用一杯含有认知提升药物的鸡尾酒，将会变得更快乐、聪明，甚至品行更加端正。

当然，我们知道一些投资银行家、风投家、企业家以及少数的投资人会因此更加富有。政客们将获得权贵的赞助，他们选区的企业将获得更多订单，找到工作的选民也会更支持他们。科学家和工程师将获得终身教授身份，他们将拥有资金充足的实验室和聪明的研究助理，偶尔还能得个诺贝尔奖或其他享有盛名的奖