复杂意味着更容易出问题

复杂系统酿成灾难主要有四个原因（或四个原因的综合体），如果我们无法避免这几个原因同时发生，预防其中某一个原因也不容易。

管理人员或实际操作人员的无能或错误操作是第一个原因。切尔诺贝利核电站事故发生之前及过程中出现了一连串的错误决策。管理层和操作人员都没有受过良好的训练，为防止电站停堆采取了不当的补救措施。切尔诺贝利核事故发生只是迟早的问题。

一些追逐利润的管理层不愿意采取昂贵的安全系统，也是系统出现故障，导致危害发生的其中一个原因。2010年4月至7月，位于墨西哥湾的“深水地平线”离岸油井爆炸，导致11名工人死亡，490万桶原油泄露。如果英国石油公司和越洋公司（负主要责任的企业）的高管不急于完工，并不在安全措施方面大打折扣，这场事故本可以避免或者说后果不会如此严重。

设计缺陷或薄弱环节是复杂系统发生故障的第二个原因。反应堆设计缺陷是切尔诺贝利核泄漏事故发生的原因之一，程序错误或故障十分常见。通常情况下，用户并不会注意到软件的薄弱环节，除非各种事件同时发生。比如，像Windows操作系统的新版本有几百万条代码行，在对外开放使用的时候，就有成千个已知的故障，还有些故障直到终端用户报告才为人所知。

消除复杂系统的故障是一个持续不断的过程，因为每次故障维修都会遗留新的薄弱环节。正如第二章中提到的骑士贸易公司不到一个小时就在华尔街损失了4.4亿美元，主要原因是用了一个尚未成熟的新软件。关键软件在投入使用之前一定要进行严格的测试。很多情况下，软件没有得到充分测试，并且再严密的检测也会遗漏一些薄弱环节。

此外，每一个薄弱环节都可能遭到不当利用，比如黑客制造计算机病毒，或是出于非法目的侵入系统。在网络犯罪和网络情报等蓬勃兴起的领域，带有非法目的的黑客已发展成一门高端艺术。我们对于阻挡破坏性病毒和阻止利用计算机薄弱点从事犯罪活动的各种反计算机病毒程序、防火墙、密码等都已非常熟悉。但不幸的是，这些安全措施增加了复杂性，导致诸多不便，更重要的是，增加了复杂系统的不可预测性。

第三，对社会技术系统的关键特征缺乏关注往往导致灾难发生。

1984年12月2日，印度博帕尔联合碳化物公司农药厂异氰酸甲酯毒气泄漏导致3700人死亡，事故发生前该化工厂已经发生了很多小事故。但没有发出警示提醒周边居民，当天晚上泄漏发生后，风速缓慢以及毒气扩散的方向都是造成严重事故的原因。上述因素如有任何变化都会减少死亡的人数，当然悲剧还是发生了，并造成那么多人死亡。

博帕尔事件发生后30年里，再没有发生如此严重的化工厂事故。耶鲁大学退休的社会学家查尔斯·佩罗（Charles Perrow）认为：“这并非因为我们采取了更多的安全措施；实际上，自博帕尔事件后，严重的化学事故发生概率是上升的，但是我们已没有如此规模的大厂和环境条件可供酿成一起灾难性事故。”

佩罗认为1979年宾夕法尼亚州三里岛核事故就是常态化事故的典型范例。该事故是因为三个方面同时出现问题造成的。反应堆设计者为每一种部件失灵制定了后备措施，但是他们并没有或许是无法解决多方面问题同时出现的情况。要为此类紧急情况做出预案，需要设计人员分析各个方面都出现问题时可能造成的影响。考虑到复杂的核反应堆中零部件如此之多，各种组合情况浩如繁沙。也许设计者可以对关键部件同时失灵的情况进行认真研究，但是这需要花费大量的时间和金钱。

工程师不会把全部精力都放在考量各种可能性的存在。1996年畅销书作家麦肯姆·格拉德维尔（Malcolm Gladwell）发表了一篇分析三里岛核事故以及1986年挑战者号航天飞机爆炸的文章。挑战者号上的所有机组人员和乘客都殉难了，包括首次受邀参与飞行的来自新罕布什尔的教师克里斯塔·麦考利夫（Christa McAuliffe）。

挑战者号失事原因最终追溯到一个环形密封套垫——O形环，因为一向阳光普照的佛罗里达有一段时间寒冷天气增多，导致O形环脆化。格拉德维尔得出结论，一般的理解是这些事故是因为各色人等没有很好地履职才导致这些不正常的事故发生，像三里岛核电站事故，有些处理程序抓住了多种因素产生的故障问题，但还是会忽视某些可能性。格拉德维尔写道：“我们所构建的世界发生高科技灾难的潜在可能性已经深植于日常生活之中。”

考虑到重大事故并非经常发生，管理不善、糟糕设计以及一般性的事故都可以看成是低概率事件。问题在于，认为此类事件不太可能发生正是问题所在，这也是复杂系统出现故障的第四个原因。

通常，一些不幸事故发生的可能性被低估了，因此没有提前采取预防措施。这些事件被称为“黑天鹅”，因为人们看到黑天鹅通常会感到惊讶。黎巴嫩裔美国人纳西姆·塔勒布（Nsaasim Taleb）是一位统计学家和畅销书作家，他支持黑天鹅理论，强调为什么人们对低概率事故发生的不可避免性视而不见，以及为什么这种事件一旦发生会产生大范围的影响。

塔来指