廉价的并行计算

思考是人类固有的一种并行过程。我们大脑中的数百亿神经元同时激发，制造出用于计算的同步电波。建立一个神经网络——人工智能软件的基本结构，同样需要各个进程同步运行。神经网络中的一个节点大致类似大脑中的一个神经元，它能通过和周围节点的互动弄清接收到的信号。一个程序想要辨认出某个口语词汇，必须听到所有音素以及它们之间的关系，想要识别出某幅图片，必须同时看见每个像素以及它和周围像素的关联。这两者都是深度并行任务。但是直到最近，典型的计算机处理器每次还是只能执行一项命令。

十多年前，情况开始改变，当时出现的一种叫做图形处理器（graphics processing unit）或GPU的新型芯片是为了满足电子游戏中大量的视觉并行需求而设计的。游戏里的一张图片中包含的数百万像素需要在一秒内被多次重新计算，这就需要在主板上增加一块专门的并行芯片作为辅助。并行图像芯片运行效果极佳，电子游戏也大受欢迎。到了2005年，投入大量生产的GPU的价格已经与一般商品相当。2009年，吴恩达（Andrew Ng）和斯坦福大学的一个研究团队意识到GPU芯片可以并行运行神经网络。

这项发现让神经网络的节点之间能拥有上亿的连接，开启了神经网络新的可能性。传统的处理器计算拥有一亿节点的神经网络的级联可能性需要数周时间。吴恩达发现，一个GPU集群一天内就能完成同样的任务。如今，在GPU集群上运行神经网络被应用云计算的公司当作常规技术使用，如脸谱网用它来识别你照片中的好友，而Netflix[6] 用它为超过5000万订阅用户推荐靠谱的内容。