深度学习基础设施

摘要：深度学习是一门依据经验的科学，基础设施的质量，能够对深度学习的效果起到非常大的作用。幸运的是，如今的开源生态系统，能让任何人都搭建起优秀的深度学习基础设施。在这篇文章中，我们将会讲述深度学习的工作方式，以及它所依赖的基础设施。

深度学习是一门依据经验的科学，基础设施的质量，能够对深度学习的效果起到非常大的作用。幸运的是，如今的开源生态系统，能让任何人都搭建起优秀的深度学习基础设施。

在这篇文章中，我们将会讲述深度学习的工作方式，以及它所依赖的基础设施。

使用场景

一般情况下，深度学习的作用是着手去让一个想法生效，然后你再用这个想法去解决某个小问题。在这个时候，你要立刻进行大量的ad-hoc实验。理想情况下，你只需要SSH进一台机器，在屏幕中运行一段代码，然后在不到一个小时的时间里，就可以获得结果。

要想让这个模式起作用，通常情况下需要看到它在哪种情况下无法起作用，然后再去寻找解决这些限制的方式（和开发新软件系统差不多，你需要多次运行代码，了解它的表现情况）。

你需要从多个角度来审视深度学习的模式，才能真正的了解它在学习些什么。

在你证明了模式有效之后，你就需要扩大其规模，为其配备更大的数据集和更多的GPU。这个工作需要你付出巨大的精力，还要好几天的时间。

早期的研究过程不成架构，但是速度快；之后的研究过程则更加有条理，但是过程却很痛苦。然而，要想获得好的结果，你必须要经历这种痛苦。

基础设施

我们的大多数研究代码都是用Python写的。在GPU计算方面，我们主要使用TensorFlow（在一些特别的时候还会使用Theano）。而在CPU方面，除了TensorFlow和Theano之外，我们还使用了Numpy。有的时候，研究人员还会在TensorFlow之上使用一些更高级别的框架，例如Keras。与大多数深度学习社区一样，我们使用的是Python 2.7版本。