Hadoop 2.0上深度学习的解决方案

基础构造

　　深度学习受到了广泛的关注，不仅仅是因为它可以得出比其他一些学习算法更优异的结果，也因为它可以在分布式设备上运行，允许处理大规模的数据集。深度网络可以在两个级别进行并行、层级别和数据级别[6]。对于层级别的并行，许多实现使用GPU数组来并行计算层级别activations和频繁同步它们。然而，这种方法不适合那种数据驻留在通过网络连接的多个机器的集群，因为有着较高的网络开销。对于数据层的并行，训练是在数据集上进行并行的，更适合分布式设备。Paypal的大部分数据存储在Hadoop集群上，因此能够运行那些集群上的算法是我们的首要任务。专用集群的维护和支持也是一个我们需要考虑的重要因素。然而，由于深度学习本质上是迭代的，像MapReduce这样的范式不适合运行这些算法。但是随着Hadoop2.0和基于YARN的资源管理的问世，我们可以编写迭代程序，同时可以精细地控制程序使用的资源。我们使用了IterativeReduce [7] , Hadoop YARN里面的一个用户编写迭代算法的程序，我们可以将它部署在一个运行Hadoop 2.4.1的Paypal集群中。

方法

　　我们实现了Hinton的核心算法，在[2]中引用的。由于我们的需求是分散运行在多个机器的集群中的算法，我们在这样的环境下使用了他们的算法。对于在多个机器上分散这个算法，我们参照了Grazia所提出的指南[6]。下面是对我们的实现做的详细总结：

1. Master节点初始化RBM的weights。
2. Master节点向Worker节点推送weights和splits。
3. Worker节点在一个数据集时间点训练一个RBM层，换句话说，在一个Worker节点完全通过所有的split后，向Master发送更新后的weights。
4. 在一个给定的时间点里，Master节点对来自所有Worker节点的weights求平均值。
5. 在预定义的时间集（我们的例子中是50）中，重复3-5步操作。
6. 第6步完成以后，有一个层就被训练了。后续的RBM层也重复这些步骤。
7. 当所有的层都被训练以后，深度网络就会通过使用错误反向广播机制准确地调整好。

　　下图描述了在运行深度学习算法时的一个单个数据集时间点（步骤3-5）。我们注意到，这个范式可以被利用来实现一个主机可迭代的机器学习算法。

图2：用于训练的单个数据集时间点

　　下面的代码片段表明了在训练单个机器的DBN中所涉及的步骤。数据集首先被拆分成多个批次，然后多个RBM层会被顺序地初始化和训练。在RBM都被训练以后，它们会通过一个准确调整的错误反向广播相位。

　　我们使用了IterativeReduce[7]的实现很大程度是为了YARN管道。我们对实现做出了重大改革，可以将它利用到我们的深度学习算法实现。IterativeReduce的实现是为Cloudera Hadoop分布式而编写，它被我们重置了平台，以此来适应标准的Apache Hadoop分布式。我们还重写了实现，以此来使用[8]中描述的标准编程模型。特别是，我们需要YARN客户端API在ResourceManager和客户端程序之间进行通信。我们也使用了AMRMClient和AMNMClient在ApplicationMaster、ResourceManager和NodeManager之间进行通信。

　　我们首先使用YARN API提交应用程序到YARN资源管理器：

　　在应用被提交以后，YARN资源管理器启动应用程序Master。如果必要的话，应用程序Master负责分配和释放Worker容器。程序Master使用AMRMClient来与资源管理器进行通信。

　　应用程序Master使用NMClient API在容器（主节点传递过来的）中运行命令。

　　一旦应用Master启动了它需要的Worker容器，它设置一个端口来和应用Master进行通信。对于我们深度学习实现来说，我们新增了一些方法，它们需要为原始的IterativeReduce接口提供参数初始化、逐层训练和精确调整信号。IterativeReduce使用Apache Avro IPC来实现Master和Worker之间的通信。

　　下面的代码片段表明了一系列涉及Master-Worker节点的分布式训练，Master向worker发送初始参数，然后Worker在部分数据上训练它的RBM。在Worker完成训练之后，它将结果发送至Master，Master将会综合这些结果。迭代完成以后，Master通过启动反向广播精确调整相位来完成流程。