HDFS (即Hadoop分布式文件系统)
Hadoop分布式文件系统提供一套基础框架，专门用于拆分收集自不同节点之间的数据，并利用复制手段在节点故障时实现数据恢复。大型文件会被拆分成数据块，而多个节点能够保留来自同一个文件的所有数据块。上图来自Apache公布的说明文档，旨在展示数据块如何分布至各个节点当中。 这套文件系统的设计目的在于同时实现高容错性与高数据吞吐能力的结合。加载数据块能够保持稳定的信息流通，而低频率缓存处理则将延迟降至最小。默认模式假设的是需要处理大量本地存储数据的长时间作业，这也吻合该项目所提出的"计算能力迁移比数据迁移成本更低"的座右铭。 HDFS同样遵循Apache许可。 官方网站：hadoop.apache.org HBase
当数据被汇总成一套规模庞大的列表时，HBase将负责对其进行保存、搜索并自动在不同节点之间共享该列表，从而保证MapReduce作业能够以本地方式运行。即使列表中容纳的数据行数量高达数十亿，该作业的本地版本仍然能够对其进行查询。 该代码并不能提供其它全功能数据库所遵循的ACID保证，但它仍然为我们带来一部分关于本地变更的承诺。所有衍生版本的命运也都维系在一起--要么共同成功、要么一起失败。 这套系统通常被与谷歌的BigTable相提并论，上图所示为来自HareDB（一套专为HBase打造的图形用户界面客户端）的截图。 官方网站：hbase.apache.org Hive
将数据导入集群还只是大数据分析的第一步。接下来我们需要提取HBase中来自文件的所有数据内容，而Hive的设计初衷在于规范这一提取流程。它提供一套SQL类语言，用于深入发掘文件内容并提取出代码所需要的数据片段。这样一来，所有结果数据就将具备标准化格式，而Hive则将其转化为可直接用于查询的存储内容。 上图所示为Hive代码，这部分代码的作用在于创建一套列表、向其中添加数据并选择信息。 Hive由Apache项目负责发行。 官方网站：hive.apache.org |
