Spark 2.0时代全面到来 ——2.0.1版本发布

距离Spark 2.0.0发布两个月后，Spark 2.0.1版本发布了，这是一个修正版本，共处理了300多个Issue，涉及spark稳定性和bug等方面的修复 ，它的发布意味着Spark 2.0接近生产环境使用要求，想要尝试Spark 2.0的可以动手了。

Apache Spark 2.0是基于spark branch-2.x 开发的，相比于branch-1.0，它在功能和性能等方面均有巨大改进。在性能方面，Spark 2.x 有2~10倍的提升；在功能方面，Spark SQL中的Dataset变得成熟，Spark 2.x通过Dataset重构了Spark Streaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升，在不久的将来，Dataframe/Dataset API（high-level API）将取代RDD API（low-level API），成为主流的Spark编程接口。

Apache Spark 2.x在性能和功能方面的改进主要包括：

1. 性能方面

相 比于Spark 1.0，Spark 2.0在引擎性能方面有重大优化，其优化主要体现在Spark Core和Spark SQL两个系统上，其优化主要得益于Tungsten计划（“钨丝计划”），其主要动机是优化Spark内存和CPU的使用，使其能够逼近物理机器的性能 极限。

• 利用“整阶段代码生成”（“whole stage code generation”），使得SQL和DataFrame中算子性能优化2-10倍

• 通过“向量化计算”提升Parquet格式文件的扫描吞吐率

• 提升ORC格式文件的读写性能

• 提升Catalyst查询优化器性能

2. 功能方面

（1）Spark Core/SQL:Tungsten Phase 2，优化CPU与Memory方面

“钨 丝计划”完成第二阶段任务，在内存和CPU使用方面进一步优化Spark引擎性能，重构了大量数据结构和算法的实现，使得 Dataframe/Dataset性能得到显著提升，这使得Dataframe/Dataset有能力成为其他几个系统（比如Spark Streaming和MLlib）的基础API。

注：“钨丝计划”包括三个方面的优化：

• Memory Management and Binary Processing： Java GC严重，且java对象内存开销大，可采用类似C语言机制，直接操纵binary data（sun.misc.Unsafe）

• Cache-aware Computation：合理使用CPU的L1/L2/L3 cache，设计对cache友好的算法

• Code Generation：可去除条件检查，减少虚函数调度等

（2）Spark SQL: 统一DataFrame与Dataset API

众 所周知，在Spark 1.x中，DataFrame API存在很多问题，包括不是类型安全的(not type-safe)，缺乏函数式编程能力（not object-oriented）等，为了克服这些问题，社区引入了Dataset，相比于DataFrame，它具有以下几个特点：类型安全，面向对象 编程方式；支持非结构化数据（json）；java与scala统一接口和性能极好的序列化框架等，她将成为Spark未来主流的编程接口（RDD API是low-level API，而Dataset则是high-level API）。

（3）Spark SQL：支持SQL 2003

Spark SQL在通用性方面有重大突破，它跑通了所有（99个）TPC-DS查询 ，并有以下几个改进：

• 解析器可同时支持ANSI-SQL 和Hive QL

• 实现了DDL

• 支持大部分子查询

• 支持View

（4）Spark Streaming：引入Structured Streaming

Spark Streaming基于Spark SQL（DataFrame / Dataset ）构建了high-level API，使得Spark Streaming充分受益Spark SQL的易用性和性能提升。Spark Streaming重构的API主要是面向结构化数据的，被称为“Structured Streaming”，其主要特性包括：

• DataFrame / Dataset API的支持

• 提供了Event time, windowing, sessions, sources & sink等API

• 连接流式数据与静态数据集

• 交互式查询结果：通过JDBC server将RDD结果暴露出去，以便于交互式查询

（5）Spark MLlib: MLlib 2.0诞生

Spark MLlib朝着2.0进化，主要体现在机器学习模型的多样化，持久化和定制化上，具体包括：

• 广义线性模型的全面实现

• Python & R API的支持

• 增强模型持久化能力

• Pipieline定制化

Apache Spark 2.0在功能和性能的重大改进，使得它在分布式计算领域进一步巩固了自己的地位，随着Spark应用越来越广泛，它将变成数据工程师的一项基本技能。

相关链接：

Apache Spark 2.0.1 发行说明：https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12336857

Apache Spark 2.0.1下载地址：http://spark.apache.org/downloads.html

Apache Spark 2.0 新特性与展望 : http://www.chinahadoop.cn/course/697