【摘录】Spark性能调优实战

【Spark 性能调优实战】

课前必学：

触发 Spark 延迟计算的 Actions 算子主要有两类：一类是将分布式计算结果直接落盘的操作，如 DataFrame 的 write、RDD 的 saveAsTextFile 等；另一类是将分布式结果收集到 Driver 端的操作，如 first、take、collect。显然，对于第二类算子来说，Driver 有可能形成单点瓶颈，尤其是用 collect 算子去全量收集较大的结果集时，更容易出现性能问题。

对于 Spark 中的 DAG 来说，在没有缓存的情况下，每一次 Action 的触发都会导致整条 DAG 从头到尾重新执行。

Spark 的性能调优可以从应用代码和 Spark 配置项这 2 个层面展开。

 

原理篇：

绝大多数人也都已经习惯于 DataFrame 和 Dataset API，但是，无论采用哪种 API 或是哪种开发语言，你的应用在 Spark 内部最终都会转化为 RDD 之上的分布式计算。