Spark算子分类与特性解析
转换算子
转换算子是Spark中最基础的算子类型，它们负责定义数据处理的逻辑，但不会立即执行计算。转换算子具有惰性求值特性，这意味着它们只是记录下数据转换的规则，而不会立即触发计算。
常见的转换算子包括：
- map：对RDD中的每个元素应用函数，返回新的RDD
- filter：筛选满足条件的元素，返回新的RDD
- flatMap：类似map，但每个输入元素可以映射为0个或多个输出元素
- union：合并两个RDD
- join：基于键连接两个RDD
- distinct：去除重复元素
- repartition：重新分区
- coalesce：合并分区（可选择是否触发Shuffle）
- mapPartitions：对每个分区应用函数
- mapValues：对键值对RDD的值应用函数
转换算子的关键特性是它们返回一个新的RDD，而不会修改原始RDD。这种不可变性是Spark实现容错和高效计算的基础。
触发算子
触发算子（也称为行动算子）是真正触发Spark计算的算子。当Spark程序遇到触发算子时，才会真正开始执行之前定义的所有转换操作。
常见的触发算子包括：
- count：返回RDD中元素的个数
- take：返回RDD中前n个元素
- collect：将RDD的所有元素收集到驱动程序中
- first：返回RDD中的第一个元素
- top：返回RDD中最大的n个元素
- takeOrdered：默认情况下与top相反，取小的
- reduce：通过函数聚合RDD中的元素
- foreach：对RDD中的每个元素应用函数
- saveAsTextFile：将RDD保存到文本文件
- collectAsMap：将键值对RDD收集为Map
- foreachPartition：对每个分区应用函数
触发算子的关键特性是它们会触发实际计算，并将结果返回给驱动程序或写入外部存储系统。理解触发算子的执行时机对于优化Spark程序性能至关重要。
Shuffle算子
Shuffle算子是一类特殊的转换算子，它们会导致数据在不同分区之间重新分布。Shuffle操作通常涉及网络传输和磁盘I/O，是Spark程序中最耗时的操作之一。
常见的Shuffle算子包括：
- reduceByKey：按键聚合值
- groupByKey：按键分组值
- sortByKey：按键排序
- repartition：重新分区（总是触发Shuffle）
- coalesce(shuffle=True)：合并分区并触发Shuffle
- sortBy：按指定函数排序
- join（某些类型的连接）
- distinct：去除重复元素（内部实现涉及Shuffle）
Shuffle操作的关键特性是它们需要将数据按照键重新分区，这通常涉及将数据从多个节点收集、排序、合并，然后再分发到各个节点。Shuffle操作的性能开销较大，因此在编写Spark程序时应尽量减少不必要的Shuffle操作。
算子分类总结
| 算子类型 | 特点 | 常见算子 |
|---|---|---|
| 转换算子 | 惰性求值，返回新RDD | map, filter, flatMap, union, join, distinct, repartition, coalesce, mapPartitions, mapValues |
| 触发算子 | 立即执行计算 | count, take, collect, first, top, takeOrdered, reduce, foreach, saveAsTextFile, collectAsMap, foreachPartition |
| Shuffle算子 | 导致数据重分布 | reduceByKey, groupByKey, sortByKey, repartition, coalesce(shuffle=True), sortBy, join, distinct |
总结
转换算子和触发算子很好辨别，关注他们的返回值，转换算子返回rdd,触发算子返回的不是rdd,而Shuffle算子关乎不同分区，节点的数据，所以与分区有关的算子必定是Shuffle算子，而聚合类算子...ByKey一定是，多表join也是，重分区的更不必说，排序涉及全局的算子一定是Shuffle算子。