今天学了 Spark 的广播变量和累加器，这两个都是分布式任务中实用的小工具，解决了之前写代码时遇到的 “小数据传输慢” 和 “全局计数不准” 的问题，也算把结构化数据处理的周边实用技能补全了。之前在做表关联时，总习惯把小表直接和大表 join，后来才发现，每个 Executor 都会复制一份小表数据，数据量稍大就会浪费内存还拖慢速度；还有统计数据异常值时，用普通变量计数，最后结果总是 0，根本取不到全局统计值。今天学的这两个工具，刚好对应解决这两个问题，核心都是适配 Spark 的分布式执行逻辑。先学了广播变量，它的作用就是把小数据集一次性发送到所有 Executor 的内存中并缓存，每个 Executor 只存一份，不用反复传输，大幅减少网络开销和内存占用。用法特别简单，用spark.sparkContext.broadcast(小数据集)创建广播变量，再用.value获取里面的数据就行。实操时把之前的 “城市 - 省份” 小表做成广播变量，再和大的用户表关联，对比下来，运行时间比直接 join 快了近一半，尤其是多次使用小表时，效果更明显。踩了个小坑：一开始把大数据集做成广播变量，结果任务更卡了，查资料才知道广播变量只适合小数据（几 M 到几十 M），大数据用这个反而适得其反。然后是累加器，专门解决分布式任务中的全局计数 / 累加问题，普通变量在分布式中会因为每个 Task 独立运行，导致计数无法汇总，累加器则能把各个 Task 的结果统一汇总到 Driver 端。先试了内置累加器，用spark.sparkContext.longAccumulator("异常值统计")创建长整型累加器，在数据过滤时用acc.add(1)计数，最后直接打印acc.value就能拿到全局结果，终于解决了之前计数为 0 的问题。还试了简单的自定义累加器（虽然新手阶段用得少），核心是重写累加逻辑，了解了原理就行。这里也踩了坑：在 DataFrame 的filter里直接用累加器，结果计数不准，查了才知道要在 RDD 的算子中使用，或者结合foreach才有效。
最后把这两个工具和之前学的知识结合，做了个综合实操：处理用户消费数据时，用广播变量传递优惠规则小表，用累加器统计无效订单、异常金额的数量，再结合窗口函数做消费排名，一套流程走下来，不仅功能更完整，运行效率也比之前高了不少，还解决了之前的小痛点。
