学习进度 20

Spark 学习第十五天，今天接着昨天的内容，把 Spark Streaming 的 Direct 模式和窗口函数过了一遍。Direct 模式果然比 Receiver 模式简单，不用依赖 ZooKeeper，直接对接 Kafka 的分区，代码里把 createStream 换成 createDirectStream，改下 kafkaParams 配置就能消费，而且 offset 由自己控制，不用担心数据丢失，跑了同样的 WordCount demo，感觉比昨天的 Receiver 模式更稳定，也没再遇到依赖版本的坑。然后学了窗口函数，终于搞懂怎么实现滑动统计了，就是在 reduceByKey 后面加个 window，设置窗口时长和滑动步长，比如 window (Seconds (30), Seconds (10))，就是每 10 秒统计过去 30 秒的单词数，实操时发现窗口时长必须是滑动步长的整数倍，不然会报错，试了几次调整参数，终于看到统计结果会随着窗口滑动更新，而不是只累计全局。今天还顺便把昨天的 updateStateByKey 和窗口函数结合了一下，发现窗口统计不用开 Checkpoint，只有全局累计才需要，这点记清楚了省得白配置。