继续搞 Spark Streaming，今天主要学了状态管理和整合 Kafka，都是在昨天基础上改，没学太复杂的底层。昨天的实时 WordCount 只能统计每个批次，没法累加，今天用 updateStateByKey 解决了这个问题，它能把当前批次数据和历史状态结合起来做累计，不过必须先设置 Checkpoint 目录来持久化状态，不然会报错，实操时分批次输入单词，终于看到了 hello、world 的计数能一直累加，不再是每个批次独立的结果了。然后把数据源从本地 nc 端口换成了实际开发常用的 Kafka，用 Receiver 模式入门，先本地启动了 ZooKeeper 和 Kafka，创建了 spark_topic 主题，再在代码里配置好 Kafka 参数和消费者组，通过 KafkaUtils.createStream 获取 DStream，取消息的 value 后做 WordCount，启动程序后在 Kafka 生产者控制台发消息，Spark 就能实时统计了，和之前端口监听的逻辑差不多，就是换了个输入源。过程中踩了两个坑，一个是忘了开 Checkpoint 直接报错，另一个是 Kafka 和 Spark 的依赖版本不匹配，换了对应版本才跑通，还知道了 Receiver 模式不是官方推荐的，Direct 模式更高效，另外还有窗口函数能实现滑动窗口统计，比如每 10 秒统计过去 30 秒的数据，这些都留到明天再学，今天先把状态累计和 Kafka 基础整合跑通就够了。
