今天主要学了 Direct 模式的 offset 手动管理和窗口函数的小优化，还把之前的 demo 整合了下。之前用 Direct 模式消费 Kafka，offset 是自动管理的，今天试了手动维护，把 offset 存到本地文件里，这样程序重启后能从上次的位置继续消费，不会丢数据也不会重复消费，代码就是在消费后获取每个分区的 offset，再写个方法把它保存下来，启动时再读取加载，步骤不算复杂就是要注意分区和 offset 的对应关系。然后优化了下窗口函数，之前直接用 window 做统计，数据多了有点卡，查了下给 DStream 加了 reduceByKeyAndWindow，比直接 window+reduceByKey 效率高，还试了设置窗口的滑动步长和时长，确认了必须满足时长是步长整数倍的要求，不然会报数据对齐的错，另外还知道了可以用 window 的过滤方法去掉窗口里的冗余数据，让统计更快一点。实操时把手动 offset、reduceByKeyAndWindow 结合起来，做了个从 Kafka 消费、滑动窗口统计、手动存 offset 的完整小 demo，跑起来挺稳定的，过程中踩了个小坑，手动存 offset 时没处理好分区为空的情况，导致程序偶尔报错，加了个非空判断就解决了。
