Spark Streaming入门
今天学习的主要内容有:
流处理概念:静态数据批处理 vs 动态数据流处理。
DStream本质:DStream是一系列连续的RDD(每个时间片生成一个RDD)。
StreamingContext:核心入口,定义批处理间隔(batch interval)。
入门案例:Socket数据源实现实时WordCount,演示flatMap、map、reduceByKey操作。
Spark Streaming入门
今天学习的主要内容有:
流处理概念:静态数据批处理 vs 动态数据流处理。
DStream本质:DStream是一系列连续的RDD(每个时间片生成一个RDD)。
StreamingContext:核心入口,定义批处理间隔(batch interval)。
入门案例:Socket数据源实现实时WordCount,演示flatMap、map、reduceByKey操作。