StreamingContext
是Spark Streaming应用的入口点,它可以通过SparkContext
创建
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
sc = SparkContext(master, appName)
ssc = StreamingContext(sc, 1)
DStreams
DStream(Discretized Stream)是Spark Streaming的基本概念。DStream中的RDD都包含一定的时间间隔
任何DStream的操作都会转换为对RDD的操作