StreamingContext 是Spark Streaming应用的入口点,它可以通过SparkContext 创建

from pyspark import SparkContext
from pyspark.streaming import StreamingContext

sc = SparkContext(master, appName)
ssc = StreamingContext(sc, 1)

DStreams

DStream(Discretized Stream)是Spark Streaming的基本概念。DStream中的RDD都包含一定的时间间隔

任何DStream的操作都会转换为对RDD的操作

results matching ""

    No results matching ""