在PySpark shell中,SparkContext已经创建,变量名为sc。它同样可以配置--master 参数,也可以通过--py-files添加python的zip、egg或py文件。

$ ./bin/pyspark --master local[4]

code.py 添加到python库路径

$ ./bin/pyspark --master local[4] --py-files code.py

如果以IPython方式启动PySpark,可以设置

$ PYSPARK_DRIVER_PYTHON=ipython ./bin/pyspark

如果使用Jupyter notebook

$ PYSPARK_DRIVER_PYTHON=jupyter ./bin/pyspark

如果需要定制ipythonjupyter ,可以设置PYSPARK_DRIVER_PYTHON_OPTS

results matching ""

    No results matching ""