在PySpark shell中,SparkContext已经创建,变量名为sc。它同样可以配置--master
参数,也可以通过--py-files
添加python的zip、egg或py文件。
$ ./bin/pyspark --master local[4]
将code.py
添加到python库路径
$ ./bin/pyspark --master local[4] --py-files code.py
如果以IPython方式启动PySpark,可以设置
$ PYSPARK_DRIVER_PYTHON=ipython ./bin/pyspark
如果使用Jupyter notebook
$ PYSPARK_DRIVER_PYTHON=jupyter ./bin/pyspark
如果需要定制ipython
或jupyter
,可以设置PYSPARK_DRIVER_PYTHON_OPTS