前提

系统：centos 7.3.1611

java：8+

版本：2.2.1

安装

解压spark的tar包

tar -xzvf spark-2.2.1-bin-hadoop2.7.tgz

配置环境变量

# spark
export SPARK_HOME=/data/spark-2.2.1-bin-hadoop2.7
export PATH=$SPARK_hOME/bin:$SPARK_HOME/sbin:$PATH

验证

运行java示例

./bin/run-example SparkPi 10

运行python示例

./bin/spark-submit examples/src/main/python/pi.py 10

运行R示例

./bin/spark-submit examples/src/main/r/dataframe.R