Ambari安装的集群环境

$SPARK_HOME 路径/usr/hdp/2.6.1.0-129/spark2

Spark有许多示例程序，包括Scala、Java、Python、R等示例，它们位于examples/src/main 目录。

bin/run-example

如果需要运行Java或Scala示例程序，可以使用

bin/run-example <class> [params]

它会触发spark-submit 脚本来启动应用。

./bin/run-example SparkPi 10

Scala shell

也可以使用Scala shell交互式运行Spark

./bin/spark-shell --master local[2]

--master 选项指定分布式集群的主机地址，此时也可以选择local在本地运行（单线程或多线程）

pyspark

Spark提供Python API，如果要以Python解释器的方式交互Spark，可以

./bin/pyspark --master local[2]

通过spark-submit执行Python应用

./bin/spark-submit examples/src/main/python/pi.py 10

sparkR

Spark提供R API，可以使用sparkR交互

./bin/sparkR --master local[2]

通过spark-submit执行R应用

./bin/spark-submit examples/src/main/r/dataframe.R