准备3台主机,按照standalone模式安装。
Master bigdata-1 10.110.18.221
Worker bigdata-2 10.110.18.222
Worker bigdata-3 10.110.18.223
在3台主机上修改hosts文件
10.110.18.221 bigdata-1.bigdata.com bigdata-1
10.110.18.222 bigdata-2.bigdata.com bigdata-2
10.110.18.223 bigdata-3.bigdata.com bigdata-3
安装jdk并配置java环境(略过)
解压并安装spark,在bigdata-1启动spark
sbin/start-master.sh
在bigdata-2和bigdata-3启动spark
sbin/start-slave.sh
分别在3台机器查看启动情况
jps
验证spark是否启动正常
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://bigdata-1:7077 \
lib/spark-examples*.jar \
10 > sparkpiResult.txt
在spark安装目录查看sparkpiResult.txt
通过默认端口8080访问集群http://10.110.18.221:8080