准备3台主机,按照standalone模式安装。

Master bigdata-1 10.110.18.221
Worker bigdata-2 10.110.18.222
Worker bigdata-3 10.110.18.223

在3台主机上修改hosts文件

10.110.18.221 bigdata-1.bigdata.com bigdata-1
10.110.18.222 bigdata-2.bigdata.com bigdata-2
10.110.18.223 bigdata-3.bigdata.com bigdata-3

安装jdk并配置java环境(略过)

解压并安装spark,在bigdata-1启动spark

sbin/start-master.sh

在bigdata-2和bigdata-3启动spark

sbin/start-slave.sh

分别在3台机器查看启动情况

jps

验证spark是否启动正常

 bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
    --master spark://bigdata-1:7077 \
    lib/spark-examples*.jar \
    10 > sparkpiResult.txt

在spark安装目录查看sparkpiResult.txt

通过默认端口8080访问集群http://10.110.18.221:8080

results matching ""

    No results matching ""