spark安装

前提条件

至少已经安装好Hadoop

优质：Hadoop+Hbase+Hive

1.前期准备

1.1 上传文件

工具上传 命令：scp -r spark-2.4.5-bin-hadoop2.7.tgz user@192.168.10.128:/home/user/src

1.2 解压，建目录，移动，改名，赋权

解压： tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz

建目录：sudo mkdir /usr/local/spark

移动：sudo mv spark-2.4.5-bin-hadoop2.7 /usr/local/spark/

改名：

cd /usr/local/spark/
sudo mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5

赋权：sudo chown -R user:user spark-2.4.5

2、Spark环境安装配置

sudo vim /etc/profile

export SPARK_HOME=/usr/local/spark/spark-2.4.5
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 
export MASTER=spark://192.168.10.128:7077

环境变量有效：source /etc/profile

3.集群设置

3.1 集群配置

vim ~/.profile

export SPARK_WORKER_INSTANCES=3
export CORES_PER_WORKER=1
export TOTAL_CORES=$((${CORES_PER_WORKER}*${SPARK_WORKER_INSTANCES}))
export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/lib/py4j-0.10.7-src.zip
alias stop_all="stop-slave.sh;stop-master.sh"
alias start_all="start-master.sh;start-slave.sh -c $CORES_PER_WORKER -m 4G ${MASTER}"

#SPARK_WORKER_INSTANCES表示节点数目

source ~/.profile

3.2 使用start_all启动节点

start_all

3.3 查看jps

jps

4、验证是否成功

8080是sparkwebUI的端口号，可以通过spark的配置文件修改

http://192.168.10.128:8080/

完成啦！！！！