CentOs下安装Spark：

安装环境： Linux：CentOs 7.5 Spark：2.3.1 Hadoop：2.7.3 下载： Spark：http://spark.apache.org/downloads.html 本文选择版本： https://archive.apache.org/dist/spark/spark-2.3.1/

安装：

新建分组机用户 ## 新建用户 useradd hadoop ## 设置密码 passwd hadoop ## 切换到hadoop用户 su - hadoop mkdir hd cd hd ## 解压上传的安装文件 tar zxvf spark-2.3.1-bin-hadoop2.7.tgz mv spark-2.3.1-bin-hadoop2.7 spark-2.3.1 cd spark-2.3.1 ## 修改文件权限 chmod 775 * -R ## 修改配置 cd conf/ cp spark-env.sh.template spark-env.sh

2.修改配置文件 在spark-env.sh中添加 环境变量

export JAVA_HOME=/home/hadoop/hd/jdk1.8.0_144 export SPARK_MASTER_IP=localhost export SPARK_WORK_MEMORY=1g ## hadoop安装的目录, hadoop安装参考hadoop的伪分布式安装步骤 export SPARK_CONF_DIR=/home/hadoop/hd/hadoop-2.7.3/etc/hadoop ## 如果需要使用Scala还可以加入Scala的环境变量 启动spark sbin/start-all.sh

jps查看进程

执行pyspark 命令

bin/pyspark

至此，Spark单机版安装成功。

SparkUI访问

访问已安装的SparkUI：http://192.168.134.133:8080/