Ubuntu18.04 Spark2.4.7环境搭建+使用说明

it2023-02-10  47

Ubuntu18.04 Spark2.4.7使用说明

Ubuntu18.04上Spark2.4.7的搭建日常使用

Ubuntu18.04上Spark2.4.7的搭建

参考了这个,好使的. 我的框架是jdk1.8.0_261,hadoop2.7.7, spark2.4.7, zeppelin0.8.1

日常使用

因为在自己的使用过程中,spark有的时候没有办法正常使用,不想敲一半就崩掉,所以我一般按照下面的流程走一遍。 算是笨办法哇。

确认java java -version

如果没有显示java version “1.8.0_261”, 就sudo gedit /etc/profile 一下,确认一下路径无误, 然后source /etc/profile , 一般就可以了。得到下图的结果。 如果不可以就再瞅瞅路径是不是写错了。 2. 确认hadoop

因为之前设置了免密登录,所以先试一下能否不输入密码就可登录:

ssh localhost

得到下面的结果就没啥问题。

然后确认一下hadoop能不能正常用。 在hadoop2.7.7的路径下 bin/hdfs namenode -format

然后启动 sbin/start-dfs.sh 浏览器访问http://localhost:50070没有问题即可。

确认spark 打开zeppelin

首先确认一下spark还都有效,没有出莫名其妙的幺蛾子。 先在spark2.4.7的路径下 bin/run-example SparkPi 10 如果没有问题,应该得到如下结果。 然后访问zeppelin: 在zeppelin的路径下,bin/zeppelin-daemon.sh start 浏览器访问http://localhost:8080 正常能得到以下结果: 打开spark解释器就能用notebook啦(ง •̀_•́)ง

最新回复(0)