Ubuntu20.04.1 LTS安装Hadoop过程记录

it2024-01-23  64

文章目录

安装环境

1.安装SSH

2.配置java环境

3.安装Hadoop



安装环境

 

项目名称版本虚拟机

VirtualBox

6.1.14 r140239 (Qt5.6.2)

操作系统Ubuntu20.04.1 LTS安装软件Hadoop3.3.0

安装步骤

1.安装SSH

在终端中执行以下命令

sudo apt-get install openssh-server

执行命令后可能会报依赖关系错误:

openssh-server:依赖:openssh-client(=1:7.6p1-ubuntu0.3)

按照提示将openssh-client降级,在终端中输入:

sudo apt-get install openssh-client=1:7.6p1-4ubuntu0.3

具体版本信息按照提示进行输入

正常执行结果如下:

输入下面的命令查看是否存在ssh进程,存在即代表安装成功:

ps -e | grep ssh

查看结果如下:

安装后,使用如下命令登录本机:

ssh localhost

执行该命令后会出现如下图所示的提示信息(SSH首次登录提示),输入yes,然后按照提示输入用户密码即可:

接下来配置SSH无密码登录,在终端中输入:

cd ~/.ssh/ #若没有该目录,先执行一次ssh localhost ssh-keygen -t rsa #会出现提示,按enter键即可 cat ./id_rsa.pub>> ./authorized_keys #加入授权

再次执行ssh localhost即可免密码登录

2.配置java环境

先运行java进行测试,如果没有安装java,按照提示安装openjdk-8

按照提示输入命令安装openjdk-8

sudo apt install openjdk-8-jre-headless

安装完成后,切换到安装目录下,将目录名改为java便于配置:

cd /usr/lib/jvm sudo mv java-8-openjdk-amd64 java

配置java环境变量:

vim ~/.bashrc

在环境变量中添加如下内容:

# java config export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

生效配置:

source ~/.bashrc

输入java -version查看安装结果:

3.安装Hadoop

下载Hadoop,目前最新版本为3.3.0,可在北京理工大学镜像站中下载,如需要下载其他版本,替换命令中的版本号即可:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

解压到/usr/local目录下:

sudo tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local

更换目录名为hadoop便于配置:

cd /usr/local sudo mv hadoop-3.3.0 hadoop

切换用户权限:

sudo chown -R hadoop ./hadoop #此命令中第一个“hadoop”字符位置改为当前的用户名

配置hadoop环境变量:

vim ~/.bashrc

在环境变量中添加如下内容:

# hadoop config export HADOOP_HOME=/usr/local/hadoop export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

再执行生效配置:

source ~/.bashrc

运行hadoop version查看安装情况:

文章参考了林子雨老师的《大数据基础编程、实验和案例及教程》

以及文章:https://blog.csdn.net/lyqdy/article/details/106604489

最新回复(0)