安装环境
1.安装SSH
2.配置java环境
3.安装Hadoop
项目名称版本虚拟机
VirtualBox
6.1.14 r140239 (Qt5.6.2)
操作系统Ubuntu20.04.1 LTS安装软件Hadoop3.3.0安装步骤
在终端中执行以下命令
sudo apt-get install openssh-server执行命令后可能会报依赖关系错误:
openssh-server:依赖:openssh-client(=1:7.6p1-ubuntu0.3)
按照提示将openssh-client降级,在终端中输入:
sudo apt-get install openssh-client=1:7.6p1-4ubuntu0.3具体版本信息按照提示进行输入
正常执行结果如下:
输入下面的命令查看是否存在ssh进程,存在即代表安装成功:
ps -e | grep ssh查看结果如下:
安装后,使用如下命令登录本机:
ssh localhost执行该命令后会出现如下图所示的提示信息(SSH首次登录提示),输入yes,然后按照提示输入用户密码即可:
接下来配置SSH无密码登录,在终端中输入:
cd ~/.ssh/ #若没有该目录,先执行一次ssh localhost ssh-keygen -t rsa #会出现提示,按enter键即可 cat ./id_rsa.pub>> ./authorized_keys #加入授权再次执行ssh localhost即可免密码登录
先运行java进行测试,如果没有安装java,按照提示安装openjdk-8
按照提示输入命令安装openjdk-8
sudo apt install openjdk-8-jre-headless安装完成后,切换到安装目录下,将目录名改为java便于配置:
cd /usr/lib/jvm sudo mv java-8-openjdk-amd64 java配置java环境变量:
vim ~/.bashrc在环境变量中添加如下内容:
# java config export JAVA_HOME=/usr/lib/jvm/java export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH生效配置:
source ~/.bashrc输入java -version查看安装结果:
下载Hadoop,目前最新版本为3.3.0,可在北京理工大学镜像站中下载,如需要下载其他版本,替换命令中的版本号即可:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz解压到/usr/local目录下:
sudo tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local更换目录名为hadoop便于配置:
cd /usr/local sudo mv hadoop-3.3.0 hadoop切换用户权限:
sudo chown -R hadoop ./hadoop #此命令中第一个“hadoop”字符位置改为当前的用户名配置hadoop环境变量:
vim ~/.bashrc在环境变量中添加如下内容:
# hadoop config export HADOOP_HOME=/usr/local/hadoop export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin再执行生效配置:
source ~/.bashrc运行hadoop version查看安装情况:
文章参考了林子雨老师的《大数据基础编程、实验和案例及教程》
以及文章:https://blog.csdn.net/lyqdy/article/details/106604489