学校最近有一个人工智能大赛，其中有一个大数据竞赛。完全是个小白的我根据林子雨老师的教程和视频，进行hadoop的环境配置和安装，由于对ubuntu的了解很少，只能尽量减少错误，还希望大佬能多多指正！
首先是linux系统的安装，这里我选择ubuntu系统（严格来说，Linux并不是操作系统，而是一个操作系统的内核，Ubuntu基于linux内核的桌面PC操作系统，术语上喜欢称Ubuntu是一个 Linux 发行版。相当于window也有win8，win10） 还有centOS和mint也是Linux的发行版，用ubuntu的理由是觉得该发行版的问题解决方案比较多且详细。 对于系统的安装，可以选择双系统安装或者在虚拟机上安装；对于电脑配置过低的朋友可以选择双系统，一般都可以选择在虚拟机上安装比较方便
言归正传：对于VM虚拟机安装是根据一个b站大佬的教程来安装的 VM虚拟机安装教程网址 （ https://www.bilibili.com/read/cv7620634?from=search） ①下载VMware虚拟机 点击该网址 https://www.vmware.com/products/workstation-pro.html 点击Download 我这里选择Windows版本进行下载 打开下载好的VM安装向导 按图操作即可
安装位置可自行决定，不太建议安装在系统C盘中
点击完成即可 接着点击桌面生成的VM软件图标 这里需要我们输入许可证密钥 输入以下三个中任意一个许可证密钥 这三个应该都可以，如果一个不对，可以换一个，我用的是第三个 输入完点击继续
点击完成，VMware虚拟机就安装完毕了~
②ubuntu20.04系统镜像下载 安装完VM虚拟机之后，就要开始进行ubuntu系统的镜像下载以及将其配置在刚下好的VM虚拟机上。 点击网址进入ubuntu官网 https://ubuntu.com/download/desktop 点击Download及可下载 可以先选择下载位置，可以在除系统C盘外的任何一个盘新建一个文件夹（好找就行！）下载好的文件如下所示 打开我们之前下好的VM虚拟机，选择创建新的虚拟机
接下来按图操作即可 这里我们需要点击浏览来找到我们前面下载好的ubuntu20.04镜像文件 这里是设置ubuntu系统操作的用户名，和密码 密码注意要简洁好记，以后再ubuntu系统下会经常用到！ 选择一个方便的存放文件 也可以通过拆分磁盘，将ubuntu放到一个空磁盘中。 这里磁盘容量不小于20G，可以多分配一点 这里有一个自定义硬件的选项，一般不用改动，也可以根据自己的需求来改动，后期可以重复改动的，之后点击完成即可！
输入之前设定的密码即可登录！ ③ubuntu20.04界面如下 为了方便截图，暂时先不弄成全屏
这里我们先进行一些网络上的设置，设置完之后，在终端的下载会快很多！ 按图操作 搜索栏中输入s 选择箭头所指软件 选择other 向上滑动鼠标找到China 选择mirror.aliyun.com 输入密码 选择Reload即可完成设置 之后点击右上角的倒三角形打开设置
找到语言设置，可以下载中文来获得一个系统的汉化以及中文智能输入法
勾中Chinese（simplifled），并且点击Apply即可 等待完成即可 完成之后需要点击桌面右上角倒三角来重启一下系统 再按之前的方法找到语言设置，点击 + 号 选择Chinese 点击Add之后 再点击箭头所指位置 点击汉语，并且点击Select即可 点击重启 重启之后，弹出该页面，选择更新名称即可 （如果重启之后桌面图标消失，再重启一次即可）
④接下来简洁安装hadoop3.2.1操作，具体操作及原理可参考林子雨老师的教程网址 http://dblab.xmu.edu.cn/blog/install-hadoop/ 点击鼠标右键，选择 在终端中打开 输入sudo apt-get update 回车，输入密码（注意：ubuntu不显示密码） 接着输入sudo apt-get install vim 输入Y，并按下回车继续 可以输入clear来清空一下终端显示的内容，方便下一步的操作 输入sudo apt-get install openssh-server
输入Y继续 显示完后再次输入clear清空一下 输入ssh localhost 输入yes继续 然后提示输入密码 看到下图所示内容说明操作成功 为了避免每次登录都要输入密码，我们进行一下简化操作
输入exit先退出登录 输入cd ~/.ssh/ 输入ssh-keygen-t rsa 然后按三次回车键 出现下图说明操作成功 再输入cat ./id_rsa.pub >> ./authorized_keys 这样我们就完成了一个免密登录的操作 再次输入ssh localhost来判断一下是否成功 可以看到输入ssh localhost之后不需要再次输入密码即可登录 接下来配置jdk 在终端输入sudo apt-get install default-jre default-jdk 提示输入Y继续即可完成 输入如下命令检测是否成功 cd java -version 出现下图所示说明按照成功
输入cd ~ 输入vim ~/.bashrc 并且按回车即可出现下图 若出现这个，再按一次回车即可 将光标通过方向键移至此处 按下字母O键即可出现下图 输入export JAVA_HOME=/usr/lib/jvm/default-java 输入完后按ESE键，然后再输入英文格式的冒号 : 即可发现冒号和光标出现再最下端 输入wq，再按回车保存 若出现错误，请在wq后面加！，然后再按回车即可 再输入source ~/.bashrc 使变量设置生效 分别输入 echo $JAVA_HOME java -version 若和下图一样，说明成功配置jdk
接下来安装hadoop 官网下载网址 http://hadoop.apache.org/ 这里我选择通过ubuntu系统自带的火狐浏览器搜索该网址并下载 或者在 电脑原系统下用浏览器搜索该网址，将hadoop-3.2.1下载到u盘 再通过u盘传到虚拟机的ubuntu系统上也可以 选择3.2.1版本
点击ok开始下载 下载完成后 在桌面点击鼠标右键，点击在文件管理器中显示桌面 找到下载这一栏，可以发现下载好的hadoop-3.2.1 点击这个可以更改一下输入法 改成中文（智能拼音） 按ctrl + alt + T 来打开终端 分别输入下面几个命令 sudo tar -zxf ~/下载/hadoop-3.2.1.tar.gz -C /usr/local cd /usr/local/ sudo mv ./hadoop-3.2.1/ ./hadoop sudo chown -R hadoop ./hadoop 完成之后，输入如下命令查看hadoop-3.2.1是否安装成功 cd /usr/local/hadoop ./bin/hadoop -version 若出现下图所示，说明安装成功 到此我们就完成了hadoop单机模式的配置
接下来设置一下hadoop的伪分布模式 桌面点击右键
点击core-site.xml 文件内容如下 在19和20行之间插入下列内容
<property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>插入后如下图所示 点击保存并关闭 再点击hdfs-site.xml 同样在
<configuration> </configuration>之间，插入下列内容即可
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property>插入后如下图所示 点击保存并关闭
再次打开终端 输入下图两个命令 接着再输入下图两个命令 此时便开启了伪分布式模式 如何测试是否真正完成 输入jps 若与下图相同，则说明部署hadoop-3.2.1伪分布式模式成功！ 后续还有eclipse的相关下载和hadoop-eclipse-plugin的下载和操作，会继续更新的:)
